Resumen Técnico: EquiSteer

Declaración del Problema

Los modelos de difusión de texto a imagen (T2I), aunque potentes para tareas creativas, reproducen y amplifican sistemáticamente los sesgos demográficos presentes en sus datos de entrenamiento. Para prompts comunes como "una foto de una enfermera" o "una foto de un CEO", los modelos tienden consistentemente hacia salidas sesgadas hacia géneros específicos (femenino y masculino, respectivamente) en lugar de reflejar el prompt de texto de manera neutral. Los enfoques de mitigación de sesgos existentes enfrentan limitaciones significativas:

• Los métodos basados en finetuning requieren acceso a los pesos del modelo y datos adicionales, lo que dificulta la escalabilidad y la transferencia entre arquitecturas.
• Los métodos basados en guía (guidance) a menudo operan a nivel de lote (batch), fallando al mitigar el sesgo en muestras individuales y teniendo dificultades en escenarios de múltiples atributos.
• Las intervenciones en el embedding de texto son sensibles a la redacción del prompt y ofrecen un control espacial limitado sobre el resultado generado.

Además, los métodos actuales a menudo no logran distinguir entre prompts neutros en atributos (por ejemplo, "un doctor") y prompts específicos de un atributo (por ejemplo, "un doctor hombre"), lo que conduce a la modificación no deseada de atributos solicitados explícitamente.

Metodología: EquiSteer

Los autores proponen EquiSteer, un marco de trabajo libre de entrenamiento (training-free) que opera en el tiempo de inferencia para dirigir las activaciones de la atención cruzada (cross-attention, CA) para lograr una generación de imágenes más justa. El método opera por muestra sin modificar los pesos del modelo. Se basa en el mecanismo CASteer, pero lo redefine de la supresión de conceptos hacia una mitigación de sesgos controlada.

El marco consta de tres componentes principales:

1. Vectores de Dirección Precomputados

Para cada atributo objetivo (por ejemplo, género, raza, edad), EquiSteer precomputa vectores de dirección en el espacio de activación de la CA. Estos vectores se derivan de pares de prompts contrastivos (por ejemplo, "un hombre" frente a "una mujer") y capturan la dirección en el espacio de activación asociada con atributos demográficos específicos.

2. Mecanismo de Puerta Sensible al Prompt (Prompt-Aware Gating)

Para evitar la modificación de prompts que especifican explícitamente un atributo, EquiSteer introduce un mecanismo de puerta.

• Detección: Mide la alineación entre la salida de la CA y el vector de dirección del atributo utilizando una estadística de producto punto ($\langle ca^{out}_{ltk}, s^X_{lt} \rangle$).
• Umbralización: Al evaluar la respuesta máxima del token en una capa de puerta específica ($l_{gate}$) y un paso de tiempo ($t=0$), el sistema distingue entre prompts específicos de un atributo y prompts neutros de atributos.
• Acción: Si la señal excede un umbral calibrado, el prompt se trata como específico de un atributo y la intervención se omite (generación vanilla). De lo contrario, se aplica la mitigación de sesgos.

3. Dirección Adaptativa con Ortogonalización

Para los prompts neutros donde se activa la mitigación de sesgos, EquiSteer realiza dos pasos para asegurar una inyección de atributos limpia:

• Ortogonalización: Antes de inyectar el atributo objetivo, la salida de la CA se proyecta para ser ortogonal al subespacio definido por todos los vectores de dirección de atributos. Esto elimina señales de atributos preexistentes y potencialmente conflictivas que podrían derivar en artefactos de atributos mixtos.
• Magnitud Adaptativa: La fuerza de dirección ($\alpha$) no es fija, sino que se calibra para coincidir con la fuerza de la señal típica observada en los prompts específicos de atributos. Esto asegura que el atributo objetivo se exprese con la magnitud suficiente sin ser demasiado débil o abrumador.

El método soporta la mitigación de sesgos de múltiples conceptos (por ejemplo, género + raza + edad) aplicando estos pasos secuencialmente por concepto en cada capa de atención cruzada.

Contribuciones Clave

1. Demostración de la Direccionalidad de la CA: El artículo establece que las activaciones de la atención cruzada codifican atributos demográficos de una manera que permite la dirección directa en el tiempo de inferencia para el control de la equidad.
2. Marco de Trabajo EquiSteer: La introducción de un método libre de entrenamiento que cuenta con una puerta sensible al prompt y ortogonalización del espacio de atributos. Este diseño aborda específicamente los fallos de los métodos de dirección básicos: la preservación de prompts específicos de atributos y la prevención de generaciones de atributos mixtos.
3. Validación Exhaustiva: El método se valida a través de cuatro backbones de T2I distintos (SD-1.5, SD-2.1, SDXL y SANA) y múltiples conceptos demográficos (género, raza, edad, tipo de cuerpo, anteojos).

Resultados Experimentales

Los autores evaluaron EquiSteer frente a baselines recientes, incluyendo FairDiffusion, Unified Concept Editing (UCE) y Text Embedding Intervention (TEI).

• Mejora en la Equidad: EquiSteer reduce la brecha de paridad promedio hasta en un 87% en relación con el modelo sin mitigar y hasta un 47% respecto al baseline más fuerte disponible (TEI).
• Preservación de Atributos: A diferencia de otros métodos que degradan el rendimiento en prompts específicos, EquiSteer mantiene una alta fidelidad a los prompts de atributos específicos (por ejemplo, generando correctamente "una enfermera hombre" cuando se solicita), logrando puntuaciones de preservación casi perfectas.
• Calidad y Alineación: El método preserva la calidad de la imagen y la alineación texto-imagen, con métricas CLIP y CMMD que se mantienen competitivas con los modelos vanilla y otros baselines.
• Generalización: El enfoque se transfiere eficazmente a través de diferentes familias de prompts, incluyendo paráfrasis, contextos largos y prompts compositivos, sin requerir recalibración.
• Mitigación de Sesgos de Múltiples Conceptos: El marco maneja con éxito la mitigación simultánea de múltiples atributos (por ejemplo, género, raza, edad y tipo de cuerpo) en una sola pasada de generación.

Significado y Reivindicaciones

El artículo afirma que EquiSteer ofrece una ruta práctica y escalable para una generación de imágenes guiada por texto más justa. Al operar enteramente en el tiempo de inferencia sin reentrenamiento, supera las barreras de datos y cómputo asociadas con los enfoques basados en finetuning. Los autores enfatizan que su método es el primero en combinar eficazmente el control por muestra con la capacidad de distinguir entre prompts neutros y específicos, resolviendo así los problemas de "atributos mixtos" y "sobrecorrección" que han limitado las técnicas de dirección previas.

El trabajo sugiere que la interpretabilidad de la atención cruzada puede aprovecharse directamente como un mecanismo de equidad, proporcionando una solución robusta y agnóstica al modelo que se integra naturalmente en los pipelines de muestreo estándar. Los autores señalan que, si bien el método es de propósito general, depende de la calibración específica de conceptos (vectores de dirección y umbrales) y actualmente opera a nivel de imagen, lo que puede presentar desafíos para prompts altamente compositivos con múltiples entidades.