Training-Free Debiasing of Diffusion Models via CLIP-Guided Denoising Optimization

Resumen Técnico: Mitigación de Sesgos sin Entrenamiento en Modelos de Difusión mediante la Optimización de Denoisado Guiada por CLIP

Planteamiento del Problema
Los modelos de difusión de texto a imagen (T2I), como Stable Diffusion, generan imágenes de alta calidad pero suelen exhibir un sesgo demográfico significativo. A pesar de recibir prompts neutros (p. ej., "una foto de un CEO"), estos modelos producen consistentemente representaciones estereotípicas con respecto al género y la raza, reforzando los sesgos sociales existentes y conduciendo a la subrepresentación sistemática de ciertos grupos. Las soluciones existentes enfrentan limitaciones críticas: los enfoques basados en entrenamiento (reentrenamiento o ajuste fino) son computacionalmente costosos y difíciles de aplicar a modelos desplegados o de código cerrado, mientras que los métodos en tiempo de inferencia suelen depender de ingeniería de prompts heurística o manipulaciones estáticas en el espacio latente que degradan la calidad de la imagen, la alineación semántica o carecen de adaptabilidad dinámica.

Metodología: Text Embedding Steering (TES)
Los autores proponen Text Embedding Steering (TES), un marco de trabajo libre de entrenamiento que mitiga el sesgo demográfico optimizando directamente los embeddings de texto condicionales durante el proceso de difusión sin modificar los parámetros del modelo. La observación central que impulsa a TES es que los atributos demográficos se determinan en gran medida en las etapas tempranas del denoisado, cuando se forma la estructura global de la imagen.

El método opera mediante una estrategia de optimización de dos etapas integrada en el flujo estándar de guía libre de clasificador (CFG) utilizando el muestreo DDIM:

1. Alineación Global en Etapa Temprana: Antes de que emerjan los detalles visuales finos, TES realiza una actualización de gradiente inicial en el embedding de texto para dirigir la trayectoria de generación global hacia una distribución demográfica objetivo predefinida.
2. Refinamiento Iterativo durante el Denoising: Tras la alineación inicial, TES refina continuamente el embedding a lo largo de los pasos de denoisado subsiguientes. Este refinamiento utiliza la retroalimentación basada en CLIP derivada de las estimaciones de "imagen limpia" ($\hat{x}_0$) reconstruidas en cada paso de tiempo.

Objetivo de Optimización
TES optimiza una perturbación aditiva ($\Delta e$) al embedding de texto original ($e_0$), de tal manera que $e_t = e_0 + \Delta e$. La optimización minimiza una función de pérdida compuesta ($L_{total}$) calculada sobre una ventana de tiempo específica donde la imagen reconstruida es semánticamente significativa pero la trayectoria permanece flexible:

• Pérdida de Atributo ($L_{attr}$): Fomenta que la imagen generada se alinee con una descripción de atributo objetivo (p. ej., "una persona mujer") mientras se opone a un atributo contrastante (p. ej., "una persona hombre"), utilizando la similitud de coseno de CLIP.
• Pérdida de Profesión ($L_{prof}$): Preserva el contenido semántico del prompt original (p. ej., "CEO") para evitar que el modelo se desvíe del sujeto pretendido.
• Regularización ($L_{reg}$): Una penalización $L_2$ sobre la perturbación del embedding para evitar una desviación excesiva del embedding original.

El marco ajusta dinámicamente la tasa de aprendizaje basándose en el paso de tiempo, aplicando actualizaciones más pequeñas durante las fases de alto ruido y aumentando la fuerza a medida que la información semántica confiable se vuelve disponible.

Contribuciones Clave

1. Marco Libre de Entrenamiento: TES mitiga el sesgo demográfico optimizando continuamente los embeddings de texto durante la inferencia, sin requerir reentrenamiento del modelo, ajuste fino o módulos auxiliares.
2. Estrategia de Dos Etapas: Los autores identifican la importancia crítica de la intervención en la etapa temprana para el control de la trayectoria global, combinada con el refinamiento iterativo para mantener la estabilidad y prevenir el retorno a resultados sesgados.
3. Control Dinámico Consciente del Contexto: A diferencia de los métodos que dependen de direcciones fijas o mapeos estáticos, TES adapta el embedding basándose en estimaciones de imágenes limpias intermedias, permitiendo un direccionamiento demográfico consciente del contexto.

Resultados Experimentales
Se realizaron experimentos extensos en Stable Diffusion v2.1 (y v1.5 para generalización) a través de seis categorías de profesiones (p. ej., CEO, enfermera, taxista) y dos atributos demográficos (género y raza).

• Equidad (Fairness): TES supera significativamente a los baselines existentes sin entrenamiento (p. ej., LightFair, EntiGen) y al Stable Diffusion original. Para la mitigación de sesgo de género, redujo el Bias-O de 0.85 (baseline) a 0.26 y la Discrepancia de Equidad (FD) de 0.54 a 0.13. Para la mitigación de sesgo de raza, el Bias-O cayó de 0.63 a 0.15.
• Calidad y Semántica: A pesar de un proceso de mitigación de sesgo agresivo, TES mantiene una calidad de imagen competitiva. Logró los mejores puntajes FID (226.13 para género, 228.52 para raza) y altos puntajes CLIP-T, lo que indica una fuerte alineación semántica entre texto e imagen. El método preserva con éxito la semántica de la profesión y la coherencia visual mientras altera los atributos demográficos.
• Estudios de Ablación: Los resultados confirman que tanto la alineación en la etapa temprana como el refinamiento iterativo son necesarios; el uso de solo una etapa conduce a un control de equidad deficiente o a una alineación semántica inestable. Además, la inclusión de la pérdida de preservación de la profesión es esencial para mantener el sujeto pretendido.

Significancia y Reivindicaciones
El artículo afirma que TES demuestra que la optimización del embedding de texto en tiempo de inferencia es una solución práctica y escalable para la generación consciente de la equidad. Al desacoplar la mitigación del sesgo del reentrenamiento del modelo, el enfoque ofrece un mecanismo "plug-and-play" que puede aplicarse a modelos de difusión existentes y desplegados. Los autores aseguran que su método logra un equilibrio superior entre equidad y calidad de imagen en comparación con el estado del arte, produciendo representaciones más equilibradas y realistas de roles sociales sin sacrificar la fiabilidad o la fidelidad visual del contenido generado. El trabajo destaca que el direccionamiento dinámico y consciente del contexto de los embeddings es un camino viable para reducir los sesgos demográficos sistemáticos en la IA generativa.