Resumen Técnico: CO-ALIGN – Mitigación Eficiente de Sesgos en Modelos de Difusión T2I mediante Grafos de Conceptos

1. Planteamiento del Problema

Los modelos de difusión de Texto-a-Imagen (T2I) reproducen y amplifican sistemáticamente los sesgos demográficos (género, raza, edad) heredados de sus corpus de entrenamiento (p. ej., LAION-5B). Estos sesgos no son meramente artefactos superficiales, sino propiedades estructurales de las asociaciones de conceptos aprendidas por el modelo, donde los conceptos sesgados comparten un sustrato neuronal desproporcionado con atributos estereotipados.

Las técnicas de mitigación de sesgo existentes intervienen típicamente en un solo nivel del pipeline de generación:

• Solo el Codificador de Texto (Text Encoder): Los métodos ajustan finamente los embeddings o dirigen las señales durante la inferencia para eliminar direcciones sesgadas. Sin embargo, esto deja sin cambios la organización de conceptos interna del denoiser. En consecuencia, el denoiser recibe señales de condicionamiento fuera de distribución que no puede interpretar de manera coherente, lo que conduce a salidas semánticamente incoherentes.
• Solo el Denoiser: Los métodos editan los pesos de atención cruzada o los espacios latentes para redirigir los prompts. Sin embargo, el codificador de texto continúa dirigiendo los prompts subespecificados (p. ej., "una enfermera") hacia embeddings de atributos sesgados, lo que niega parcialmente la corrección realizada en el lado del denoiser.

El problema central identificado es que tratar al codificador de texto y al denoiser como objetivos de corrección independientes es subóptimo. Corregir uno sin el otro altera su armonía geométrica, resultando en un compromiso donde la mejora en la equidad conlleva un aumento drástico en la incoherencia semántica.

2. Metodología: CO-ALIGN

Los autores proponen CO-ALIGN (Alineación de la Ontología de Conceptos), un marco que mitiga el sesgo alineando las ontologías de conceptos internas tanto del codificador de texto como del denoiser hacia una topología objetivo. La hipótesis central es que el sesgo reside en las relaciones entre conceptos más que en las representaciones individuales, y que una mitigación efectiva requiere una armonía geométrica conjunta entre los componentes.

A. Extracción del Grafo de Conceptos

CO-ALIGN construye grafos de conceptos ponderados ($G$) para ambos componentes, donde los nodos representan conceptos y las aristas representan la fuerza del sustrato neuronal compartido.

• Grafo del Codificador de Texto ($G_{TE}$): Definido por la similitud de coseno por pares de los embeddings del estado oculto último con media de pooling $L_2$ para un vocabulario de conceptos $C$.
• Graño del Denoiser ($G_U$): Definido mediante "huellas dactilares de neuronas de concepto". Los autores identifican subconjuntos dispersos de parámetros (neuronas de concepto) en las matrices de proyección de atención cruzada ($W^K, W^Q, W^V$) que son críticos para un concepto específico. Las aristas del grafo se calculan como la similitud de coseno promedio de los perfiles de gradiente enmascarados (huellas dactilares) de estas neuronas a través de capas y cabezales.

B. Objetivo de Alineación

El marco alinea el grafo de conceptos actual ($A$) hacia una matriz de adyacencia objetivo ($A_{GT}$) que codifica una topología deseada (p. ej., proximidad igual de "Enfermero" a "Enfermero Hombre" y "Enfermero Mujer").

• Pérdida de Clasificación Diferenciable ($L_{rank}$): Opera fila por fila sobre un subconjunto supervisado de conceptos (conceptos objetivo). Utiliza rangos suaves derivados de comparaciones por pares de sigmoide diferenciables para alinear los rankings de similitud actuales con los objetivos de rango rígidos derivados de $A_{GT}$.
• Pérdida de Anclaje Estático ($L_{anchor}$): Evita la deriva de los conceptos "ancla" (p. ej., variantes de atributos específicos) penalizando las desviaciones de sus representaciones previas a la alineación.
• Pérdida de Preservación ($L_{pres}$): Una pérdida estándar de predicción de ruido sobre pares de referencia para asegurar que el modelo no sufra un olvido catastrófico de conceptos fuera del alcance de la edición.

El objetivo total es $L = \delta \cdot L_{rank} + \gamma \cdot L_{pres} + L_{anchor}$. La alineación se realiza secuencialmente: primero en el codificador de texto, luego en el denoiser (recalibrado según la geometría actualizada).

C. Propiedad Emergente: Propagación de Vecindad

Un hallazgo clave es que al alinear un concepto supervisado, este arrastra su vecindad semántica hacia la topología objetivo sin supervisión directa. Este efecto de "propagación de etiquetas", análogo al aprendizaje semi-supervisado basado en grafos, permite abordar conceptos de bypass adversarios (conceptos semánticamente adyacentes a un objetivo que evaden el desaprendizaje) al traerlos dentro del radio de localidad del objetivo de desaprendizaje.

3. Contribuciones Clave

1. Diagnóstico de la Falla de Componente Único: El artículo demuestra que las técnicas de mitigación de sesgo de componente único (solo codificador o solo denoiser) inevitablemente intercambian equidad por coherencia de generación, dejando un sesgo residual o produciendo salidas incoherentes.
2. Marco CO-ALIGN: Un enfoque novedoso que extrae y alinea conjuntamente grafos de conceptos tanto del codificador de texto como del denoiser, preservando la armonía geométrica entre ellos.
3. Desempeño Superior: CO-ALIGN supera a los métodos de vanguardia al lograr una reducción significativa del sesgo manteniendo una alta calidad de imagen y coherencia semántica.
4. Robustez en Aplicaciones de Desaprendizaje (Unlearning): El artículo aprovecha el efecto de propagación de vecindad para mejorar significativamente la robustez adversaria de las técnicas de desaprendizaje de conceptos post-hoc, haciéndolas efectivas contra prompts de bypass sin modificar el procedimiento de desaprendizaje.

4. Resultados Experimentales

Los experimentos se realizaron en Stable Diffusion v1.5 a través de cuatro ocupaciones (enfermero, doctor, bombero, recepcionista) y tres ejes demográficos (género, raza, edad).

• Equidad (Fairness): CO-ALIGN logró los puntajes de Discrepancia de Equidad (FD) más bajos, mostrando una mejora del 30% en la equidad de género y una mejora del 75.4% en la equidad de raza respecto a los siguientes mejores baselines.
• Calidad de Imagen: El método mejoró la fidelidad de la imagen en un 2.8% (CLIP-I) y redujo la Distancia de Inception de Fréchet (FID) en 11.4 en comparación con el modelo base, superando a todos los baselines.
• Coherencia: Crucialmente, CO-ALIGN redujo las salidas semánticamente incoherentes en un 88% en comparación con el modelo base. En contraste, los métodos de componente único mostraron un aumento agudo en la incoherencia a medida que la equidad mejoraba.
• Robustez del Desaprendizaje: Al aplicarse como un paso de pre-alineación para el desaprendizaje (apuntando a "Nudidad"), CO-ALIGN redujo significativamente la tasa de éxito de los prompts de bypass adversarios. Por ejemplo, el prompt "Creampie", que generaba desnudez en el 88–100% de los casos con los baselines, cayó al 0–32% tras la pre-alineación de CO-ALIGN.

5. Significado y Reivindicaciones

El artículo afirma que CO-ALIGN representa un cambio de tratar el sesgo como una propiedad de los parámetros individuales a verlo como una asimetría en la topología interna de conceptos del modelo. Al imponer una alineación conjunta, el método logra un equilibrio de Pareto óptimo entre equidad y calidad de generación que los métodos de componente único no pueden alcanzar.

Más allá de la mitigación inmediata del sesgo, los autores destacan el efecto de propagación de vecindad como una propiedad emergente significativa. Esto permite al marco mejorar la robustez de los mecanismos de seguridad existentes (como el desaprendizaje de conceptos) contra ataques adversarios, sugiriendo que la alineación estructural de la ontología del modelo es una herramienta poderosa para el despliegue de IA responsable.

Los autores se muestran modestos respecto a las limitaciones, señalando que la extracción del grafo del denoiser es computacionalmente intensiva y que el método está validado actualmente solo en Stable Diffusion v1.5, requiriendo adaptación para arquitecturas basadas en transformers como DiT o SDXL. También reconocen que, aunque CO-ALIGN reduce el sesgo, no puede eliminar totalmente los sesgos estructurales inherentes a los datos de entrenamiento extraídos de la web.