Resumen Técnico: Diagnóstico y Corrección de la Omisión de Conceptos en Transformadores de Difusión Multimodal

Enunciado del Problema

Los Transformadores de Difusión Multimodal (MM-DiT), como FLUX y Stable Diffusion 3.5, han logrado avances significativos en la generación de imágenes a partir de texto (T2I). Sin embargo, a menudo sufren de omisión de conceptos, un modo de fallo donde los objetos específicos solicitados en el prompt están completamente ausentes en la imagen generada (omisión de objetos) o donde sus propiedades visuales son ignoradas (negligencia de atributos). Las soluciones existentes a menudo requieren entrenamiento adicional del modelo o incurren en altos costos computacionales durante la inferencia. Además, la investigación previa sobre interpretabilidad se ha centrado en gran medida en los embeddings visuales, dejando el papel de los embeddings de texto en la detección y corrección de estas omisiones poco explorado.

Metodología

1. Diagnóstico mediante Sondeo Lineal

Los autores hipotetizan que los embeddings de tokens de texto dentro de los MM-DiT contienen información sobre la presencia o ausencia del concepto correspondiente durante el proceso de generación. Para verificar esto, emplean sondeo lineal:

• Construcción del Conjunto de Datos: Generan imágenes utilizando prompts que contienen dos objetos (basados en GenEval). Etiquetan las representaciones internas según si los objetos aparecen con éxito en la imagen final.
• Selección de Representación: Se centran en los vectores clave ($k$) de los tokens de texto, ya que se sabe que estos influyen fuertemente en la generación de imágenes en las arquitecturas MM-DiT.
• Filtrado Temporal: Observan que la alineación entre las representaciones internas y los resultados de la generación final es pobre en los pasos de tiempo tempranos y tardíos. En consecuencia, restringen su análisis a pasos de tiempo intermedios, donde el acuerdo entre las imágenes limpias predichas ($\hat{x}_0$) y las etiquetas finales es más alto (0.965).
• Hallazgos: Los clasificadores lineales entrenados en estas representaciones intermedias logran una alta precisión (hasta el 91.0%) en cabezas de atención específicas, particularmente en las capas intermedias del modelo. Esto confirma que cabezas específicas codifican una "señal de omisión" distinta que distingue entre la presencia y la ausencia de un concepto.

2. Intervención de Señal de Omisión (OSI)

Aprovechando la señal de omisión identificada, los autores proponen la Intervención de Señal de Omisión (OSI), un método libre de entrenamiento para la corrección de la omisión de conceptos durante la inferencia:

• Extracción de Dirección: Calculan un vector de dirección de guiado ($\delta$) que representa la diferencia entre los vectores clave medios de los conceptos omitidos ($y=0$) y los presentes ($y=1$).
• Mecanismo de Intervención: Durante la inferencia, intervienen en los vectores clave de los tokens de conceptos específicos añadiendo una versión escalada de este vector de dirección:
  $$k^{(t,l,h)}_c \leftarrow k^{(t,l,h)}_c + \alpha \sigma^{(l,h)} \theta^{(l,h)}$$
  Donde $\theta$ es la dirección normalizada, $\sigma$ es la desviación estándar de las proyecciones y $\alpha$ es un hiperparámetro que controla la intensidad.
• Estrategia de Direccionamiento: Para minimizar perturbaciones no deseadas, la intervención se aplica únicamente a:
  1. Las cabezas de atención top-K con la mayor precisión de sondeo.
  2. Intervalos de tiempo específicos (los pasos iniciales del proceso de generación, $t \in [t_{stop}, 1]$), donde ocurre principalmente la formación del concepto.

Contribuciones Clave

1. Verificación Empírica: El artículo demuestra que los tokens de texto en los MM-DiT capturan información relacionada con la omisión a través de la interacción conjunta con los tokens de imagen, específicamente dentro de ciertas cabezas de atención en pasos de tiempo intermedios.
2. Método OSI: La introducción de la Intervención de Señal de Omisión, que amplifica la "señal de omisión" interna para hacer que el modelo sea consciente de los conceptos faltantes, catalizando así su generación sin reentrenamiento.
3. Validación Exhaustiva: El método se valida en dos categorías de referencia (omisión de objetos y negligencia de atributos) en dos modelos de última generación (FLUX.1-Dev y SD3.5-Medium), mostrando mejoras significativas sobre líneas base sólidas como TACA y PLADIS.

Resultados Experimentales

• Omisión de Objetos: En el conjunto de datos GenEval (2–6 objetos) y T2I-CompBench, OSI supera significativamente a las líneas base. Por ejemplo, en FLUX con prompts de 6 objetos, OSI logra una precisión de 0.40, en comparación con 0.18 para el modelo base y 0.20 para TACA/PLADIS.
• Negligencia de Atributos: OSI mejora el rendimiento en tareas de vinculación de atributos (color, forma, textura) en ambos modelos. Cabe destacar que aplicar la intervención a los tokens de atributos (además de los tokens de objetos) produce ganancias adicionales, lo que sugiere que la señal se generaliza más allá de los tokens de objetos.
• Estudios de Ablación:
  • Dirección: Invertir la dirección o utilizar vectores aleatorios degrada el rendimiento o produce ganancias marginales, confirmando la alineación semántica de la dirección aprendida.
  • Selección de Cabeza: Intervenir en cabezas de baja precisión o cabezas aleatorias no logra igualar el rendimiento de seleccionar las cabezas top-K.
  • Especificidad del Token: Intervenir únicamente en los tokens omitidos aumenta significativamente su probabilidad y precisión de generación, mientras que intervenir en tokens ya presentes tiene un efecto negligible.
  • Hiperparámetros: El método es robusto en un rango de coeficientes de escalado ($\alpha$) y conteos de cabezas ($K$), con configuraciones óptimas que equilibran la alineación y la calidad de la imagen (medida por MANIQA).

Significado y Afirmaciones

El artículo afirma que OSI ofrece una nueva perspectiva sobre el mecanismo de generación de imágenes a partir de texto al identificar que el modelo posee una conciencia interna y detectable de los conceptos faltantes. Al amplificar esta señal, el modelo puede ser guiado para "alucinar" intencionalmente los elementos faltantes.

Los autores posicionan a OSI como una solución libre de entrenamiento y computacionalmente eficiente que alivia la omisión de conceptos sin necesidad de ajuste fino u optimización de restricciones complejas. Enfatizan que, aunque el método mejora la controlabilidad, no introduce nuevo conocimiento en el modelo, sino que guía las representaciones existentes. El trabajo sugiere que comprender y manipular las "señales de omisión" internas es un camino viable para mejorar la fidelidad de los modelos de difusión multimodal.