Resumen Técnico: Representación de Texto Intermedia para la Generación de Texto a Imagen Guiada para Mejorar el Alineamiento de "Uno y Solo Uno" (One-and-Only)

1. Declaración del Problema

Los modelos de difusión de texto a imagen (T2I) fallan frecuentemente al renderizar fielmente descripciones textuales explícitas, particularmente cuando esas descripciones contradicen los sesgos visuales fuertemente aprendidos por el modelo. Este fenómeno se denomina sesgo de asociación de conceptos (concept association bias). El sesgo es más severo para las entidades One-and-Only (OAO) —objetos que existen en una única forma canónica (por ejemplo, la Tierra, la Mona Lisa, la Torre Eiffel). Para estas entidades, la identidad visual arraigada en el modelo suele anular las instrucciones textuales explícitas (por ejemplo, al no generar una "Tierra gris" o una "Mona Lisa de punto").

Los autores hipotetizan que este fallo surge de las propiedades de la teoría de la información de los codificadores de texto. Mientras que los conceptos simples emergen en las capas tempranas del codificador, el embedding de texto final (utilizado para el condicionamiento) descarta información específica a nivel de concepto mediante una abstracción excesiva. En consecuencia, la información mutua entre el texto de entrada y el embedding final es menor que la de los estados ocultos intermedios, lo que conduce a la supresión de atributos específicos durante el proceso de eliminación de ruido (denoising).

2. Metodología: Difusión Guiada por IR

El artículo propone la difusión guiada por Representación de Texto Intermedia (IR), un método sin entrenamiento y sin optimización que recupera los conceptos suprimidos inyectando los estados ocultos intermedios del codificador de texto en la señal de condicionamiento.

2.1 Fundamento Teórico

Utilizando una perspectiva de la teoría de la información, los autores formalizan el problema de la omisión de conceptos. Demuestran que para un prompt de texto $Y$ que describe un objeto $A$ con un atributo $b$, el latente generado $x_t$ a menudo contiene información insignificante sobre $b$ una vez que $A$ ha sido contabilizado ($I(b; x_t | A) \approx 0$).
Al analizar el codificador de texto como una cadena de Markov $Y \rightarrow c_h \rightarrow c_f$ (donde $c_h$ es una representación intermedia y $c_f$ es el embedding final), aplican la Desigualdad del Procesamiento de Datos (DPI). Esto demuestra que la información mutua entre el texto de entrada y la representación intermedia es mayor o igual que la del embedding final:
$$I(Y; c_h) \ge I(Y; c_f)$$
Los autores postulan que condicionar el proceso de eliminación de ruido en $c_h$ (o una combinación de $c_h$ y $c_f$) preserva la información específica del atributo que se pierde en $c_f$.

2.2 Mecanismo de Inyección

El método construye un embedding guiado por IR $\tilde{c}$ sumando la representación intermedia al embedding final:
$$\tilde{c} = c_f + \lambda c_h$$
donde $\lambda \in [0, 1]$ controla la fuerza de la inyección. Para asegurar la compatibilidad, la representación intermedia $c_h$ se somete a la normalización de capa final del codificador de texto para alinear su distribución con $c_f$. Este embedding modificado $\tilde{c}$ se utiliza para calcular la función de puntuación $\nabla_{x_t} \log p_\theta(x_t | \tilde{c})$.

El enfoque es compatible tanto con arquitecturas de codificador único (por ejemplo, Stable Diffusion 2.1) como con arquitecturas de múltiples codificadores (por ejemplo, Stable Diffusion 3.0) mediante la extracción de estados intermedios de todos los codificadores, su concatenación y la suma del resultado a los embeddings finales concatenados.

2.3 Programación Adaptativa (Adaptive Scheduling)

Inyectar representaciones intermedias durante todo el proceso de eliminación de ruido puede introducir artefactos. Los autores observan que los modelos de difusión establecen la estructura global en los pasos iniciales y refinan los detalles en los pasos posteriores. Por lo tanto, emplean un Programador Adaptativo para determinar el punto de transición óptimo $t^*$:

1. Pasos Tempranos ($t > t^*$): El modelo se condiciona en $\tilde{c}$ (guiado por la intermedia) para establecer la estructura global e incorporar los atributos suprimidos.
2. Pasos Posteriores ($t \le t^*$): El modelo revierte al embedding final estándar $c_f$ para el refinamiento de detalles.

El punto de transición $t^*$ se determina dinámicamente monitoreando la aceleración estructural $\Delta D_t$ de la imagen limpia estimada $\hat{x}_{0|t}$. El programador detiene la inyección cuando los cambios estructurales se estabilizan ($\Delta D_t \le 0$).

3. Principales Contribuciones

1. Análisis de la Teoría de la Información: El artículo identifica que los embeddings de texto finales descartan información a nivel de concepto presente en las capas intermedias, reduciendo la información mutua disponible para el proceso de eliminación de ruido.
2. Difusión Guiada por IR: Un método novedoso, sin entrenamiento, que inyecta representaciones de texto intermedias en la señal de condicionamiento durante los pasos tempranos de la eliminación de ruido. Recupera conceptos suprimidos sin requerir modelos externos, conjuntos de conceptos predefinidos o optimización adicional.
3. OAO-AttackBench: Un nuevo benchmark que comprende 504 prompts contrafácticos diseñados para atacar la identidad visual central de las entidades OAO a través de tres categorías: objetos celestes, monumentos y obras de arte. Este benchmark evalúa sistemáticamente el sesgo de asociación de conceptos.

4. Resultados Experimentales

El método fue evaluado en cuatro benchmarks: OAO-AttackBench, Whoops (prompts que violan el sentido común), Gecko(R) y Gecko(S), utilizando Stable Diffusion 2.1 y 3.0.

• Alineación de Texto a Imagen: La difusión guiada por IR logró una mejora de hasta 19.1 puntos porcentuales en VQAScore en OAO-AttackBench en comparación con el baseline. Superó consistentemente al baseline y a las estrategias de post-procesamiento alternativas (por ejemplo, normalización Media-Desviación Estándar, proyección ortogonal) en la captura de atributos finos.
• Fidelidad y Preferencia Humana: El método preservó la fidelidad de generación, con puntuaciones de Distancia de Incepción de Kernel (KID) comparables o mejores que las del baseline. Las puntuaciones de preferencia humana (HPSv2 y HPSv2.1) también mejoraron, indicando que las imágenes generadas no solo eran más fieles al prompt, sino también visualmente plausibles.
• Generalización: En datasets generales como Gecko, el método mantuvo un rendimiento comparable al del baseline, demostrando que no degrada la calidad para prompts estándar.
• Mejoras Cualitativas: El método logró anular con éxito los sesgos fuertes (por ejemplo, generando un "Saturno de cristal" o una "Tierra de forma octogonal") mientras preservaba la identidad del objeto, mientras que los baselines a menudo ignoraban el atributo o fallaban al asociarlo con el objeto correcto.

5. Significado y Reivindicaciones

El artículo afirma que la difusión guiada por IR aborda una limitación fundamental en los modelos T2I actuales: la incapacidad de anular los sesgos visuales profundamente arraigados para las entidades OAO sin reentrenamiento. Al aprovechar el "recurso interno no aprovechado" de los estados intermedios del codificador de texto, el método ofrece una solución práctica en tiempo de inferencia que no requiere entrenamiento adicional ni modelos externos.

Los autores enfatizan que su enfoque es distinto del trabajo previo que busca eliminar características o introducir diversidad; en su lugar, resuelve el problema complementario de generar conceptos explícitamente especificados que el modelo típicamente suprime. La introducción de OAO-AttackBench proporciona un protocolo riguroso para evaluar y abordar el sesgo de asociación de conceptos en investigaciones futuras. El método se presenta como una estrategia robusta y adaptativa que mejora el alineamiento manteniendo los altos estándares de calidad de generación de los modelos de difusión de vanguardia.