Resumen Técnico: Vinculación Visión-Lenguaje en la Generación de Imágenes In-Context

Planteamiento del Problema

Los modelos modernos de generación de imágenes in-context, como FLUX.2, utilizan una arquitectura multimodal unificada donde los prompts de texto, las imágenes de referencia y los tokens de ruido se concatenan en un único flujo de atención. A diferencia de los modelos de difusión anteriores que empleaban canales de condicionamiento distintos (por ejemplo, atención cruzada para el texto, condicionamiento fijo para las imágenes), estos modelos procesan todas las modalidades a través de bloques de Transformador de Difusión (DiT) compartidos sin capas de atención cruzada dedicadas para el condicionamiento de la referencia.

Esta unificación arquitectónica plantea una pregunta fundamental sobre el flujo de información: ¿Qué papel juegan los tokens de texto cuando hay una imagen de referencia presente? ¿Permanecen como portadores pasivos de la instrucción de edición, o absorben y transportan activamente información visual de la imagen de referencia al resultado generado? El artículo investiga cómo se enruta la información de referencia entre los tokens de texto, los tokens de la imagen de referencia y los tokens de la imagen generada dentro de un único flujo de atención.

Metodología

Los autores emplean tres técnicas de intervención causal en el flujo de atención multimodal de FLUX.2 para rastrear el flujo de información. Estos métodos operan sobre las activaciones intermedias de las capas del modelo.

1. T2I Lens: Este método decodifica las activaciones intermedias de los tokens de texto de una edición de Imagen-a-Imagen (I2I) condicionada por referencia. Las activaciones se parchean en los embeddings de texto originales de una generación de Texto-a-Imagen (T2I) incondicional separada (usando un prompt vacío). Si la imagen T2I resultante exhibe propiedades de la referencia original, esto indica que los tokens de texto absorbieron esa información visual durante el paso hacia adelante (forward pass).
2. Attention Knockout (Anulación de Atención): Esta técnica corta bordes de atención específicos para aislar vías causales. Los autores bloquean la atención desde los tokens de referencia hacia los tokens de texto ($KO_{ref \to text}$) o desde los tokens de referencia hacia los tokens de imagen ($KO_{ref \to img}$). Al observar qué propiedades de la referencia (por ejemplo, color, estilo, identidad) dejan de aparecer en el resultado cuando se bloquea un camino específico, los autores determinan el enrutamiento necesario para cada propiedad.
3. I2I-to-I2I Patching (Parcheo de I2I a I2I): Este método prueba la transferencia causal copiando las activaciones de los tokens de texto de una edición I2I "fuente" (con una referencia específica) hacia una edición I2I "objetivo" (con una referencia diferente pero la misma instrucción). Si el resultado objetivo adopta propiedades de la referencia fuente, los tokens de texto son causalmente responsables de transportar esas propiedades.

La evaluación utiliza un Modelo de Visión-Lenguaje (VLM), específicamente Claude-Opus-4.7, como juez para verificar la presencia o ausencia de propiedades específicas (color, estilo, identidad, configuración de la escena) en las imágenes generadas a través de 2,875 tareas de edición.

Hallazgos Clave y Resultados

1. Vinculación Emergente Visión-Lenguaje

El estudio revela una vinculación implícita entre los tokens de texto y las imágenes de referencia. Los tokens de texto no solo contienen la instrucción; absorben contenido visual de la referencia durante el forward pass e influyen causalmente en el resultado final. Sin embargo, esta vinculación no es uniforme en todas las propiedades visuales.

2. División de Trabajo: Propiedades Descriptivas vs. Exactas de Píxel

Los autores identifican una clara división en cómo se enrutan las diferentes propiedades de la referencia:

• Propiedades Descriptivas (Color, Estilo, Configuración de la Escena): Estas propiedades se escriben primero en los tokens de texto.
  • Evidencia: Bloquear la atención de la referencia al texto ($KO_{ref \to text}$) destruye la transferencia de color y estilo, mientras que bloquear la referencia a la imagen ($KO_{ref \to img}$) tiene un efecto mínimo.
  • Evidencia: El parcheo de tokens de texto de una fuente a un objetivo transfiere con éxito el color y el estilo.
  • Evidencia: Los resultados de T2I Lens generados a partir de tokens de texto parcheados renderizan claramente el color y el estilo de la referencia.
• Propiedades Exactas de Píxel (Identidad, Instancia Específica): Estas propiedades omiten los tokens de texto por completo y fluyen directamente desde la imagen de referencia hacia la imagen generada a través de la atención de imagen-a-imagen.
  • Evidencia: Bloquear la atención de referencia-a-texto tiene poco efecto en la preservación de la identidad, mientras que bloquear la atención de referencia-a-imagen la destruye.
  • Evidencia: El parcheo de tokens de texto no transfiere la identidad humana; el resultado objetivo retiene la identidad de su propia imagen de referencia.

3. Localización en los Tokens de Relleno (Padding Tokens)

La vinculación del contenido de la referencia a los tokens de texto se localiza específicamente en los tokens de relleno de la secuencia de texto, en lugar de los tokens de contenido que codifican la instrucción de edición.

• El parcheo solo de los tokens de relleno transfiere el color y el estilo a tasas casi idénticas a las del parcheo de todos los tokens de texto.
• El parcheo solo de los tokens de contenido (la instrucción) falla en transferir las propiedades de la referencia.
• El T2I Lens aplicado únicamente a los tokens de relleno reconstruye con éxito la configuración de la escena de la referencia, mientras que el lens de solo contenido produce resultados vacíos o solo de la instrucción.

4. Vinculación Específica por Capas

La absorción de contenido de referencia en los tokens de texto ocurre en profundidades específicas de la red:

• Estilo y Escena: La vinculación se establece alrededor del octavo bloque de doble flujo (double-stream block).
• Color: La vinculación se establece alrededor del décimo bloque de flujo único (single-stream block).
  Los experimentos que eliminan los tokens de referencia después de estas capas de vinculación confirman que los tokens de texto pueden transportar la información hacia adelante sin necesidad de más entrada directa de la referencia.

Significado y Reivindicaciones

El artículo sostiene que incluso en modelos generativos multimodales de atención unificada, la modalidad de los tokens estructura cómo se representa y se enruta la información de condicionamiento. El flujo de atención compartido no borra los roles distintos de los tokens de texto e imagen; en su lugar, el modelo particiona naturalmente el flujo de información basándose en la naturaleza del contenido:

• Los tokens de texto actúan como un canal estructurado para atributos de alto nivel descriptibles mediante el lenguaje (color, estilo, escena).
• La atención de imagen-a-imagen gestiona atributos de bajo nivel y exactos de píxel (identidad).

Este hallazgo sugiere que los tokens de "relleno" (padding) en la secuencia de texto cumplen un rol computacional funcional como registro para la vinculación visión-lenguaje, un mecanismo que refleja los diseños de doble codificador explícito encontrados en otras arquitecturas (por ejemplo, Qwen-Image-Edit), donde un codificador visión-lenguaje gestiona la semántica y un VAE gestiona la apariencia. Los autores argumentan que estos resultados desafían la visión de los flujos de atención unificados como cajas negras, revelando que el enrutamiento específico de la modalidad emerge implícitamente dentro del objetivo de entrenamiento.

El trabajo proporciona herramientas de diagnóstico (T2I Lens, Attention Knockout, Patching) aplicables a cualquier modelo multimodal in-context que mezcle tokens de texto e imagen, ofreciendo un marco para comprender y potencialmente optimizar cómo se enruta la información de condicionamiento en futuras arquitecturas generativas.