Resumo Técnico: Vinculação Visão-Linguagem em Geração de Imagens em Contexto

Problema

Modelos modernos de geração de imagens em contexto, como o FLUX.2, utilizam uma arquitetura multimodal unificada onde prompts de texto, imagens de referência e tokens de ruído são concatenados em um único fluxo de atenção. Ao contrário de modelos de difusão anteriores que empregavam canais de condicionamento distintos (por exemplo, atenção cruzada para texto, condicionamento fixo para imagens), esses modelos processam todas as modalidades através de blocos de Transformer de Difusão (DiT) compartilhados, sem camadas dedicadas de atenção cruzada para o condicionamento de referência.

Essa unificação arquitetural levanta uma questão fundamental sobre o fluxo de informação: Qual é o papel dos tokens de texto quando uma imagem de referência está presente? Eles permanecem como portadores passivos da instrução de edição ou absorvem e transportam ativamente informações visuais da imagem de referência para a imagem gerada? O artigo investiga como a informação de referência é roteada entre os tokens de texto, os tokens da imagem de referência e os tokens da imagem gerada dentro de um único fluxo de atenção.

Metodologia

Os autores empregam três técnicas de intervenção causal no fluxo de atenção multimodal do FLUX.2 para rastrear o fluxo de informação. Esses métodos operam nas ativações intermediárias das camadas do modelo.

1. T2I Lens: Este método decodifica as ativações intermediárias dos tokens de texto de uma edição de Imagem-para-Imagem (I2I) condicionada por referência. As ativações são inseridas (patched) nas incorporações (embeddings) de texto bruto de uma geração de Texto-para-Imagem (T2I) não condicionada separada (usando um prompt vazio). Se a imagem T2I resultante exibir propriedades da referência original, isso indica que os tokens de texto absorveram essa informação visual durante o passo de propagação direta (forward pass).
2. Attention Knockout (Anulação de Atenção): Esta técnica corta arestas de atenção específicas para isolar caminhos causais. Os autores bloqueiam a atenção dos tokens de referência para os tokens de texto ($KO_{ref \to text}$) ou dos tokens de referência para os tokens de imagem ($KO_{ref \to img}$). Ao observar quais propriedades da referência (ex: cor, estilo, identidade) deixam de aparecer no resultado quando um caminho específico é bloqueado, os autores determinam o roteamento necessário para cada propriedade.
3. I2I-to-I2I Patching: Este método testa a transferência causal copiando as ativações dos tokens de texto de uma edição I2I "fonte" (com uma referência específica) para uma edição I2I "alvo" (com uma referência diferente, mas a mesma instrução). Se o resultado alvo adotar propriedades da referência fonte, os tokens de texto são causalmente responsáveis por carregar essas propriedades.

A avaliação utiliza um Modelo de Visão-Linguagem (VLM), especificamente o Claude-Opus-4.7, como juiz para verificar a presença ou ausência de propriedades específicas (cor, estilo, identidade, cenário) nas imagens geradas ao longo de 2.875 tarefas de edição.

Principais Descobertas e Resultados

1. Vinculação Emergente Visão-Linguagem

O estudo revela uma vinculação implícita entre os tokens de texto e as imagens de referência. Os tokens de texto não apenas detêm a instrução; eles absorvem o conteúdo visual de referência durante o forward pass e influenciam causalmente o resultado final. No entanto, essa vinculação não é uniforme para todas as propriedades visuais.

2. Divisão de Trabalho: Propriedades Descritivas vs. Pixéis Exatos

Os autores identificam uma clara divisão em como diferentes propriedades de referência são roteadas:

• Propriedades Descritivas (Cor, Estilo, Cenário): Estas propriedades são primeiro escritas nos tokens de texto.
  • Evidência: Bloquear a atenção da referência para o texto ($KO_{ref \to text}$) destrói a transferência de cor e estilo, enquanto bloquear a referência para a imagem ($KO_{ref \to img}$) tem efeito mínimo.
  • Evidência: O patching de tokens de texto de uma fonte para um alvo transfere com sucesso cor e estilo.
  • Evidência: Os resultados do T2I Lens gerados a partir de tokens de texto com patching renderizam claramente a cor e o estilo da referência.
• Propriedades de Pixéis Exatos (Identidade, Instância Específica): Estas propriedades ignoram os tokens de texto e fluem diretamente da imagem de referência para a imagem gerada através da atenção de imagem-para-imagem.
  • Evidência: Bloquear a atenção de referência-para-texto tem pouco efeito na preservação da identidade, enquanto bloquear a atenção de referência-para-imagem a destrói.
  • Evidência: O patching de tokens de texto não transfere a identidade humana; o resultado alvo retém a identidade de sua própria imagem de referência.

3. Localização nos Tokens de Preenchimento (Padding Tokens)

A vinculação do conteúdo de referência aos tokens de texto é localizada especificamente nos tokens de preenchimento (padding) da sequência de texto, e não nos tokens de conteúdo que codificam a instrução de edição.

• O patching apenas dos tokens de preenchimento transfere cor e estilo a taxas quase idênticas ao patching de todos os tokens de texto.
• O patching apenas dos tokens de conteúdo (a instrução) falha em transferir as propriedades da referência.
• O T2I Lens aplicado apenas aos tokens de preenchimento reconstrói com sucesso o cenário da referência, enquanto o lensing de apenas conteúdo produz resultados vazios ou apenas da instrução.

4. Vinculação Específica por Camada

A absorção de conteúdo de referência nos tokens de texto ocorre em profundidades específicas na rede:

• Estilo e Cenário: A vinculação é estabelecida em torno do 8º bloco de fluxo duplo (double-stream block).
• Cor: A vinculação é estabelecida em torno do 10º bloco de fluxo único (single-stream block).
  Experimentos descartando os tokens de referência após essas camadas de vinculação confirmam que os tokens de texto podem carregar a informação adiante sem a entrada direta adicional da referência.

Significância e Alegações

O artigo afirma que, mesmo em modelos generativos multimodais de atenção unificada, a modalidade de tokens estrutura como a informação de condicionamento é representada e roteada. O fluxo de atenção compartilhado não apaga os papéis distintos dos tokens de texto e de imagem; em vez disso, o modelo naturalmente particiona o fluxo de informação com base na natureza do conteúdo:

• Tokens de texto atuam como um canal estruturado para atributos de alto nível descritíveis por linguagem (cor, estilo, cenário).
• Atenção de imagem-para-imagem lida com atributos de baixo nível e de pixéis exatos (identidade).

Esta descoberta sugere que os tokens de "preenchimento" (padding) na sequência de texto servem como um registro funcional para a vinculação visão-linguagem, um mecanismo que espelha os designs de dois encoders explícitos encontrados em outras arquiteturas (ex: Qwen-Image-Edit), onde um codificador visão-linguagem lida com a semântica e um VAE lida com a aparência. Os autores argumentam que esses resultados desafiam a visão de fluxos de atenção unificados como caixas pretas, revelando que o roteamento específico de modalidade emerge implicitamente dentro do objetivo de treinamento.

O trabalho fornece ferramentas de diagnóstico (T2I Lens, Attention Knockout, Patching) aplicáveis a qualquer modelo multimodal em contexto que misture tokens de texto e imagem, oferecendo um framework para entender e potencialmente otimizar como a informação de condicionamento é roteada em futuras arquiteturas generativas.