Resumo Técnico: Representação de Texto Intermediária Guiada para Geração de Texto-para-Imagem para Melhorar o Alinhamento One-and-Only

1. Definição do Problema

Modelos de difusão de texto-para-imagem (T2I) frequentemente falham em renderizar fielmente descrições textuais explícitas, particularmente quando essas descrições contradizem os vieses visuais fortemente aprendidos pelo modelo. Este fenômeno é denominado viés de associação de conceito (concept association bias). O viés é mais severo para entidades One-and-Only (OAO) — objetos que existem em uma única forma canônica (ex: a Terra, a Mona Lisa, a Torre Eiffel). Para essas entidades, a identidade visual enraizada do modelo frequentemente sobrepõe as instruções textuais explícitas (ex: falhar ao gerar uma "Terra cinza" ou uma "Mona Lisa de tricô").

Os autores hipotetizam que essa falha decorre das propriedades de teoria da informação dos codificadores de texto. Embora conceitos simples surjam nas camadas iniciais do codificador, o embedding de texto final (usado para condicionamento) descarta informações específicas de nível de conceito através de uma abstração excessiva. Consequentemente, a informação mútua entre o texto de entrada e o embedding final é menor do que a das representações ocultas intermediárias, levando à supressão de atributos específicos durante o processo de denoising.

2. Metodologia: Difusão Guiada por IR

O artigo propõe a difusão guiada por Representação de Texto Intermediária (IR), um método livre de treinamento e livre de otimização que recupera conceitos suprimidos ao injetar estados ocultos intermediários do codificador de texto no sinal de condicionamento.

2.1 Fundamentação Teórica

Usando uma perspectiva de teoria da informação, os autores formalizam o problema da omissão de conceitos. Eles demonstram que, para um prompt de texto $Y$ descrevendo um objeto $A$ com um atributo $b$, o latente gerado $x_t$ frequentemente contém informação negligenciável sobre $b$ uma vez que $A$ é contabilizado ($I(b; x_t | A) \approx 0$).
Ao analisar o codificador de texto como uma cadeia de Markov $Y \rightarrow c_h \rightarrow c_f$ (onde $c_h$ é uma representação intermediária e $c_f$ é o embedding final), eles aplicam a Desigualdade do Processamento de Dados (DPI). Isso prova que a informação mútua entre o texto de entrada e a representação intermediária é maior ou igual à do embedding final:
$$I(Y; c_h) \ge I(Y; c_f)$$
Os autores postulam que o condicionamento do processo de denoising em $c_h$ (ou uma combinação de $c_h$ e $c_f$) preserva a informação específica do atributo perdida em $c_f$.

2.2 Mecanismo de Injeção

O método constró a um embedding guiado por IR $\tilde{c}$ adicionando a representação intermediária ao embedding final:
$$\tilde{c} = c_f + \lambda c_h$$
onde $\lambda \in [0, 1]$ controla a força da injeção. Para garantir a compatibilidade, a representação intermediária $c_h$ passa pela normalização de camada final do codificador de texto para alinhar sua distribuição com $c_f$. Este embedding modificado $\tilde{c}$ é usado para calcular a função de score $\nabla_{x_t} \log p_\theta(x_t | \tilde{c})$.

A abordagem suporta tanto arquiteturas de codificador único (ex: Stable Diffusion 2.1) quanto arquiteturas de múltiplos codificadores (ex: Stable Diffusion 3.0) ao extrair estados intermediários de todos os codificadores, concatená-los e adicionar o resultado aos embeddings finais concatenados.

2.3 Escalonamento Adaptativo

Injetar representações intermediárias durante todo o processo de denoising pode introduzir artefatos. Os autores observam que modelos de difusão estabelecem a estrutura global nos passos iniciais e refinam detalhes nos passos posteriores. Portanto, eles utilizam um Escalonador Adaptativo para determinar o ponto de transição ideal $t^*$:

1. Passos Iniciais ($t > t^*$): O modelo é condicionado em $\tilde{c}$ (guiado por intermediário) para estabelecer a estrutura global e incorporar atributos suprimidos.
2. Passos Posteriores ($t \le t^*$): O modelo retorna ao embedding final padrão $c_f$ para o refinamento de detalhes.

O ponto de transição $t^*$ é determinado dinamicamente monitorando a aceleração estrutural $\Delta D_t$ da imagem limpa estimada $\hat{x}_{0|t}$. O escalonador interrompe a injeção quando as mudanças estruturais se estabilizam ($\Delta D_t \le 0$).

3. Principais Contribuições

1. Análise de Teoria da Informação: O artigo identifica que os embeddings de texto finais descartam informações de nível de conceito presentes nas camadas intermediárias, reduzendo a informação mútua disponível para o processo de denoising.
2. Difusão Guiada por IR: Um novo método, livre de treinamento, que injeta representações de texto intermediárias no sinal de condicionamento durante os estágios iniciais de denoising. Ele recupera conceitos suprimidos sem exigir modelos externos, conjuntos de conceitos predefinidos ou otimização adicional.
3. OAO-AttackBench: Um novo benchmark composto por 504 prompts contrafatuais projetados para atacar a identidade visual central de entidades OAO através de três categorias: objetos celestes, marcos geográficos e obras de arte. Este benchmark avalia sistematicamente o viés de associação de conceito.

4. Resultados Experimentais

O método foi avaliado em quatro benchmarks: OAO-AttackBench, Whoops (prompts que violam o senso comum), Gecko(R) e Gecko(S), utilizando Stable Diffusion 2.1 e 3.0.

• Alinhamento Texto-para-Imagem: A difusão guiada por IR alcançou uma melhoria de até 19,1 pontos percentuais no VQAScore no OAO-AttackBench em comparação com o baseline. Consistentemente superou o baseline e estratégias de pós-processamento alternativas (ex: normalização Média-Desvio Padrão, projeção ortogonal) na captura de atributos finos.
• Fidelidade e Preferência Humana: O método preservou a fidelidade de geração, com pontuações KID (Kernel Inception Distance) comparáveis ou melhores que o baseline. As pontuações de preferência humana (HPSv2 e HPSv2.1) também melhoraram, indicando que as imagens geradas não foram apenas mais fiéis ao prompt, mas também visualmente plausíveis.
• Generalização: Em datasets gerais como o Gecko, o método manteve desempenho comparável ao baseline, demonstrando que não degrada a qualidade para prompts padrão.
• Melhorias Qualitativas: O método conseguiu sobrepor vieses fortes (ex: gerar um "Saturno de vidro" ou uma "Terra de formato octogonal") enquanto preservava a identidade do objeto, enquanto os baselines frequentemente ignoravam o atributo ou falhavam em associá-lo ao objeto correto.

5. Significância e Alegações

O artigo afirma que a difusão guiada por IR aborda uma limitação fundamental nos modelos T2I atuais: a incapacidade de sobrepor vieses visuais profundamente enraizados para entidades OAO sem retreinamento. Ao aproveitar o "recurso interno não explorado" dos estados intermediários do codificador de texto, o método oferece uma solução prática em tempo de inferência que não requer treinamento adicional ou modelos externos.

Os autores enfatizam que sua abordagem é distinta de trabalhos anteriores que visam remover características ou introduzir diversidade; em vez disso, ela resolve o problema complementar de gerar conceitos explicitamente especificados que o modelo tipicamente suprime. A introdução do OAO-AttackBench fornece um protocolo rigoroso para avaliar e abordar o viés de associação de conceito em pesquisas futuras. O método é apresentado como uma estratégia robusta e adaptativa que melhora o alinhamento mantendo os altos padrões de geração de qualidade dos modelos de difusão de última geração.