Resumo Técnico: Diagnóstico e Correção de Omissão de Conceitos em Transformers de Difusão Multimodal

Declaração do Problema

Transformadores de Difusão Multimodal (MM-DiT), como FLUX e Stable Diffusion 3.5, alcançaram progresso significativo na geração de imagem a partir de texto (T2I). No entanto, eles frequentemente sofrem de omissão de conceitos, um modo de falha onde objetos específicos solicitados no prompt estão completamente ausentes na imagem gerada (omissão de objeto) ou onde suas propriedades visuais são ignoradas (negligência de atributos). Soluções existentes frequentemente exigem treinamento adicional do modelo ou incorrem em altos custos computacionais durante a inferência. Além disso, pesquisas anteriores de interpretabilidade focaram amplamente em embeddings visuais, deixando o papel dos embeddings de texto na detecção e correção dessas omissões subexplorado.

Metodologia

1. Diagnóstico via Sondagem Linear

Os autores hipotetizam que os embeddings de tokens de texto dentro do MM-DiT contêm informações sobre a presença ou ausência do conceito correspondente durante o processo de geração. Para verificar isso, eles empregam sondagem linear:

• Construção do Conjunto de Dados: Eles geram imagens usando prompts contendo dois objetos (baseado no GenEval). Eles rotulam as representações internas com base em se os objetos aparecem com sucesso na imagem final.
• Seleção de Representação: Eles focam nos vetores-chave ($k$) dos tokens de texto, pois sabe-se que estes influenciam fortemente a geração de imagem nas arquiteturas MM-DiT.
• Filtragem Temporal: Eles observam que o alinhamento entre as representações internas e os resultados finais da geração é pobre nos passos de tempo iniciais e tardios. Consequentemente, eles restringem sua análise a passos de tempo intermediários, onde o acordo entre as imagens limpas previstas ($\hat{x}_0$) e os rótulos finais é mais alto (0,965).
• Descobertas: Classificadores lineares treinados nessas representações intermediárias alcançam alta precisão (até 91,0%) em cabeças de atenção específicas, particularmente nas camadas intermediárias do modelo. Isso confirma que cabeças específicas codificam um distinto sinal de omissão que distingue entre a presença e a ausência de um conceito.

2. Intervenção de Sinal de Omissão (OSI)

Aproveitando o sinal de omissão identificado, os autores propõem a Intervenção de Sinal de Omissão (OSI), um método livre de treinamento durante a inferência para corrigir a omissão de conceitos:

• Extração de Direção: Eles calculam um vetor de direção de controle ($\delta$) representando a diferença entre os vetores-chave médios de conceitos omitidos ($y=0$) e conceitos presentes ($y=1$).
• Mecanismo de Intervenção: Durante a inferência, eles intervêm nos vetores-chave de tokens de conceito específicos adicionando uma versão escalonada deste vetor de direção:
  $$k^{(t,l,h)}_c \leftarrow k^{(t,l,h)}_c + \alpha \sigma^{(l,h)} \theta^{(l,h)}$$
  Onde $\theta$ é a direção normalizada, $\sigma$ é o desvio padrão das projeções e $\alpha$ é um hiperparâmetro que controla a intensidade.
• Estratégia de Alvo: Para minimizar perturbações não intencionais, a intervenção é aplicada apenas a:
  1. As top-K cabeças de atenção com a maior precisão de sondagem.
  2. Intervalos de tempo específicos (os passos iniciais do processo de geração, $t \in [t_{stop}, 1]$), onde a formação do conceito ocorre principalmente.

Contribuições Principais

1. Verificação Empírica: O artigo demonstra que tokens de texto no MM-DiT capturam informações relacionadas à omissão através da interação conjunta com tokens de imagem, especificamente dentro de certas cabeças de atenção em passos de tempo intermediários.
2. Método OSI: A introdução da Intervenção de Sinal de Omissão, que amplifica o "sinal de omissão" interno para tornar o modelo ciente de conceitos faltantes, catalisando assim sua geração sem retreinamento.
3. Validação Abrangente: O método é validado em duas categorias de benchmark (omissão de objeto e negligência de atributo) em dois modelos de última geração (FLUX.1-Dev e SD3.5-Medium), mostrando melhorias significativas sobre bases fortes como TACA e PLADIS.

Resultados Experimentais

• Omissão de Objeto: No conjunto de dados GenEval (2–6 objetos) e T2I-CompBench, o OSI supera significativamente as bases. Por exemplo, no FLUX com prompts de 6 objetos, o OSI alcança uma precisão de 0,40, comparado a 0,18 para o modelo base e 0,20 para TACA/PLADIS.
• Negligência de Atributo: O OSI melhora o desempenho em tarefas de vinculação de atributos (cor, forma, textura) em ambos os modelos. Notavelmente, aplicar a intervenção a tokens de atributo (além dos tokens de objeto) produz ganhos adicionais, sugerindo que o sinal se generaliza além dos tokens de objeto.
• Estudos de Ablação:
  • Direção: Reverter a direção ou usar vetores aleatórios degrada o desempenho ou produz ganhos marginais, confirmando o alinhamento semântico da direção aprendida.
  • Seleção de Cabeça: Intervir em cabeças de baixa precisão ou cabeças aleatórias não consegue igualar o desempenho de selecionar as top-K cabeças.
  • Especificidade do Token: Intervir apenas em tokens omitidos aumenta significativamente sua probabilidade e precisão de geração, enquanto intervir em tokens já presentes tem efeito negligenciável.
  • Hiperparâmetros: O método é robusto em uma faixa de coeficientes de escalonamento ($\alpha$) e contagens de cabeças ($K$), com configurações ótimas equilibrando alinhamento e qualidade de imagem (medida pelo MANIQA).

Significado e Alegações

O artigo alega que o OSI oferece uma nova perspectiva sobre o mecanismo de geração de imagem a partir de texto, identificando que o modelo possui uma consciência interna e detectável de conceitos faltantes. Ao amplificar esse sinal, o modelo pode ser direcionado a "alucinar" intencionalmente os elementos faltantes.

Os autores posicionam o OSI como uma solução livre de treinamento e computacionalmente eficiente que alivia a omissão de conceitos sem a necessidade de ajuste fino ou otimização complexa de restrições. Eles enfatizam que, embora o método melhore a controlabilidade, ele não introduz novo conhecimento no modelo, mas sim direciona representações existentes. O trabalho sugere que entender e manipular os "sinais de omissão" internos é um caminho viável para melhorar a fidelidade dos modelos de difusão multimodal.