Resumo Técnico: ELDiff

Definição do Problema

Na difusão de texto para imagem (T2I) com múltiplos objetos, garantir a consistência semântica entre os prompts textuais e o conteúdo visual gerado é crítico. Embora modelos de difusão supervisionados por tokens (ex: TokenCompose) tenham melhorado isso ao aprender a consistência objeto-a-objeto entre o conteúdo da imagem e mapas de segmentação, eles enfrentam duas limitações primárias:

1. Viés do Mapa de Segmentação: Mapas de segmentação baseados em ferramentas como SAM nem sempre são confiáveis. Forçar a consistência diretamente com esses mapas faz com que os modelos sofram overfitting em regiões espúrias ou incorretas.
2. Conflito de Sobreposição Semântica: Quando múltiplos objetos em um prompt correspondem a regiões espaciais sobrepostas (ex: um "gato sobre uma cadeira"), otimizar a consistência para cada token substantivo de forma independente cria gradientes contraditórios. Isso leva à competição semântica e à degradação da qualidade da imagem.

Métodos existentes carecem de mecanismos para lidar com a incerteza dos rótulos de segmentação ou para quantificar e resolver explicitamente conflitos entre conceitos semânticos sobrepostos.

Metodologia

Os autores propõem o ELDiff, uma estratégia de ajuste fino (fine-tuning) de ponta a ponta que integra Aprendizado Profundo Evidencial (EDL) e a Teoria de Dempster-Shafer (DST) ao pipeline de difusão T2I. A abordagem introduz duas novas funções de perda para abordar os problemas identificados sem exigir manipulações adicionais durante a inferência.

1. Perda de Evidência de Pixel ($L_{PixEvi}$)

Para mitigar o viés do mapa de segmentação, o ELDiff trata os mapas de atenção cruzada (cross-attention) dos tokens substantivos como distribuições de evidência, em vez de previsões determinísticas.

• Mecanismo: O mapa de atenção cruzada é alimentado em uma rede de evidência para gerar valores de evidência ($e$), que parametrizam uma distribuição de Dirichlet.
• Métrica de Incerteza: Usando a Lógica Subjetiva, o modelo deriva uma massa de crença ($b$) e um valor de incerteza ($u$) para cada pixel. Uma incerteza alta indica rótulos não confiáveis (ex: segmentação enviesada).
• Função de Perda: A perda combina um termo de entropia cruzada ($L_{ce}$), uma entropia cruzada evidencial ($L_{ice}$) e uma divergência de Kullback-Leibler ($L_{KL}$). Ao otimizar a previsão esperada sob a distribuição de Dirichlet, o modelo aprende a manter a cautela quando a incerteza é alta, evitando o overfitting a máscaras de segmentação incorretas.

2. Perda de Conflito de Token ($L_{TokCon}$)

Para resolver conflitos de sobreposição semântica, o ELDiff agrega evidências de diferentes tokens substantivos usando a Teoria da Evidência de Dempster-Shafer.

• Mecanismo: Os mapas de atenção cruzada de diferentes substantivos são tratados como peças distintas de evidência. O modelo calcula um coeficiente de conflito ($K$) em regiões sobrepostas usando a regra de combinação DST.
• Função de Perda: A perda total consiste em:
  • Consistência intra-objeto ($L_{intra}$): Incentiva os mapas de atenção a focarem em seus alvos regionais.
  • Conflito inter-objeto ($L_{inter}$): Penaliza ativações conflitantes em áreas sobrepostas com base no coeficiente de conflito calculado.
• Objetivo: Isso permite que o modelo ajuste adaptativamente a distribuição espacial dos mapas de atenção, desacoplando efetivamente conceitos semanticamente sobrepostos.

O objetivo final de treinamento combina a perda de difusão padrão ($L_{LDM}$) com as perdas propostas:
$$L_{ELDiff} = L_{LDM} + L_{PixEvi} + L_{TokCon}$$

Principais Contribuições

• Formulação do Problema: O artigo identifica e formula explicitamente os problemas de viés de mapa de segmentação e conflito de sobreposição semântica nas restrições de consistência objeto-a-objeto para difusão T2I.
• Framework ELDiff: Um novo pipeline de ajuste fino que se integra perfeitamente aos modelos de difusão T2I existentes (ex: Stable Diffusion v1.4, v2.1, v3.5, SDXL e Qwen-Image).
• Perda de Evidência de Pixel: Uma nova perda que restringe a excessiva confiança em rótulos não confiáveis ao modelar mapas de atenção cruzada como distribuições de Dirichlet e utilizar estimativa de incerteza ao nível do pixel.
• Perda de Conflito de Token: Um mecanismo para enfraquecer conflitos de sobreposição semântica tratando tokens substantivos como evidências e usando DST para medir e otimizar um fator de conflito.
• Eficiência: O método melhora a composição de múltiplos objetos sem incorrer em custos adicionais de tempo de inferência ou exigir manipulações extras durante a geração.

Resultados Experimentais

Experimentos extensos demonstram que o ELDiff supera os modelos de difusão T2I existentes, tanto de treinamento quanto livres de treinamento (training-free), em múltiplos backbones e benchmarks:

• Composição de Instância de Múltiplas Categorias: No Stable Diffusion v1.4, o ELDiff alcança uma Acurácia de Objeto (OA) de estado da arte de 0.5563, superando o TokenCompose (0.5215). Também mostra melhorias significativas nas métricas MG2-MG5.
• Fotorrealismo e Consistência: O ELDiff alcança pontuações FID mais baixas (19.25 no COCO, 55.13 no Flickr) e pontuações CLIP mais altas em comparação com os baselines, indicando melhor qualidade de imagem e alinhamento texto-imagem.
• Generalização: O método demonstra forte generalização ao ser aplicado ao SD v2.1, SD v3.5 e ao backbone mais forte Qwen-Image, superando consistentemente outras estratégias de ajuste fino (ex: CoMat, IterComp, TokenCompose) nos benchmarks T2I-CompBench e GenEval.
• Eficiência: O método mantém a latência de inferência comparável aos modelos base (ex: ~7.5s para 50 passos de DDIM), ao contrário de outros métodos que exigem tempos de inferência mais longos.
• Estudo de Usuário: Em avaliações no SD v2.1 e v3.5, o ELDiff recebeu as maiores taxas de preferência para realismo de imagem, composicionalidade e qualidade geral de avaliadores humanos.

Significância e Alegações

O artigo afirma que o ELDiff fornece uma solução robusta para a composição de múltiplos objetos ao alavancar métricas de incerteza e detecção de conflitos. Ao abordar a falta de confiabilidade inerente dos mapas de segmentação e as contradições decorrentes de sobreposições semânticas, o ELDiff aumenta a tolerância a falhas do processo de difusão. Os autores enfatizam que sua abordagem oferece uma integração contínua em pipelines de treinamento existentes, melhorando a qualidade de geração para cenas complexas sem o overhead computacional de etapas de inferência adicionais. Embora o método mostre desempenho superior na composição de objetos, os autores reconhecem modestamente que o vínculo de atributos (ex: cores ou texturas específicas) continua sendo uma área para melhorias futuras.