Resumo Técnico: TAG: Orientação Amplificadora Tangencial para Amostragem Resistente a Alucinações

1. Declaração do Problema

Os modelos de difusão alcançaram desempenho de última geração na geração de imagens, mas frequentemente sofrem com alucinações, definidas como inconsistências semânticas ou violações da distribuição de dados (por exemplo, impossibilidades anatômicas como dedos extras, ou objetos misturados). Pesquisas recentes sugerem que esses erros decorrem da interpolação de modos, onde as trajetórias de amostragem atravessam vales de baixa densidade entre modos distintos da distribuição de dados, levando a incompatibilidades de atributos e inconsistências estruturais.

Métodos existentes de orientação no tempo de inferência, como a Orientação Livre de Classificador (CFG) e suas variantes, geralmente dependem de escalonamento residual entre ramos condicionais e incondicionais. Embora eficazes, esses métodos são amplamente desconhecidos geometricamente; aplicam um único escalar de magnificação ao resíduo sem levar em conta a estrutura direcional local da distribuição de dados. Isso pode distorcer inadvertidamente a trajetória de remoção de ruído, causando deriva fora da variedade ou suavização excessiva. Além disso, muitas soluções existentes exigem sinais externos, modificações arquitetônicas ou avaliações adicionais de remoção de ruído, adicionando sobrecarga computacional significativa.

2. Metodologia: Orientação Amplificadora Tangencial (TAG)

Os autores propõem a Orientação Amplificadora Tangencial (TAG), um método de orientação livre de treinamento, agnóstico à arquitetura e plug-and-play que opera puramente sobre sinais de trajetória. A TAG fundamenta-se na decomposição geométrica do passo de atualização de amostragem.

Conceito Central

Baseando-se na identidade de Tweedie e no teorema do anel gaussiano, os autores observam que a região de alta probabilidade de uma distribuição corrompida reside em uma fina casca esférica (uma variedade de dados ruidosa, $M_k$). A atualização de amostragem pode ser decomposta em:

1. Componente Radial (Normal): Move o estado ao longo do raio, ditado pelo cronograma de ruído.
2. Componente Tangencial: Move o estado ao longo da variedade, preservando o raio enquanto refina a estrutura semântica.

Os autores hipotetizam que o componente tangencial carrega informações ricas de estrutura e semântica, enquanto o componente normal é em grande parte ruído não estruturado. Amplificar o componente tangencial direciona a trajetória para regiões de maior densidade da variedade de dados sem alterar a progressão radial.

Algoritmo

Dado um incremento de solucionador base $\Delta_{k+1}$ (por exemplo, de DDIM) no passo de tempo $k+1$:

1. Projeção: A atualização é decomposta usando projetores na direção radial ($P_{M_{k+1}}$) e na direção tangencial ortogonal ($P^\perp_{M_{k+1}}$) em relação ao estado atual $x_{k+1}$.
   • $P_{M_{k+1}} = \hat{x}_{k+1}\hat{x}_{k+1}^\top$
   • $P^\perp_{M_{k+1}} = I - P_{M_{k+1}}$
2. Amplificação: O componente tangencial é amplificado por um fator $\eta \ge 1$, enquanto o componente radial permanece inalterado.
   • $x_k \leftarrow x_{k+1} + P_{M_{k+1}}\Delta_{k+1} + \eta P^\perp_{M_{k+1}}\Delta_{k+1}$

Justificativa Teórica

O artigo fornece uma análise de Taylor de primeira ordem mostrando que a amplificação do componente tangencial aumenta monotonicamente o ganho de verossimilhança logarítmica de primeira ordem. Especificamente, o Teorema 4.1 prova que o aumento de $\eta$ direciona a trajetória de amostragem para regiões de maior densidade do modelo, reduzindo assim artefatos fora da variedade (alucinações) enquanto preserva a calibração radial necessária para a remoção de ruído adequada.

Extensão para CFG

Para a Orientação Livre de Classificador, os autores abordam a incoerência entre previsões condicionais e incondicionais. Eles propõem alinhar a previsão condicional com o resíduo tangencial (a diferença entre as pontuações condicionais e incondicionais projetadas no espaço tangente). Essa reconciliação reduz o descompasso que frequentemente degrada a qualidade da geração na CFG padrão.

3. Contribuições Principais

• Insight Geométrico: O artigo estabelece uma ligação concreta entre a geometria intrínseca da função de pontuação e a qualidade da amostra, provando que a amplificação dos componentes tangenciais direciona a amostragem para a variedade dentro da distribuição.
• Algoritmo TAG: Introdução de um algoritmo fundamentado teoricamente, computacionalmente leve e agnóstico à arquitetura que realiza esse princípio geométrico. Não requer retreinamento, avaliações adicionais de rede ou alterações arquitetônicas.
• Compatibilidade Plug-and-Play: A TAG foi projetada para integrar-se perfeitamente a solucionadores e métodos de orientação existentes (por exemplo, PAG, SEG, SSG) como um passo de pós-processamento no vetor de atualização.

4. Resultados Experimentais

Os autores avaliaram a TAG em várias bases de Stable Diffusion (v1.5, v2.1, XL, 3) e modelos modernos (Qwen-Image, Wan2.2 vídeo) usando o conjunto de dados COCO 2014 e T2I-CompBench.

• Melhorias Quantitativas:
  • Geração Incondicional: A TAG melhorou consistentemente o FID (por exemplo, SD v1.5: 58,41 $\to$ 46,20) e o CMMD em todas as bases, sem aumentar o número de avaliações de função (NFEs).
  • Geração Condicional: A TAG melhorou a fidelidade da amostra e o alinhamento com o prompt (ImageReward, CLIP-Score) em SD v1.5, v2.1, XL e 3.
  • Redução de Alucinações: No T2I-CompBench (subconjuntos Espacial e Complexo), a TAG melhorou as métricas de fidelidade composicional, indicando uma redução em alucinações estruturais (por exemplo, colocação incorreta de objetos ou relações) em vez de apenas mudanças de estilo perceptual.
  • Geração de Vídeo: Aplicada ao Wan2.2, a TAG melhorou o grau de dinâmica, a qualidade de imagem e a consistência temporal, reduzindo artefatos estruturais em cenas complexas.
• Eficiência:
  • A TAG adiciona sobrecarga computacional negligenciável (aproximadamente +9,4% de latência) em comparação com as bases, pois envolve apenas projeções vetoriais leves.
  • Em contraste, métodos como PAG (Orientação de Atenção Perturbada) quase duplicam a latência (+112,8%) devido a avaliações extras de UNet.
• Compatibilidade: Empilhar a TAG sobre métodos de orientação existentes (PAG, SEG, SSG) produziu melhorias adicionais no FID e nas pontuações de preferência humana, demonstrando sua ortogonalidade à orientação baseada em resíduos.

5. Significado e Alegações

O artigo alega que a TAG oferece uma visão geométrica das alucinações, identificando-as como uma falha em permanecer na variedade de dados durante a interpolação de modos. Ao isolar e amplificar o componente tangencial da atualização, a TAG corrige efetivamente a trajetória de amostragem em direção a regiões de alta densidade.

Os autores enfatizam que a TAG é um refinamento complementar e não um substituto para solucionadores existentes. Ela melhora a qualidade da amostra e reduz alucinações com custo computacional mínimo, tornando-a adequada para integração em pipelines existentes. O artigo nota modestamente que, embora a análise teórica estabeleça o ganho de verossimilhança local de primeira ordem, ela não caracteriza totalmente o comportamento da trajetória reversa ao longo de todo o processo de amostragem. Trabalhos futuros são sugeridos para explorar escalonamento adaptativo e estimativas de geometria de variedade local mais complexas.