Balancing Fidelity and Diversity in Diffusion Models via Symmetric Attention Decomposition: Hopfield Perspective

Resumo Técnico: Equilibrando Fidelidade e Diversidade em Modelos de Difusão via Decomposição Simétrica da Atenção

Declaração do Problema
Os modelos de difusão tornaram-se o paradigma líder para geração de imagens, impulsionados em grande parte pela capacidade do mecanismo de atenção de integrar contexto global e modelar dependências de longo alcance. No entanto, essa conectividade global cria um compromisso fundamental: embora aprimore a novidade e a variedade, tende a causar "mistura espúria" de características incompatíveis (por exemplo, fundir materiais entre objetos distintos). Distinguir entre integração de contexto benéfica e vazamento semântico prejudicial não é trivial, pois compartilham o mesmo mecanismo subjacente. As análises atuais frequentemente tratam a atenção meramente como um mecanismo de recuperação token a token, falhando em capturar as dinâmicas ricas de interação codificadas dentro da própria matriz de atenção. Consequentemente, há uma falta de métodos principistas para identificar quando a atenção se estabelece em "misturas metastáveis" incoerentes e para controlar esse comportamento a fim de navegar no compromisso fidelidade–diversidade.

Metodologia
Os autores propõem um framework que caracteriza a matriz de atenção pré-softmax $QK^\top$ como uma memória associativa dinâmica que codifica associações de características em pares. Baseando-se na ideia de que a autoatenção de transformadores aproxima a regra de atualização de uma rede Hopfield moderna, o artigo decompõe a matriz de atenção em dois componentes distintos:

1. Componente Simétrico ($M_{sym}$): Representa a paisagem energética. Governa a estabilidade das características recuperadas, onde menor energia corresponde a estados fortemente apoiados pela memória associativa.
2. Componente Antissimétrico ($M_{skew}$): Representa dinâmicas de circulação. Como matrizes antissimétricas contribuem com energia quadrática zero para estados de valor real, este componente atua como uma força direcional que impulsiona a circulação, potencialmente perturbando estados metastáveis.

Com base nessa decomposição, os autores derivam medidas de estabilidade estilo Hopfield para quantificar a qualidade da recuperação:

• Energia ($E_X$): Uma medida global de quão fortemente um estado é apoiado pela interação simétrica.
• Fração de Instabilidade ($r_X$): Uma medida local que identifica a fração de posições espaciais onde o campo local conflita com o estado atual.
• Pontuação de Alinhamento ($Align_X$): Uma medida de similaridade de cosseno que quantifica o acordo direcional global entre uma característica recuperada e seu campo local induzido.

Para controlar o processo de geração, os autores propõem um mecanismo de intervenção sem treinamento. Eles modulam o componente antissimétrico via um parâmetro de controle escalar $\alpha$ (escala de circulação) e misturam a recuperação perturbada resultante com a recuperação de linha de base usando um parâmetro $\beta$. Isso permite a injeção de "deriva impulsionada por circulação" para quebrar misturas metastáveis sem alterar a paisagem energética subjacente. Além disso, introduzem uma variante de controle adaptativo que modula a força de injeção com base no índice de simetria funcional realizado ($\eta_M$) da matriz de atenção para cada amostra, prevenindo a super-perturbação de gerações já de alta qualidade.

Principais Contribuições

• Framework de Memória Associativa: O artigo estabelece um framework que codifica associações de características em pares dentro da matriz de atenção, introduzindo uma decomposição simétrica/antissimétrica que desentrelaça a estabilidade baseada em energia da deriva impulsionada por circulação.
• Medidas de Estabilidade: Aproveitando o componente simétrico, os autores derivam medidas de estabilidade estilo Hopfield ($E_X$, $r_X$, $Align_X$) que quantificam a estabilidade das características. Eles demonstram uma forte correlação entre essas medidas internas e os compromissos externos fidelidade–diversidade.
• Controle de Circulação Ajustável: Os autores propõem o uso do componente antissimétrico como um controle ajustável para intervenção no momento do teste. Ao injetar deriva direcional, este método perturba misturas metastáveis para restaurar a coerência estrutural, oferecendo um mecanismo para equilibrar fidelidade e diversidade.

Resultados
O método proposto foi avaliado no SDXL usando 1.000 prompts do COCO2014. As principais descobertas incluem:

• Correlação com Qualidade: As medidas de estabilidade propostas mostram correlações consistentes com métricas externas. Altas pontuações de alinhamento ($Align_X$) correlacionam-se com maiores Pontuações Estéticas e menor diversidade LPIPS (indicando coerência estrutural), enquanto baixo alinhamento correlaciona-se com maior diversidade, mas com aumento de incoerência estrutural e artefatos.
• Efeitos Dependentes do Regime: A intervenção exibe comportamento dependente do estado. Em subconjuntos "Instáveis" (baixa qualidade), a injeção de circulação melhora significativamente as pontuações estéticas e o ImageReward ao quebrar misturas espúrias. Por outro lado, em subconjuntos "Estáveis" (alta qualidade), circulação excessiva pode degradar as métricas ao perturbar estruturas coerentes.
• Controle Adaptativo: Uma variante adaptativa que modula a perturbação com base no índice de simetria realizado da amostra ($\eta_M$) mitiga com sucesso a degradação observada em amostras de alta qualidade sob perturbação excessiva estática. Preserva os ganhos em amostras de baixa qualidade enquanto mantém o desempenho em amostras de alta qualidade.
• Comparação com Temperamento Global: Diferentemente da escala de temperatura de atenção global, que afina ou amortecia interações indiscriminadamente (criando frequentemente artefatos como membros duplicados), o controle de circulação proposto suprime seletivamente artefatos de mistura fracamente apoiados, preservando o suporte estrutural dominante.

Significado e Alegações
O artigo alega oferecer uma lente principista para analisar a atenção não meramente como um operador de mistura de tokens, mas como uma matriz de interação com componentes distintos apoiados por energia e impulsionados por circulação. Ao reenquadrar a mistura espúria como aprisionamento em estados metastáveis, o trabalho fornece uma ferramenta de diagnóstico (medidas de estabilidade) e um mecanismo de controle (modulação de circulação) para navegar no compromisso fidelidade–diversidade. Os autores sugerem que essa perspectiva pode se estender além dos modelos de difusão para outras arquiteturas de transformadores, como modelos de linguagem de grande escala, oferecendo uma nova maneira de estudar as dinâmicas de atenção. O método é apresentado como uma intervenção pós-hoc sem treinamento que melhora a confiabilidade e a controlabilidade de sistemas generativos ao abordar a causa raiz do vazamento semântico no mecanismo de atenção.