Balancing Fidelity and Diversity in Diffusion Models via Symmetric Attention Decomposition: Hopfield Perspective

Resumen Técnico: Equilibrando Fidelidad y Diversidad en Modelos de Difusión mediante Descomposición Simétrica de la Atención

Enunciado del Problema
Los modelos de difusión se han convertido en el paradigma líder para la generación de imágenes, impulsados en gran medida por la capacidad del mecanismo de atención para integrar el contexto global y modelar dependencias de largo alcance. Sin embargo, esta conectividad global crea una compensación fundamental: mientras que mejora la novedad y la variedad, es propensa a causar una "mezcla espuria" de características incompatibles (por ejemplo, fusionar materiales entre objetos distintos). Distinguir entre la integración de contexto beneficiosa y la fuga semántica perjudicial no es trivial, ya que comparten el mismo mecanismo subyacente. Los análisis actuales a menudo tratan la atención meramente como un mecanismo de recuperación token a token, sin capturar las dinámicas de interacción ricas codificadas dentro de la propia matriz de atención. En consecuencia, existe una falta de métodos principistas para identificar cuándo la atención se asienta en "mezclas metastables" incoherentes y para controlar este comportamiento con el fin de navegar la compensación entre fidelidad y diversidad.

Metodología
Los autores proponen un marco que caracteriza la matriz de atención pre-softmax $QK^\top$ como una memoria asociativa dinámica que codifica asociaciones de características por pares. Basándose en la idea de que la autoatención de los transformadores aproxima la regla de actualización de una red de Hopfield moderna, el artículo descompone la matriz de atención en dos componentes distintos:

1. Componente Simétrico ($M_{sym}$): Representa el paisaje energético. Governa la estabilidad de las características recuperadas, donde una energía más baja corresponde a estados fuertemente respaldados por la memoria asociativa.
2. Componente Antisimétrico ($M_{skew}$): Representa la dinámica de circulación. Dado que las matrices antisimétricas contribuyen con energía cuadrática nula para estados de valor real, este componente actúa como una fuerza direccional que impulsa la circulación, perturbando potencialmente los estados metastables.

Basándose en esta descomposición, los autores derivan medidas de estabilidad al estilo de Hopfield para cuantificar la calidad de la recuperación:

• Energía ($E_X$): Una medida global de qué tan fuertemente un estado es respaldado por la interacción simétrica.
• Fracción de Inestabilidad ($r_X$): Una medida local que identifica la fracción de posiciones espaciales donde el campo local entra en conflicto con el estado actual.
• Puntuación de Alineación ($Align_X$): Una medida de similitud del coseno que cuantifica el acuerdo direccional global entre una característica recuperada y su campo local inducido.

Para controlar el proceso de generación, los autores proponen un mecanismo de intervención sin entrenamiento. Modulan el componente antisimétrico mediante un parámetro de control escalar $\alpha$ (escala de circulación) y mezclan la recuperación perturbada resultante con la recuperación de referencia utilizando un parámetro $\beta$. Esto permite la inyección de una "deriva impulsada por circulación" para romper las mezclas metastables sin alterar el paisaje energético subyacente. Además, introducen una variante de control adaptativo que modula la fuerza de inyección basándose en el índice de simetría funcional realizado ($\eta_M$) de la matriz de atención para cada muestra, evitando la sobre-perturbación de generaciones ya de alta calidad.

Contribuciones Clave

• Marco de Memoria Asociativa: El artículo establece un marco que codifica asociaciones de características por pares dentro de la matriz de atención, introduciendo una descomposición simétrica/antisimétrica que separa la estabilidad basada en energía de la deriva impulsada por circulación.
• Medidas de Estabilidad: Aprovechando el componente simétrico, los autores derivan medidas de estabilidad al estilo de Hopfield ($E_X$, $r_X$, $Align_X$) que cuantifican la estabilidad de las características. Demuestran una fuerte correlación entre estas medidas internas y las compensaciones externas entre fidelidad y diversidad.
• Controlador de Circulación Ajustable: Los autores proponen utilizar el componente antisimétrico como un control ajustable para la intervención en tiempo de prueba. Al inyectar deriva direccional, este método perturba las mezclas metastables para restaurar la coherencia estructural, ofreciendo un mecanismo para equilibrar la fidelidad y la diversidad.

Resultados
El método propuesto fue evaluado en SDXL utilizando 1.000 prompts de COCO2014. Los hallazgos clave incluyen:

• Correlación con la Calidad: Las medidas de estabilidad propuestas muestran correlaciones consistentes con métricas externas. Las puntuaciones de alineación altas ($Align_X$) se correlacionan con puntuaciones estéticas más altas y una diversidad LPIPS más baja (indicando coherencia estructural), mientras que una baja alineación se correlaciona con mayor diversidad pero con un aumento en la incoherencia estructural y artefactos.
• Efectos Dependientes del Régimen: La intervención exhibe un comportamiento dependiente del estado. En subconjuntos "Inestables" (de baja calidad), la inyección de circulación mejora significativamente las puntuaciones estéticas y ImageReward al romper mezclas espurias. Por el contrario, en subconjuntos "Estables" (de alta calidad), una circulación excesiva puede degradar las métricas al interrumpir estructuras coherentes.
• Control Adaptativo: Una variante adaptativa que modula la perturbación basándose en el índice de simetría realizado ($\eta_M$) de la muestra mitiga con éxito la degradación observada en muestras de alta calidad bajo perturbación estática y excesiva. Preserva las ganancias en muestras de baja calidad mientras mantiene el rendimiento en las de alta calidad.
• Comparación con el Templado Global: A diferencia del escalado de temperatura de atención global, que afila o atenúa las interacciones indiscriminadamente (a menudo creando artefactos como extremidades duplicadas), el control de circulación propuesto suprime selectivamente los artefactos de mezcla débilmente respaldados mientras preserva el soporte estructural dominante.

Significado y Afirmaciones
El artículo afirma ofrecer una lente principista para analizar la atención no meramente como un operador de mezcla de tokens, sino como una matriz de interacción con componentes distintos basados en energía e impulsados por circulación. Al reformular la mezcla espuria como un atrapamiento en estados metastables, el trabajo proporciona una herramienta de diagnóstico (medidas de estabilidad) y un mecanismo de control (modulación de circulación) para navegar la compensación entre fidelidad y diversidad. Los autores sugieren que esta perspectiva podría extenderse más allá de los modelos de difusión a otras arquitecturas de transformadores, como los grandes modelos de lenguaje, ofreciendo una nueva forma de estudiar las dinámicas de atención. El método se presenta como una intervención post-hoc sin entrenamiento que mejora la fiabilidad y la controlabilidad de los sistemas generativos al abordar la causa raíz de la fuga semántica en el mecanismo de atención.