Attention Frequency Modulation: Training-Free Spectral Modulation of Diffusion Cross-Attention

Resumen Técnico: Modulación de Frecuencia de Atención (AFM)

1. El Problema

Los modelos de difusión latente (LDM) generan imágenes mediante un proceso iterativo de eliminación de ruido condicionado por texto. La atención cruzada (cross-attention) es el mecanismo principal que inyecta estas condiciones textuales en la red U-Net en múltiples resoluciones y pasos de tiempo.

Sin embargo, existen dos limitaciones críticas:

• Falta de caracterización dinámica: La evolución interna de la atención cruzada a lo largo de los pasos de eliminación de ruido (dinámicas espacio-temporales) está poco explorada. La mayoría de los análisis se centran en mapas de calor estáticos o puntuaciones de relevancia de tokens en momentos específicos, sin capturar la organización multiescala a lo largo de todo el proceso.
• Control limitado sin reentrenamiento: Las técnicas de control existentes (como ingeniería de prompts o ajuste de guías) a menudo actúan como heurísticas de usuario que entrelazan múltiples factores, sin ofrecer un mecanismo principista y transparente para controlar cuándo y cómo cambian los patrones internos del modelo. No existe una forma directa de manipular la competencia espacial de los tokens sin modificar los pesos del modelo.

2. Metodología

Los autores proponen un marco basado en el dominio de la frecuencia para analizar y editar la atención cruzada durante la inferencia.

A. Caracterización Espectral de la Atención

• Hipótesis: La atención cruzada exhibe una progresión espectral robusta de baja a alta frecuencia (de lo grueso a lo fino) a medida que avanza la eliminación de ruido.
• Mapas de Concentración: Para evitar la trivialidad de la suma de tokens (que siempre es 1 debido al softmax), los autores crean mapas de concentración "agnósticos al token". Calculan la media de las probabilidades de los Top-K tokens más atendidos en cada ubicación espacial del latente.
• Análisis de Fourier: Transforman estos mapas espaciales al dominio de la frecuencia mediante una Transformada de Fourier 2D. Analizan la energía radialmente binnada para obtener un "huella dactilar" tiempo-frecuencia.
• Hallazgo: Se observa una trayectoria consistente donde la energía de atención comienza concentrada en bajas frecuencias (estructura global) y se desplaza progresivamente hacia altas frecuencias (detalles finos) a lo largo del proceso de denoising.

B. Modulación de Frecuencia de Atención (AFM)
Se introduce AFM, una intervención de inferencia "plug-and-play" (sin reentrenamiento) que edita los logits de la atención cruzada (antes del softmax) en el dominio de Fourier.

• Operación en el espacio de Logits: En lugar de modificar los pesos de atención post-softmax (que son invariantes a sesgos escalares por fila), AFM opera sobre los logits pre-softmax $L_s$.
• Reponderación Espectral: Para cada token, el mapa de logits se trata como una señal espacial. Se aplica una FFT, y las bandas de frecuencia se reponderan:
  • Bajas Frecuencias (LF): Se atenúan o refuerzan según el progreso.
  • Altas Frecuencias (HF): Se ajustan de manera complementaria.
• Programación Temporal (Schedule): La intensidad de la modulación sigue una curva alineada con el progreso de denoising $u(s)$. Por ejemplo, se puede reducir la energía de alta frecuencia en las etapas tardías para evitar fragmentación excesiva.
• Gating por Entropía: Se utiliza la entropía media de los tokens como una señal de control adaptativo. La entropía no actúa como un eje de control independiente, sino como una "ganancia" que modula la fuerza de la edición basada en frecuencia. Si la entropía es alta (tokens dispersos), la intervención se ajusta; si es baja, se concentra.

3. Contribuciones Clave

1. Caracterización Espectral de la Atención: Demostración empírica de que la atención cruzada en modelos de difusión sigue una progresión espectral estable y monótona de lo grueso a lo fino, independientemente del prompt o la semilla aleatoria.
2. AFM (Modulación de Frecuencia de Atención): Propuesta de un método de control en tiempo de inferencia que edita los logits en el dominio de Fourier. Permite sesgar la competencia espacial de los tokens hacia patrones más gruesos o finos sin reentrenar el modelo ni editar el prompt.
3. Análisis de la Entropía: Clarificación de que la entropía de la atención actúa principalmente como un mecanismo de ganancia adaptativa para la edición basada en frecuencia, y no como un mecanismo de control ortogonal independiente.
4. Validación Empírica: Demostración de que AFM puede redistribuir el espectro de atención y producir ediciones visuales sustanciales manteniendo la alineación semántica.

4. Resultados

Los experimentos se realizaron principalmente en Stable Diffusion v1.5 y v1.4, comparando AFM con baselines como SAG y FreeU.

• Evidencia a Nivel de Atención:
  • AFM logra una reducción consistente en la relación de energía de alta frecuencia (HF ratio) en las etapas tardías de la atención del codificador, suprimiendo la fragmentación de alta frecuencia natural del modelo.
  • El cambio espectral es estadísticamente significativo y robusto ante variaciones en el umbral de frecuencia y el tamaño de la muestra.
• Control a Nivel de Imagen:
  • Desviación Perceptual (LPIPS): AFM induce desviaciones perceptuales significativas respecto a la línea base.
  • Estructura vs. Detalle: Mediante la descomposición de bandas (baja y alta frecuencia), se observa que AFM tiende a alterar más los componentes de alta frecuencia (texturas, detalles finos) que los de baja frecuencia (estructura global/layout). Esto sugiere que el método permite refinar o modificar detalles sin romper la composición general.
• Alineación Texto-Imagen (CLIP):
  • La similitud coseno de CLIP se mantiene estable y alta, indicando que AFM redistribuye cómo se manifiesta la condición sin colapsar la alineación semántica.
• Comparativa: AFM produce cambios visuales más sustanciales que SAG y FreeU en términos de desviación perceptual, ofreciendo un control más fino sobre la evolución espectral interna.

5. Significado e Impacto

• Interpretabilidad: El trabajo proporciona una nueva lente (dominio de la frecuencia) para entender la dinámica interna de los modelos de difusión, revelando que la generación sigue una evolución espectral predecible.
• Control sin Reentrenamiento: AFM ofrece un "perilla" interpretable para los usuarios finales. Permite controlar la escala espacial de los patrones de competencia de tokens (grueso vs. fino) directamente durante la inferencia, sin necesidad de datasets adicionales, optimización de prompts compleja o ajuste de parámetros del modelo (LoRA/ControlNet).
• Mecanismo de Acción: Aclara que la manipulación de la competencia de tokens en el espacio de logits (pre-softmax) tiene efectos no triviales en la estructura de la atención post-softmax, permitiendo guiar la generación hacia patrones espaciales específicos.
• Limitaciones: Los autores reconocen que las métricas de frecuencia se basan en mapas de concentración derivados de la atención y son proxies de la frecuencia de la imagen, no una medición directa del contenido de Fourier de la imagen final. Sin embargo, la correlación con cambios en los detalles de alta frecuencia de la imagen es fuerte.

En resumen, AFM representa un avance significativo en el control de modelos de difusión al traducir la dinámica temporal de la atención en un espacio de frecuencia manipulable, permitiendo ediciones visuales precisas y controladas de manera eficiente.