Resumen Técnico: SEGA – Atención Guiada por Energía Espectral para Extrapolación de Resolución en Transformadores de Difusión

Declaración del Problema

Los Transformadores de Difusión (DiTs) se han consolidado como la arquitectura dominante para la generación de imágenes a partir de texto (T2I). Sin embargo, su rendimiento se degrada significativamente al generar imágenes en resoluciones más allá de su rango de entrenamiento (típicamente de 1024² a 2048²). La extrapolación a resoluciones más altas a menudo resulta en texturas borrosas, patrones repetitivos y colapsos estructurales.

Las soluciones existentes sin entrenamiento intentan mitigar esto modificando el comportamiento de la atención durante la inferencia, principalmente mediante la extrapolación de la Codificación Posicional Rotatoria (RoPE) combinada con un escalado de la atención. Los métodos actuales, como YaRN, aplican un escalado uniforme y agnóstico al contenido en todos los componentes de RoPE. Este enfoque trata a los componentes de longitud de onda corta (que gobiernan la textura de grano fino) de manera idéntica a los componentes de longitud de onda larga (que dan forma a la estructura global). El artículo argumenta que esta uniformidad estática induce un compromiso fundamental: las estrategias que preservan la estructura global a menudo fallan en recuperar los detalles finos, y viceversa. Además, la distribución espectral de la representación latente evoluciona dinámicamente durante el proceso de eliminación de ruido y varía entre diferentes contenidos de imagen, lo que hace que el escalado estático sea subóptimo.

Metodología: SEGA

Los autores introducen SEGA (Atención Guiada por Energía Espectral), un método sin entrenamiento que escala dinámicamente la atención en los componentes de RoPE basándose en la estructura de frecuencia espacial del latente en cada paso de eliminación de ruido.

Idea Central

SEGA se motiva por la observación de que los componentes de RoPE están acoplados a frecuencias espaciales específicas. En lugar de aplicar un factor de escalado fijo, SEGA deriva magnitudes de escalado por dimensión analizando la distribución de energía del latente intermedio actual.

Flujo de Trabajo Algorítmico

1. Análisis Espectral: En cada paso de eliminación de ruido, el latente intermedio $Z$ se transforma del dominio espacial al dominio de la frecuencia utilizando una Transformada Rápida de Fourier (FFT) 2D.

   • Perfiles por Eje: El espectro de potencia 2D se marginaliza sobre ejes ortogonales para obtener perfiles de energía 1D ($E_H, E_W$) para las frecuencias horizontales y verticales.
   • Perfil Radial: El espectro de potencia se promedia dentro de anillos concéntricos para obtener un perfil invariante a la rotación ($E_{iso}$) que representa la distribución de energía a través de las escalas espaciales.

2. Corrección por Dimensión ($s_d$):

   • Para cada dimensión $d$ de RoPE, se identifica la longitud de onda correspondiente para mapearla a una banda de frecuencia específica en el perfil por eje.
   • La energía logarítmica de esta banda se estandariza.
   • Se aplica una no linealidad (tanh) y el resultado se centra en cero para asegurar una redistribución estricta del escalado. Las dimensiones asociadas a bandas de baja energía reciben un escalado más fuerte para preservar la discriminación posicional, mientras que las bandas de alta energía reciben un escalado más débil para evitar la sobre-amplificación.

3. Factor de Amplitud Global ($\sigma$):

   • El perfil radial se reduce a un único escalar utilizando planitud espectral (entropía de Wiener).
   • Este factor controla la fuerza del escalado. Si el espectro del latente es plano (dominado por ruido), $\sigma \to 0$, suprimiendo la corrección. A medida que emerge el contenido estructural y el espectro se vuelve menos plano, $\sigma \to 1$, aplicando la corrección con fuerza total.

4. Fórmula de Escalado Final:
   El factor de escalado final $m_d$ para una dimensión $d$ se calcula como:
   $$m_d = m_{ref} \cdot (1 - \sigma \cdot s_d)$$
   Donde $m_{ref}$ es una escala de referencia determinada por la relación de resolución (utilizando una formulación de ley de potencias). Esto permite que SEGA se adapte continuamente al contenido espectral del latente, agudizando la atención en frecuencias sub-resueltas y suavizándola en las sobre-énfasis.

Contribuciones Clave

• Escalado Dinámico y Consciente del Contenido: A diferencia de los métodos de escalado uniforme anteriores, SEGA adapta el escalado de la atención a la estructura espectral específica del latente en cada paso de eliminación de ruido.
• Resolución del Compromiso Estructura-Detalle: Al diferenciar entre los componentes de RoPE basándose en sus bandas de frecuencia asociadas y niveles de energía, SEGA mejora simultáneamente la coherencia estructural global y la fidelidad de los detalles finos.
• Sin Entrenamiento y Agnóstico a la Arquitectura: El método no requiere ajuste fino, ni parámetros aprendibles, ni cambios arquitectónicos. Se integra directamente en tuberías estándar basadas en RoPE (demostrado en Flux y Qwen).
• Rendimiento Superior en Resoluciones Ultra Altas: SEGA permite una generación estable en resoluciones que superan los 36 millones de píxeles (por ejemplo, 6144²), un régimen donde otros métodos a menudo fallan completamente.

Resultados Experimentales

Los autores evaluaron SEGA en las arquitecturas Flux y Qwen en múltiples configuraciones de alta resolución (hasta 6144²) utilizando el conjunto de datos Aesthetic-4K y un benchmark personalizado de cero disparos.

• Rendimiento Cuantitativo: SEGA superó consistentemente a las líneas base del estado del arte (incluyendo NTK, YaRN, DyPE, UltraImage y métodos de guía multi-etapa como HiFlow e I-Max) en todas las métricas: ImageReward (IR), PickScore (PS), Puntuación CLIP (CS), MUSIQ (MSQ) y FID. Cabe destacar que, en 4096², SEGA logró las mejores puntuaciones en todas las métricas evaluadas.
• Mejoras Cualitativas: Las comparaciones visuales demostraron que SEGA previene eficazmente modos de fallo comunes como artefactos de mosaico repetitivos, colapso estructural y pérdida de claridad semántica. Preserva geometrías complejas y texturas finas (por ejemplo, pelaje, detalles de tela) que otros métodos difuminan o distorsionan.
• Robustez: El método mantuvo la estabilidad a través de relaciones de aspecto no cuadradas y factores de extrapolación extremos (hasta 36 veces el área de entrenamiento), mientras que los métodos competidores mostraron una degradación significativa del rendimiento a medida que aumentaba la resolución.

Significado y Afirmaciones

El artículo afirma que SEGA representa una solución mínima pero efectiva para desbloquear las capacidades de generación de alta resolución de los DiTs preentrenados. Al pasar de un escalado estático basado en heurísticas a un enfoque dinámico guiado por la energía espectral, los autores abordan una limitación fundamental en las estrategias actuales de extrapolación.

Los autores enfatizan que su trabajo proporciona una "perspectiva espectral" sobre el escalado de la atención, revelando un acoplamiento entre las dimensiones de RoPE y las frecuencias espaciales que puede ser explotado para guiar la adaptación durante la inferencia. Posicionan a SEGA no como un reemplazo de los enfoques basados en entrenamiento, sino como una mejora potente, lista para usar, que permite a los modelos existentes generalizar mucho más allá de sus resoluciones nativas de entrenamiento, sin el costo computacional de reentrenar ni la complejidad de tuberías multi-etapa. El método se presenta como un paso hacia una mejor comprensión y control del comportamiento de los mecanismos de atención en tareas de extrapolación de resolución.