Resumen Técnico: Despertando los Transformers de Difusión mediante la Modulación Masiva de Activaciones

1. Planteamiento del Problema

Los Transformers de Difusión (DiTs) se han convertido en la arquitectura dominante para la generación visual de alta calidad (por ejemplo, SD3, Flux, Wan) y se están reconvirtiendo cada vez más como extractores de características para tareas de comprensión visual densa (por ejemplo, correspondencia semántica, segmentación). Sin embargo, los componentes de activación interna que gobiernan estas capacidades duales siguen sin comprenderse suficientemente.

Un fenómeno específico y poco explorado en los DiTs es la presencia de Activaciones Masivas (MAs): activaciones ocultas con magnitudes significativamente mayores que el resto, concentradas en un pequeño subconjeno de dimensiones de características. Aunque las MAs han sido estudiadas en los Grandes Modelos de Lenguaje (conocimiento contextual) y en los Vision Transformers (semántica global/tokens de fondo), su papel en los DiTs es distinto. Los DiTs realizan una eliminación de ruido iterativa sobre una cuadrícula espacial donde cada token participa en la reconstrucción local. El artículo postula que la estructura y el papel funcional de las MAs en este contexto generativo denso no están totalmente caracterizados, lo que conduce a dos problemas específicos:

1. Generación: No está claro cómo las MAs influyen en la síntesis de detalles finos frente a la semántica global.
2. Comprensión: Cuando se utilizan como extractores de características, las direcciones de alta magnitud compartidas de las MAs a través de los tokens espaciales pueden sesgar las representaciones, causando que los descriptores locales se vuelvan excesivamente similares y debilitando la discriminación espacial para tareas de percepción densa.

2. Metodología: Elicitación de la Activación Masiva (EMA)

Los autores proponen EMA, un marco unificado y libre de entrenamiento que modula las MAs para mejorar tanto las capacidades generativas como las representacionales. El marco consta de dos módulos específicos para cada tarea:

A. Análisis de las Activaciones Masivas

Antes de proponer soluciones, el artículo establece las propiedades estructurales de las MAs en los DiTs:

• Distribución Espacial y Concentración de Canales: Las MAs se distribuyen en todos los tokens de imagen espaciales pero se concentran en un pequeño conjunto de dimensiones de características fijas (por ejemplo, la dimensión 810 en SD3).
• Alineación con AdaLN: Las dimensiones que albergan las MAs se alinean estrechamente con los factores de escala residual ($\alpha_k$) producidos por la Normalización de Capa Adaptativa (AdaLN).
• Modulación por Paso de Tiempo (Timestep): Las magnitudes de las MAs están determinadas principalmente por el paso de tiempo de eliminación de ruido (nivel de ruido) en lugar de las condiciones de texto. Aumentan a medida que el proceso pasa de pasos de tiempo de alto ruido a pasos de tiempo de bajo ruido.
• Dualidad Funcional:
  • Generación: La interrupción de las MAs degrada severamente los detalles finos (texturas, ojos, cabello) mientras preserva la semántica global (diseño, identidad del objeto).
  • Comprensión: La dirección compartida de alta magnitud de las MAs hace que las características puras de DiT sean espacialmente indistinguibles bajo similitud de coseno, dificultando el emparejamiento denso.

B. Módulo 1: Guía de Detalle (DG) impulsada por MA para la Generación

Para mejorar la generación visual, EMA introduce la Guía de Detalle (DG), una estrategia de auto-guía que construye una rama contrafactual "deficiente en detalles" para guiar el muestreo.

• Mecanismo: La DG suprime adaptativamente las dimensiones de las MAs identificadas en los estados ocultos de un bloque intermedio del DiT.
• Supresión Adaptativa: Dado que los detalles se forman principalmente en las etapas finales de eliminación de ruido, la supresión se aplica mediante un coeficiente de retención dependiente del paso de tiempo ($\rho_t$). Las MAs se preservan en las etapas tempranas (para la estructura global) y se atenúan fuertemente en las etapas tardías (para eliminar la síntesis de detalles).
• Formulación de la Guía: La predicción final se guía lejos de la rama deficiente en detalles:
  $$\hat{D}_\theta(z_t, c) = D_\theta(z_t, c) + w (D_\theta(z_t, c) - D_\theta(\hat{z}_t, c))$$
  donde $\hat{z}_t$ es el estado con las MAs suprimidas.
• Eficiencia y Flexibilidad:
  • Inferencia de Paso Adelante Parcial (Partial-Forward Inference): Dado que la rama contrafactual comparte la computación con la rama original hasta el bloque de intervención, la DG solo requiere recomputar el sufijo de la red, reduciendo la latencia en comparación con el CFG estándar.
  • DG Local: La supresión puede aplicarse solo a tokens espaciales específicos (por ejemplo, un cuadro delimitador), permitiendo el refinamiento dirigido de regiones con detalles débiles.
  • Compatibilidad: La DG es complementaria al Classifier-Free Guidance (CFG). Mientras que el CFG fortalece la alineación semántica, la DG mejora la fidelidad del detalle local.

C. Módulo 2: Extracción de Representación Modulada por MA (MREP) para la Comprensión

Para mejorar la comprensión visual densa, EMA introduce MREP, que mitiga el dominio direccional de las MAs preservando su útil estructura espacial.

• Modulación AdaLN: MREP reutiliza los pesos por canal de AdaLN preentrenados ($\gamma_k, \beta_k$) para modular los estados ocultos. Esto reduce el dominio de los canales de las MAs sin descartarlos.
• Normalización Espacial: Dado que los mapas espaciales de las MAs aún codifican patrones de respuesta significativos, MREP extrae estos mapas, los normaliza espacialmente para eliminar el sesgo de magnitud y los concatena con las características moduladas.
• Resultado: Esto produce representaciones que están menos dominadas por las direcciones globales de las MAs pero que retienen pistas espaciales informativas, mejorando la discriminabilidad para tareas densas.

3. Contribuciones Clave

1. Análisis Sistemático: El artículo proporciona el primer estudio sistemático de las MAs en DiTs, caracterizándolas como componentes distribuidos espacialmente, concentrados en canales, relacionados con AdaLN y modulados por el paso de tiempo.
2. Revelación del Rol Dual: Revela la naturaleza dual de las MAs: críticas para la síntesis de detalles finos en la generación, pero perjudiciales para la discriminación espacial en el aprendizaje de representaciones debido a las direcciones compartidas de alta magnitud.
3. Marco EMA: Introducción de un marco libre de entrenamiento con dos módulos:
   • DG: Mejora el detalle de la generación de imágenes/videos y permite el refinamiento local.
   • MREP: Mejora la comprensión visual densa (correspondencia, segmentación, profundidad) mediante la modulación de la extracción de características.
4. Herramienta Unificada: Demuestra que la modulación de las MAs sirve como un mecanismo unificado para extraer capacidades más fuertes de los DiTs preentrenados, tanto en tareas generativas como discriminativas.

4. Resultados Experimentales

Los autores evaluaron EMA en una amplia gama de modelos (SD3, SD3.5, Flux1/2, Wan1.3B/14B, DiT-XL/2) y tareas:

• Generación de Imágenes:
  • DG mejoró consistentemente la calidad del detalle fino (puntuaciones estéticas, HPSv2.1) en todos los modelos manteniendo la alineación con el prompt.
  • En SD3.5, DG mejoró las puntuaciones estéticas de 5.94 a 6.16 (Cond) y de 6.01 a 6.18 (CFG).
  • DG superó a otros métodos de guía (CFG++, APG, S2-Guidance) en métricas de calidad de detalle.
  • La combinación de DG con CFG logró el mejor rendimiento general, validando su naturaleza complementaria.
• Generación de Video:
  • Aplicado a los modelos Wan, DG mejoró la puntuación general, la calidad y la fidelidad de la apariencia. DG+CFG alcanzó las puntuaciones totales más altas en Wan14B.
• Generación Condicionada por Clase:
  • En ImageNet (DiT-XL/2), DG redujo el FID de 9.52 a 5.77 e incrementó el IS de 122.79 a 179.26 bajo condicionamiento de clase.
• Comprensión Visual:
  • Correspondencia Semántica: MREP mejoró significativamente las puntuaciones PCK en SPair-71k, AP-10K y PF-Pascal en comparación con las características puras de DiTF.
  • Segmentación Semántica: En ADE20K, MREP alcanzó un mIoU de 54.9 (escala única), superando a las características puras de DiTF (53.6) y compitiendo con bases sólidas.
  • Estimación de Profundidad: En NYUv2, MREP redujo el RMSE a 0.220 y el REL a 0.060, superando a las características puras y a otros modelos basados en difusión.
• Eficiencia:
  • La DG de paso adelante parcial redujo la latencia de inferencia (por ejemplo, de 15.7s a 10.6s en SD3.5) en comparación con la reevaluación completa de CFG, mejorando la calidad.
• Generalización:
  • DG fue efectivo en arquitecturas DiT no estándar (PixArt-$\alpha$, SANA) y en configuraciones condicionadas por clase, lo que indica que captura un mecanismo general en lugar de artefactos específicos de la arquitectura.

5. Significado y Reivindicaciones

El artículo afirma que las Activaciones Masivas no son valores atípicos numéricos incidentales, sino componentes estructurados y dependientes de la etapa que dan forma fundamental a cómo los DiTs procesan la información visual. Al tratar las MAs como una señal de modulación unificada, los autores demuestran que:

• Para la Generación: La supresión de las MAs crea una rama naturalmente "deficiente en detalles", lo que permite la extracción de una señal de guía que apunta específicamente a la síntesis de detalles finos sin alterar la semántica global.
• Para la Comprensión: El "ruido" introducido por las MAs en la percepción densa puede mitigarse mediante la modulación basada en AdaLN y la normalización espacial, convirtiendo las arquitecturas generativas en extractores de características más discriminativos.

Este trabajo establece la modulación de las MAs como una herramienta versátil y libre de entrenamiento para desbloquear el potencial latente de los DiTs preentrenados, mejorando tanto la fidelidad del contenido generado como la utilidad de sus representaciones internas para tareas de percepción descendentes. Los autores concluyen que este enfoque fomenta una mayor exploración de las estructuras de activación interna como señales controlables en los grandes modelos generativos visuales.