Steering Video Diffusion Transformers with Massive Activations

Resumen Técnico: STAS (Structured Activation Steering)

1. El Problema

A pesar del rápido avance en los modelos de generación de video basados en Diffusion Transformers (DiT), existe una brecha significativa en la comprensión de cómo aprovechar las señales internas del modelo para mejorar la calidad de la generación sin incurrir en costos computacionales adicionales o requerir reentrenamiento.

• Limitaciones actuales: Los métodos existentes para mejorar la coherencia temporal y la calidad del video suelen implicar:
  • Objetivos de entrenamiento costosos o sesgos inductivos.
  • Optimización post-entrenamiento (alineación).
  • Heurísticas en tiempo de inferencia que requieren modelos auxiliares o múltiples pasadas forward, lo que aumenta drásticamente el costo computacional.
• La oportunidad: Se desconoce cómo utilizar las señales internas del modelo durante el muestreo (inferencia) de manera eficiente y gratuita (training-free).

2. Observaciones Clave: Activaciones Masivas (MAs)

Los autores investigan un fenómeno específico en los DiT de video llamado Activaciones Masivas (MAs): picos raros de alto magnitud en estados ocultos donde una pequeña fracción de dimensiones de características supera en más de 50 veces el valor medio de activación.

A diferencia de los DiT de imágenes, los DiT de video exhiben una estructura posicional única en la distribución de estas MAs:

1. Dominio del Primer Frame: Los tokens correspondientes al primer frame latente muestran consistentemente las magnitudes de MA más grandes de toda la secuencia. Esto sugiere que actúan como "anclas temporales globales".
2. Patrón Periódico en Límites: Las dimensiones de MA presentan picos recurrentes en las posiciones de los tokens alineados con los límites de los fragmentos temporales (latent-frame boundaries). Esto corresponde a las transiciones entre bloques comprimidos temporalmente por el VAE.
3. Decaimiento Temporal: Esta estructura es más pronunciada en las etapas iniciales del proceso de eliminación de ruido (denoising) y se atenúa a medida que avanza la generación.

3. Metodología: STAS (Structured Activation Steering)

Basándose en las observaciones anteriores, los autores proponen STAS, un método de auto-guía (self-guidance) que no requiere entrenamiento. La estrategia consiste en dirigir selectivamente los valores de las MAs en posiciones token estructuralmente significativas hacia una magnitud de referencia global escalada.

Componentes del algoritmo:

• Qué dirigir (Dimensiones M): Se seleccionan las dimensiones específicas de las Activaciones Masivas (ej. dimensión 1188 en Wan2.1).
• Dónde dirigir (Tokens S): Se aplica únicamente a:
  • Tokens del primer frame latente ($\mathcal{F}_0$).
  • Tokens en los límites de los fragmentos latentes (cabeza y cola del $p\%$ de cada bloque temporal, $\mathcal{B}(p)$).
• Cuándo dirigir (Tiempos $t$): Se aplica solo durante los primeros pasos de eliminación de ruido ($t \geq t_K$), cuando la señal de los límites es más fuerte.
• Cómo dirigir (Regla $g$): Se utiliza una regla de amplificación basada en el máximo global. Para cada dimensión $d$ en el paso $t$, se calcula el valor máximo absoluto de esa dimensión en todos los tokens ($\max_j |D_{\theta, m, j, d}|$) y se fuerza a los tokens seleccionados a alcanzar una fracción ($\alpha$) de ese máximo, preservando el signo original.

Fórmula de actualización:
$$\hat{D}_{\theta, m, i, d} = D_{\theta, m, i, d} + \mathbb{1}[t \geq t_K] \cdot \mathbb{1}[i \in \mathcal{S}] \cdot \mathbb{1}[d \in \mathcal{M}] \cdot (g(i,d) - D_{\theta, m, i, d})$$

Donde $g(i,d) = \alpha \cdot \max_j |D_{\theta, m, j, d}| \cdot \text{sign}(D_{\theta, m, i, d})$.

Ventaja computacional: STAS se ejecuta en una sola pasada forward, modificando in-place un subconjunto pequeño de la matriz de activaciones, lo que introduce un sobrecosto computacional negligible (< 0.1%).

4. Resultados y Evaluación

El método se evaluó en tres modelos de texto-a-video de vanguardia: Wan2.1-1.3B, Wan2.2-5B y CogVideoX-5B.

• Mejora en Coherencia Temporal:
  • STAS reduce significativamente las discontinuidades visuales en las transiciones entre fragmentos latentes (cross-chunk transitions).
  • Se observan mejoras en las métricas de similitud (DINO y CLIP) entre frames consecutivos, especialmente en los límites de los bloques temporales.
• Calidad Visual y Estética:
  • Mejora la fidelidad del primer frame y la consistencia de los objetos y atributos a lo largo del tiempo (evaluado en T2V-CompBench).
  • Incrementa las puntuaciones agregadas de VBench (calidad estética, calidad de imagen y consistencia de sujeto/fondo) en todos los modelos probados.
• Eficiencia:
  • El tiempo de inferencia aumenta en menos de 0.1 segundos por video (ej. de 234.47s a 234.53s en Wan2.1), confirmando su naturaleza de bajo costo.
• Combinabilidad:
  • STAS es ortogonal y complementario a otros métodos training-free como FlowMo y CFG-Zero, logrando mejoras adicionales cuando se combinan.
• Estudio de Usuario:
  • En una prueba de preferencia humana, los videos generados con STAS fueron preferidos sobre la línea base en un 55-58% de los casos.

5. Contribuciones Clave

1. Análisis Sistemático: Primer estudio que revela la jerarquía posicional estructurada de las Activaciones Masivas en DiTs de video (picos en el primer frame y en los límites temporales).
2. Método Training-Free: Propuesta de STAS, una técnica que explota esta estructura para mejorar la coherencia temporal y la calidad sin modificar parámetros del modelo ni añadir pasos de inferencia costosos.
3. Validación Empírica: Demostración consistente de mejoras en múltiples arquitecturas y escalas, con sobrecostos computacionales insignificantes.

6. Significado e Impacto

Este trabajo es significativo porque demuestra que los modelos de difusión de video modernos poseen señales internas ricas y estructuradas (MAs) que codifican información crítica sobre la coherencia temporal y la anclaje visual. Al aprender a "escuchar" y amplificar estas señales específicas en los momentos y lugares correctos, es posible mejorar drásticamente la calidad de salida de manera eficiente.

STAS ofrece una solución práctica y escalable para uno de los problemas más persistentes en la generación de video: la incoherencia temporal y los artefactos en las transiciones, sin requerir recursos de entrenamiento masivos. Esto posiciona a STAS como un componente esencial ("plug-in") para futuras implementaciones de generación de video de alta fidelidad.