DynamicRad: Content-Adaptive Sparse Attention for Long Video Diffusion

1. El Problema

Los generadores de video basados en difusión han logrado una alta fidelidad visual y coherencia temporal, pero escalarlos a horizontes temporales largos y resoluciones altas sigue siendo un desafío crítico. La razón principal es que el mecanismo de auto-atención crece cuadráticamente ($O(N^2)$) con respecto al número de tokens espaciotemporales, convirtiéndose en un cuello de botella tanto computacional como de ancho de banda de memoria.

Las soluciones existentes presentan limitaciones:

• Patrones estáticos: Son amigables con el hardware pero rígidos, perdiendo información crítica de largo alcance en dinámicas complejas.
• Esparsificación dinámica: Es adaptable pero a menudo introduce sobrecarga de inferencia en línea o inestabilidad en videos largos.
• Pérdida de información: Las máscaras estáticas puras fallan bajo movimiento complejo, mientras que los esquemas dinámicos completos pueden ser costosos.

2. Metodología: DynamicRad

Los autores proponen DynamicRad, un paradigma unificado de atención dispersa que combina la eficiencia de la estructura con la adaptabilidad al contenido. Se basa en la premisa de que la energía de la atención en la difusión de video decae naturalmente con la distancia espacial y temporal, pero requiere una selección adaptativa para preservar dependencias de largo alcance cuando es necesario.

Componentes Clave:

1. Estrategia de Doble Modo:

   • Modo Static-Ratio (Prioridad de Velocidad): Selecciona tokens basándose en una proporción fija de retención determinada por la distancia temporal. Ideal para despliegues optimizados para el rendimiento (throughput).
   • Modo Dynamic-Threshold (Prioridad de Calidad): Utiliza los logits de atención (antes del softmax) como proxies de importancia para filtrar tokens dinámicamente. Preserva pares de tokens de largo alcance si su puntuación supera un umbral, manteniendo la fidelidad en secuencias complejas.

2. Particionamiento de Vecindad Radial y Parámetros:

   • Define una ventana radial logarítmica que decae exponencialmente con la distancia temporal.
   • Introduce un factor de "largo alcance" ($\lambda$) para capturar dependencias periódicas (ej. movimiento repetitivo).
   • Utiliza un conjunto de candidatos compartido y una lógica de agregación por bloques compatible con kernels de hardware (FlashAttention).

3. Optimización Bayesiana Offline (BO) y Router Semántico:

   • Sin búsqueda en línea: Para evitar la sobrecarga de buscar parámetros óptimos durante la inferencia, el sistema utiliza una tubería de Optimización Bayesiana (BO) offline.
   • Tarea Proxy: La BO optimiza el error de reconstrucción (MSE) de la atención en una tarea proxy basada en física (simulación de deriva de características) en lugar de generar videos completos, convergiendo en minutos.
   • Semantic Motion Router: Un módulo ligero (MLP) que mapea las incrustaciones del prompt de texto a un "régimen de movimiento" (Bajo, Medio, Alto). Este router selecciona automáticamente la configuración óptima de dispersión (de una tabla de búsqueda pre-calculada) en menos de 2 ms.

4. LoRA Consciente de la Máscara (Mask-Aware LoRA):

   • Para compensar la degradación de la coherencia temporal causada por una esparsidad agresiva, se aplica un ajuste fino eficiente en parámetros (PEFT) que adapta selectivamente las capas de proyección sensibles a la estructura de la máscara, congelando el resto del modelo base.

3. Contribuciones Clave

1. Marco Unificado: DynamicRad integra la eficiencia de los métodos estáticos (como Radial Attention) con la flexibilidad de los dinámicos (como SVG/STA) mediante un conjunto de candidatos compartido y dos modos de selección, sin necesidad de redes auxiliares complejas.
2. Despliegue Robusto y Rápido: La combinación de BO offline y un router semántico permite adaptar el modelo a nuevas resoluciones o relaciones de aspecto en minutos, eliminando la necesidad de ajuste manual frágil o búsqueda en línea costosa.
3. Mejoras Empíricas: Demuestra que la esparsidad no tiene por qué sacrificar la calidad; en algunos casos, el modo dinámico supera a la atención densa en calidad debido a su capacidad de filtrar tokens irrelevantes (efecto de "denoising").

4. Resultados Experimentales

Los experimentos se realizaron en modelos de vanguardia como HunyuanVideo y Wan2.1-14B en resoluciones de 768p y secuencias largas (hasta 241 frames).

• Velocidad: Se lograron aceleraciones de inferencia de 1.7× a 2.54× en comparación con la línea base densa.
  • Ejemplo: En HunyuanVideo-241f, el modo estático redujo el tiempo de 824s a 324s (2.54×).
• Eficiencia: Se alcanzó una esparsidad efectiva superior al 80%.
• Calidad:
  • El modo dinámico en HunyuanVideo-241f superó a la línea base densa en métricas de calidad (VisionReward: 0.131 vs 0.116).
  • La coherencia temporal (VBench S.C.) se mantuvo o mejoró, especialmente con el añadido de LoRA consciente de la máscara.
• Comparativa: Superó consistentemente a otros métodos de atención dispersa como PowerAttention, SVG y Radial Attention en la frontera de eficiencia-calidad (Pareto).

5. Significado e Impacto

DynamicRad representa un avance significativo en la viabilidad de la generación de video de larga duración y alta resolución.

• Eficiencia sin Sacrificio de Calidad: Demuestra que es posible reducir drásticamente los costos computacionales (y de memoria) manteniendo o incluso mejorando la fidelidad visual mediante una selección inteligente basada en el contenido.
• Escalabilidad: Al eliminar la necesidad de reentrenamiento costoso o búsqueda en línea, el método es fácilmente adaptable a diferentes arquitecturas y resoluciones.
• Futuro: Abre la puerta a la generación de videos más largos y complejos en hardware limitado, resolviendo el problema fundamental de la complejidad cuadrática de la atención en la difusión temporal.

En resumen, DynamicRad ofrece una solución práctica y robusta para el cuello de botella de la atención en modelos de difusión de video, equilibrando la velocidad de inferencia con la necesidad crítica de coherencia temporal en dinámicas complejas.