Long-Horizon Streaming Video Generation via Hybrid Attention with Decoupled Distillation

Resumen Técnico: Hybrid Forcing

1. El Problema

La generación de video en streaming (SVG) busca crear videos largos de forma autoregresiva, frame a frame, para permitir una inferencia en tiempo real y un despliegue interactivo. Sin embargo, los enfoques actuales enfrentan dos desafíos críticos:

• Pérdida de Contexto Histórico: Los modelos existentes utilizan Atención de Ventana Deslizante (SWA) con caché de claves y valores (KV). A medida que la ventana avanza, los frames antiguos se expulsan de la memoria, lo que provoca una pérdida de dependencias a largo plazo. Esto genera una acumulación de errores, deriva temporal (drift) y coherencia degradada en videos largos.
• Ineficiencia Computacional: Aunque la SWA es más eficiente que la atención bidireccional completa, sigue siendo costosa (complejidad cuadrática dentro de la ventana) y a menudo no alcanza tasas de cuadros por segundo (FPS) suficientes para el tiempo real en hardware estándar.
• Inestabilidad en la Destilación: Los métodos de destilación actuales (como DMD) sufren de colapso de modos en entrenamientos de largo alcance, resultando en movimientos congelados o deriva de cámara incontrolable.

2. Metodología Propuesta: Hybrid Forcing

Los autores proponen Hybrid Forcing, un marco unificado que combina una arquitectura de atención híbrida con una estrategia de entrenamiento novedosa para resolver los problemas anteriores.

A. Atención Híbrida (Hybrid Attention)
En lugar de depender únicamente de una ventana deslizante, el modelo integra dos vías de atención que operan de forma sinérgica:

1. Atención Temporal Lineal (Para Historia a Largo Plazo):
   • En lugar de almacenar todos los frames históricos, el modelo mantiene un estado compacto de claves y valores (KV) que se actualiza incrementalmente.
   • Cuando un frame es expulsado de la ventana deslizante, su información se comprime en este estado lineal.
   • Esto permite modelar dependencias globales con un costo de memoria y computación constante (negligible), independientemente de la longitud del video.
2. Atención Dispersa en Ventana Deslizante (Para Modelado Local):
   • Dentro de la ventana local reciente, se utiliza atención dispersa por bloques (block-sparse).
   • Se identifican y eliminan las conexiones locales redundantes (basándose en la importancia de los bloques), reduciendo la carga computacional sin sacrificar la refinación de detalles finos.
   • La salida final es la suma de la historia comprimida (lineal) y la atención local dispersa.

B. Estrategia de Destilación Desacoplada (Decoupled Distillation)
Para estabilizar el entrenamiento de este nuevo mecanismo de atención, se propone un proceso de dos fases:

1. Fase Inicial (Dense Attention): Se realiza una destilación inicial utilizando atención densa (sin modificaciones arquitectónicas). El objetivo es consolidar representaciones semánticas ricas y estables en los tokens antes de introducir la compresión histórica.
2. Fase de Streaming (Hybrid Attention): Una vez que las representaciones semánticas están estructuradas, se activa la atención híbrida (lineal + dispersa) para aprender el modelado de dependencias a largo plazo y la compresión eficiente. Esto evita que el modelo se atrape en mínimos subóptimos debido a estados históricos ruidosos o inmaduros.

C. Mejoras Adicionales

• Restricción Relativa de RoPE: Se impone un límite consistente en los índices de posición rotacional (RoPE) temporal tanto en entrenamiento como en inferencia para evitar desplazamientos de distribución y permitir la generación ilimitada.
• Pérdida de Regularización: Se introduce una pérdida auxiliar que supervisa al modelo estudiante utilizando los resultados de "despliegue" (rollout) del modelo profesor en los primeros pasos, previniendo el colapso de modos y la deriva de cámara.

3. Contribuciones Clave

1. Marco Unificado: Propone Hybrid Forcing, la primera arquitectura que unifica la retención de historia a largo plazo (vía atención lineal) con el modelado local eficiente (vía atención dispersa) en un pipeline de streaming.
2. Solución a Problemas de Estabilidad: Aborda el desajuste de embeddings de posición temporal y el colapso de modos a largo plazo mediante restricciones de RoPE relativas y un objetivo de regresión guiado por el profesor.
3. Rendimiento Sin Precedentes: Logra generación de video en tiempo real y sin límites de longitud, manteniendo una alta fidelidad visual y coherencia temporal.

4. Resultados Experimentales

Los experimentos se realizaron en benchmarks de generación de video corto y largo (VBench y VBench-Long) utilizando un modelo base de 1.3B parámetros (Wan2.1).

• Velocidad de Inferencia: El modelo alcanza 29.5 FPS en una sola GPU NVIDIA H100, sin cuantización ni compresión de modelo. Esto supera significativamente a los métodos anteriores (que rondan los 15-21 FPS).
• Calidad y Coherencia:
  • Supera a los modelos de difusión bidireccional y a otros modelos autoregresivos en métricas de calidad total, semántica y dinámica.
  • En videos largos (30 segundos), mantiene una coherencia temporal superior, evitando la acumulación de errores y la saturación de color que sufren los competidores.
  • Logra generar videos de más de 10 minutos de duración de manera estable.
• Eficiencia: Al reducir el tamaño de la ventana local (de 21 a 9 frames) gracias a la atención lineal, reduce la latencia sin perder coherencia global.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la generación de video interactiva y en tiempo real.

• Desbloqueo de la Generación Ilimitada: Demuestra que es posible generar videos de duración arbitraria sin degradación de calidad, resolviendo el problema fundamental de la "pérdida de memoria" en modelos autoregresivos.
• Eficiencia Computacional: Al combinar atención lineal y dispersa, ofrece una ruta viable para desplegar modelos de video de alta calidad en hardware de consumo o servidores estándar, eliminando la necesidad de recursos masivos para inferencia en tiempo real.
• Nueva Arquitectura para Video: Establece un nuevo paradigma donde la separación entre el aprendizaje de representaciones semánticas y el modelado estructurado de la historia es crucial para la estabilidad en tareas de largo alcance.

En resumen, Hybrid Forcing no solo mejora las métricas cuantitativas, sino que habilita aplicaciones prácticas de generación de video en streaming que antes eran computacionalmente inviables o de baja calidad.