Train Short, Inference Long: Training-free Horizon Extension for Autoregressive Video Generation

Resumen Técnico: FLEX

1. El Problema: Fallos en la Extrapolación Temporal

Los modelos de difusión autoregresivos (AR) han surgido como un paradigma escalable para la generación de videos largos debido a su eficiencia en la inferencia (uso de caché KV y generación por bloques). Sin embargo, estos modelos sufren de fallos severos de extrapolación cuando se intenta generar videos más largos que el horizonte de entrenamiento original.

Cuando la inferencia excede significativamente la duración de entrenamiento, los modelos caen en regiones fuera de distribución (OOD), lo que provoca:

• Deriva temporal (Temporal Drift): El contenido visual se desvía del contexto original.
• Artefactos visuales y degradación: Pérdida de calidad de imagen y coherencia.
• Movimiento estático o monótono: Falta de energía dinámica en el video.

El artículo identifica dos causas raíz de este problema desde una perspectiva de inferencia:

1. Sesgo Espectral en los Posicionamientos (3D RoPE): Los componentes de baja frecuencia de las incorporaciones posicionales rotatorias (RoPE) 3D están sub-entrenados porque no completan un ciclo completo dentro del horizonte de entrenamiento corto. Las técnicas estándar de interpolación de posición (PI) comprimen uniformemente el espacio, lo que daña los componentes de alta frecuencia necesarios para la discriminación temporal fina.
2. Falta de Priors Dinámicos en el Muestreo de Ruido: Las estrategias de inicialización de ruido con correlación positiva (comunes para mejorar la consistencia) tienden a estabilizar demasiado el espacio latente, resultando en contenido visual monótono y degradación dinámica progresiva en secuencias largas.

2. Metodología: FLEX (Frequency-aware Length EXtension)

El authors proponen FLEX, un marco de inferencia sin entrenamiento (training-free) que consta de tres componentes principales para cerrar la brecha entre el entrenamiento a corto plazo y la inferencia a largo plazo:

A. Modulación RoPE 3D Consciente de la Frecuencia (Frequency-aware 3D RoPE Modulation)
Inspirado en el método "NTK-by-parts" de los Grandes Modelos de Lenguaje (LLM), esta técnica adapta la interpolación de las dimensiones temporales de RoPE:

• Interpolación de Baja Frecuencia: Los componentes de baja frecuencia (que están sub-entrenados y tienen longitudes de onda largas) se interpolan para mapearlos de nuevo a un dominio de fase familiar, estabilizando la estructura global.
• Extrapolación de Alta Frecuencia: Los componentes de alta frecuencia (que tienen buena exposición durante el entrenamiento) se extrapolan directamente para preservar la discriminabilidad temporal de detalles finos.
• Esto evita la compresión uniforme que causa videos estáticos.

B. Muestreo de Ruido en Antifase (Antiphase Noise Sampling - ANS)
Para combatir la monotonía y la falta de movimiento:

• Se introduce una inicialización de ruido estructurada donde las perturbaciones de ruido adyacentes tienen una covarianza negativa ($\rho < 0$).
• Matemáticamente, esto redistribuye la potencia del ruido hacia las frecuencias altas (comportamiento de paso alto), inyectando "priors dinámicos" en el espacio latente inicial.
• Esto asegura que el estado latente inicial tenga una alta varianza temporal, actuando como una semilla para movimientos más ricos y diversos, evitando el colapso del movimiento.

C. Sumidero de Atención Solo para Inferencia (Inference-only Attention Sink)
Para mantener la consistencia semántica global sin modificar la arquitectura ni el entrenamiento:

• Se fijan los primeros $N$ cuadros dentro de la ventana de atención local para actuar como anclas semánticas y estructurales persistentes.
• Esto mitiga la deriva acumulativa de errores en horizontes extendidos, similar a cómo los "attention sinks" funcionan en LLMs, pero aplicado exclusivamente durante la inferencia.

3. Contribuciones Clave

1. Análisis de Fallos: Identificación sistemática del sesgo espectral en RoPE 3D y la falta de priors dinámicos en el muestreo de ruido como limitantes fundamentales para la extensión de horizonte en video.
2. Marco FLEX: Propuesta de una solución plug-and-play que combina modulación de frecuencia, muestreo de ruido en antifase y sumideros de atención para extender el horizonte temporal sin necesidad de fine-tuning.
3. Rendimiento Superior: Validación de que FLEX supera a los métodos basados en entrenamiento (fine-tuning) en tareas de extrapolación, ofreciendo una alternativa eficiente y escalable.

4. Resultados Experimentales

Las evaluaciones se realizaron utilizando el benchmark VBench-Long en modelos base como Self Forcing (basado en Wan2.1) y LongLive.

• Extrapolación 6x (30 segundos): FLEX logra una puntuación de calidad de 83.01, superando a los modelos de última generación (SOTA) como LongLive (82.78) y Rolling Forcing (82.31). Muestra una deriva de calidad mínima (-0.06).
• Extrapolación 12x (60 segundos): FLEX alcanza una puntuación de 82.68, igualando el rendimiento de los modelos que requieren un costoso fine-tuning con videos de 60 segundos (LongLive), pero sin ese costo computacional.
• Generación a Nivel de Minutos (4 minutos): Al integrar FLEX en LongLive, se logra una generación robusta de hasta 240 segundos, manteniendo la consistencia de la identidad y la textura, reduciendo la deriva de imagen de -2.19 a -1.17.
• Estudios de Ablación: Confirman que cada componente (RoPE, ANS, Attention Sink) es crucial. Por ejemplo, sin ANS, la "Grado de Dinamismo" cae drásticamente; sin el Sumidero de Atención, la consistencia global se degrada.

5. Significado e Impacto

El trabajo FLEX representa un avance significativo en la generación de video generativo:

• Desacopla el entrenamiento de la inferencia: Demuestra que no es necesario entrenar modelos con videos extremadamente largos para generarlos; se puede lograr mediante técnicas inteligentes de inferencia.
• Eficiencia de Recursos: Al ser "training-free", elimina el costo prohibitivo de fine-tuning en grandes conjuntos de datos de video largo.
• Escalabilidad: Permite que modelos existentes (entrenados en clips de 5-20 segundos) generen videos coherentes y dinámicos de minutos de duración, empujando los límites actuales de la síntesis de video autoregresiva.
• Integración: Funciona como una extensión modular ("plug-and-play") que puede aplicarse a diversas arquitecturas de difusión autoregresiva sin cambios estructurales.

En resumen, FLEX resuelve el problema de la degradación temporal en videos largos mediante una manipulación inteligente de la frecuencia posicional y la dinámica del ruido, estableciendo un nuevo estándar para la generación de video de larga duración sin necesidad de reentrenamiento.