Relax Forcing: Relaxed KV-Memory for Consistent Long Video Generation

Resumen Técnico: Relax Forcing

1. El Problema: Degradación Temporal en la Generación de Video Largo

Los modelos de difusión de video autoregresivos (AR) han surgido como una solución prometedora para generar videos largos (de minutos de duración) de manera causal, superando las limitaciones de los modelos bidireccionales. Sin embargo, a pesar de estrategias de entrenamiento avanzadas como Self Forcing (que mitiga el sesgo de exposición entrenando al modelo con sus propias predicciones), la extrapolación a horizontes temporales largos sigue siendo un desafío fundamental.

El problema central identificado no es la falta de capacidad de memoria, sino cómo se utiliza la memoria temporal durante la inferencia:

• Acumulación de Errores: Los modelos AR deben condicionarse repetidamente en sus propias predicciones anteriores. Esto provoca que los errores residuales y los sesgos temporales se acumulen, llevando a una deriva semántica (drift) o a dinámicas de movimiento excesivamente restringidas.
• Memoria Homogénea Ineficiente: Los enfoques actuales tratan la memoria histórica como un búfer denso y cronológico. Los autores demuestran empíricamente que aumentar la cantidad de memoria (más frames históricos) no mejora consistentemente la calidad; de hecho, puede introducir redundancia que limita la evolución del movimiento sin mejorar la calidad visual.
• Falta de Estructura Funcional: No se ha explorado suficientemente el papel funcional de diferentes segmentos temporales (frames iniciales, medios y recientes) en la generación futura.

2. Metodología: Relax Forcing y Memoria KV Relajada

El trabajo propone Relax Forcing, un mecanismo de memoria estructurada y dispersa (sparse) diseñado para la inferencia en modelos de difusión AR, sin requerir reentrenamiento del modelo base.

Descomposición de la Memoria Temporal:
En lugar de usar una ventana deslizante densa de todos los frames generados, el método descompone el contexto temporal en tres roles funcionales distintos:

1. Sink (Anclajes Globales): Un conjunto fijo de frames iniciales que proporcionan estabilidad global y preservan la identidad del sujeto y la escena a largo plazo.
2. Tail (Continuidad a Corto Plazo): Los frames más recientes que aseguran la coherencia temporal inmediata y la fluidez del movimiento.
3. History (Estructura de Movimiento Intermedia): Un conjunto dinámicamente seleccionado de frames del "medio" del historial que guían la evolución estructural del movimiento.

Mecanismo de Selección Dinámica (Relaxed KV Memory):
La innovación clave reside en cómo se seleccionan los frames de History:

• Se define una puntuación de relajación $r(h)$ para cada frame candidato $h$ en una región intermedia:
  $$r(h) = S(h) - \lambda R(h)$$
  Donde:
  • $S(h)$ es la puntuación de estabilidad (similitud con el Sink global).
  • $R(h)$ es la puntuación de redundancia (similitud con el Tail reciente).
  • $\lambda$ es un coeficiente que equilibra la estabilidad global frente a la redundancia local.
• El algoritmo selecciona los mejores $K$ frames que maximizan la estabilidad global mientras minimizan la redundancia con el contexto inmediato. Esto evita que el modelo se sobre-ajuste a frames recientes repetitivos.

Ajuste de Posicionamiento (Position Embedding):
Dado que la memoria seleccionada es no contigua en el tiempo, el método utiliza un esquema híbrido de codificación de posición (RoPE):

• Los frames Tail mantienen sus índices temporales absolutos para preservar la continuidad reciente.
• Los frames Sink e History se reasignan con índices relativos anclados justo antes del segmento Tail, permitiendo que el modelo utilice contexto de largo alcance sin colapsar la estructura temporal.

3. Contribuciones Clave

1. Análisis Sistemático de la Memoria: El estudio identifica que la condicionamiento denso e histórico es un cuello de botella para la evolución del movimiento en videos largos. Demuestra que la colocación temporal de los frames es más crítica que la cantidad total de memoria.
2. Relaxed KV Memory: Propone un mecanismo de memoria dispersa que selecciona dinámicamente el contexto temporal más relevante, equilibrando la estabilidad global (Sink) con la evolución del movimiento (History) y la continuidad local (Tail).
3. Mejora sin Reentrenamiento: El método es training-free (no requiere modificar el entrenamiento del modelo base), funcionando como una estrategia de inferencia optimizada que se integra con Self Forcing.

4. Resultados Experimentales

Los experimentos se realizaron en el benchmark VBench-Long para videos de 30 y 60 segundos, comparando con métodos de última generación como Self Forcing, Rolling Forcing, Deep Forcing y LongLive.

• Rendimiento General: Relax Forcing logró la puntuación general más alta en ambos escenarios (80.87% a 30s y 80.88% a 60s), superando a los mejores baselines.
• Dinámica de Movimiento: La mejora más significativa se observó en la métrica Dynamic Degree (Grado de Dinamismo), con un aumento del 66.8% en comparación con el baseline Self Forcing. Esto indica una capacidad superior para mantener movimientos complejos y evolutivos sin caer en la repetición o rigidez.
• Consistencia Temporal: Se mantuvo una alta consistencia de sujeto y fondo, evitando la deriva semántica.
• Eficiencia: Al reducir la longitud de atención de una ventana densa (ej. 21 frames) a una memoria estructurada dispersa (ej. 7 frames), el método logró una aceleración de 1.26x en el tiempo total de inferencia y una reducción significativa en el costo computacional de la atención (Flash Attention).
• Evaluación Humana: En estudios de preferencia, los usuarios seleccionaron consistentemente a Relax Forcing por encima de otros métodos, especialmente en calidad de movimiento y alineación texto-video.

5. Significado e Impacto

Este trabajo cambia el paradigma de la gestión de memoria en la generación de video autoregresiva. En lugar de tratar la memoria como un simple depósito de capacidad que debe llenarse, propone una visión estructurada donde diferentes partes del historial cumplen funciones específicas.

• Escalabilidad: Al reducir la redundancia y el costo de atención, hace viable la generación de videos de larga duración (minutos) con recursos computacionales razonables.
• Calidad de Movimiento: Resuelve el problema de la "rigidez" en la generación larga, permitiendo que los videos evolucionen dinámicamente sin perder coherencia visual.
• Generalidad: Al ser una estrategia de inferencia, puede aplicarse a diversos modelos de difusión AR existentes para mejorar su capacidad de extrapolación sin necesidad de costosos procesos de reentrenamiento.

En conclusión, Relax Forcing demuestra que la clave para la generación de video consistente a largo plazo no es simplemente tener más memoria, sino organizarla inteligentemente para equilibrar la estabilidad global con la libertad de movimiento.