Resumen Técnico: Resampling Forcing para la Difusión de Video Autorregresiva

Declaración del Problema

Los modelos de difusión de video autorregresivos (AR) ofrecen un paradigma prometedor para la simulación de mundos al predecir fotogramas futuros condicionados por observaciones pasadas, adhiriéndose estrictamente a la naturaleza causal de la dinámica física. Sin embargo, estos modelos sufren significativamente de sesgo de exposición (exposure bias). Durante el entrenamiento, los modelos suelen depender del "teacher forcing", donde se condicionan en fotogramas de historia de verdad fundamental (ground-truth). Durante la inferencia, sin embargo, deben condicionarse en sus propios resultados previamente generados (e imperfectos). Este desajuste entre entrenamiento y prueba conduce a la acumulación de errores, donde pequeños artefactos en las predicciones tempranas se amplifican a lo largo del despliegue autorregresivo, resultando a menudo en un colapso catastrófico del video en horizontes largos.

Las soluciones existentes para mitigar este desajuste generalmente dependen de estrategias de post-entrenamiento que requieren modelos auxiliares:

1. Enfoques basados en destilación (p. ej., Self Forcing): Entrenar primero un modelo maestro bidireccional y luego destilarlo en un estudiante causal. Esto introduce una dependencia en un maestro no causal que puede filtrar información futura, comprometi la causalidad temporal estricta.
2. Enfoques adversariales (p. ej., AAPT): Optimizar conjuntamente un generador y un discriminador. Esto requiere un complejo entrenamiento de discriminador en línea y limita la escalabilidad.

Además, extender la generación AR a videos largos exacerba la complejidad de la atención, ya que el contexto histórico crece indefinidamente, creando cuellos de botella computacionales tanto para el entrenamiento como para la inferencia.

Metodología: Resampling Forcing

Los autores proponen Resampling Forcing, un marco de trabajo de extremo a extremo (end-to-end) y sin maestro, diseñado para entrenar modelos de difusión de video autorregresivos desde cero. La filosofía central es entrenar al modelo para ser robusto contra perturbaciones de entrada (errores simulados) mientras se mantiene un objetivo de predicción limpio.

1. Mecanismo de Auto-Resampling (Self-Resampling)

Para simular los errores del modelo durante la inferencia durante el entrenamiento, el método introduce un esquema de auto-resampling:

• Proceso: En lugar de condicionarse en una historia de verdad fundamental limpia, el modelo se condiciona en fotogramas de historia "degradados".
• Implementación:
  1. Los fotogramas de verdad fundamental se corrompen a un paso de tiempo $t_s$ muestreado (introduciendo ruido).
  2. El propio modelo en línea (con los pesos actuales) se utiliza para completar de forma autorregresiva los pasos de eliminación de ruido restantes desde $t_s$ hasta 0, produciendo un fotograma degradado y libre de ruido $\tilde{x}$.
  3. Este fotograma degradado $\tilde{x}$, que contiene errores inducidos por el modelo, se utiliza entonces como la condición para predecir el siguiente fotograma.
• Diseño Clave: Los gradientes se desprenden (detached) de este proceso de resampling para evitar el "aprendizaje de atajos" (shortcut learning, donde el modelo aprende a ignorar la entrada en lugar de corregirla). Esto obliga al modelo a aprender a corregir sus propias imperfecciones.
• Muestreo de Timestep: El paso de tiempo de corrupción $t_s$ se muestrea de una distribución logit-normal, desplazada por un parámetro $s$ para equilibrar la fidelidad de la historia y la flexibilidad de la corrección de errores. Se emplea una fase de calentamiento (warm-up) utilizando el teacher forcing estándar inicialmente antes de cambiar a Resampling Forcing.

2. Enrutamiento de Historia para una Atención Eficiente

Para abordar el costo computacional de atender a una historia que crece indefinidamente en la generación de largo alcance, los autores introducen un mecanismo de enrutamiento de historia sin parámetros:

• Recuperación Dinámica: En lugar de atender a todos los fotogramas previos (atención causal densa) o a una ventana deslizante fija, el modelo recupera dinámicamente los $k$ fotogramas de la historia más relevantes para cada token de consulta (query).
• Métrica de Relevancia: La relevancia se determina mediante el producto punto entre el token de consulta y un descriptor de media de los fotogramas de la historia (keys).
• Complejidad: Esto reduce la complejidad de la atención de lineal $O(L)$ a constante $O(k)$ a medida que la longitud del video $L$ aumenta, manteniendo al mismo tiempo un campo receptivo mayor que una ventana fija al permitir combinaciones de contexto diversas.

3. Objetivo de Entrenamiento

El modelo se entrena utilizando una máscara causal dispersa que impone la causalidad temporal (los fotogramas solo atienden a fotogramas pasados) mientras permite el entrenamiento en paralelo mediante una pérdida de difusión por fotograma. La pérdida se calcula entre la predicción del modelo y el fotograma limpio de verdad fundamental, condicionado en la historia degradada (resampled).

Contribuciones Clave

1. Entrenamiento de Extremo a Extremo sin Maestro: El primer marco para entrenar modelos de difusión de video autorregresivos desde cero sin depender de maestros bidireccionales o discriminadores, evitando la filtración de información futura.
2. Algoritmo de Resampling Forcing: Una novedosa estrategia de auto-resampling que simula errores de tiempo de inferencia durante el entrenamiento, mitigando eficazmente la acumulación de errores y estabilizando la generación de largo horizonte.
3. Enrutamiento de Historia sin Parámetros: Un mecanismo dinámico que selecciona el contexto histórico relevante, permitiendo la generación de videos largos con una complejidad de atención casi constante y una pérdida de calidad insignificante en comparación con la atención densa.
4. Entrenamiento Nativo de Video Largo: La capacidad de entrenar nativamente en secuencias largas (p. ej., 15 segundos) en lugar de depender de la destilación de clips cortos, lo que conduce a una consistencia temporal superior.

Resultados Experimentales

El método fue evaluado en la arquitectura Wan2.1-1.3B, entrenada en videos de 5s y 15s.

• Desempeño Cualitativo:
  • Estabilidad: A diferencia de las líneas base (p. ej., Pyramid Flow, CausVid) que exhiben una degradación progresiva en color y textura con el tiempo, Resampling Forcing mantiene una calidad visual estable en videos de 15 segundos.
  • Causalidad: En simulaciones físicas (p. ej., verter leche), el modelo se adhiere estrictamente a las leyes causales (aumento monótono del nivel del líquido), mientras que las líneas base basadas en destilación (p. ej., LongLive) a menudo violan la causalidad debido a la filtración de información futura de sus maestros.
• Desempeño Cuantitativo (VBench):
  • El método logra puntuaciones de calidad visual y temporal comparables o superiores a las líneas base de destilación de vanguardia (Self Forcing, CausVid) en los segmentos de 0–5s, 5–10s y 10–15s.
  • Supera a las líneas base en consistencia temporal en videos más largos, atribuido al entrenamiento de longitud nativa.
• Eficiencia:
  • El mecanismo de enrutamiento de historia logra una dispersión de atención del 75% (top-5 de 20 fotogramas) con una caída de calidad insignificante en comparación con la atención densa.
  • Elimina la necesidad de un masivo maestro bidireccional de 14 mil millones de parámetros requerido por los métodos de destilación competidores.

Significancia y Reivindicaciones

El artículo afirma que Resampling Forcing hace avanzar la escalabilidad de los modelos de mundo de video autorregresivos al resolver el problema fundamental del sesgo de exposición sin modelos auxiliares. Al simular errores durante el entrenamiento, el modelo aprende a corregir su propio desvío, permitiendo una generación estable en horizontes largos. La integración del enrutamiento de historia dinámico aborda además los cuellos de botella de memoria y cómputo de la atención de contexto largo. Los autores posicionan este trabajo como un camino viable para entrenar modelos de video estrictamente causales y robustos desde cero, ofreciendo una alternativa práctica a los procesos de destilación que comprometen la causalidad temporal en favor de la calidad.