Resumen Técnico: Self Gradient Forcing (SGF)

1. Planteamiento del Problema: La Brecha Histórica de Contexto-Gradiente

Los avances recientes en la difusión de video autorregresiva han virado hacia el Self Forcing (Auto-Forzado), un paradigma donde los modelos se entrenan con historias generadas por sus propios despliegues autorregresivos en lugar de contextos de video de verdad fundamental (ground-truth). Este enfoque mitiga el sesgo de exposición al alinear las distribuciones de entrenamiento con las condiciones de inferencia. Sin embargo, los autores identifican una limitación crítica en las implementaciones actuales de Self Forcing: la brecha histórica de contexto-gradiente.

En el Self Forcing estándar, aunque el modelo aprende a leer la historia autogenerada (a través del caché de Clave-Valor o KV) para predecir fotogramas futuros, la escritura de esa historia en el caché permanece sin supervisión. Específicamente:

• Caché KV Congelado: Durante el despliegue autorregresivo, los latentes generados previamente se procesan en un paso de contexto limpio ($t_{ctx}=0$) para producir entradas de Clave-Valor (KV). Estas entradas se almacenan en el caché como un estado "congelado" para bloques futuros.
• Falta de Supervisión: Las pérdidas futuras (por ejemplo, las pérdidas de Distillación de Emparejamiento de Distribución en pasos de tiempo ruidosos) pueden retropropagar a través de la lectura del caché (cómo los tokens futuros atienden a la historia), pero no pueden retropropagar a través de la escritura del caché (cómo los latentes anteriores se codifican en representaciones KV).
• Consecuencia: A medida que el despliegue se extiende, los parámetros responsables de escribir las entradas KV de tiempo limpio derivan, ya que son actualizados por pérdidas en pasos de tiempo ruidosos sin una retroalimentación directa sobre si la representación de memoria resultante es útil para la generación de largo horizonte. Esto conduce a la deriva de identidad, inconsistencias en el diseño (layout) y rupturas de la escena en videos largos.

Una solución directa —mantener todo el grafo del despliegue serial diferenciable para permitir que las pérdidas futuras se propaguen a través de toda la historia— es computacionalmente inviable debido a la explosión de memoria a medida que el grafo crece con la longitud del despliegue.

2. Metodología: Self Gradient Forcing (SGF)

Los autores proponen Self Gradient Forcing (SGF), una estrategia de entrenamiento de dos pasadas que restaura la señal de supervisión de escritura de memoria faltante sin requerir la retropropagación completa a través del despliegue serial. El SGF es ortogonal a las mejoras de forcing existentes y puede aplicarse sobre ellas.

La Estrategia de Dos Pasadas

SGF descompone el paso de entrenamiento en dos fases distintas:

Pasada 1: Despliegue Autorregresivo sin Gradientes

• El modelo realiza un despliegue autorregresivo serial estándar idéntico a la inferencia, pero con los gradientes desactivados.
• Para cada bloque $i$, el modelo elimina el ruido del latente $z_i$ utilizando el caché KV histórico actual.
• En un "paso de salida" (exit step) $s$ muestreado (un paso de eliminación de ruido específico), el modelo registra:
  1. Los latentes de entrada ruidosos ($Z^*$).
  2. Los latentes limpios predichos ($\tilde{X}_{ctx}$) generados en el paso de salida.
• Los latentes limpios se procesan en $t_{ctx}=0$ para actualizar el caché KV serial para el siguiente bloque, pero esta actualización está desconectada del grafo de computación.

Pasada 2: Reconstrucción Paralela de Contexto-Gradiente

• El modelo descarta el caché serial y reconstruye la computación para el paso de salida muestreado de forma paralela.
• Los latentes limpios registrados ($\tilde{X}_{ctx}$) de la Pasada 1 se vuelven a introducir en el modelo como entradas de parada de gradiente (stop-gradient).
• El modelo vuelve a computar los estados ocultos de contexto limpio, las representaciones KV y la atención causal de futuro-a-contexto.
• Crucialmente, las representaciones KV generadas en esta pasada son diferenciables.
• El modelo luego procesa los latentes ruidosos registrados ($Z^*$) para generar predicciones, y la pérdida resultante (por ejemplo, la pérdida DMD) se retropropaga.
• Resultado: El gradiente fluye desde la pérdida futura, a través de la eliminación de ruido del lado del objetivo, a través del mecanismo de atención, y de vuelta hacia la computación de escritura de KV (el paso hacia adelante del contexto limpio). Esto permite que las pérdidas futuras supervisen cómo se codifica la historia autogenerada en la memoria.

Detalles de Implementación Técnica

• Límite de Gradiente: El método evita la retropropagación completa del despliegue (BPTT). Los gradientes fluyen solo a través de la reconstrucción acotada de la Pasada-2. Las entradas a la reconstrucción (los latentes registrados) permanecen como stop-gradient, asegurando que la optimización se centre en el mecanismo de escritura más que en la trayectoria del despliegue en sí.
• Eficiencia: Al utilizar una reconstrucción paralela con una máscara causal estática (por ejemplo, mediante FlexAttention), el SGF evita la explosión de memoria asociada con un caché serial totalmente diferenciable.
• Política de Transmisión (Streaming Policy): Para la generación fotograma a fotograma, SGF utiliza una política de sumidero más FIFO (sink-plus-FIFO), manteniendo un prefijo de sumidero fijo y una ventana de latentes recientes para aislar el efecto del forzado de gradiente.

3. Contribuciones Clave

1. Identificación de la Brecha: El artículo identifica formalmente la "brecha histórica de contexto-gradiente" en el Self Forcing de caché congelado, donde las pérdidas futuras supervisan la lectura del caché pero no la computación de escritura del contexto limpio, lo que provoca deriva en la generación de largo horizonte.
2. Algoritmo SGF: Introducción de una estrategia de entrenamiento de dos pasadas que recupera la supervisión de escritura de memoria mediante la reconstrucción paralela de contexto-gradiente, permitiendo que las pérdidas futuras entrenen al modelo para codificar el contexto en una memoria causal más efectiva.
3. Validación Empírica: Experimentos extensos que demuestran que SGF mejora significativamente la extrapolación nativa de video largo (60s y 240s) manteniendo una calidad de horizonte corto (5s) comparable al Self Forcing.

4. Resultados Experimentales

Los autores evaluaron SGF frente a bases de comparación de Self Forcing emparejados a través de la generación fotograma a fotograma y por fragmentos (chunks), utilizando diversas inicializaciones (Causal ODE, Causal CD, Teacher Forcing) y horizontes (5s, 60s, 240s).

• Métricas Cuantitativas:
  • SGF supera consistentemente al Self Forcing en consistencia de sujeto, consistencia de fondo/diseño, estabilidad temporal (parpadeo) y calidad estética en los horizontes de 60s y 240s.
  • Aunque el Self Forcing a veces obtiene puntuaciones más altas en "grado de dinamismo", los autores lo atribuyen a un movimiento incoherente (saltos de escena, deformación de objetos) en lugar de calidad. SGF mantiene una evolución de cámara más estable y plausible.
  • En el horizonte de 5s, SGF se desempeña de manera comparable al Self Forcing, confirmando que el método no degrada la generación de corto plazo.
• Resultados Cualitativos:
  • Las comparaciones visuales muestran que los modelos de Self Forcing eventualmente sufren de deriva de identidad, saltos de vista y rupturas de diseño a medida que la extrapolación continúa.
  • Los modelos SGF preservan la identidad del sujeto, la pose y el diseño de la escena durante 240 segundos, incluso cuando han sido entrenados con una ventana de solo 5 segundos.
• Estudio de Usuario: Un estudio de preferencia ciego GSB (Greater-Same-Better) con más de 1,900 juicios pareados mostró una preferencia consistente por SGF sobre Self Forcing en todos los entornos probados, con puntuaciones de preferencia positiva que oscilan entre ~29% y ~48%.
• Viabilidad de Entrenamiento: SGF introduce una sobrecarga modesta. El pico de memoria aumenta ligeramente (de ~79GB a ~87GB), pero la memoria estable disminuye (de ~79GB a ~63GB) debido a la eliminación del grafo recurrente. El tiempo de ejecución aumenta aproximadamente 1.3 segundos por cada 5 pasos de entrenamiento.

5. Significado y Reivindicaciones

El artículo afirma que SGF aborda una limitación fundamental en el entrenamiento actual de difusión de video autorregresivo: la incapacidad de las pérdidas futuras para supervisar la codificación de la historia autogenerada en la memoria.

• Extrapolación Nativa: SGF permite que los modelos entrenados en ventanas cortas (por ejemplo, 5 segundos) se extrapolen a videos de escala de minutos (60s, 240s) con una coherencia significativamente mejorada.
• Ortogonalidad: El método se presenta como una mejora de aplicación directa que puede combinarse con otras técnicas de forcing (por ejemplo, Causal Forcing, Rolling Forcing) y estrategias de inicialización sin conflicto.
• Supervisión de Escritura de Memoria: El núcleo de la importancia reside en desplazar el objetivo de entrenamiento para asegurar que el modelo no solo aprenda a leer su propia historia, sino a escribirla de una manera que siga siendo útil para futuros pasos de generación.

Los autores concluyen que, al cerrar la brecha histórica de contexto-gradiente, el SGF proporciona un camino escalable hacia la generación de video largo de alta calidad sin los costos de memoria prohibitivos de los despliegues totalmente diferenciables.