Grounded Forcing: Bridging Time-Independent Semantics and Proximal Dynamics in Autoregressive Video Synthesis

Resumen Técnico: Grounded Forcing

1. El Problema

La síntesis de video autoregresiva (AR) es fundamental para la generación de videos de longitud infinita y simuladores de mundo interactivos en tiempo real, superando las limitaciones de latencia de los modelos de difusión no autoregresivos. Sin embargo, extender la generación de clips cortos a flujos continuos de largo alcance introduce tres desafíos fundamentales interconectados que los métodos actuales no resuelven de manera integral:

1. Olvido Semántico (Semantic Forgetting): Debido a las limitaciones de la ventana de contexto, los modelos tienden a olvidar la identidad de los sujetos y la disposición de la escena a medida que avanza el tiempo. Los métodos actuales que anclan la atención a la primera frame son demasiado rígidos, impidiendo la evolución semántica (ej. un personaje cambiando de apariencia) y causando que el modelo se quede "atascado" en el estado inicial.
2. Deriva Visual (Visual Drift): Los mecanismos de codificación posicional estándar (como RoPE) se basan en índices temporales absolutos. En la generación de horizonte infinito, estos índices exceden el rango de entrenamiento del modelo (fuera de distribución), lo que provoca que los patrones de atención se degraden, generando artefactos, temblores de movimiento y colapso de calidad.
3. Pérdida de Controlabilidad (Controllability Loss): Al cambiar las instrucciones interactivas (prompts), los métodos existentes suelen actualizar o limpiar el caché de claves-valor (KV Cache) de forma uniforme. Esto provoca un "choque semántico" (cambios visuales abruptos) o la ignorancia de nuevas instrucciones, ya que no se respeta la dependencia temporal entre el contexto antiguo y el nuevo.

2. Metodología: Grounded Forcing

El authors proponen Grounded Forcing, un marco que une la semántica independiente del tiempo con la dinámica proximal mediante tres mecanismos interconectados:

• A. Caché KV de Doble Memoria (Dual Memory KV Cache):

  • Desacopla el almacenamiento de memoria en dos componentes:
    • Memoria Temporal Local (LTM): Una ventana deslizante estándar que captura la dinámica de movimiento de alta frecuencia. Las frames antiguas se eliminan para mantener un uso constante de memoria.
    • Memoria de Consistencia Global (GCM): Un conjunto disperso de frames clave que anclan la identidad semántica persistente (sujetos, estilo). A diferencia de la LTM, estas frames están protegidas de la eliminación estándar.
  • Estrategia de Actualización: Utiliza una estrategia "consciente de la diversidad". Si una nueva frame tiene alta novedad semántica (baja similitud con la GCM actual), reemplaza a las frames redundantes en la GCM, permitiendo que la memoria global evolucione sin perder la identidad central.

• B. Inyección de RoPE de Doble Referencia (Dual-Reference RoPE Injection):

  • Resuelve la deriva visual gestionando dinámicamente las posiciones. En lugar de codificar posiciones absolutas, se inyectan índices temporales diferentes según el tipo de memoria:
    • Para GCM: Se asigna un índice temporal fijo (ej. $t=0$) a todas las claves globales. Esto hace que la memoria global sea "agnóstica al tiempo", actuando como una referencia semántica eterna que no se desvía.
    • Para LTM: Se asignan índices relativos dentro de la ventana deslizante (ej. $[0, 21]$), asegurando que siempre se mantengan dentro del rango de distribución del entrenamiento, previniendo la degradación posicional.

• C. Recache de Proximidad Asimétrica (Asymmetric Proximity Recache - APR):

  • Dirige la pérdida de controlabilidad durante el cambio de prompts. En lugar de limpiar el caché uniformemente, APR aplica una actualización ponderada basada en la proximidad temporal:
    • Las frames recientes (cerca del punto de generación actual) reciben un peso alto ($\alpha$ alto) para adaptarse rápidamente a la nueva instrucción.
    • Las frames distantes mantienen un peso bajo ($\alpha$ bajo) para preservar la identidad y el contexto histórico.
  • Esto crea un "puente semántico" suave, evitando saltos visuales bruscos mientras se adoptan nuevas acciones.

3. Contribuciones Clave

1. Desacoplamiento Estructural: Identifican y resuelven el entrelazamiento entre semántica estática y movimiento dinámico, proponiendo una arquitectura que los trata por separado.
2. Anclaje Semántico Robusto: El diseño de la Doble Memoria permite mantener la coherencia de la identidad a largo plazo sin sacrificar la capacidad de introducir nuevos conceptos semánticos.
3. Estabilidad Posicional: La inyección de RoPE de doble referencia elimina la deriva visual en horizontes infinitos al mantener los índices dentro del manifold de entrenamiento.
4. Interactividad Fluida: La estrategia APR permite transiciones de prompts naturales y coherentes, superando las limitaciones de los métodos de actualización uniforme.

4. Resultados

El método se evaluó sobre el backbone Wan2.1-T2V-1.3B, comparándose con state-of-the-art como LongLive, Rolling Forcing e Infinity-RoPE.

• Resultados Cuantitativos (Videos de 240s):
  • Logró el mejor rendimiento en Consistencia del Sujeto (0.9163) y Consistencia del Fondo (0.9265).
  • Mantuvo un equilibrio óptimo entre dinámica de movimiento y estabilidad temporal, superando a los baselines en la preservación de identidad a largo plazo.
• Resultados Cualitativos:
  • Demostró capacidad para manejar transiciones multi-shot (ej. un hombre transformándose en Hulk y luego en un dragón) sin perder la identidad, mientras que los métodos competidores sufrían de olvido o deriva.
  • Transiciones de prompts suaves sin artefactos visuales abruptos.
• Estudio de Usuarios:
  • En una escala Likert de 5 puntos, Grounded Forcing obtuvo la puntuación más alta en todas las métricas, destacando significativamente en consistencia de sujeto (3.66 vs ~3.0) y adherencia al texto (3.72).

5. Significado e Impacto

Grounded Forcing representa un avance significativo hacia la creación de simuladores de mundo interactivos en tiempo real. Al resolver los problemas fundamentales de olvido, deriva y control en la síntesis de video autoregresiva, este marco permite:

• Generación de videos de larga duración (minutos) con coherencia semántica e identidad estable.
• Interacción dinámica donde los usuarios pueden cambiar la narrativa o las acciones en tiempo real sin romper la continuidad visual.
• Una base robusta para aplicaciones que requieren inferencia eficiente y baja latencia, superando las limitaciones de los modelos de difusión bidireccionales tradicionales.

En resumen, el trabajo transforma los modelos causales estándar en motores robustos capaces de soportar la complejidad de la generación de video interactiva y de horizonte infinito.