Resumen Técnico: AdaState – Anclas Auto-Evolucionantes para Generación de Video en Streaming

1. Declaración del Problema

Los modelos de difusión de video autoregresivos generan video en streaming produciendo fotogramas secuencialmente, condicionando cada nuevo fragmento al contenido previamente generado. Una limitación estructural fundamental en estos modelos es su dependencia de una ancla estática: la representación clave-valor (KV) del primer fotograma ocupa una posición privilegiada (posición 0) en la memoria de atención.

Debido al fenómeno de "sumidero de atención" (attention-sink), donde el softmax causal concentra masa en las posiciones iniciales, esta ancla estática atrae una atención desproporcionada durante todo el proceso de generación. Si bien esto garantiza consistencia estática, suprime la dinámica del video. El modelo queda efectivamente bloqueado en la perspectiva inicial, impidiendo la evolución natural de la escena, el movimiento de la cámara y el progreso del sujeto. A medida que la generación se extiende, el modelo lucha por conciliar la escena en evolución con la referencia congelada, lo que conduce a:

1. Superficialidad Temporal: El movimiento y el progreso de la escena se atenúan para mantener la consistencia con el primer fotograma.
2. Deriva y Artefactos: Si la ancla se elimina o actualiza heurísticamente, los errores se acumulan, causando colapso visual o pérdida de la identidad del sujeto.

Las soluciones existentes no abordan esta causa raíz. Los métodos que retienen anclas estáticas (por ejemplo, LongLive, Infinity-RoPE) congelan la escena. Los métodos que utilizan actualizaciones agnósticas al contenido (por ejemplo, enfoques basados en EMA como Reward Forcing, MemRoPE) convergen hacia una media borrosa que no puede adaptarse a cambios específicos de la escena. Los reemplazos heurísticos (por ejemplo, Rolling Sink) sesgan la generación hacia la reproducción de fotogramas pasados en lugar de continuaciones novedosas.

2. Metodología: AdaState

Los autores proponen AdaState, un marco que reemplaza la ancla estática del primer fotograma con un estado adaptativo: una variable latente oculta que evoluciona junto con el contenido.

Mecanismo Central

• Estado Adaptativo como Latente Oculto: En lugar de un primer fotograma congelado, el modelo mantiene un estado $s$ en la posición 0 de la memoria KV. Este estado es un latente oculto que se desruido junto con el contenido del video en cada fragmento, pero nunca se renderiza en la salida final del video.
• Desruido y Recurrencia Conjuntos: En cada paso de generación $n$, el generador $G_\theta$ desruido conjuntamente los fotogramas de contenido actual $x^{(n)}_c$ y los fotogramas de estado $s_n$ a partir de ruido gaussiano independiente, condicionado a la memoria KV $h_n$.
  • El KV de contenido limpio entra en la ventana deslizante para el contexto a corto plazo.
  • El KV de estado limpio sobrescribe la posición 0 en la memoria, sirviendo como referencia de la escena para el siguiente fragmento.
• Formulación de Tiempo Relativo: A diferencia de la generación estándar que codifica el tiempo absoluto, AdaState trata el tiempo como relativo. Cada paso de generación ve la misma estructura posicional independientemente de la longitud de la ejecución. La transición de estado es idéntica en cada fragmento, convirtiendo el proceso autoregresivo secuencial en un proceso recurrente donde:
  • El desruido actúa como función de transición.
  • La Memoria KV actúa como portadora del estado oculto.
  • No se requieren módulos externos, mecanismos de puerta (gating) ni unidades de memoria separadas.

Entrenamiento con Ponderación por Horizonte

Para asegurar que el modelo aprenda a utilizar el estado adaptativo de manera efectiva, los autores introducen la Distilación de Coincidencia de Distribución Ponderada por Horizonte (DMD).

• Problema: En las ejecuciones autoregresivas, los errores se acumulan en fotogramas posteriores. La ponderación uniforme de pérdida estándar permite que el optimizador se centre en fotogramas limpios y tempranos, descuidando los fotogramas posteriores críticos donde el estado adaptativo debe compensar la ausencia de contenido original de la escena.
• Solución: Se aplica una ponderación de rampa lineal $w_i$ a la pérdida DMD, que aumenta con el índice del fotograma $i$. Esto obliga al optimizador a concentrar capacidad en los fotogramas posteriores donde la coherencia mediada por el estado es más vital.
  $$L = \frac{1}{2} \sum_{i=0}^{N-1} w_i \left\| \hat{x}_i - \left( \hat{x}_i - \frac{S_{fake} - S_{real}}{\gamma} \right)_{sg} \right\|^2, \quad w_i = 1 + \alpha \cdot \frac{i}{N-1}$$

3. Contribuciones Clave

1. Identificación de Sesgo Estructural: El artículo identifica que la ancla estática en la difusión de video autoregresiva crea un sesgo de atención estructural que suprime la dinámica, bloqueando la composición de la escena en la perspectiva inicial.
2. Arquitectura de Estado Adaptativo: Los autores proponen reemplazar la ancla estática con un estado adaptativo oculto entrenado mediante DMD ponderada por horizonte. Este estado evoluciona con el contenido, permitiendo que el modelo genere su propia referencia de escena en cada paso.
3. Formulación Recurrente sin Módulos Externos: El trabajo demuestra que el propio desruido puede funcionar como recurrencia. El estado adaptativo es una variable oculta actualizada por el refinamiento iterativo del propio modelo y transportada a través de la memoria KV, sin requerir memoria externa ni mecanismos de puerta.

4. Resultados Experimentales

El método se evaluó en un modelo destilado de Wan2.1-T2V-1.3B utilizando Auto-Fuerza (Self-Forcing), entrenado en ejecuciones de 21 fotogramas y probado a 5 segundos (dentro del horizonte) y 30 segundos (6 veces el horizonte de entrenamiento).

• Rendimiento Cualitativo:
  • Anclas Estáticas (por ejemplo, Infinity-RoPE, Forzamiento de Rodadura): Preservan la identidad pero congelan la escena, sin mostrar movimiento de cámara ni progreso de la escena.
  • Sin Referencia (por ejemplo, Auto-Fuerza, Forzamiento Causal): Muestran alta dinámica inicialmente pero sufren de deriva de color y artefactos visuales a medida que la ejecución se extiende más allá del horizonte de entrenamiento.
  • AdaState: Logra un equilibrio único, preservando la identidad del sujeto mientras permite la evolución natural de la escena, el deslizamiento de la cámara y el movimiento continuo incluso a los 30 segundos.
• Rendimiento Cuantitativo:
  • Dentro del Horizonte (5s): AdaState alcanza la puntuación total más alta en VBench y VisionReward, con un grado de dinámica significativamente mayor que los métodos de ancla estática.
  • Más allá del Horizonte (30s): AdaState es el único método que no degrada su grado de dinámica. Ocupa la región "superior-derecha" de la curva de compensación consistencia-dinámica, manteniendo alta consistencia mientras logra el mayor grado de dinámica entre todas las líneas base.
  • Estudio de Usuarios: En un estudio con 40 evaluadores, AdaState recibió las puntuaciones más altas tanto para "progresión coherente" como para "adherencia al prompt", superando a las líneas base sin referencia, de referencia estática y de referencia EMA.

5. Significado y Afirmaciones

El artículo afirma que AdaState rompe fundamentalmente la compensación consistencia-dinámica que afecta a la generación actual de video en streaming. Al tratar el proceso de generación como una recurrencia donde el propio desruido del modelo actualiza una referencia de escena oculta, AdaState permite:

• Movimiento Más Rico: Movimiento natural de la cámara y acción del sujeto que evolucionan con el tiempo.
• Estabilidad a Largo Horizonte: La capacidad de generar videos coherentes muy más allá del horizonte de entrenamiento sin acumular deriva ni congelar la escena.
• Simplicidad Arquitectónica: La solución no requiere cambios arquitectónicos en el DiT base, ni pérdidas auxiliares, ni módulos de memoria externos, confiando únicamente en la memoria KV y los mecanismos de atención existentes.

Los autores posicionan esto como un paso hacia un estado recurrente adaptativo en la generación autoregresiva, sugiriendo que la formulación podría aplicarse a otros dominios donde la atención se concentra en posiciones pasadas fijas. Sin embargo, notan modestamente limitaciones, como la configuración heurística de la capacidad del estado (actualmente un fotograma) y la necesidad de trabajo futuro sobre memoria externa estructurada para escenas altamente complejas con múltiples actores.