Resumen Técnico: DySink – Sumideros de Cuadros Dinámicos para la Generación Autoregresiva de Videos Largos

1. Declaración del Problema

La generación autoregresiva de videos largos depende del flujo de memoria acotada para gestionar el costo computacional cuadrático de los transformadores de difusión bidireccionales. Los métodos actuales de vanguardia (por ejemplo, LongLive, Rolling-Forcing) suelen emplear un mecanismo de atención híbrido que combina una ventana deslizante para la continuidad a corto plazo y sumideros de cuadros estáticos (cuadros iniciales almacenados en caché) como anclajes globales para la consistencia a largo plazo.

El artículo identifica dos limitaciones críticas en esta estrategia de asignación estática:

1. Desajuste Contextual: A medida que avanza la generación, el estado visual a menudo diverge significativamente de los cuadros iniciales. La persistencia en almacenar en caché estos anclajes desactualizados sesga al modelo hacia la reproducción de señales visuales iniciales en lugar de adaptarse a la escena en evolución, lo que conduce a un estancamiento temporal.
2. Colapso del Sumidero: En casos graves, la dependencia de sumideros estáticos desencadena un modo de fallo conocido como "colapso del sumidero". Cui et al. (2026) atribuyen esto a la re-alineación de fase inducida por RoPE y a la homogeneización de la atención entre cabezas, donde una gran fracción de cabezas de atención se sobre-enfocan simultáneamente en los cuadros sumidero. Esto provoca que el contenido generado regrese hacia los cuadros sumidero, resultando en reinicios abruptos de la escena y patrones de movimiento cíclicos.

2. Metodología: El Marco DySink

DySink propone un marco basado en recuperación que reemplaza los anclajes de cuadros iniciales fijos con sumideros de cuadros dinámicos. El sistema mantiene un banco de memoria compacto y selecciona cuadros históricos visualmente relevantes sobre la marcha. El marco consta de tres componentes principales:

A. Construcción del Banco de Memoria

• Estructura: El banco de memoria almacena bloques de video históricos, donde cada entrada consiste en un descriptor visual compacto ($f_i$) y las cachés correspondientes de Clave-Valor (KV) por capa ($K_i, V_i$).
• Generación de Descriptores: Los descriptores visuales se crean decodificando cuadros latentes al espacio de píxeles, codificándolos mediante un codificador visual congelado y agregando características mediante agrupación media y normalización L2.
• Actualización Consciente de la Novedad: Para prevenir la redundancia, un bloque candidato solo se admite si su similitud con las entradas existentes está por debajo de un umbral ($\tau_{dedup}$). Si ocurren casi-duplicados, se retienen las entradas anteriores ya que están menos corrompidas por la acumulación de errores.

B. Recuperación e Inyección Adaptativa

• Mecanismo de Recuperación: Para el bloque de generación actual, DySink agrega descriptores de la ventana deslizante local para formar una consulta. Calcula la similitud del coseno contra el banco de memoria para recuperar los $k$ bloques históricos más relevantes.
• Inyección de Contexto: Las cachés KV de los bloques recuperados se concatenan con las cachés KV de la ventana deslizante local para formar el contexto de atención. Esto permite que el modelo acceda a señales estructurales de largo alcance sin depender permanentemente de cuadros iniciales fijos.

C. Puerta de Anomalía del Sumidero

Para mitigar el colapso del sumidero sin modificar la estructura de frecuencia de RoPE (como se hizo en trabajos anteriores mediante vibración de RoPE), DySink introduce una puerta de anomalía del sumidero ligera por capa:

• Lógica de Detección: La puerta monitorea el consenso entre cabezas. Calcula la fracción de cabezas de atención que asignan una mayor afinidad al contexto recuperado que a la ventana local.
• Supresión: Si la fracción de cabezas que se sobre-enfocan en el contexto recuperado supera un umbral de consenso ($\tau_{gate}$), la puerta suprime los estados KV recuperados para esa capa, forzando al modelo a recurrir a la ventana deslizante local. Esto previene la "homogeneización" de la atención que conduce al colapso.

3. Paradigma de Entrenamiento

DySink sigue un paradigma de ajuste de flujo de dos etapas basado en la arquitectura Wan2.1:

1. Destilación de Horizonte Corto: Un modelo estudiante (1.3B) se destila a partir de un profesor (14B) utilizando Destilación de Coincidencia de Distribución (DMD) para crear un generador causal de pocos pasos.
2. Ajuste Fino de Horizonte Largo: El modelo se ajusta finamente en despliegues de flujo de 60 segundos utilizando LoRA. La tubería completa de DySink (recuperación + puerta) está activa durante el entrenamiento para garantizar la consistencia entre el entrenamiento y la inferencia.

4. Resultados Experimentales

Los experimentos se realizaron en la generación de videos de un minuto de duración (50s, 75s y 100s) utilizando el núcleo Wan2.1-T2V-1.3B.

• Grado Dinámico: DySink supera significativamente a las líneas base autoregresivas fuertes (por ejemplo, Self-Forcing++, LongLive). En videos de 50s, mejora el Grado Dinámico en 8.16 puntos sobre Self-Forcing++ y en 21.12 puntos sobre LongLive. Esta tendencia se mantiene para las generaciones de 75s y 100s.
• Calidad Temporal: A pesar de la mayor evolución dinámica, DySink logra puntuaciones de Calidad Temporal más altas que las líneas base, lo que indica que los sumideros dinámicos preservan la coherencia mientras permiten la evolución de la escena.
• Estudios de Ablación:
  • Eliminar la Puerta de Anomalía del Sumidero conduce a una caída drástica en el Grado Dinámico (de 60.45 a 37.98) y en la Calidad Temporal, confirmando que sin la puerta, el modelo vuelve a comportamientos de colapso del sumidero (movimiento cíclico, estructuras repetidas).
  • Comparar Sumideros Estáticos vs. DySink muestra que, aunque los sumideros estáticos ofrecen cierta estabilidad, la recuperación dinámica proporciona una adaptabilidad superior a los estados visuales en evolución.

5. Significado y Afirmaciones

El artículo afirma que DySink aborda la rigidez fundamental de la asignación de memoria estática en la generación autoregresiva de videos. Al cambiar de anclajes fijos a recuperación adaptativa al contenido, el método reduce el desajuste de condicionamiento y mitiga el modo de fallo específico del colapso del sumidero.

Las afirmaciones clave incluyen:

• Adaptabilidad: Los sumideros dinámicos permiten que el modelo mantenga la consistencia de largo alcance sin estar sesgado hacia atributos de cuadros iniciales desactualizados.
• Prevención del Colapso: La Puerta de Anomalía del Sumidero suprime eficazmente los patrones de atención propensos al colapso detectando un consenso excesivo entre cabezas, ofreciendo una solución que no requiere modificar la codificación posicional RoPE subyacente.
• Escalabilidad: El enfoque demuestra que se pueden generar videos de un minuto de duración con mayores grados dinámicos y calidad temporal que los métodos actuales de vanguardia, lo que sugiere que la selección dinámica de memoria es un componente crítico para la generación futura de horizontes largos.

Los autores señalan limitaciones, reconociendo que la indexación actual basada solo en lo visual puede pasar por alto señales semánticas o a nivel de objeto de alta granularidad, y que el potencial completo de la recuperación dinámica podría ser más pronunciado en escenarios con eventos complejos y densos o transiciones de múltiples etapas más allá del horizonte de evaluación actual de 100 segundos.