Resumen Técnico: UniTemp

Planteamiento del Problema

Los modelos de difusión de video autorregresivos han emergido como un enfoque prometedor para la generación eficiente de videos largos mediante el uso de generación por bloques y caché de clave-valor (KV). Sin embargo, los métodos existentes están restringidos a la generación temporal hacia adelante (causal), donde cada bloque está condicionado exclusivamente en el contenido generado previamente. Esta limitación obstaculiza los flujos de trabajo prácticos de creación de video que requieren un orden temporal flexible, tales como:

• Extensión hacia atrás: Generar un prólogo condicionado por un clip existente.
• Generación de interpolación (inbetween): Rellenar brechas temporales entre dos segmentos.
• Narrativa visual: Generar fotogramas clave primero y conectarlos.

Los intentos de extender de forma ingenua los modelos de solo dirección hacia adelante para soportar la generación hacia atrás resultan en un parpadeo (flickering) e discontinuidades inter-bloque severos, particularmente en escenas de alto movimiento. El artículo identifica la causa raíz de este artefacto como la arquitectura VAE 3D Causal ampliamente utilizada en modelos de difusión de video de vanguardia (por ejemplo, CogVideoX, HunyuanVideo, Wan). El VAE 3D Causal codifica los latentes estrictamente condicionados por el contexto pasado. Si bien esto se alinea con la generación hacia adelante, crea un desajuste fundamental durante la generación hacia atrás: el decodificador espera un contexto pasado que no está disponible, lo que genera artefactos de frontera visibles. Reentrenar un VAE no causal es poco práctico, ya que rompería la compatibilidad con los modelos maestros preentrenados existentes.

Metodología: UniTemp

Los autores proponen UniTemp, un marco de destilación bidireccional unificado que entrena un único modelo estudiante autorregresivo capaz de generar video en cualquier dirección temporal (hacia adelante, hacia atrás o interpolación) sin modificar el modelo maestro ni el VAE preentrenado.

1. Latentes Ancla por Bloque (Blockwise Anchor Latents)

Para abordar el parpadeo inter-bloque causado por la falta de contexto pasado del VAE causal durante la generación hacia atrás, los autores introducen latentes ancla por bloque.

• Mecanismo: Durante la generación hacia atrás, el tamaño del bloque se expande de $B$ a $(P + B)$, donde $P$ es el número de latentes ancla. Estos latentes ancla representan los tokens de video precedentes.
• Función: El bloque expandido se denosa conjuntamente utilizando atención de auto-secuencia completa. Esto permite que el bloque objetivo atienda a un proxy del contexto pasado faltante (los latentes ancla) incluso cuando se genera en orden inverso.
• Descarte: Después de la denotación, los latentes ancla se descartan y no se incluyen en el resultado final. Sirven únicamente para estabilizar la generación del bloque objetivo al proporcionar el contexto necesario para el decodificador causal.
• Resultado: Este mecanismo restaura efectivamente el contexto pasado faltante en las fronteras de los bloques, reduciendo sustancialmente los artefactos visuales y el parpadeo inter-bloque.

2. Destilación Bidireccional Unificada

UniTemp emplea un marco de destilación asimétrica (basado en Self-Forcing) para entrenar un único modelo estudiante ($G_\theta$) supervisado por un modelo de difusión maestro congelado.

• Entrenamiento: El estudiante es entrenado tanto en tareas de generación hacia adelante como hacia atrás utilizando un modelo compartido y un crítico "falso" compartido ($\mu_{fake}^\phi$).
  • Hacia adelante: Sigue el despliegue (rollout) autorregresivo estándar por bloques.
  • Hacia atrás: Utiliza los latentes ancla por bloque para expandir la ventana de contexto.
• Pérdida: El marco utiliza la Destilación de Coincidencia de Distribución (DMD) para hacer coincidir la distribución de salida del estudiante con la del maestro, actualizando al estudiante mediante un gradiente derivado de la diferencia entre el score del maestro y el score del crítico falso.
• Eficiencia: Al compartir modelos a través de las direcciones, el marco evita los costos de memoria de generadores separados y reduce la brecha de rendimiento entre la generación hacia adelante y hacia atrás.

3. Condicionamiento Versátil en Tiempo de Prueba

La arquitectura unificada permite un condicionamiento flexible durante la inferencia:

• Generación en Cualquier Dirección: El modelo puede condicionarse en cachés KV arbitrarios pasados, futuros o tanto pasados como futuros.
• Latentes Sumidero Guiados por Ambos Extremos: El marco permite colocar "latentes sumidero" (tokens de estabilización) tanto al principio como al final de una secuencia para controlar la variación del contenido a lo largo de duraciones largas.
• Generación de Interpolación (Inbetween): El modelo puede rellenar contenido entre un bloque inicial y un bloque final condicionándose en sus respectivos cachés KV, independientemente del tamaño de bloque utilizado durante el entrenamiento (siempre que el horizonte de atención esté dentro de los límites de entrenamiento).

Principales Contribuciones

1. Marco UniTemp: Un marco de destilación unificado que permite la generación de video autorregresiva en cualquier dirección temporal (hacia adelante, hacia atrás, interpolación) utilizando un solo modelo.
2. Latentes Ancla por Bloque: Un mecanismo novedoso para mitigar el parpadeo inter-bloque en la generación hacia atrás causado por los VAEs 3D Causales, restaurando el contexto pasado faltante sin necesidad de reentrenar el VAE.
3. Estrategia de Entrenamiento Unificada: Un enfoque de modelo compartido que mantiene la eficiencia del entrenamiento y soporta un condicionamiento flexible en tiempo de prueba, superando a las líneas base de modelos separados.
4. Capacidades Demostradas: El marco desbloquea diversos flujos de trabajo, incluyendo la extensión de video bidireccional, transiciones de escena, generación de video en bucle (looping) y generación de narrativa visual, todo ello sin necesidad de ajuste fino (fine-tuning) específico para la tarea.

Resultados

Los experimentos demuestran que UniTemp logra un rendimiento competitivo en comparación con los métodos de solo dirección hacia adelante, al tiempo que habilita nuevas capacidades:

• Generación de Videos Cortos: En videos de 5 segundos, UniTemp logra un rendimiento comparable al baseline de Self-Forcing tanto en dirección hacia adelante como hacia atrás, con puntuaciones ligeramente más altas en la generación hacia atrás.
• Generación de Videos Largos: UniTemp soporta la generación estable de videos largos (hasta 100s). Al utilizar latentes sumidero guiados por ambos extremos, controla eficazmente la deriva de contenido y mantiene una alta consistencia del sujeto y calidad estética, superando a las líneas base basadas en entrenamiento en la generación de contenido dinámico.
• Generación de Interpolación (Inbetween): UniTemp supera a modelos especializados como Wan FLF2V y Generative Inbetweening (GI) en consistencia de fondo, calidad de imagen y distribución de video. Logra una consistencia de frontera superior al reutilizar los latentes de los fotogramas de condicionamiento en lugar de regenerarlos.
• Reducción de Artefactos: La introducción de latentes ancla reduce la ratio de parpadeo inter-bloque en la generación hacia atrás de 1.42 (baseline) a 1.07 (con $P=3$), acercándose al valor ideal de 1.0.

Significancia

El artículo afirma que UniTemp cierra la brecha entre la eficiencia de la generación de video autorregresiva y la flexibilidad requerida para la creación de video en el mundo real. Al resolver el desafío técnico específico de la incompatibilidad del VAE causal con la generación hacia atrás mediante latentes ancla, UniTemp permite que un solo modelo maneje diversos modos de condicionamiento temporal. Esto elimina la necesidad de múltiples modelos especializados o métodos de atención de secuencia completa computacionalmente costosos, ofreciendo una solución escalable para tareas complecas de edición de video y narrativa visual.

Limitaciones

Los autores reconocen que la generación hacia atrás incurre en un costo computacional adicional por bloque debido a la denotación conjunta de los latentes ancla. Además, el VAE causal y el modelo maestro siguen siendo inherentemente sesgados hacia la dirección hacia adelante; si bien los latentes ancla mitigan la asimetría resultante, no la eliminan por completo. Los autores sugieren explorar arquitecturas de VAE bidireccionales compatibles con los maestros preentrenados existentes como una dirección para trabajos futuros.