🤖 machine learning

MilliVid: Hierarchical Latents for Long-Range Consistency in Video Generation

MilliVid aborda el desafío de la consistencia de largo alcance en la generación de video empleando un autoencoder jerárquico para comprimir fotogramas en tokens multiescala y utilizando una estrategia de despliegue de grueso a fino dentro de un modelo de difusión de video, preservando así la geometría global y la permanencia de los objetos al tiempo que reduce los costos computacionales.

Autores originales: Ishaan Preetam Chandratreya, David Charatan, Basile Van Hoorick, Sergey Zakharov, Vitor Guizilini, Phillip Isola, Vincent Sitzmann

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ishaan Preetam Chandratreya, David Charatan, Basile Van Hoorick, Sergey Zakharov, Vitor Guizilini, Phillip Isola, Vincent Sitzmann

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando contar una historia muy larga a un amigo, pero solo tienes una pequeña libreta. Si intentas anotar cada detalle de cada escena —cada hoja de un árbol, cada grieta en la acera, cada textura en una pared— te quedarás sin espacio después de apenas unas pocas frases. Para cuando llegues al final de la historia, habrás olvidado por completo el principio.

Este es exactamente el problema que enfrentan los modelos de IA de video hoy en día. Quieren generar videos largos y coherentes, pero sus "libretas" (la memoria de la computadora) son demasiado pequeñas para contener todos los detalles de una secuencia larga. Como resultado, empiezan a tener alucinaciones, olvidando dónde quedaron los objetos o cambiando la disposición de la habitación a medida que el video progresa.

El artículo MILLIVID propone una solución ingeniosa: Deja de intentar recordarlo todo a la vez. En su lugar, recuerda primero el panorama general y rellena los pequeños detalles después.

Así es como lo hicieron, utilizando algunas analogías cotidianas:

1. El sistema de memoria de las "Muñecas Rusas"

La mayoría de los modelos de IA de video intentan almacenar cada fotograma a resolución completa. MILLIVID cambia las reglas del juego mediante el uso de un tokenizador jerárquico. Piensa en esto como un conjunto de muñecas rusas o un mapa con diferentes niveles de zoom:

El Nivel Grueso (El Panorama General): Esta es la muñeca más pequeña o el mapa con el zoom más bajo. No muestra la textura de la hierba ni el color de los ladrillos. Solo recuerda la forma de la habitación, dónde están las paredes y dónde se encuentran los objetos principales. Debido a que es tan simple, la IA puede recordar cientos de estos fotogramogramas de "panorama general" a la vez.
El Nivel Fino (Los Detalles): Esta es la muñeca más grande o el mapa con el zoom máximo. Añade la textura de la hierba, los patrones de los ladrillos y la iluminación. Pero debido a que es tan detallado, la IA solo puede recordar unos pocos de estos fotogramas antes de que se le agote la memoria.

La Analogía: Imagina que le estás describiendo una ciudad a un amigo.

La Forma Antigua: Intentas describir cada una de las ventanas de cada edificio durante todo el viaje. Te cansas y olvidas el diseño de la ciudad después de 10 minutos.
La Forma de MILLIVID: Primero describes el diseño de la ciudad (dónde está el parque, por dónde fluye el río) durante toda la hora. Luego, a medida que te acercas a un edificio específico, añades los detalles (el color de la puerta, las flores en la ventana). Mantienes el "panorama general" en tu cabeza todo el tiempo para no perderte nunca.

2. El despliegue "de lo grueso a lo fino" (Coarse-to-Fine Rollout)

El artículo introduce una nueva forma de generar el video llamada despliegue de lo grueso a lo fino.

En lugar de generar el video fotograma a fotograma con todo el detalle (lo que causa que la IA olvide el pasado), el modelo trabaja en etapas:

Etapa 1: Genera una secuencia larga de fotogramas "borrosos" o de bajo detalle. Debido a que son simples, la IA puede mantener el rastro de más de 100 fotogramas a la vez. Esto asegura que la historia sea consistente (el coche se mantiene en la carretera, el edificio no desaparece).
Etapa 2: Vuelve atrás y "afila" los fotogramas recientes, añadiendo los detalles de alta definición.
El Truco de Magia: Crucialmente, cuando añade los detalles a los fotogramas recientes, consulta las versiones de bajo detalle de los fotogramas distantes para asegurarse de que la historia siga teniendo sentido.

La Analogía: Piensa en ello como si estuvieras haciendo el boceto de una pintura.

Primero, dibujas un contorno rápido de figuras de palitos de toda la escena para acertar con las poses y posiciones. Puedes dibujar toda la escena de esta manera sin equivocarte.
Luego, vuelves para añadir los músculos, la ropa y las expresiones faciales a las personas en primer plano.
No intentas pintar los músculos de la persona que está en el fondo antes de saber dónde está parada, porque podrías pintarlos en el lugar equiviente.

3. La prueba de "Minecraft"

Para demostrar que esto funciona, los investigadores no solo usaron películas bonitas. Usaron Minecraft.

¿Por qué? Minecraft es un mundo en 3D por el que caminas. Si la IA olvida el diseño, podrías atravesar una pared o ver cómo un árbol desaparece y reaparece en un lugar distinto.
El Resultado: Probaron su método contra los mejores modelos actuales (como FramePack). Los modelos antiguos generaban un video donde el jugador caminaba un rato y luego el mundo sufría un "glitch": los edificios se desplazaban o el camino volvía sobre sí mismo incorrectamente.
El Rendimiento de MILLIVID: Debido a que mantuvo el mapa "grueso" del mundo en su memoria todo el tiempo, pudo generar videos largos donde el jugador caminaba cientos de pasos, daba la vuelta y veía exactamente los mismos edificios que había pasado anteriormente, de forma perfectamente consistente.

La Conclusión

El artículo afirma que, al aceptar que no podemos recordar cada pequeño detalle del pasado distante, podemos recordar mucho mejor la estructura del pasado.

Enfoque Antiguo: "Recordaré perfectamente cada detalle de los últimos 5 segundos, pero olvidaré todo lo que pasó hace 10 segundos".
Enfoque de MILLIVID: "Recordaré la forma general y la ubicación de todo lo que pasó hace 10 segundos, y solo recordaré los detalles diminutos de los últimos 5 segundos".

Este intercambio permite que la IA genere videos que se mantienen coherentes durante mucho más tiempo, manteniendo la consistencia de la "historia" del video sin necesidad de supercomputadoras que cuesten millones de dólares. Los autores probaron esto específicamente en la jugabilidad de Minecraft y encontraron que producía resultados significativamente más consistentes que los métodos existentes.

Resumen Técnico: MILLIVID

Planteamiento del Problema

Los modelos generativos de video han logrado avances significativos en realismo y escala, pero luchan con la consistencia de largo alcance. Generar videos que se mantengan coherentes de principio a fin es difícil porque mantener un contexto temporal largo requiere longitudes de secuencia de transformadores prácticamente imposibles de procesar. Los enfoques autorregresivos actuales generan videos por fragmentos (chunks), donde el fragmento más reciente sirve como contexto para el siguiente. A medida que los fragmentos antiguos salen de la ventana de contexto, su contenido se olvida, lo que provoca inconsistencias en la geometría y la permanencia de los objetos.

Aumentar la longitud del contexto es computacionalmente prohibitivo debido al escalado cuadrático de los costos del transformador con la longitud de la secuencia. Métodos recientes como FramePack intentan mitigar esto asignando menos tokens a los frames de contexto distantes, pero los autores observan que este enfoque por sí solo no logra recordar el contenido que sale del encuadre de la cámara, incluso si dicho contenido permanece dentro de la ventana de contexto comprimida.

Metodología

El artículo presenta MILLIVID, un modelo generativo de video basado en difusión diseñado para maximizar la consistencia de largo alcance bajo una restricción de longitud de secuencia fija. El enfoque consta de dos componentes principales:

1. Autocodificación Jerárquica

Los autores entrenan un autocodificador que comprime cada frame de video en una jerarquía de tokens latentes en lugar de una representación plana única.

Estructura: El codificador procesa una pirámide de imágenes multi-resolución. En cada nivel $\ell$ , la imagen se divide en parches de $N_\ell$ tokens, donde la resolución se reduce a la mitad en cada nivel más grueso ( $N_\ell = \frac{H}{2^\ell} \times \frac{W}{2^\ell}$ ).
Distribución de Información: Los niveles más gruesos (con menos tokens) capturan la estructura global y la semántica de la escena, mientras que los niveles más finos añaden la apariencia y la textura de alta frecuencia.
Entrenamiento: El autocodificador se entrena para reconstruir la pirámide de resolución completa a partir de un único nivel muestreado aleatoriamente. El decodificador debe reconstruir toda la cascada de resolución basándose en los tokens de ese nivel específico.
Ventaja: A diferencia del submuestreo simple o el pooling de media utilizados en modelos en cascada, este tokenizador jerárquico aprendido preserva los detalles estructurales relevantes incluso en niveles de alta compresión, evitando reconstrucciones borrosas.

2. Generación de Despliegue (Rollout) de Grueso a Fino

Un modelo de difusión de video se entrena dentro de este espacio latente jerárquico utilizando una novedosa estrategia de despliegue de grueso a fino.

Restricción: El modelo opera bajo una longitud de secuencia de transformador $S$ fija.
Estrategia: En lugar de generar frames de resolución completa de forma autorregresiva (lo que limita el número de frames de contexto), el modelo genera primero una secuencia larga de frames altamente comprimidos (gruesos). Luego, refina progresivamente estos frames hacia escalas más finas.
Gestión de Contexto: Crucialmente, el proceso de generación asegura que el contexto siempre incluya el frame de mayor resolución más reciente y los frames futuros generados únicamente hasta niveles más gruesos. Esto evita inconsistencias (por ejemplo, un cartel que dice "pare" en una vista gruesa pero "siga" en una vista refinada) al asegurar que el modelo resuelva la incertidumbre simultáneamente a través de la resolución y el tiempo.
Entrenamiento: El modelo se entrena para denotar tokens condicionados en tokens de contexto limpios a través de diferentes niveles de la jerarquía. Las codificaciones posicionales de nivel, frame, fila y columna permiten que un solo modelo maneje todos los pasos de despliegue.

Contribuciones Clave

Autocodificación Jerárquica para Video: Los autores demuestran que entrenar un autocodificador con un espacio latente jerárquico produce una compresión que preserva mejor el detalle relevante en comparación con el submuestreo o la parcelación estándar.
Despliegue de Grueso a Fino: Introducen una estrategia de generación que aprovecha el espacio jerárquico para intercambiar detalle por horizonte temporal. Al generar muchos frames gruesos primero, el modelo puede cubrir un contexto temporal mucho más largo dentro de un presupuesto de tokens fijo.
Consistencia de Largo Alcance Superior: El artículo muestra que este enfoque produce despliegues largos significativamente más consistentes en comparación con las líneas base de vanguardia como FramePack y el despliegute autorregresivo de resolución completa, sin sacrificar la calidad por frame.

Resultados

El método fue evaluado en LOOPCRAFT, un conjunto de datos personalizado de videos de jugabilidad de Minecraft de 1024 frames diseñado para probar la memoria (contenido que sale y reentra en el encuadre).

Métricas de Consistencia: MILLIVID superó significativamente a las líneas base (FramePack y Despliegue de Resolución Completa) en horizontes cortos, medios y largos (frames 1–768).
- PSNR: 16.69 (largo) frente a 11.98 (FramePack) y 11.02 (Res. Completa).
- LPIPS: 0.335 (largo) frente a 0.533 (FramePack) y 0.630 (Res. Completa).
- Matches de LightGlue: 62.4 (largo) frente a 7.0 (FramePack) y 5.0 (Res. Completa).
Métricas de Calidad: El método mantuvo una calidad comparable (FVD y FID) a las líneas base, demostrando que las ganancias en consistencia no se produjeron a costa de la fidelidad visual.
Estudios de Ablación:
- Reemplazar el tokenizador jerárquico aprendido con un enfoque de cascada (media agrupada/mean-pooled) resultó en una peor consistencia y calidad.
- Aplicar el espacio latente jerárquico a la arquitectura FramePack no mejoró el rendimiento, lo que sugiere que el beneficio proviene de la interacción específica entre la jerarquía aprendida y la estrategia de despliegue de grueso a fino.
- Una variante "espejo" de FramePack (que predice objetivos de largo alcance más gruesos) mostró una mejora en la consistencia, lo que respalda la hipótesis de que los modelos obligados a predecir más hacia el futuro aprenden a utilizar mejor el contexto distante.

Significado y Reivindicaciones

El artículo argumenta que la consistencia de largo alcance en la generación de video requiere un compromiso fundamental: dado un orden de secuencia fijo, uno debe decidir qué información retener. MILLIVID propone que la estructura gruesa (diseño de la escena, semántica) debe preservarse durante periodos de tiempo largos, mientras que los detalles finos (texturas) pueden olvidarse o generarse después.

Al aprender una jerarquía de grueso a fino y asignar explícitamente el presupuesto de tokens del transformador para priorizar muchos frames gruesos pasados sobre pocos frames finos recientes, el modelo logra ganancias dramáticas en la recuperación de la estructura de la escena 3D a lo largo de cientos de frames. Los autores afirman que este es un paso significativo hacia adelante para aplicaciones que requieren coherencia temporal larga, como la modelación de mundos y la robótica, sin depender de mecanismos de recuperación externos o mapas 3D explícitos.

Los autores señalan limitaciones, específicamente que el método no está diseñado para el ajuste fino directo de modelos de difusión de video preentrenados estándar y requiere aproximadamente un 33% más de pasos de despliegue que FramePack. Sin embargo, postulan que el intercambio por una consistencia drásticamente mayor vale la pena.