💻 computer science

MiniWorld: Democratizing the Training of Video World Models from Scratch

El artículo presenta MiniWorld, un marco ligero y totalmente reproducible que permite el entrenamiento de extremo a extremo de modelos de mundo de video en streaming desde cero con recursos computacionales modestos, mediante el aprovechamiento de un Video Diffusion Transformer de causalidad por bloques con Flow Matching y estrategias de inferencia optimizadas.

Autores originales: Yian Zhao, Ruochong Zheng, Hongcan Guo, Yu Yan, Jian Zhang, Jie Chen

Publicado 2026-08-04

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yian Zhao, Ruochong Zheng, Hongcan Guo, Yu Yan, Jian Zhang, Jie Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a jugar a un videojuego, pero en lugar de solo mostrarle la pantalla, quieres que entienda las reglas del mundo. Si el robot empuja un bloque, el bloque debe deslizarse; si salta, la gravedad debe atraerlo hacia abajo. Este es el sueño de los "Modelos de Mundo": programas informáticos que no solo crean imágenes bonitas, sino que realmente entienden cómo cambia el mundo cuando se toma una acción. Durante mucho tiempo, la única forma de construir estos sistemas inteligentes era tomar un generador de video preentrenado masivo (como un estudio de animación superavanzado) e intentar ajustarlo para que funcionara en tiempo real. Pero esto era como intentar convertir un lento y pesado crucero en una lancha rápida y ágil; requería enormes cantidades de dinero, una potencia informática gigantesca y, a menudo, el barco seguía sin maniobrar bien porque fue construido para un propósito diferente.

La gran pregunta que los investigadores se han estado planteando es: ¿Podemos construir un modelo de mundo desde cero que sea ligero, fácil de entender y que pueda ejecutarse en un servidor informático estándar? Necesitamos un sistema que pueda predecir el futuro fotograma a fotograma, como una película reproduciéndose hacia adelante, en lugar de adivinar toda la escena a la vez. Si podemos hacer esto sin necesidad de un supercomputador del tamaño de una ciudad, abrimos la puerta para que cualquiera pueda experimentar con la creación de simulaciones interactivas para robots, juegos o realidad virtual. Este es el desafío que el artículo "MiniWorld" se propone abordar.

La solución de MiniWorld: Un predictor paso a paso

Los autores de este artículo presentan MiniWorld, un nuevo marco de trabajo que demuestra que no necesitas un presupuesto de mil millones de dólares para entrenar un modelo de mundo de video desde cero. En lugar de intentar arreglar un generador de video gigante y prefabricado, construyeron un sistema nuevo y optimizado diseñado específicamente para predecir el futuro a medida que sucede. Piensa en ello como enseñar a un estudiante a escribir una historia frase por frase, donde cada nueva frase depende solo de lo que vino antes, en lugar de intentar editar todo el libro a la vez.

Cómo funciona: La estrategia de los "bloques" (Chunks)
La mayoría de los modelos de video intentan mirar todo el futuro a la vez, lo que causa confusión cuando intentas generarlo en tiempo real. MiniWorld utiliza un truque ingenioso llamado atención causal por bloques (block-causal attention). Imagina que estás leyendo un cómic, pero solo se te permite ver la página actual y las anteriores. Puedes mirar hacia atrás y hacia adelante dentro de la página actual para entender los detalles, pero no puedes echar un vistazo a la siguiente página. MiniWorld divide el video en pequeños "bloques" (grupos de fotogramas). Permite que el modelo mire hacia atrás y hacia adelante dentro de un bloque para obtener los detalles correctamente, pero le prohíbe estrictamente ver los bloques futuros. Esto obliga al modelo a aprender cómo predecir el siguiente paso basándose únicamente en el pasado, tal como un robot real experimentaría el mundo.

El cronograma de "ruido" (Noise Schedule)
Para que la generación de video sea fluida, el modelo utiliza una técnica llamada Flow Matching, que es como convertir lentamente una pantalla de televisión borrosa y llena de estática en una imagen clara. Normalmente, los modelos intentan limpiar todo el video a la misma velocidad. MiniWorld, sin embargo, utiliza un cronograma de ruido no decreciente. Imagina una fila de personas esperando para que les pinten la cara. La persona al frente (el pasado) ya está limpia y clara. La persona en el medio está un poco borrosa, y la persona del puro final (el futuro lejano) todavía está cubierta de estática. El modelo aprende a limpiarlos en orden, desde el pasado claro hasta el futuro borroso. Esto coincide con cómo experimentamos el tiempo en la realidad: el pasado es fijo y el futuro es incierto.

El entrenamiento en dos etapas
Los autores descubrieron que no puedes simplemente lanzar un modelo a una película larga y esperar que aprenda. Por eso, entrenaron a MiniWorld en dos etapas. Primero, lo enseñaron con clips cortos de 21 fotogramas (como un GIF rápido) para que pudiera aprender las reglas básicas de movimiento y causa-efecto. Una vez que dominó lo corto, pasaron a clips más largos (hasta 253 fotogramas) para enseñarle cómo mantener la historia en marcha sin olvidar lo que sucedió al principio. Esto es como aprender a montar en bicicleta en una calle plana antes de intentar subir una colina larga.

La magia de la "Memoria Rodante" (Rolling Memory)
Uno de los mayores problemas de los videos largos es que la computadora se queda sin memoria intentando recordar cada uno de los fotogramas. MiniWorld resuelve esto con un Caché KV Rodante (Rolling KV Cache). Imagina una cinta transportadora en una fábrica. A medida que se generan y se convierten en "reales", los nuevos fotogramas se colocan en la cinta. Los fotogramas más antiguos al frente de la cinta se descartan para dejar espacio a los nuevos, pero el fotograma "ancla" más importante permanece en su lugar para siempre. Esto permite que el modelo genere videos que son teóricamente infinitos en longitud sin que la computadora colapse, porque solo mantiene la historia necesaria en su memoria activa.

Lo que encontraron
El equipo probó MiniWorld en dos tareas muy diferentes: predecir cómo se mueve un brazo robótico (conjunto de datos DROID) y predecir cómo se mueve una cámara a través de un entorno 3D (RealEstate10K).

Funciona: MiniWorld fue capaz de generar videos estables y largos que seguían las reglas de la física y las acciones del usuario mucho mejor que los métodos anteriores que intentaban adaptar modelos antiguos.
Es rápido: Al utilizar la memoria rodante y procesar los bloques en paralelo, duplicaron la velocidad de generación de video en comparación con métodos anteriores, pasando de unos 3 fotogramas por segundo a más de 7 fotogramas por segundo.
Es accesible: Todo el modelo, incluyendo el código de entrenamiento y los pesos finales, puede entrenarse en un solo servidor con 8 tarjetas gráficas en solo unos pocos días. Esta es una reducción masiva de costos en comparación con las semanas o meses y los miles de GPUs que se suelen requerir.

Lo que no hicieron
El artículo señala cuidadosamente que MiniWorld no es el "jefe final" de la generación de video. No produce las películas con la calidad absoluta y fotorrealista que podrías ver en una película de Hollywood. En su lugar, es una línea base reproducible. Los autores argumentan explícitamente contra la idea de que debes usar modelos masivos preentrenados para obtener buenos resultados. Demostraron que un enfoque más simple y transparente puede lograr predicciones estables y de larga duración sin la complejidad del "post-entrenamiento" o la destilación.

La conclusión
MiniWorld sugiere que el futuro de la IA interactiva no tiene por qué estar bloqueado tras un muro de pago de supercomputadores costosos. Al construir un sistema que respeta el flujo del tiempo (del pasado al futuro) y utiliza trucos inteligentes de memoria, los autores han creado un conjunto de herramientas que cualquiera puede usar para experimentar con modelos de mundo. No han resuelto todos los problemas —los errores aún se acumulan en videos muy largos—, pero han demostrado que una receta simple, abierta y eficiente es suficiente para hacer el trabajo. Esto abre la puerta para que más investigadores puedan experimentar, mejorar y comprender cómo las máquinas pueden aprender a predecir el futuro.

Resumen Técnico: MiniWorld

Planteamiento del Problema

Los modelos de mundo de video buscan predecir observaciones futuras condicionadas por observaciones históricas y señales de control, sirviendo como un componente fundamental para la IA encarnada (embodied AI) y la simulación interactiva. A diferencia de los generadores de video convencionales que se centran en la apariencia visual, los modelos de mundo deben aprender la dinámica subyacente de la evolución del entorno.

Los enfoques actuales de vanguardia dependen predominantemente de la adaptación de modelos de difusión de video bidireccionales preentrenados y de gran tamaño (por ejemplo, Wan) en predictores autorregresivos mediante técnicas de post-entrenamiento como el ajuste fino (fine-tuning), la destilación o el aprendizaje por refuerzo. Aunque son efectivos, estos métodos sufren tres limitaciones principales:

Intensidad de Recursos: Requieren procesos complejos de múltiples etapas y recursos computacionales sustanciales.
Desajuste entre Entrenamiento e Inferencia: El preentrenamiento bidireccional es intrínsecamente inconsistente con la inferencia de flujo causal (streaming). Durante el entrenamiento, los modelos ven la historia de verdad absoluta (ground-truth), mientras que durante la inferencia, dependen de sus propias predicciones previas, lo que genera sesgo de exposición y acumulación de errores.
Falta de Baselines Accesibles: La comunidad carece de un marco ligero, transparente y totalmente reproducible para entrenar modelos de mundo de video de flujo desde cero con presupuestos computacionales modestos.

Metodología

MiniWorld aborda estos desafíos proponiendo un marco para entrenar modelos de mundo de video de flujo desde cero utilizando un Transformer de Difusión de Video (Video DiT) con causalidad de bloque, entrenado con Flow Matching en el espacio latente de un VAE de video preentrenado (Wan2.2).

Componentes Arquitectónicos Centrales

Atención de Bloque Causal (Block-Causal Attention): La secuencia de video se particiona en fragmentos (chunks) ordenados temporalmente. Los tokens dentro de un mismo fragmento atienden bidireccionalmente, mientras que la atención entre fragmentos es estrictamente causal (un fragmento solo puede acceder a los fragmentos precedentes). Esto preserva las ricas interacciones espacio-temporales dentro de los fragmentos al tiempo que impone la dependencia causal requerida para la generación autorregresiva.
Condicionamiento de Acción: Las acciones del robot y las poses de la cámara se integran mediante un mecanismo basado en AdaLN. Un codificador de acciones produce embeddings y vectores de modulación que interactúan con los embeddings del paso de tiempo de difusión. El marco utiliza AdaLN-LoRA, donde las capas comparten una rama de modulación común pero aprenden residuales de bajo rango ligeros, desacoplando el condicionamiento semántico de la modulación de características.
Programación de Ruido por Fragmentos (CoPP): Basándose en Diffusion Forcing, MiniWorld asigna pasos de tiempo de difusión independientes a diferentes fragmentos latentes dentro de una secuencia. Impone una restricción de ruido no decreciente ( $\tau_1 \le \tau_2 \le \dots \le \tau_M$ ), asegurando que los fragmentos anteriores sean más limpios que los posteriores. Esto imita el estado de inferencia donde las observaciones pasadas han convergido mientras que el contenido futuro es incierto. Los autores introducen un programador de Propagación de Probabilidad Orientada a Fragmentos (CoPP) para muestrear composiciones de pasos de tiempo monotónicos válidos, mejorando la robustez sobre el muestreo estándar.
Entrenamiento Continuo en Dos Etapas:
1. Pre-entrenamiento: Entrenado en clips de video cortos (21/46 fotogramas) para aprender transiciones de estado condicionadas por acción de manera eficiente.
2. Entrenamiento Continuo: Entrenado en secuencias más largas (125/253 fotogramas) a la misma resolución. Esta etapa expone al modelo a contextos causales y trayectorias de acción más largas sin modificar el objetivo, utilizando el desplazamiento de paso de tiempo (timestep shifting) para reasignar la densidad de muestreo.

Pipeline de Inferencia de Flujo (Streaming)

MiniWorld emplea un caché KV rodante (rolling KV cache) con denoising asíncrono en pipeline:

Caché KV Rodante Estructurado: El estado de inferencia se divide en un "historial comprometido" (fragmentos ya convergidos) y una "ventana de denoising activa". Una vez que un fragmento se finaliza, sus pares clave-valor se comprometen a un caché FIFO. Un "ancla de sumidero" (sink anchor - el contexto inicial limpio) se retiene permanentmente, mientras que los fragmentos de historial más antiguos se eliminan. Esto mantiene un costo computacional acotado independientemente de la longitud de la generación.
Re-desplazamiento de RoPE: Para manejar las posiciones temporales avanzadas de los nuevos fragmentos sin extrapolar los Rotary Position Embeddings (RoPE) más allá de los rangos de entrenamiento, el sistema aplica un re-desplazamiento de RoPE a las claves retenidas, re-indexando efectivamente la ventana deslizante.
Denoising en Pipeline: Múltiples fragmentos futuros pueden existir en diferentes pasos de tiempo de difusión simultáneamente, permitiendo un denoising paralelo dentro de la ventana activa. Esto permite un equilibrio flexible entre el rendimiento (throughput) y la calidad.

Contribuciones Clave

Marco MiniWorld: Un marco ligero y totalmente reproducible que hace que el entrenamiento de modelos de mundo de video de flujo desde cero sea factible con hardware modesto (por ejemplo, un solo servidor de 8 GPUs).
Receta Integrada: Una metodología práctica que combina un Video DiT de causalidad de bloque, programación de ruido no decreciente por fragmentos, entrenamiento continuo en dos etapas y una inferencia de flujo con caché KV rodante.
Baseline de Código Abierto: El lanzamiento de todo el pipeline de procesamiento de datos, entrenamiento, inferencia y evaluación, ofreciendo una alternativa transparente a los complejos enfoques de post-entrenamiento propietarios.

Resultados Experimentales

Los autores evaluaron MiniWorld en dos benchmarks: DROID (condicionado por acción robótica) y RealEstate10K (condicionado por trayectoria de cámara).

Rendimiento vs. Baseline: Comparado con un baseline de video corto bidireccional (ventana deslizante), MiniWorld demostró mejoras significativas en las puntuaciones relativas (donde el baseline se normaliza a 1). En DROID, logró una puntuación relativa de 2.49 en Precisión de Trayectoria, 2.38 en Precisión de Profundidad y 2.16 en LPIPS. En RE10K, mejoró la Suavidad Fotométrica a una puntuación relativa de 1.89 y la Precisión de Profundidad a 1.55.
Estudios de Ablación:
- Guía Libre de Clasificador (CFG): Mejoró las métricas de apariencia y dinámica sin alterar significativamente la fidelidad a nivel de fotograma.
- Tamaño de Ventana: Reducir la ventana de denoising en línea de 32 fragmentos a 8 (con caché KV) preservó la calidad mientras mejoró drásticamente la eficiencia.
- Tamaño de Caché: Reducir el tamaño del caché KV de 24 a 6 fragmentos tuvo un impacto mínimo en el rendimiento, sugiriendo que el modelo no depende de retener todo el historial una vez que la ventana activa y el sumidero están fijados.
- Anclas de Sumidero (Sink Anchors): Añadir fotogramas de sumidero proporcionó una estabilidad marginal para el contexto global pero no fue el principal motor de las ganancias de calidad.
Escalabilidad: El rendimiento mejoró de forma monótona de 0.5B a 3B de parámetros, con los modelos más grandes mostrando una fuerza particular en el modelado de la dinámica y la consistencia 3D.
Eficiencia: Reemplazar la ventana completa con una ventana de vuelo de 8 fragmentos más el caché KV aumentó el rendimiento de 3.31 FPS a 7.29 FPS (aproximadamente un aumento de 2.20×) y redujo la latencia del primer fragmento de 74.0s a 4.86s (una reducción de 15.2×).

Significado y Reivindicaciones

El artículo posiciona a MiniWorld no como un generador de vanguardia que compite con los masivos modelos propietarios en pura calidad perceptual, sino como un baseline transparente y reproducible para la comunidad de investigación.

Democratización: Demuestra que el modelado de mundo de flujo estable, de largo horizonte y condicionado por acción no requiere una computación prohibitiva ni complejos pipelines de post-entrenamiento.
Alineación: Al entrenar directamente sobre una formulación de predicción de siguiente estado condicionada por acción, MiniWorld alinea el objetivo de entrenamiento con el proceso de inferencia de flujo causal, mitigando el desajuste estructural inherente al adaptar modelos bidireccionales.
Facilitador de Investigación: Los autores esperan que MiniWorld baje la barrera de ingeniería para estudiar desafíos específicos en los modelos de mundo de flujo, como la memoria temporal, el aprendizaje de representación causal y la acumulación de errores a largo horizonte, facilitando la futura innovación arquitectónica y algorítmica.

Los autores reconocen las limitaciones, señalando que los errores de predicción aún se acumulan en rollouts extendidos en escenarios complejos y que la escala actual es modesta en comparación con los modelos fundacionales de frontera. Consideran a MiniWorld como un punto de partida para la investigación reproducible más que como el techo de rendimiento del campo.