🤖 AI

ReWorld: An Interactive World Model with Long-Horizon Memory

ReWorld es un modelo de mundo interactivo que resuelve la tensión estructural entre el control de corto horizonte y la memoria de largo horizonte mediante la separación de estas capacidades durante el entrenamiento con mecanismos de atención mixtos y su unificación en la inferencia a través de un sistema de recuperación de hitos indexados por pose, logrando una fidelidad de acción, calidad de video y consistencia temporal de minutos de duración superiores a través de diversos dominios visuales.

Autores originales: Zhifei Chen, Luozhou Wang, Guibao Shen, Dongyu Yan, Shuai Yang, Tianshuo Xu, Yihua Du, Wei Wang, Tianyi Gui, Lianghua Huang, Yingcong Chen

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhifei Chen, Luozhou Wang, Guibao Shen, Dongyu Yan, Shuai Yang, Tianshuo Xu, Yihua Du, Wei Wang, Tianyi Gui, Lianghua Huang, Yingcong Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una computadora que puede observar un video y luego predecir qué sucede después, fotograma a fotograma, como si estuviera viviendo dentro de la escena. Esta es la promesa de un "modelo de mundo", un tipo de inteligencia artificial diseñada para simular entornos donde un agente puede moverse y actuar. Para que estos sistemas se sientan verdaderamente vivos, deben hacer tres cosas difíciles a la vez: deben reaccionar instantáneamente a los comandos de un usuario, deben recordar exactamente cómo se veía un lugar cuando el usuario se fue y regresó a él, y deben seguir generando video nuevo en tiempo real sin quedarse sin memoria. El desafío ha sido que estos objetivos suelen enfrentarse entre sí. Para reaccionar rápido, un sistema necesita enfocarse solo en el pasado inmediato, pero para recordar una ubicación distante, necesita aferrarse a una historia vasta. Si un sistema intenta hacer ambas cosas con el mismo enfoque simple, generalmente falla en una u otra, ya sea olvidando el pasado o tropezando con el presente.

Los investigadores han construido ahora un sistema llamado ReWorld que resuelve esta tensión enseñando a la computadora a pensar de dos maneras diferentes simultáneamente. El equipo, trabajando con instituciones en Hong Kong y Alibaba, creó un modelo que puede seguir los movimientos de cámara de un usuario, transmitir video de alta calidad de mundos fotorrealistas y de estilo de juego, y recordar escenas específicas de hace minutos, incluso después de que la cámara haya viajado lejos y regresado. El descubrimiento clave es que el sistema no necesita elegir entre la reacción a corto plazo y la memoria a largo plazo; en su lugar, separa estas tareas durante su proceso de aprendizaje y luego las gestiona cuidadosamente cuando está funcionando realmente.

El núcleo del éxito de ReWorld reside en cómo organiza su atención. En muchos modelos de inteligencia artificial, el sistema observa toda la información que ha visto hasta ahora para decidir qué generar a continuación. ReWorld divide este trabajo entre diferentes partes de su cerebro. Algunas partes están entrenadas para mirar solo el pasado muy reciente, quizás los últimos segundos, para asegurar que la pulsación de un botón resulte en un movimiento de cámara inmediato y preciso. Otras partes están entrenadas para mirar todo el historial del video, permitiendo que el sistema reconozca que una formación rocosa específica o un edificio que vio hace mucho tiempo es el mismo que está viendo ahora. Crucialmente, los investigadores no asignaron estos trabajos a partes fijas del sistema. En su lugar, mezclaron los roles aleatoriamente durante el entrenamiento, asegurando que cada parte del sistema aprendiera a manejar tanto las reacciones inmediatas como los recuerdos distantes. Esto evita que el sistema se vuelva dependiente de una forma específica de mirar el pasado, lo cual es vital porque, en el mundo real, el sistema no puede mantener toda su historia en memoria para siempre.

Cuando el sistema se pone a trabajar, enfrenta un límite estricto en la cantidad de información que puede contener en un momento dado. Para manejar esto, ReWorld utiliza un sistema de archivo ingenioso. A medida que el video se reproduce, mantiene una ventana pequeña y constantemente actualizada de los fotogramas más recientes. Cuando los fotogramas más antiguos salen de esta ventana, no son simplemente eliminados. En su lugar, el sistema verifica si la cámara se ha movido lo suficiente como para justificar el guardado de una captura de ese lugar. Si es así, el sistema guarda un "punto de referencia" de alta calidad de esa escena. Estos puntos de referencia se almacenan en un banco separado y limitado. Cuando la cámara se da la vuelta y regresa hacia un lugar que visitó anteriormente, el sistema busca en este banco el punto de referencia que coincida con la vista actual y lo recupera en la memoria activa. Esto permite que el sistema recuerde una escena de hace un minuto sin necesidad de almacenar cada uno de los fotogramas que ocurrieron en medio.

Para que esto funcione, los investigadores tuvieron que enseñar al modelo utilizando un tipo de datos muy específico. Combinaron metraje de videos del mundo real, videojuegos y entornos generados por computadora, pero hicieron algo inusual: se aseguraron de que un comando único, como presionar una tecla para avanzar, moviera la cámara exactamente la misma distancia física en cada tipo de metraje. Esto creó un lenguaje de movimiento unificado. También utilizaron una técnica de entrenamiento especial donde a veces ocultaban partes del historial del video al modelo, forzándolo a aprender cómo reconstruir la escena incluso cuando su memoria era incompleta. Esto preparó al modelo para la realidad de su banco de memoria limitado, asegurando que no se confundiera cuando tuviera que depender de unos pocos puntos de referencia clave en lugar de un flujo continuo de datos.

Los resultados de este enfoque son sorprendentes. En pruebas donde la cámara se alejaba y luego regresaba a su punto de partida, ReWorld fue capaz de regenerar la vista original con una precisión notable, incluso después de que la cámara hubiera viajado durante un minuto o más. Otros sistemas, que dependen de mantener una simple ventana deslizante de fotogramas recientes, fallaron en recordar el punto de partida una vez que este salió de su ventana. ReWorld también demostró ser superior al seguir comandos, con la cámara moviéndose exactamente como se pretendía sin desviarse del curso. El sistema puede generar video a una resolución de 704 por 1280 píxeles, lo suficientemente rápido como para sentirse interactivo, y mantiene esta calidad a través de diferentes estilos, desde paisajes realistas hasta mundos de juego estilizados.

Los investigadores encontraron que su método funciona porque respeta las diferentes necesidades de control y memoria. Al entrenar al sistema para manejar comandos a corto plazo y el recuerdo a largo plazo por separado, y luego usar un sistema de recuperación inteligente para traer de vuelta los viejos recuerdos solo cuando es necesario, crearon un modelo de mundo que se siente tanto responsivo como consistente. El sistema no necesita ser una entidad masiva y omnisciente para recordar el pasado; solo necesita saber cómo encontrar la pieza correcta del pasado cuando se necesita. Este enfoque permite que el modelo se ejecute en hardware de computadora estándar mientras mantiene una sensación de continuidad que antes era imposible para la generación de video interactivo. El trabajo sugiere que el futuro de la IA interactiva no radica solo en hacer los modelos más grandes, sino en hacerlos más inteligentes sobre cómo organizan y acceden a la información que ya han aprendido.

Resumen Técnico: ReWorld – Un Modelo de Mundo Interactivo con Memoria de Largo Alcance

1. Planteamiento del Problema

Los modelos de mundo interactivos buscan simular entornos donde un agente pueda actuar, generando flujos de video coherentes y explorables en respuesta a las acciones del usuario. Sin embargo, los sistemas actuales enfrentan una tensión estructural fundamental entre control y memoria:

El Control requiere horizontes de atención cortos para reaccionar inmediatamente a los inputs del usuario (p. ej., pulsaciones de teclas) sin distraerse con la historia distante.
La Memoria requiere horizontes de atención ilimitados para recordar y regenerar con precisión escenas visitadas hace mucho tiempo.

Los enfoques existentes suelen tener dificultades para equilibrar ambos aspectos. Entrenar ambas capacidades simultáneamente suele derivar en un compromiso donde mejorar el control degrada la memoria (fidelidad de la re-visita), y viceversa. Además, el despliegue de estos modelos en tiempo real está limitado por el presupuesto de memoria del caché KV; mantener un historial completo para rollouts de larga duración es computacionalmente inviable, mientras que las ventanas deslizantes estándar inevitablemente descartan la evidencia necesaria para la recuperación de largo alcance.

2. Metodología

ReWorld aborda estos desafíos mediante un diseño de dos pasos: el desacoplamiento del entrenamiento de control y memoria mediante la división de ventanas, y la consolidación de la memoria bajo un presupuesto de inferencia fijo.

2.1 Entrenamiento: División de Ventanas para Control y Memoria

La innovación central es la separación del aprendizaje de control y memoria asignando diferentes ventanas de atención a diferentes cabezales de atención dentro de la misma iteración del modelo.

Ventanas de Atención por Cabezal Mixtas: El modelo divide sus cabezales de atención en dos grupos:
- Cabezales Locales (18/24): Atienden solo a los últimos $w=12$ frames (3 chunks). Estos cabezales aprenden control, asegurando que el modelo responda correctamente a las acciones inmediatas independientemente de la longitud total del historial.
- Cabezales Globales (6/24): Atienden a todo el historial causal. Estos cabenzales aprenden memoria, permitiendo la recuperación de contenido distante.
Enrutamiento Aleatorio de Cabezales: Para evitar que cabezales específicos se especialicen permanentemente (lo que fallaría en la inferencia cuando el historial completo no esté disponible), la asignación de roles globales vs. locales se randomiza en cada paso del optimizador. Se cicla a través de un conjunto fijo de particiones aleatorias, asegurando que cada cabezal aprenda ambas capacidades. Esto permite que el modelo funcione correctamente incluso cuando el caché de inferencia es limitado y compartido por todos los cabezales.
Condicionamiento Dual: El modelo utiliza dos canales de condicionamiento:
1. Atención Indexada por Pose (MRoPE): Embebe la pose de la cámara ( $SE(3)$ ) directamente en el mecanismo de atención (mediante offsets de fase y residuales), permitiendo al modelo recuperar contenido basado en la proximidad espacial en lugar de solo la distancia temporal.
2. Inyección Directa de Acción: Inyecta explícitamente comandos de cámara de 6 grados de libertad (como mapas de rayos de Plücker) para asegurar una autoridad de control precisa.

2.2 Inferencia: Consolidación de Memoria y Entrenamiento de Caída de Chunks (Chunk-Drop)

En la inferencia, el modelo opera bajo un estricto presupuesto de caché KV limitado ( $B=12$ chunks).

Consolidación de Memoria: En lugar de una ventana deslizante que descarta datos antiguos, ReWorld mantiene un banco de hitos limitado ( $K=30$ $K = 30$ ).
- Admisión: A medida que los chunks envejecen y salen de la ventana reciente, se admiten en el banco de hitos solo si la cámara ha viajado una distancia significativa desde el último hito almacenado (una "regla de odómetro"). Esto asegura que el banco contenga instantáneas diversas y no redundantes del entorno.
- Expulsión: Cuando el banco está lleno, se expulsa al miembro más espacialmente redundante (el más cercano en el espacio de pose a los demás).
- Recuperación: El caché fijo se puebla con un chunk "sumidero" (para el layout global), los 5 chunks más recientes y los 6 hitos ( $|T_k|=6$ ) más cercanos a la pose actual de la cámara, sumando un total de $B=12$ para el presupuesto.
Entrenamiento de Caída de Chunks (Chunk-Drop): Para cerrar la brela entre el entrenamiento (historial contiguo) y la inferencia (historial disperso y no contiguo), el proceso de entrenamiento enmascara aleatoriamente un subconjunto de los chunks de KV pasados. Esto enseña al modelo a reconstruir estados de la escena a partir de memorias incompletas, haciendo que los cachés dispersos producidos por la política de consolidación estén "dentro de la distribución".

2.3 Destilación en Tiempo Real

Para lograr un rendimiento en tiempo real, ReWorld emplea una Destilación de Coincidencia de Distribución (DMD) confinada a un adaptador LoRA ligero.

Un modelo profesor de múltiples pasos entrena a un modelo estudiante que opera en solo 4 pasos de denoise.
El adaptador LoRA se aplica únicamente a las capas de atención y de feed-forward, dejando intactas las rutas de inyección de acción y condicionamiento de pose. Esto permite que un único backbone soporte tanto la generación de alta fidelidad de múltiples pasos como el streaming interactivo en tiempo real.

2.4 Pipeline de Datos

El modelo se entrena en un corpus alineado a escala métrica de 220,724 clips de ocho fuentes (Unreal Engine, metraje del mundo real y datos de juegos).

Alineación de Escala: Todas las fuentes se reescalan para que una única acción física (p. ej., una pulsación de tecla) corresponda a la misma distancia física en todos los datasets.
Aumentación de Palíndromo: Las trayectorias que retracan su camino (ida y vuelta) se utilizan para proporcionar supervisión explícita para la memoria de largo alcance.

3. Contribuciones Clave

Entrenamiento de Ventana Dividida: Una novedosa receta de entrenamiento que utiliza ventanas de atención por cabezal mixtas y enrutamiento aleatorio de cabezales para desacoplar el aprendizaje de control (ventana corta) y memoria (ventana larga) sin aumentar los parámetros del modelo.
Inferencia Basada en Consolidación: Un sistema de gestión de memoria que utiliza un banco de hitos indexado por pose con expulsión basada en redundancia, junto con un entrenamiento de caída de chunks, para mantener la memoria espacial sobre rollouts ilimitados dentro de un presupuesto de KV fijo.
Pipeline Multifuente Alineado Métricamente: Un motor de datos unificado que alinea el metraje sintético, real y de juegos a una única escala de acción física, permitiendo una transferencia robusta entre dominios.
Despliegue en Tiempo Real: Una estrategia de destilación confinada a LoRA que permite a un único backbone transmitir video de alta resolución (704×1280) en tiempo real (4 pasos) manteniendo capacidades de alta fidelidad.

4. Resultados

Evaluado contra seis modelos de mundo interactivos recientes (incluyendo SANA-WM, DreamX, HY-WorldPlay y Matrix-Game 3.0), ReWorld demuestra un rendimiento superior en tres ejes:

Fidelidad de Control: ReWorld logra el mejor error de rotación (11.95°) y consistencia de movimiento de cámara en un benchmark de 240 clips a través de seis trayectorias canónicas. Supera a las líneas base tanto en tareas de mucha traslación como en las de mucha rotación.
Memoria de Largo Alcance: En pruebas de palíndromo tipo "aguja en un pajar" (hasta 384 latentes / ~64 segundos), ReWorld mantiene una alta fidelidad de re-visita.
- En un rollout de 96 latentes, donde las ventanas deslizantes ya han expulsado la vista inicial, ReWorld logra un SSIM de re-visita de 0.384, superando significativamente a las líneas base que derivan o alteran la geometría.
- Los estudios de ablación confirman que el enrutamiento aleatorio de cabezales es crítico: sin él, la inyección de acción degrada la memoria; con él, el control y la memoria se preservan simultáneamente.
Calidad de Generación: ReWorld alcanza la puntuación media más alta en VBench (0.850), equilibrando la consistencia temporal, la suavidad del movimiento y el grado dinámico. A diferencia de algunas líneas base que sacrifican el movimiento por la consistencia, ReWorld mantiene altos grados dinámicos.

5. Significado y Afirmaciones

El artículo afirma que ReWorld resuelve la tensión estructural entre control y memoria separándolos durante el entrenamiento y limitándolos en la inferencia.

Desacoplamiento: El mecanismo de enrutamiento aleatorio de cabezales demuestra que el control no necesita depender de cabezales específicos o ventanas largas, permitiendo que el modelo funcione correctamente incluso cuando el caché de inferencia está comprimido.
Escalabilidad: Al consolidar la memoria en un banco de hitos indexado por pose, el modelo puede generar rollouts de minutos con una memoria espacial consistente a un costo computacional constante, una hazaña donde las ventanas deslizantes fallan y la atención de full-KV se queda sin memoria.
Practicidad: El sistema demuestra que es posible lograr modelos de mundo interactivos de alta fidelidad y tiempo real mediante una destilación eficiente y un diseño arquitectónico cuidadoso, en lugar de simplemente escalar el tamaño del modelo o la longitud del contexto.

Los autores señalan que, aunque el sistema actual sobresale en la interacción de navegación, extender este mecanismo de consolidación a escenas dinámicas e interacciones más ricas y no navegacionales sigue siendo una dirección futura.