🤖 AI

ReWorld: An Interactive World Model with Long-Horizon Memory

O ReWorld é um modelo de mundo interativo que resolve a tensão estrutural entre o controle de curto horizonte e a memória de longo horizonte ao separar essas capacidades durante o treinamento com mecanismos de atenção mistos e unificá-las na inferência por meio de um sistema de recuperação de marcos indexados por pose, alcançando fidelidade de ação, qualidade de vídeo e consistência temporal de minutos superiores através de diversos domínios visuais.

Autores originais: Zhifei Chen, Luozhou Wang, Guibao Shen, Dongyu Yan, Shuai Yang, Tianshuo Xu, Yihua Du, Wei Wang, Tianyi Gui, Lianghua Huang, Yingcong Chen

Publicado 2026-08-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhifei Chen, Luozhou Wang, Guibao Shen, Dongyu Yan, Shuai Yang, Tianshuo Xu, Yihua Du, Wei Wang, Tianyi Gui, Lianghua Huang, Yingcong Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um computador que pode assistir a um vídeo e depois prever o que acontece a seguir, quadro a quadro, como se estivesse vivendo dentro da cena. Este é o potencial de um "modelo de mundo", um tipo de inteligência artificial projetada para simular ambientes onde um agente pode se mover e agir. Para que esses sistemas pareçam verdadeiramente vivos, eles devem fazer três coisas difíceis simultaneamente: devem reagir instantaneamente aos comandos de um usuário, devem lembrar exatamente como um lugar parecia quando o usuário o deixou e retornou a ele, e devem continuar gerando novos vídeos em tempo real sem esgotar a memória. O desafio tem sido que esses objetivos frequentemente entram em conflito. Para reagir rapidamente, um sistema precisa focar apenas no passado imediato, mas para lembrar de um local distante, ele precisa manter um histórico vasto. Se um sistema tentar fazer ambos com a mesma abordagem simples, ele geralmente falha em um ou no outro, seja esquecendo o passado ou tropeçando no presente.

Pesquisadores construíram agora um sistema chamado ReWorld que resolve essa tensão ao ensinar o computador a pensar de duas maneiras diferentes simultaneamente. A equipe, trabalhando com instituições em Hong Kong e na Alibaba, criou um modelo que pode acompanhar os movimentos de câmera de um usuário, transmitir vídeos de alta qualidade de mundos fotorrealistas e de jogos, e recordar cenas específicas de minutos atrás, mesmo após a câmera ter viajado para longe e retornado. A descoberta fundamental é que o sistema não precisa escolher entre reação de curto prazo e memória de longo prazo; em vez disso, ele separa essas tarefas durante seu processo de aprendizado e as gerencia cuidadosamente quando está realmente em execução.

O cerne do sucesso do ReWorld reside em como ele organiza sua atenção. Em muitos modelos de inteligência artificial, o sistema observa todas as informações que viu até agora para decidir o que gerar a seguir. O ReWorld divide esse trabalho entre diferentes partes de seu cérebro. Algumas partes são treinadas para olhar apenas para o passado muito recente, talvez os últimos segundos, para garantir que o pressionar de um botão resulte em um movimento de câmera imediato e preciso. Outras partes são treinadas para olhar para todo o histórico do vídeo, permitindo que o sistema reconheça que uma formação rochosa específica ou um edifício que viu há muito tempo é o mesmo que está vendo agora. Crucialmente, os pesquisadores não atribuíram esses trabalhos a partes fixas do sistema. Em vez disso, eles embaralharam os papéis aleatoriamente durante o treinamento, garantindo que cada parte do sistema aprendesse a lidar tanto com reações imediatas quanto com memórias distantes. Isso evita que o sistema se torne dependente de uma maneira específica de olhar para o passado, o que é vital porque, no mundo real, o sistema não pode manter todo o seu histórico na memória para sempre.

Quando o sistema é colocado para trabalhar, ele enfrenta um limite rigoroso de quanta informação pode conter em um determinado momento. Para lidar com isso, o ReWorld usa um sistema de arquivamento inteligente. Conforme o vídeo é reproduzido, ele mantém uma janela pequena e constantemente atualizada dos quadros mais recentes. Quando quadros antigos saem desta janela, eles não são simplesmente deletados. Em vez disso, o sistema verifica se a câmera se moveu o suficiente para justificar o salvamento de um instantâneo daquele local. Se for o caso, o sistema salva um "marco" de alta qualidade daquela cena. Esses marcos são armazenados em um banco separado e limitado. Quando a câmera vira e retorna a um lugar que visitou anteriormente, o sistema pesquisa neste banco pelo marco que corresponde à visão atual e o traz de volta para a memória ativa. Isso permite que o sistema se lembre de uma cena de um minuto atrás sem precisar armazenar cada um dos quadros que ocorreram entre os dois momentos.

Para fazer isso funcionar, os pesquisadores tiveram que ensinar o modelo usando um tipo de dado muito específico. Eles combinaram filmagens de vídeos do mundo real, videogames e ambientes gerados por computador, mas fizeram algo incomum: garantiram que um único comando, como pressionar uma tecla para mover para frente, movesse a câmera exatamente a mesma distância física em todos os tipos de filmagem. Isso criou uma linguagem unificada de movimento. Eles também usaram uma técnica de treinamento especial onde às vezes escondiam partes do histórico do vídeo do modelo, forçando-o a aprender como reconstruir a cena mesmo quando sua memória estava incompleta. Isso preparou o modelo para a realidade de seu banco de memória limitado, garantindo que ele não ficasse confuso quando tivesse que confiar em alguns marcos principais em vez de um fluxo contínuo de dados.

Os resultados dessa abordagem são impressionantes. Em testes onde a câmera se afastava e depois retornava ao ponto de partida, o ReWorld foi capaz de regenerar a visão original com uma precisão notável, mesmo após a câmera ter viajado por um minuto ou mais. Outros sistemas, que dependem de manter uma janela deslizante simples de quadros recentes, falharam em lembrar o ponto de partida assim que ele saiu dessa janela. O ReWorld também se mostrou superior ao seguir comandos, com a câmera movendo-se exatamente como pretendido, sem desviar do curso. O sistema pode gerar vídeo em uma resolução de 704 por 1280 pixels, rápido o suficiente para parecer interativo, e mantém essa qualidade através de diferentes estilos, desde paisagens realistas até mundos de jogos estilizados.

Os pesquisadores descobriram que seu método funciona porque respeita as diferentes necessidades de controle e memória. Ao treinar o sistema para lidar com comandos de curto prazo e recall de longo prazo separadamente, e então usar um sistema de recuperação inteligente para trazer de volta memórias antigas apenas quando necessário, eles criaram um modelo de mundo que parece responsivo e consistente. O sistema não precisa ser uma entidade massiva e onisciente para lembrar o passado; ele só precisa saber como encontrar a peça certa do passado quando ela é necessária. Essa abordagem permite que o modelo rode em hardware de computador padrão enquanto mantém uma sensação de continuidade que era anteriormente impossível para a geração de vídeo interativa. O trabalho sugere que o futuro da IA interativa não reside apenas em tornar os modelos maiores, mas em torná-los mais inteligentes sobre como organizam e acessam a informação que já aprenderam.

Resumo Técnico: ReWorld – Um Modelo de Mundo Interativo com Memória de Longo Horizonte

1. Declaração do Problema

Modelos de mundo interativos visam simular ambientes onde um agente pode agir, gerando fluxos de vídeo coerentes e exploráveis em resposta às ações do usuário. No entanto, os sistemas atuais enfrentam uma tensão estrutural fundamental entre controle e memória:

Controle requer horizontes de atenção curtos para reagir imediatamente aos inputs do usuário (ex: teclas pressionadas) sem serem distraídos pelo histórico distante.
Memória requer horizontes de atenção ilimitados para recordar e regenerar com precisão cenas visitadas há muito tempo.

As abordagens existentes frequentemente lutam para equilibrar esses dois aspectos. Treinar ambas as capacidades simultaneamente geralmente leva a um compromisso (trade-off) onde a melhoria do controle degrada a memória (fidelidade de revisitagem), e vice-versa. Além disso, a implantação desses modelos em tempo real é limitada pelo orçamento de memória do cache KV; manter um histórico completo para rollouts longos é computacionalmente inviável, enquanto janelas deslizantes padrão inevitavelmente descartam a evidência necessária para a recuperação de longo horizonte.

2. Metodologia

O ReWorld aborda esses desafios através de um design de duas etapas: o desacoplamento do treinamento de controle e memória via divisão de janelas (window splitting) e a consolidação da memória sob um orçamento fixo de inferência.

2.1 Treinamento: Controle e Memória com Divisão de Janelas

A inovação central é separar o aprendizado de controle e memória atribuindo diferentes janelas de atenção para diferentes cabeças de atenção dentro da mesma iteração do modelo.

Janelas de Atenção por Cabeça Mistas: O modelo divide suas cabeças de atenção em dois grupos:
- Cabeças Locais (18/24): Atendem apenas aos últimos $w=12$ frames (3 chunks). Estas cabeças aprendem o controle, garantindo que o modelo responda corretamente a ações imediatas, independentemente do comprimento total do histórico.
- Cabeças Globais (6/24): Atendem a todo o histórico causal. Estas cabeças aprendem a memória, permitindo a recuperação de conteúdo distante.
Roteamento Aleatório de Cabeças: Para evitar que cabeças específicas se tornem permanentemente especializadas (o que falharia na inferência quando o histórico completo não estivesse disponível), a atribuição dos papéis global vs. local é randomizada a cada passo do otimizador. Um conjunto fixo de partições aleatórias é ciclado, garantindo que cada cabeça aprenda ambas as capacidades. Isso permite que o modelo funcione corretamente mesmo quando o cache de inferência é limitado e compartilhado por todas as cabeças.
Condicionamento Duplo: O modelo utiliza dois canais de condicionamento:
1. Atenção Indexada por Pose (MRoPE): Incorpora a pose da câmera ( $SE(3)$ ) diretamente no mecanismo de atenção (via offsets de fase e resíduos), permitindo que o modelo recupere conteúdo baseado na proximidade espacial em vez de apenas na distância temporal.
2. Injeção Direta de Ação: Injeta explicitamente comandos de câmera 6-DoF (como mapas de raios de Plücker) para garantir autoridade de controle precisa.

2.2 Inferência: Consolidação de Memória e Treinamento de Queda de Chunks (Chunk-Drop)

Na inferência, o modelo opera sob um orçamento estrito de cache KV ( $B=12$ chunks).

Consolidação de Memória: Em vez de uma janela deslizante que descarta dados antigos, o ReWorld mantém um banco de marcos limitado (bounded landmark bank) ( $K=30$ $K = 30$ ).
- Admissão: À medida que os chunks envelhecem e saem da janela recente, eles são admitidos no banco de marcos apenas se a câmera tiver percorrido uma distância significativa desde o último marco armazenado (uma "regra do odômetro"). Isso garante que o banco contenha snapshots diversos e não redundantes do ambiente.
- Expulsão: Quando o banco está cheio, o membro mais espacialmente redundante (mais próximo em termos de pose em relação aos outros) é expulso.
- Recuperação: O cache fixo é populado com um chunk "sumidouro" (sink chunk) para o layout global, os 5 chunks mais recentes e os 6 marcos ( $|T_k|=6$ ) mais próximos da pose atual da câmera, totalizando o orçamento de $B=12$ .
Treinamento de Queda de Chunks (Chunk-Drop Training): Para preencher a lacuna entre o treinamento (histórico contíguo) e a inferência (histórico esparso e não contíguo), o processo de treinamento mascara aleatoriamente um subconjunto de chunks passados do KV. Isso ensina o modelo a reconstruir estados de cena a partir de memórias incompletas, tornando os caches esparsos produzidos pela política de consolidação "dentro da distribuição" (in-distribution).

2.3 Destilação em Tempo Real

Para alcançar o desempenho em tempo real, o ReWorld emprega a Destilação de Correspondência de Distribuição (DMD) confinada a um adaptador LoRA leve.

Um modelo professor de múltiplos passos treina um modelo aluno que opera em apenas 4 passos de denoising.
O adaptador LoRA é aplicado apenas às camadas de atenção e feed-forward, deixando os caminhos de injeção de ação e condicionamento de pose intactos. Isso permite que um único backbone suporte tanto a geração de alta fidelidade de múltiplos passos quanto o streaming interativo em tempo real.

2.4 Pipeline de Dados

O modelo é treinado em um corpus alinhado em escala métrica de 220.724 clipes de oito fontes (Unreal Engine, filmagens do mundo real e dados de jogos).

Alinhamento de Escala: Todas as fontes são redimensionadas para que uma única ação física (ex: uma tecla pressionada) corresponda à mesma distância física em todos os conjuntos de dados.
Aumentação de Palíndromo: Trajetórias que retratam seu próprio caminho (ida e volta) são usadas para fornecer supervisão explícita para a memória de longo horizonte.

3. Principais Contribuições

Treinamento de Divisão de Janela (Window-Split Training): Uma nova receita de treinamento usando janelas de atenção por cabeça mistas e roteamento aleatório de cabeças para desacoplar o aprendizado de controle (janela curta) e memória (janela longa) sem aumentar os parâmetros do modelo.
Inferência Baseada em Consolidação: Um sistema de gerenciamento de memória que utiliza um banco de marcos indexado por pose com expulsão baseada em redundância, pareado com treinamento de chunk-drop, para manter a memória espacial sobre rollouts ilimitados dentro de um orçamento de KV fixo.
Pipeline de Múltiplas Fontes Alinhadas Metricamente: Um motor de dados unificado que alinha filmagens sintéticas, reais e de jogos a uma única escala de ação física, permitindo transferência robusta entre domínios.
Implantação em Tempo Real: Uma estratégia de destilação confinada ao LoRA que permite que um único backbone realize o streaming de vídeo de alta resolução (704×1280) em tempo real (4 passos) enquanto mantém capacidades de alta fidelidade.

4. Resultados

Avaliado contra seis modelos de mundo interativos recentes (incluindo SANA-WM, DreamX, HY-WorldPlay e Matrix-Game 3.0), o ReWorld demonstra desempenho superior em três eixos:

Fidelidade de Controle: O ReWorld alcança o melhor erro de rotação (11,95°) e consistência de movimento de câmera em um benchmark de 240 clipes através de seis trajetórias canônicas. Ele supera os baselines tanto em tarefas intensas de translação quanto de rotação.
Memória de Longo Horizonte: Em testes de palíndromo "agulha no palheiro" (até 384 latentes / ~64 segundos), o ReWorld mantém alta fidelidade de revisitagem.
- Em um rollout de 96 latentes, onde as janelas deslizantes já haviam descartado a visualização inicial, o ReWorld atinge um SSIM de visita de 0,384, superando significativamente os baselines que sofrem de deriva ou alteração de geometria.
- Estudos de ablação confirmam que o roteamento aleatório de cabeças é crítico: sem ele, a adição de injeção de ação degrada a memória; com ele, controle e memória são preservados simultaneamente.
Qualidade de Geração: O ReWorld atinge a pontuação média mais alta no VBench (0,850), equilibrando consistência temporal, suavidade de movimento e grau dinâmico. Ao contrário de alguns baselines que sacrificam o movimento em prol da consistência, o ReWorld mantém altos graus dinâmicos.

5. Significância e Alegações

O artigo afirma que o ReWorld resolve a tensão estrutural entre controle e memória ao separá-los durante o treinamento e limitá-los na inferência.

Desacoplamento: O mecanismo de roteamento aleatório de cabeças prova que o controle não precisa depender de cabeças específicas ou janelas longas, permitindo que o modelo funcione corretamente mesmo quando o cache de inferência é comprimido.
Escalabilidade: Ao consolidar a memória em um banco de marcos indexado por pose, o modelo pode gerar rollouts de minutos com memória espacial consistente a um custo computacional constante, um feito onde janelas deslizantes falham e a atenção de KV total esgota a memória.
Praticidade: O sistema demonstra que modelos de mundo interativos de alta fidelidade e tempo real são alcançáveis através de destilação eficiente e design arquitetônico cuidadoso, em vez de simplesmente escalar o tamanho do modelo ou o comprimento do contexto.

Os autores observam que, embora o sistema atual se destaque na interação de navegação, estender este mecanismo de consolidação para cenas dinâmicas e interações mais ricas e não navegacionais permanece uma direção futura.