Toward Memory-Aided World Models: Benchmarking via Spatial Consistency

Resumo Técnico: Rumo a Modelos de Mundo Auxiliados por Memória

1. O Problema

Os modelos de mundo (world models) recentes avançaram significativamente na qualidade visual da geração de observações. No entanto, eles falham criticamente em manter a consistência espacial ao longo de trajetórias de rolagem (rollouts) estendidas.

• Definição de Consistência Espacial: A capacidade de preservar estruturas espaciais coerentes e estáveis ao longo do tempo.
• Consequências da Falha: Em tarefas downstream como planejamento, navegação e controle preditivo, a inconsistência leva a falhas graves, como a alucinação de estruturas, contradições com observações anteriores e cenas visualmente incoerentes.
• Limitação Atual: A maioria dos modelos baseados em Transformers é limitada a contextos curtos (poucas dezenas de quadros) devido ao custo computacional quadrático do mecanismo de atenção. Além disso, não existem conjuntos de dados ou benchmarks projetados especificamente para forçar e avaliar a retenção de informações espaciais de longo prazo. Os dados existentes focam em exploração aberta, onde o agente raramente revisita locais, incentivando o modelo a "alucinar" novos cenários em vez de recuperar memórias episódicas.

2. Metodologia

Os autores propõem uma abordagem completa composta por um novo conjunto de dados, um protocolo de avaliação e uma análise de modelos baselines.

A. Dataset LOOPNAV (Minecraft)
Para superar a falta de dados com restrições espaciais explícitas, os autores construíram o LOOPNAV no ambiente open-world do Minecraft.

• Estrutura de Dados: O dataset consiste em trajetórias de navegação em loop (ex: A → B → A ou A → B → C → A). Isso garante que o agente visite o mesmo local de diferentes pontos de vista e tempos, forçando o modelo a recordar o que já viu.
• Diversidade: Coletado em 147 locais distintos (vilas, biomas e estruturas), totalizando cerca de 250 horas (20 milhões de quadros).
• Design de Currículo: As trajetórias possuem comprimentos variados (raios de navegação de 5, 15, 30 e 50 blocos), permitindo um aprendizado progressivo da consistência espacial.
• Coleta: Utilizou-se o framework Mineflayer com um agente controlado por algoritmo A* para garantir trajetórias suaves e estruturadas, removendo elementos distrativos (como mobs) para focar na navegação pura.

B. Protocolo de Benchmark (Explore-then-Generate)
O benchmark avalia a capacidade do modelo de reconstruir o ambiente após uma exploração longa.

• Fase de Exploração (Contexto): O modelo recebe a primeira metade da trajetória (ex: A → B) como entrada contextual.
• Fase de Geração (Alvo): O modelo deve gerar a segunda metade (ex: B → A), onde o agente retorna a um local já visitado.
• Métricas:
  • Quantitativas: FVD (Fréchet Video Distance), LPIPS (Similaridade Perceptual) e SSIM (Índice de Similaridade Estrutural).
  • Qualitativas: Inspeção humana para verificar a fidelidade semântica e a coerência espacial.

C. Modelos Avaliados
Quatro modelos representativos foram testados:

1. Oasis: Modelo baseado em ViT e DiT (difusão latente).
2. Mineworld: Modelo autoregressivo baseado puramente em Transformers.
3. DIAMOND: Modelo baseado em difusão (UNet).
4. NWM (Navigation World Model): Modelo de geração condicional baseado em CDiT.

3. Contribuições Chave

1. LOOPNAV Dataset: O primeiro dataset de grande escala projetado especificamente para treinar e avaliar a consistência espacial de longo prazo através de trajetórias em loop.
2. Novo Benchmark: Um protocolo de avaliação que separa a exploração da geração, focando estritamente na capacidade de reconstrução de locais revisitados.
3. Identificação de Lacunas: Demonstração empírica de que os modelos de estado da arte atuais falham em manter a consistência espacial além de janelas de contexto curtas, destacando a necessidade urgente de módulos de memória explícitos.
4. Recursos Abertos: O dataset, o código de coleta e o benchmark foram open-sourced para fomentar pesquisas futuras.

4. Resultados

A avaliação dos quatro modelos baselines revelou desempenho insatisfatório em todos os cenários:

• Falta de Memória: Nenhum dos modelos conseguiu manter a consistência espacial em trajetórias longas. A maioria opera com janelas de contexto de 32 quadros, enquanto as tarefas de avaliação exigem recordar informações de mais de 100 quadros atrás.
• Colapso do Modelo (Model Collapse): Modelos como Oasis e DIAMOND sofreram de degradação progressiva, onde pequenos erros acumulam-se até que a imagem se torne uma "gramínea vazia" ou totalmente borrada, perdendo a estrutura do ambiente.
• Inconsistência Espacial: Mesmo quando as imagens não colapsam visualmente, os modelos falham em reconstruir a estrutura correta do local revisitado (ex: posições de casas, caminhos), indicando que não estão utilizando a memória episódica, mas sim priorizando priores globais do ambiente.
• Métricas: Os valores de FVD foram extremamente altos, indicando grande divergência entre os vídeos gerados e o ground truth.

5. Significado e Impacto

Este trabalho estabelece um marco fundamental para o desenvolvimento de Modelos de Mundo Auxiliados por Memória.

• Mudança de Paradigma: Demonstra que a alta qualidade visual de curto prazo não é suficiente para aplicações de robótica, direção autônoma e planejamento, onde a consistência lógica e espacial a longo prazo é crítica.
• Direção Futura: O estudo aponta que o próximo salto em modelos de mundo não virá apenas de arquiteturas de difusão ou Transformers maiores, mas sim do desenvolvimento de módulos de memória eficazes (explícitos ou implícitos) capazes de armazenar e recuperar representações espaciais de longo prazo.
• Aplicabilidade: O dataset LOOPNAV serve como um teste rigoroso para validar se novos modelos conseguem realmente "lembrar" o mundo que exploraram, sendo essencial para a criação de agentes autônomos confiáveis.

Em resumo, o paper argumenta que sem uma memória robusta e mecanismos de avaliação focados em consistência espacial, os modelos de mundo permanecerão como "máquinas de sonhos" visualmente impressionantes, mas inúteis para tarefas de decisão complexas no mundo real.