Resumo Técnico: World Reasoning Arena (WR-Arena)

Autores: Equipe PAN, Institute of Foundation Models, MBZUAI.
Data: 30 de março de 2026.
Tema: Avaliação de Modelos de Mundo (World Models - WMs) para simulação, raciocínio e planejamento de longo prazo.

1. Problema e Motivação

Os Modelos de Mundo (WMs) são definidos como simuladores internos que permitem a agentes inteligentes entender, antecipar e agir em ambientes complexos. No entanto, os benchmarks existentes para avaliar WMs apresentam limitações críticas:

• Foco Excessivo em Métricas de Baixo Nível: A maioria das avaliações atuais concentra-se na previsão do próximo estado (next-state prediction) e na fidelidade visual (fidelidade de pixels), ignorando capacidades de simulação mais ricas necessárias para comportamentos inteligentes.
• Falta de Avaliação de Longo Prazo: Os testes atuais são predominantemente de "turno único" ou de curto prazo, falhando em avaliar a consistência física, a acumulação de erros e a capacidade de raciocínio em cenários de longo horizonte.
• Incapacidade de Planejamento Ativo: Os benchmarks não testam se o modelo pode atuar como um planejador ativo, simulando futuros alternativos para tomar decisões, em vez de ser apenas um preditor passivo.

O relatório argumenta que, sem testar essas capacidades, não é possível determinar se um modelo funciona como um "sandbox" de simulação de mundo confiável para tomada de decisão e ação propositada.

2. Metodologia: WR-Arena

Para preencher essa lacuna, os autores introduzem o WR-Arena, um benchmark abrangente que avalia WMs em três dimensões fundamentais da Simulação do Próximo Mundo:

A. Dimensões de Avaliação

1. Fidelidade da Simulação de Ação (Action Simulation Fidelity):
   • Avalia a capacidade do modelo de interpretar e seguir instruções semânticas de alto nível (multi-step) e gerar rollouts (sequências de estados) contrafactuais diversos.
   • Divide-se em duas sub-tarefas:
     • Simulação de Agente: O modelo controla entidades (ex: um robô) mantendo a dinâmica do fundo estável.
     • Simulação de Ambiente: O modelo aplica intervenções no cenário (ex: mudar o clima) enquanto a política do agente permanece neutra.
2. Previsão de Longo Horizonte (Long-horizon Forecast):
   • Mede a capacidade de manter simulações precisas, coerentes e fisicamente plausíveis ao longo de interações estendidas.
   • Foca em evitar a acumulação de erros e degradação temporal.
   • Métricas principais: Suavidade de Transição (Transition Smoothness) e Consistência de Geração (Generation Consistency).
3. Raciocínio e Planejamento Simulativo (Simulative Reasoning and Planning):
   • Avalia se o modelo pode suportar raciocínio orientado a objetivos, simulando e comparando futuros alternativos.
   • Testa o modelo em ambientes estruturados (ex: manipulação de cubos em mesa) e abertos (ex: cenários domésticos complexos), onde um agente VLM (Vision-Language Model) usa o WM para planejar ações.

B. Taxonomia e Dados

• Foi construída uma taxonomia de tarefas que cobre habilidades granulares e suas interseções.
• Os dados foram curados a partir de datasets como Agibot (manipulação robótica), Language Table (cenários estruturados) e cenários de direção simulados.
• A avaliação utiliza Modelos de Linguagem Visuais (VLMs) como juízes para verificar a fidelidade da ação e a precisão, além de avaliações humanas para tarefas de planejamento.

3. Contribuições Principais

1. Novo Benchmark (WR-Arena): O primeiro framework unificado que vai além da fidelidade perceptual para avaliar a capacidade de simulação de WMs em raciocínio, planejamento e controle de longo prazo.
2. Taxonomia de Avaliação: Uma estrutura detalhada que distingue entre simulação de agente, simulação de ambiente, previsão de longo prazo e raciocínio simulativo.
3. Análise de Estado da Arte (SOTA): Uma avaliação em larga escala de modelos de ponta, incluindo WMs (Cosmos, V-JEPA2, PAN) e geradores de vídeo comerciais (KLING, MiniMax, Gen-3, WAN).
4. Descoberta de Lacunas: Evidência empírica de que a qualidade perceptual sozinha é insuficiente para a tomada de decisão e que a maioria dos modelos atuais falha em manter a coerência física em longos horizontes.

4. Resultados Experimentais

Os experimentos revelaram uma lacuna substancial entre os modelos atuais e o raciocínio hipotético de nível humano:

• Desempenho Geral: Nenhum modelo dominou em todas as dimensões.
  • Geradores de Vídeo Comerciais (KLING, MiniMax, Gen-3): Apresentam alta qualidade visual e bom controle de curto prazo, mas falham na adaptação de domínio e no planejamento específico de tarefas.
  • Modelos Open-Source (V-JEPA2, Cosmos): Suportam melhor os rollouts internos para planejamento, mas carecem de fidelidade de controle e estabilidade temporal, levando a execuções frágeis.
  • Modelo PAN (Proposto pela equipe): Demonstrou o perfil de desempenho mais equilibrado.
• Fidelidade de Ação: O PAN superou significativamente o WAN 2.1 (que não foi treinado com condicionamento de ação), mostrando que o alinhamento explícito entre representações de ação e transições de estado é crucial.
• Previsão de Longo Horizonte: O PAN manteve a consistência de geração por mais tempo, com uma curva de degradação muito mais plana em comparação a outros modelos (como WAN 2.1, que caiu de 90% para 30% de consistência em 9 rodadas). Isso é atribuído à estratégia de treinamento "self-forcing" do PAN.
• Planejamento Simulativo: Apenas o PAN demonstrou melhorias significativas e confiáveis no sucesso do planejamento quando integrado a um agente VLM (ganho de ~26% em cenários abertos e ~23% em estruturados). Outros modelos forneceram simulações que não eram semanticamente fundamentadas o suficiente para guiar o planejamento.

5. Significado e Conclusão

O relatório conclui que:

• A Qualidade Visual não é Suficiente: Um modelo pode gerar vídeos realistas, mas falhar em respeitar a consistência física causal ou seguir instruções complexas de longo prazo.
• Necessidade de Arquiteturas Unificadas: Os resultados sugerem que os próximos modelos de mundo devem otimizar conjuntamente a compreensão, previsão e controle como objetivos acoplados, em vez de tratá-los como módulos separados.
• Ferramenta Diagnóstica: O WR-Arena serve como uma ferramenta de diagnóstico para identificar falhas específicas (ex: acumulação de erros, falta de fidelidade de intervenção) e como um guia para o desenvolvimento de WMs de próxima geração capazes de raciocínio hipotético robusto em ambientes do mundo real.

O código e os dados do benchmark estão disponíveis publicamente para impulsionar a pesquisa na área de inteligência artificial fundamentada em modelos de mundo.