Resumo Técnico: WorldArena 2.0: Estendendo a Avaliação de Modelos de Mundo Corporificados em Modalidade, Funcionalidade e Plataforma

Declaração do Problema

Os modelos de mundo tornaram-se um paradigma central para a inteligência corporificada, permitindo que agentes prevejam futuros condicionados a ações e raciocinem sobre dinâmicas ambientais. No entanto, os benchmarks existentes para modelos de mundo corporificados (EWMs) sofrem de três limitações críticas que impedem a avaliação de modelos cada vez mais abrangentes:

1. Limitação de Modalidade: Os benchmarks predominantes estão confinados a configurações apenas visuais, negligenciando a natureza multimodal das interações corporificadas, onde o feedback tátil é essencial para resolver dinâmicas ricas em contato e fricção física.
2. Limitação de Funcionalidade: As avaliações a jusante estão amplamente restritas ao planejamento em malha aberta ou à avaliação de políticas estáticas. Raramente investigam a capacidade de um modelo de mundo servir como um ambiente de aprendizado por reforço (RL) interativo que suporte a melhoria iterativa de políticas por meio de simulações imaginadas.
3. Limitação de Plataforma: Os resultados dos benchmarks são obtidos quase exclusivamente em simulação. Permanece incerto se um desempenho forte em ambientes virtuais controlados se traduz para a implantação no mundo real, deixando a lacuna simulação-real amplamente inexplorada.

Metodologia

Para abordar essas limitações, os autores introduzem o WorldArena 2.0, um benchmark expandido que amplia sistematicamente a avaliação de EWMs ao longo de três dimensões coordenadas: modalidade, funcionalidade e plataforma.

1. Extensão de Modalidade: Avaliação Visuotátil

O WorldArena 2.0 estende a avaliação de apenas visual para modalidades visuotáteis.

• Pipeline Padronizado: Construído sobre o simulador UniVTAC, os autores propõem um pipeline padronizado para atualizar modelos de mundo apenas visuais para modelos visuotáteis sem cirurgia arquitetônica. Isso envolve três módulos:
  • Um VAE Tátil que codifica mapas de deformação tátil e os alinha no espaço latente de vídeo.
  • Um Modelo de Mundo Visuotátil de Dois Fluxos que realiza a remoção de ruído sincronizada tanto para previsão de vídeo quanto tátil.
  • Uma Cabeça de Difusão de Ação que infere ações futuras com base nos latentes visuotáteis previstos.
• Métricas de Avaliação: Os modelos são avaliados quanto à qualidade da previsão tátil (PSNR, SSIM) e taxas de sucesso funcional em tarefas de manipulação a jusante (por exemplo, Inserir HDMI, Levantar Garrafa).

2. Extensão de Funcionalidade: Modelos de Mundo como Ambientes de RL

O benchmark avança além da previsão offline para avaliar modelos de mundo como ambientes de RL interativos online.

• Estrutura: Os autores formalizam um pipeline de RL em malha fechada onde o modelo de mundo aproxima o kernel de transição do ambiente ($\hat{P}_\phi$). A estrutura compreende quatro componentes:
  • Ambiente de Modelo de Mundo: Prevê a próxima observação dada a estado e ação atuais.
  • Modelo de Recompensa: Prevê recompensas imediatas (testado com designs baseados em Proxy, baseados em VLM e baseados em Similaridade).
  • Modelo de Política: Gera ações condicionadas às observações.
  • Módulo de Otimização: Atualiza os parâmetros da política (por exemplo, via GRPO) para maximizar o retorno esperado.
• Processo: O modelo de mundo substitui o simulador em configurações tradicionais de RL. As políticas são treinadas por meio de interação iterativa com o modelo de mundo, e as políticas resultantes são implantadas para medir as taxas de sucesso em tarefas do mundo real ou de alta fidelidade em simulação.

3. Extensão de Plataforma: Simulação-Real Trans-Encorpamento

O WorldArena 2.0 introduz um pipeline de avaliação graduada abrangendo três plataformas distintas para avaliar a generalização trans-encorpamento:

• RoboTwin 2.0: Um ambiente de simulação escalável bimanual com randomização de domínio extensa (tarefas: Ajustar Garrafa, Sinar Campainha).
• LIBERO: Um benchmark estruturado para manipulação de braço único com deslocamentos de conhecimento procedural (tarefa: Ligar o Fogão).
• AgileX Split-Type ALOHA: Um banco de testes robótico real equipado com braços PiPER de 6 Graus de Liberdade (tarefas: Despejar Água, Limpar Mesa).
• Protocolos de Avaliação: Os modelos são testados como Motores de Dados Corporificados (gerando dados sintéticos para treinamento de políticas) e Planejadores de Ação Corporificados (prevendo diretamente sequências de ação em malha fechada).

Principais Resultados

Os autores conduziram experimentos extensivos em 12 modelos de mundo corporificados de última geração nas plataformas definidas.

• Desempenho Visuotátil:
  • Modelos de mundo de propósito geral (por exemplo, Wan2.2) demonstraram qualidade superior de previsão tátil em comparação com modelos corporificados especializados, alcançando 100% de sucesso na tarefa "Inserir HDMI".
  • No entanto, tarefas de longo horizonte como "Levantar Garrafa" revelaram limitações; enquanto um modelo ACT de base alcançou 80% de sucesso, os modelos de mundo caíram para 0%, indicando que os modelos atuais lutam com o controle de força sustentado em longos horizontes, apesar da percepção tátil aprimorada.
• Utilidade como Ambiente de RL:
  • Políticas treinadas usando modelos de mundo (por exemplo, WoVR, Ctrl-World) alcançaram desempenho comparável ao treinamento com simulador de verdade em tarefas de curto horizonte (Sinar Campainha), mas mostraram resultados variados em tarefas de longo horizonte.
  • Entre os modelos de recompensa, os modelos de recompensa baseados em Proxy (usando backbones ResNet) provaram ser os mais robustos, superando abordagens baseadas em VLM e baseadas em similaridade, que sofreram com a falta de ajuste fino ou dependência da precisão da previsão.
• Correlações Trans-Plataforma:
  • Qualidade Perceptiva: Qualidade visual, qualidade de movimento e adesão à física mostraram correlações fortes entre plataformas de simulação (RoboTwin e LIBERO).
  • Lacuna Simulação-Real: Foi observada uma desconexão significativa entre o desempenho em simulação e no mundo real. Embora as classificações em simulação correlacionassem moderadamente, as taxas de sucesso nas tarefas caíram drasticamente nas avaliações do mundo real. Apenas alguns modelos alcançaram taxas de sucesso não nulas em tarefas do mundo real, e todos permaneceram muito abaixo dos requisitos de implantação prática.
  • Transferência Funcional: O sucesso da tarefa correlacionou-se positivamente entre simuladores, mas caiu significativamente quando comparado ao desempenho no mundo real, confirmando que as métricas baseadas em simulação não são proxies confiáveis para a implantabilidade no mundo real.

Significado e Alegações

O artigo alega que o WorldArena 2.0 fornece um banco de testes rigoroso e padronizado que rastreia o progresso em direção a modelos de mundo corporificados verdadeiramente gerais. Seu significado principal reside em:

1. Padronização: Pioneira em protocolos padronizados para avaliar modelos de mundo visuotáteis e utilizar modelos de mundo como ambientes de RL online, áreas que anteriormente careciam de benchmarks consistentes.
2. Verificação da Realidade: Ao introduzir avaliação robótica no mundo real, o benchmark expõe uma substancial "lacuna de usabilidade simulação-real", demonstrando que o desempenho em simulação de alta fidelidade não garante competência no mundo real.
3. Avaliação Abrangente: Move o campo além do realismo visual para avaliar o ancoramento físico, a utilidade interativa e a robustez trans-plataforma, fornecendo uma base mais realista para o desenvolvimento de inteligência corporificada.

Os autores concluem que, embora os modelos atuais mostrem promessa na captura de dinâmicas multimodais e no suporte à otimização de políticas, desafios significativos permanecem na ponte da lacuna entre o treinamento simulado e a execução física no mundo real.