Grounded World Model for Semantically Generalizable Planning

1. O Problema

O artigo aborda uma limitação crítica nos atuais modelos de Controle Preditivo por Modelo (MPC) para robótica visuomotora e nos modelos de Ação Visão-Linguagem (VLA) baseados em fine-tuning de Modelos de Linguagem Visuais (VLMs).

• Dependência de Imagens de Objetivo: Nos métodos tradicionais de MPC com modelos de mundo latente (como DINO-WM ou JEPA-WM), a função de pontuação (score) mede a distância entre uma imagem futura prevista e uma imagem de objetivo pré-definida. Obter essa imagem de objetivo antes da execução da tarefa é difícil, especialmente em novos ambientes ou para tarefas não demonstradas.
• Falta de Generalização Semântica: Os VLAs existentes, que tentam herdar conhecimento de VLMs pré-treinados, frequentemente falham em generalizar semanticamente. Eles tendem a "memorizar" padrões visuais ou estruturas de frases específicas do conjunto de treinamento, resultando em uma queda drástica de desempenho quando confrontados com novas instruções de linguagem natural ou sinais visuais não vistos, mesmo que a ação motora necessária já tenha sido demonstrada.
• Interface Não Intuitiva: Usar imagens como interface de objetivo é menos interativo e menos amigável para humanos do que a linguagem natural.

2. Metodologia: Grounded World Model (GWM)

Os autores propõem o Grounded World Model (GWM), um modelo de mundo que opera em um espaço latente alinhado entre visão e linguagem, permitindo que o planejamento seja guiado diretamente por instruções de texto.

Arquitetura e Fluxo de Trabalho

1. Espaço Latente Alinhado: O GWM utiliza o espaço de incorporação (embedding) de um modelo de recuperação multimodal pré-treinado de última geração, o Qwen3-VL-Embedding. Este modelo pode codificar imagens, vídeos e texto em um espaço compartilhado onde a similaridade cosse pode ser calculada.
2. Tokenização de Ação Baseada em Renderização (RAT): Para evitar aprender um codificador de ações complexo e específico do robô, o método renderiza as ações propostas (posições articulares futuras) como imagens usando o modelo URDF do robô e parâmetros de câmera. Isso permite que o codificador de visão do modelo base (Qwen) processe tanto a observação atual quanto a sequência de ações como um único vetor de características ($e_t$).
3. Modelo de Mundo Latente: O GWM é um modelo transformer treinado para prever a evolução do estado no espaço latente. Dada a observação atual e uma sequência de ações propostas, ele prevê o embedding do estado futuro ($p_t$).
   • Treinamento: O modelo é treinado para minimizar o erro quadrático médio (MSE) entre a previsão do embedding futuro e o embedding do estado futuro real (ground truth), extraído do conjunto de dados de demonstração. Importante: O modelo base (Qwen) permanece congelado; apenas o GWM é treinado.
4. Planejamento via MPC:
   • Proposta: O sistema gera múltiplas trajetórias candidatas (usando K-Nearest Neighbors - KNN - sobre o conjunto de dados de demonstração, baseado na proximidade das posições articulares atuais).
   • Avaliação (Scoring): Para cada trajetória candidata, o GWM prevê o embedding do resultado futuro. A função de pontuação calcula a similaridade cosse entre esse embedding futuro previsto e o embedding da instrução de tarefa (texto) codificada pelo mesmo modelo base.
   • Seleção: A trajetória com a maior similaridade semântica com a instrução é selecionada para execução.

3. Contribuições Principais

• Mudança de Paradigma para VLA: Demonstra que é possível construir um sistema VLA sem fine-tuning pesado do modelo base, preservando seu conhecimento de mundo e capacidade de generalização, ao invés de corrompê-lo com atualizações de pesos.
• Grounded World Model: Introduz um modelo de mundo que "ancora" (grounds) previsões futuras diretamente a semânticas linguísticas, eliminando a necessidade de imagens de objetivo.
• Benchmark WISER: Apresenta o World-knowledge Integrated Semantic Embodied Reasoning (WISER), um novo benchmark projetado especificamente para testar a generalização semântica.
  • Consiste em 288 tarefas divididas em treinamento e teste.
  • As tarefas de teste usam novas expressões de referência e novos sinais visuais (cores, posições, imagens de destino) que nunca foram vistos durante o treinamento, embora as ações motoras necessárias sejam idênticas às do treinamento.
• Generalização Cross-Embodiment Zero-Shot: Graças à tokenização de ação baseada em renderização (RAT), o sistema pode ser aplicado a robôs com diferentes cinemáticas e espaços de ação (ex: de Franka Panda para xArm6) sem retreinar o modelo de ação, apenas reutilizando o GWM treinado.

4. Resultados Experimentais

Os resultados foram avaliados no benchmark WISER, comparando o GWM-MPC com diversos VLAs de última geração (como InstructVLA, SmolVLA, $\pi_0$, GR00T-N1.6, etc.).

• Desempenho em Generalização Semântica:
  • GWM-MPC: Alcançou uma taxa de sucesso de 87% nas tarefas de teste (com instruções e sinais visuais não vistos).
  • VLAs Tradicionais: Alcançaram uma taxa média de sucesso de apenas 22% nas tarefas de teste, apesar de atingirem ~90% no conjunto de treinamento. Isso indica um forte overfitting e falta de verdadeira compreensão semântica nos modelos baseados em fine-tuning.
• Eficiência e Robustez:
  • O GWM-MPC foi treinado em apenas 20 horas de GPU, demonstrando alta eficiência de dados.
  • O sistema manteve alto desempenho na generalização cross-embodiment (83% de sucesso no xArm6 sem treinamento específico).
  • Estudos de ablação mostraram que a performance é limitada principalmente pela capacidade do modelo base (Qwen3-VL-Embedding) de entender vídeos e prever futuros, e não pela arquitetura do GWM.
• Falhas dos Baselines: Os VLAs falharam consistentemente ao tentar seguir instruções decompostas ou reestruturadas, sugerindo que eles aprendem padrões superficiais de linguagem em vez de compreender a composição semântica.

5. Significado e Conclusão

O trabalho demonstra que a abordagem de aprender um modelo de mundo em um espaço latente pré-treinado e alinhado com linguagem é superior ao fine-tuning direto de VLMs para tarefas de planejamento robótico que exigem generalização semântica.

• Preservação de Conhecimento: Ao manter o modelo base congelado, o sistema preserva o vasto conhecimento de mundo e a capacidade de raciocínio do modelo foundation, evitando o "esquecimento catastrófico" comum em fine-tuning.
• Interatividade Humana: A capacidade de usar linguagem natural para especificar objetivos torna a interação robô-humano mais fluida e acessível.
• Direção Futura: O artigo sugere que o gargalo atual é a capacidade do modelo foundation de prever futuros visuais complexos, apontando para a necessidade de ajustar (fine-tune) os modelos de embedding (como o Qwen) especificamente com dados robóticos para melhorar ainda mais a precisão do planejamento.

Em resumo, o GWM-MPC oferece uma alternativa promissora e mais robusta para construir agentes robóticos generalistas capazes de entender e executar tarefas em ambientes não vistos, baseando-se na recuperação de habilidades demonstradas e na compreensão semântica profunda.