Resumo Técnico: WEAVER - Um Modelo de Mundo Eficaz para Manipulação Robótica

Declaração do Problema

Modelos de mundo (WMs), ou simuladores aprendidos, prometem muito para a robótica ao permitir a avaliação de políticas, melhoria e planejamento em tempo de execução com interação limitada no mundo real. No entanto, para desbloquear essas capacidades downstream, um WM robótico deve satisfazer simultaneamente três desideratas frequentemente conflitantes:

1. Fidelidade: Produzir previsões fisicamente precisas que correlacionem com resultados do mundo real.
2. Consistência: Gerar trajetórias coerentes ao longo de horizontes de previsão longos, particularmente na presença de oclusões e interações de múltiplos estágios.
3. Eficiência: Gerar previsões rapidamente o suficiente para suportar o planejamento em tempo real e a melhoria iterativa de políticas.

Abordagens existentes falham em atender aos três critérios simultaneamente. Modelos de geração de vídeo frequentemente carecem de eficiência; modelos latentes (ex: estilo JEPA) podem carecer da decodificabilidade necessária para avaliação de política visuomotora arbitrária; e WMs de manipulação anteriores (ex: Ctrl-World) operam de forma muito lenta para o planejamento em tempo de execução. Além disso, a manipulação robótica introduz complexidades únicas, como observação multivisual, inferência de objetos ocluídos e a necessidade de previsão de estado de alta fidelidade em vez de apenas estética visual.

Metodologia: Arquitetura WEAVER

Os autores propõem o WEAVER (World Estimation Across Views for Embodied Reasoning), um modelo de mundo multivisual projetado para alcançar o trio de fidelidade, consistência e eficiência. A arquitetura integra decisões de design de geração de vídeo, modelos de mundo latentes e arquiteturas do tipo JEPA.

Arquitetura Central

• Codificação Multivisual: O WEAVER processa múltiplas visões de câmera (ex: pulso e externa) juntamente com estados proprioceptivos. Ele utiliza um codificador VAE do Stable Diffusion 3 pré-treinado para mapear patches de imagem e tokens proprioceptivos em um espaço latente.
• Modelo de Dinâmica Latente: O preditor central é um transformer 2D que prevê estados latentes futuros ($\hat{z}_t$) condicionados a:
  • Memória Esparsa: Contexto de longo prazo ($z_{mem}$) consistindo em cada $k$-ésimo latente anterior.
  • Histórico de Curto Prazo: Latentes recentes ($z_{hist}$) capturando consequências imediatas de ações.
  • Plano de Ação: Um bloco de ações futuras ($a_t$).
• Objetivos de Previsão:
  • Previsão Latente: Treinada via Flow Matching para prever latentes futuros. Para aumentar a consistência de longo horizonte, o modelo emprega Diffusion Forcing, que amostra níveis de ruído independentemente através dos passos temporais futuros.
  • Previsão Proprioceptiva: Diferente de trabalhos anteriores, o WEAVER prevê explicitamente estados proprioceptivos futuros (posições das juntas e largura da garra), o que é crítico para a manipulação de objetos deformáveis.
  • Cabeças de Recompensa e Crítico: Uma cabeça de recompensa leve ($R$) e uma rede crítica ($V$) operam diretamente sobre estados latentes e instruções de linguagem. Isso permite a pontuação eficiente de blocos de ação sem decodificar imagens ou consultar modelos de linguagem-visão (VLMs) externos.

Otimização de Treinamento e Inferência

• Treinamento: O modelo é pré-treinado no dataset DROID e ajustado (fine-tuned) em dados de tarefas específicas. Ele utiliza blocos SPRINT para descartar agressivamente tokens de patches, melhorando a eficiência.
• Aceleração de Inferência:
  • Cache de KV: Aplicado a tokens de memória e histórico através dos passos de denoising para reduzir custos de passagem direta (forward pass).
  • Rectified Flow: O modelo é pós-treinado com um objetivo de fluxo retificado para permitir geração de alta qualidade em poucos passos de avaliação (baixo Número de Avaliações de Função, NFE).
  • Ruído Progressivo: Um cronograma de ruído cosseno é usado para alocar mais orçamento para regiões de baixo ruído, aumentando a fidelidade.

Aplicações Downstream

O WEAVER é projetado para suportar três tarefas específicas de downstream:

1. Avaliação de Política: Executar trajetórias reais registradas em malha aberta dentro do WM para prever taxas de sucesso.
2. Melhoria de Política: Amostrar blocos de ação, simulá-los no WM e filtrar trajetórias de alta vantagem para destilar na política base ($\pi_{0.5}$).
3. Planejamento em Tempo de Execução: Usar uma abordagem "Best-of-N", onde múltiplos blocos de ação são amostrados, imaginados e avaliados via cabeças de recompensa/crítico latentes para selecionar a ação ideal para execução.

Principais Resultados

Os autores avaliam o WEAVER em cinco tarefas de manipulação robótica (Stack Bowls, PnP Bag, PnP Marker, PnP Towel, Pour Beans) usando um robô Franka Emika Panda.

• Fidelidade vs. Eficiência: O WEAVER domina o Pareto em relação à linha de base líder, Ctrl-World. Ele alcança pontuações FID e FVD mais baixas (indicando maior fidelidade visual) enquanto requer significativamente menos tempo de inferência (ex: 10–30s vs. 30–50s para rollouts de 10s para o Ctrl-World). O WEAVER mantém alta qualidade mesmo com baixo NFE (8–16), enquanto a qualidade do Ctrl-World degrada significativamente conforme o NFE diminui.
• Consistência de Longo Horizonte: O WEAVER demonstra desempenho superior em rollouts de longo horizonte (até 10s), mantendo taxas de erro menores em comparação com as linhas de base, particularmente em tarefas envolvendo oclusões e objetos deformáveis.
• Avaliação de Política: Ao ser usado para avaliar políticas, o WEAVER-FT (ajustado) atinge uma correlação de Pearson de $\rho = 0.870$ com taxas de sucesso no mundo real, superando significativamente as linhas de base pré-treinadas.
• Melhoria de Política: O ajuste fino do modelo de fundação $\pi_{0.5}$ usando dados sintéticos gerados pelo WEAVER (sem qualquer interação no mundo real) melhora as taxas de sucesso no mundo real em 38%. Combinar dados sintéticos e reais gera um aumento adicional de 11% sobre o ajuste fino apenas com dados reais.
• Planejamento em Tempo de Execução: O WEAVER permite o planejamento em tempo de execução com um aceleração de 5–10$\times$ sobre o Ctrl-World. Esta abordagem de planejamento melhora a taxa de sucesso no mundo real da política base em 14% (até 20% em tarefas específicas) ao selecionar blocos de ação de alta vantagem.
• Robustez Out-of-Distribution (OOD): O WEAVER mantém um desempenho forte em datasets de tarefas OOD, atribuído ao uso de um codificador pré-treinado em vez de aprender um do zero.

Significância e Alegações

O artigo afirma que o WEAVER representa um passo significativo ao unir com sucesso alta fidelidade, consistência de longo horizonte e eficiência de inferência em um único modelo de mundo para manipulação robótica.

• Desbloqueando Capacidades Downstream: Os autores argumentam que os WMs anteriores eram limitados por trade-offs (ex: alta fidelidade, mas inferência lenta), impedindo seu uso em planejamento em tempo real ou melhoria de política eficiente. A capacidade do WEAVER de satisfazer as três desideratas simultaneamente desbloqueia essas capacidades anteriormente inacessíveis.
• Eficiência de Dados: Os resultados sugerem que modelos de mundo de alta fidelidade podem gerar dados sintéticos que são quase tão eficazes quanto dados caros do mundo real para melhoria de política, potencialmente reduzindo a dependência de extensa interação no mundo real.
• Praticidade: Ao alcançar velocidades de inferência compatíveis com restrições de tempo real (via rectified flow e cache de KV), o WEAVER torna o planejamento baseado em modelo de mundo uma realidade prática para robôs físicos, não apenas um conceito teórico.

Os autores reconhecem limitações, incluindo observabilidade parcial (falta de sensação tátil), desafios com dinâmicas deformáveis complexas e a atual restrição a planejamentos de curto horizonte devido à latência. No entanto, eles posicionam o WEAVER como um novo padrão para modelagem de mundo escalável, eficiente e eficaz em robótica.