Resumo Técnico: OA-WAM: Modelo de Ação de Mundo Endereçável por Objeto para Manipulação Robusta de Robôs

1. Declaração do Problema

Modelos Visão-Linguagem-Ação (VLA) e Modelos de Ação de Mundo (WAMs) existentes alcançaram altas taxas de sucesso em benchmarks padrão de manipulação ao escalar backbones e dados. No entanto, esses modelos frequentemente falham sob perturbações modestas da cena (por exemplo, mudanças no layout dos objetos, ponto de vista da câmera, iluminação ou estado inicial do robô). Os autores diagnosticam essa fragilidade como uma falta de endereçabilidade de objetos.

Em WAMs holísticos, o estado do mundo previsto é representado como imagens de quadro completo, fluxos de tokens de vídeo ou latentes globais. Embora essas representações capturem a evolução da cena, elas emaranham a identidade de um objeto-alvo com seu contexto circundante dentro do fluxo de tokens. Quando a geometria da cena se desloca, o decodificador de ação luta para isolar o objeto específico nomeado na instrução, levando a um "desvio" onde a política age sobre o objeto errado ou falha em generalizar. Abordagens centradas em objetos atuais frequentemente dependem de descoberta dinâmica de slots (por exemplo, Slot Attention), que é sensível a oclusão e desordem, ou codificam identidade, aparência e pose em um único vetor, falhando em desacoplar "qual objeto atuar" de "o que esse objeto é atualmente".

2. Metodologia: OA-WAM

Os autores propõem o OA-WAM (Modelo de Ação de Mundo Endereçável por Objeto), que reformula a previsão do mundo como previsão de estado de slot por objeto. A arquitetura impõe uma separação estrita entre identidade do objeto e conteúdo variante no tempo ao nível do tensor.

2.1 Tokenização Endereçável por Objeto

Cada quadro é decomposto em $N+1$ slots (1 slot de robô, $N$ slots de objeto). Cada vetor de slot $s^t_k$ é construído concatenando:

• Endereço de Identidade ($addr_k$): Um vetor congelado de 32 dimensões computado uma vez por episódio a partir do rótulo de linguagem e da característica inicial DINOv3. Nunca é atualizado durante o episódio.
• Conteúdo Variante no Tempo ($cnt^t_k$): Um vetor de 256 dimensões atualizado a cada passo a partir de máscaras SAM 3 e características DINOv3, representando o estado atual do objeto (aparência, pose).
• Embeddings Auxiliares: Índice do quadro ($\pi^t$) e rótulos de função ($\rho_k$).

Esses slots são projetados em um espaço oculto de 4096 dimensões via um adaptador de slot aprendível e fundidos com tokens de texto, imagem-VQ, propriocepção e ações passadas em uma sequência causal em bloco processada por um tronco transformador estilo Chameleon de 7B.

2.2 Atenção Endereçável por Objeto (A Restrição OA)

A inovação arquitetônica central é uma restrição livre de parâmetros aplicada em cada camada do transformador para garantir que o decodificador de ação atenda ao objeto correto baseando-se exclusivamente em sua identidade, não em sua aparência ou contexto atuais. Isso é alcançado via duas operações:

1. Projeção de Chave Apenas-Endereço: Para posições do tipo slot, a projeção de chave ($K$) lê apenas as primeiras 32 dimensões (o subvetor $addr$) do fluxo residual. As projeções de consulta ($Q$) e valor ($V$) usam o estado oculto completo. Isso força o atendimento entre slots a ser roteado baseado apenas na identidade.
2. Redefinição de Endereço por Camada: Um gancho de forward sobrescreve as primeiras 32 dimensões do fluxo residual em posições de slot com o $addr_k$ em cache após cada bloco do transformador. Isso impede que o endereço de identidade desvie ou seja corrompido por atualizações de conteúdo no fluxo residual.

2.3 Cabeças de Previsão

O modelo realiza uma única passagem forward para gerar:

• Cabeça de Mundo: Regressa o estado do próximo quadro para cada slot, prevendo tanto o conteúdo ($\hat{c}^{t+1}$) quanto a pose ($\hat{p}^{t+1}$). Isso fornece supervisão auxiliar para consistência temporal.
• Cabeça de Ação: Um MLP de correspondência de fluxo que decodifica um bloco de ação contínua de 16 passos a partir de um token de consulta de ação aprendível ($[ACT\_Q]$).
• Cabeça Auxiliar Imagem-VQ: Reutiliza a cabeça de linguagem do tronco para prever tokens VQ do próximo quadro, auxiliando no pré-treinamento sem novos parâmetros.

2.4 Treinamento

O modelo é treinado em três estágios:

1. Estágio 0: Pré-treinamento do tronco de 7B em um corpus misto (imagem-texto da web + dados de robô) com a restrição OA enforced.
2. Estágio I: Alinhamento do adaptador de slot e da cabeça de mundo em pesos de tronco congelados.
3. Estágio II: Ajuste fino completo do sistema usando LoRA no tronco e treinamento da cabeça de ação. A perda combina correspondência de fluxo de ação, MSE de previsão de mundo e regularizadores auxiliares para invariância de permutação de distratores e alinhamento de função.

3. Contribuições Principais

1. Formulação da Endereçabilidade de Objetos: O artigo identifica a falta de interfaces de objetos estáveis e consultáveis como a causa raiz das falhas de robustez em WAMs existentes sob perturbações geométricas.
2. Desacoplamento Arquitetônico: O OA-WAM introduz um mecanismo ao nível do tensor (endereço congelado + roteamento apenas-endereço) que desacopla estruturalmente "qual objeto atuar" de "o que esse objeto é", sem introduzir tokens extras ou depender de descoberta dinâmica de slots.
3. Robustez Estado-da-Arte: O modelo alcança novos resultados SOTA nos eixos geométricos do benchmark LIBERO-Plus, que testa especificamente a robustez a mudanças de layout, câmera e estado inicial do robô.

4. Resultados Experimentais

Os autores avaliam o OA-WAM em três benchmarks: LIBERO, SimplerEnv e LIBERO-Plus.

• Benchmarks Padrão: O OA-WAM iguala ou supera as bases SOTA VLA e WAM em tarefas dentro da distribuição.
  • LIBERO: 97,8% de sucesso médio (vs. 97,2% para VLA-JEPA).
  • SimplerEnv (WidowX): 79,3% de sucesso médio (vs. 76,0% para CoWVLA).
• Robustez (LIBERO-Plus): O OA-WAM estabelece um novo SOTA nos eixos geométricos mais alinhados com a hipótese (Câmera, Inicialização do Robô, Layout).
  • Geo-Média (Câmera/Robô/Layout): 84,3%, uma melhoria de +4,8% sobre $\pi0.5$.
  • Eixos Específicos: 80,5% em Câmera (+4,7% sobre Cosmos-Policy) e 89,6% em Inicialização do Robô.
  • Ruído do Sensor: O modelo fica atrás no ruído do sensor (-17,1% vs. melhor anterior), o que os autores atribuem a falhas na pilha de percepção a montante (extração de slots) e não à própria política.
• Validação do Mecanismo:
  • Ablação: Remover a restrição OA (máscara ou gancho de redefinição) causa uma queda drástica na robustez geométrica (por exemplo, -13,3% em Câmera) enquanto deixa o desempenho dentro da distribuição largely inalterado, confirmando que o viés é específico de OOD.
  • Intervenção Causal: Quando o endereço do slot alvo é trocado com o endereço de um distrator na inferência, a trajetória do OA-WAM desvia para o novo alvo com um alinhamento de cosseno de 0,87. Em contraste, todas as bases holísticas mostram alinhamento $\le 0,09$, provando que as ações do OA-WAM estão fundamentadas no espaço de sub-endereço explícito.

5. Significado e Alegações

O artigo afirma que organizar explicitamente um modelo de mundo como estados de objetos endereçáveis é um caminho eficaz para a manipulação robusta de robôs sob perturbações de cena. Ao ancorar a seleção de alvo a um vetor de identidade congelado e fundamentado em linguagem, o OA-WAM torna a robustez uma propriedade estrutural da arquitetura e não um resultado da diversidade de dados de treinamento.

Os autores enfatizam que essa abordagem fornece uma "interface intervenível ao nível de objetos" onde a política pode consultar objetos relevantes para a tarefa de forma confiável, independentemente de como a cena é rearranjada. Eles reconhecem limitações, notando que a abordagem é atualmente apenas de simulador e que o desempenho degrada quando a pilha de percepção congelada falha (por exemplo, sob ruído pesado do sensor ou para objetos transparentes/oclusos), mas argumentam que a contribuição arquitetônica isola com sucesso o mecanismo de roteamento das etapas de percepção e política.