Resumo Técnico: Modelo de Ação Geométrica para Aprendizado de Políticas de Robôs

Declaração do Problema

O desenvolvimento de políticas de manipulação robótica generalistas requer modelos que possam seguir instruções em linguagem natural enquanto raciocinam sobre as interações complexas entre objetos, câmeras e ações robóticas no espaço físico 3D. Embora modelos de Visão-Linguagem-Ação (VLAs) e modelos de Vídeo-Mundo-Ação (WAMs) recentes aproveitem modelos de fundação de larga escala para priors semânticos ou temporais, eles operam primariamente em quadros de imagem 2D ou espaços latentes derivados de 2D. Consequentemente, pistas geométricas 3D críticas — como profundidade, escala e oclusão — permanecem implícitas. Esta limitação dificulta a generalização através de mudanças ambientais, particularmente em relação aos estados iniciais do robô e pontos de vista da câmera. Tentativas existentes de incorporar geometria 3D frequentemente tratam Modelos de Fundação Geométrica (GFMs) meramente como extratores de características estáticas ou destilam suas características em backbones de VLA, falhando em reaproveitar a estrutura geométrica multicamadas do GFM como o próprio substrato temporal e gerador de ação da política.

Metodologia: O Modelo de Ação Geométrica (GAM)

Os autores propõem o Modelo de Ação Geométrica (GAM), uma política de manipulação condicionada à linguagem que reaproveita diretamente um Modelo de Fundação Geométrica (GFM) pré-treinado como um substrato compartilhado para percepção, predição temporal e decodificação de ação.

Arquitetura Central

O GAM opera dividindo um GFM pré-treinado (ex: DA3) em uma camada intermediária $L_s$ e inserindo um Preditor de Futuro Causal entre as camadas rasas e profundas. O framework funciona em três estágios sequenciais:

1. Codificação de Observação: As camadas rasas do GFM ($E_{\le L_s}$) atuam como um codificador de observação. Elas processam observações RGB multivistas para extrair características geométricas latentes, produzindo uma sequência de estados latentes geométricos por passo de tempo.
2. Predição de Futuro Causal: Na camada de divisão, um preditor de transformer causal ($g_\phi$) é inserido. Ele recebe os tokens geométricos latentes atuais, concatenados com tokens que representam instruções de tarefas (via um codificador de texto congelado), estados proprioceptivos e histórico de ações. Usando atenção de auto-causalidade em bloco (block-causal self-attention), este preditor prevê dois outputs simultaneamente:
   • Tokens geométricos latentes futuros ($\tilde{Z}^{(L_s)}_{t+1}$).
   • Um próximo token de ação previsto ($\tilde{a}_t$).
     Este design permite que o modelo aprenda modelagem de mundo condicionada à linguagem com modificação arquitetônica mínima, já que apenas o preditor inserido precisa aprender a fusão de linguagem, propriocepção e histórico de ação com as características do GFM.
3. Propagação de Características e Decodificação: Os tokens futuros previstos e o token de ação são roteados através dos blocos profundos restantes do GFM ($D_{>L_s}$). Os blocos profundos, originalmente pré-treinados para decodificar características rasas em geometria 3D, são reaproveitados para decodificar os tokens futuros previstos. Este estágio produz:
   • Geometria Futura: Decodificada via cabeça de profundidade do GFM em mapas de profundidade futuros alinhados à ação.
   • Chunk de Ação: Decodificado via uma cabeça de ação leve em comandos de delta-pose ou de junta.

Objetivo de Treinamento

A política é treinada de ponta a ponta usando uma função de perda multitarefa:
$$\mathcal{L}_{total} = \lambda_{act}\mathcal{L}_{act} + \lambda_{feat}\mathcal{L}_{feat} + \lambda_{depth}\mathcal{L}_{depth}$$

• Perda de Ação ($\mathcal{L}_{act}$): Regressão $\ell_1$ entre o chunk de ação decodificado e as ações do especialista.
• Perda de Característica ($\mathcal{L}_{feat}$): Alinha os tokens latentes futuros previstos com os tokens latentes do próximo quadro real (extraídos de um GFM congelado) para ancorar o preditor às transições geométricas temporais.
• Perda de Profundidade ($\mathcal{L}_{depth}$): Supervisiona os mapas de profundidade futuros decodificados contra a profundidade futura real (ou pseudo-labels em configurações do mundo real) usando penalidades de escala invariante e correspondência de gradiente.

Principais Contribuições

1. Arquitetura Unificada: O GAM introduz uma arquitetura de backbone compartilhado único que combina modelagem de mundo temporal, predição de espaço de característica latente e um substrato de modelo de fundação geométrica.
2. Predição de Espaço de Token Compartilhado: Os autores demonstram que ação e geometria podem ser previstas dentro de uma sequência de tokens autorregressiva compartilhada. Uma única passagem direta (forward pass) produz tanto os tokens de ação quanto os tokens da cena futura, decodificados por cabeças leves, em vez de depender de cabeças separadas ou processos de difusão.
3. Reaproveitamento de GFMs: Ao contrário de trabalhos anteriores que usam GFMs como extratores estáticos, o GAM reaproveita explicitamente os blocos profundos do GFM para decodificar tokens futuros previstos, aproveitando totalmente os priors geométricos do modelo para modelagem de mundo dinâmica.

Resultados Experimentais

Os autores avaliaram o GAM através de diversos benchmarks de simulação (LIBERO, LIBERO-Plus) e manipulação robótica no mundo real.

• Desempenho vs. Baselines: O GAM alcança taxas de sucesso comparáveis ou superiores às baselines atuais de escala de modelo de fundação (VLAs e WAMs) utilizando significativamente menos parâmetros (1.4B vs. 7B+).
• Robustez: O GAM demonstra robustez superior a perturbações fora de distribuição (out-of-distribution). Notavelmente, no cenário de perturbação de câmera do LIBERO-Plus, o GAM supera a melhor baseline em 9.7 pontos percentuais.
• Eficiência: O GAM alcança uma latência de inferência de passagem direta única de 6.9 ms (aprox. 145 Hz), o que é aproximadamente 55× mais rápido que políticas baseadas em difusão como a Cosmos-Policy.
• Transferência para o Mundo Real: Em experimentos no mundo real envolvendo quatro tarefas de manipulação, o GAM superou substancialmente as baselines (incluindo $\pi0.5$ e Spatial Forcing), mantendo a robustez sob perturbações de câmera onde outros modelos enfrentaram dificuldades.

Significância e Alegações

O artigo afirma que o GAM representa um passo significativo em direção a políticas robóticas generalistas ao resolver as ambiguidades espaciais inerentes aos modelos de fundação centrados em 2D. Ao integrar a dinâmica de mundo geométrica diretamente na via preditiva da política, o GAM alcança um equilíbrio entre alta precisão, robustez a mudanças ambientais e eficiência computacional. Os autores postulam que sua abordagem prova que ação e geometria podem ser efetivamente modeladas em um espaço latente compartilhado, permitindo que um único backbone lide com percepção, predição de estado futuro e controle.

Os autores reconhecem limitações, observando que a capacidade de raciocínio de linguagem e senso comum do modelo é limitada pelo codificador de texto congelado utilizado, sugerindo que a integração de um grande modelo de linguagem ou um módulo de raciocínio externo é uma direção natural para trabalhos futuros.