Resumo Técnico: G3VLA – Viés Indutivo Geométrico para Modelos de Visão-Linguagem-Ação

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA), como RT-2, OpenVLA e $\pi_0$, alcançaram progressos significativos na manipulação robótica generalista ao alavancar o conhecimento semântico de backbones de visão-linguagem pré-treinados. No entanto, uma limitação crítica persiste: seus tokens visuais estão fundamentados em coordenadas de imagem 2D, em vez da geometria calibrada das câmeras do robô. Esse descompasso é particularmente acentuado em configurações de múltiplas câmeras, onde intrínsecos e extrínsecos conhecidos acoplam geometricamente diferentes visões, embora as formulações convencionais de VLA processem essas visões como imagens 2D independentes. Consequentemente, os modelos devem aprender implicitamente a geometria da câmera apenas por meio da supervisão de ação, um processo que é frequentemente ineficiente e limita a precisão espacial, especialmente em tarefas que exigem estimativa precisa de pose, raciocínio de distância e consistência entre visões.

Tentativas existentes para abordar isso, como a voxelização de observações (PerAct) ou a elevação de características para campos 3D (Act3D), muitas vezes exigem arquiteturas específicas para a tarefa que não podem aproveitar totalmente a semântica de VLM pré-treinada. Outros esforços de ponte (por exemplo, SpatialVLA, 3D-VLA) tipicamente requerem entradas de sensores 3D explícitas, pré-treinamento espacial em larga escala ou modificações na representação da ação. A questão central abordada por este trabalho é: Pode a geometria de câmera calibrada servir como um caminho de tokens visuais leve para VLAs pré-treinados para melhorar a generalização espacial sem modificar o backbone, o espaço de ação ou o objetivo de imitação?

Metodologia: G3VLA

Os autores propõem o G3VLA, um framework geométrico consciente da câmera que injeta estrutura calibrada diretamente no fluxo de tokens visuais de um VLA pré-treinado. O método preserva o backbone pré-treinado e a formulação de ação, introduzindo a geometria exclusivamente através dos tokens visuais.

Componentes Principais

O Módulo Geométrico Consciente da Câmera ($F_\psi$) consiste em três componentes principais:

1. Embeddings de Raio Condicionados por Intrínsecos:
   Para resolver a ambiguidade onde o mesmo pixel $(x, y)$ mapeia para diferentes direções de visão física sob diferentes intrínsecos, o método etiqueta cada token de patch ViT com sua direção de visão retroprojetada. Para uma coordenada de pixel homogênea $u$, o raio de projeção normalizado é computado como $\tilde{r}^v(u) = (K^v)^{-1}u$. Um embedding aprendível $G_\phi$ projeta este mapa de raios para a grade de patches e o adiciona ao output do encoder:
   $$z^v_{0,p} = z^v_p + G_\phi(R^v)_p$$
   Isso garante que toda a atenção subsequente opere em tokens cientes de sua direção de visão intrínseca.

2. Codificação Posicional Projetiva (PRoPE):
   Embora os embeddings de raio codifiquem direções de visão locais, eles não capturam relações geométricas entre tokens de diferentes visões. O PRoPE aborda isso derivando transformações projetivas fixas para representações de query, key e value baseadas em intrínsecos por visão ($K^v$), matrizes câmera-para-mundo ($T^v$) e localizações de patches. Isso fornece atenção cross-view com relações projetivas baseadas no modelo de câmera, em vez de depender apenas de similaridade de aparência.

3. Fusão Bidirecional Cross-View:
   O módulo de fusão processa tokens em duas etapas:

   • Atenção de Frame: Processa tokens dentro de cada fluxo de câmera independentemente para preservar a estrutura local da visão.
   • Atenção Cross-View: Achata as dimensões de visão e patch, permitindo que todos os tokens válidos atentem bidirecionalmente entre visões, usando o PRoPE como o sinal posicional. Isso troca contexto geométrico antes que os tokens alcancem o modelo de ação.

Estratégia de Treinamento: Currículo de Dois Estágios e Destilação de Geometria

Como o módulo geométrico é inicializado do zero e recebe apenas gradientes esparsos de nível de tarefa do erro de ação, os autores introduzem um objetivo de destilação de geometria densa auxiliar e um currículo de treinamento de dois estágios:

• Objetivo de Destilação de Geometria: Um head de ponto auxiliar acoplado aos tokens visuais fundidos prevê coordenadas de raio por pixel ($\hat{q}^v_u$) e profundidade log-z ($\hat{d}^v_u$). Os alvos de supervisão vêm de mapas de pontos densos (em simulação) ou previsões com gating de confiança de um professor de geometria visual ($\pi_3X$). As previsões do professor são filtradas por um limiar de confiança ($\tau=0.1$) para excluir pixels não confiáveis, não exigindo sensores de profundidade ou anotações 3D manuais.
• Treinamento de Dois Estágios:
  • Estágio 1 (Pré-treinamento do Módulo Geométrico): O backbone pré-treinado é congelado. Apenas os embeddings de raio, as camadas de fusão cross-view e o head de ponto auxiliar são atualizados, com o loss de destilação sendo dominante. Isso alinha os módulos geométricos com o sinal denso do professor.
  • Estágio 2 (Fine-tuning Completo da Política): Todos os parâmetros são descongelados. O loss de ação torna-se dominante, enquanto o loss de destilação atua como um regularizador geométrico leve. Na inferência, o head auxiliar e o professor são descartados; a política requer apenas imagens RGB, propriocepção, linguagem e calibração de câmera.

Principais Contribuições

1. Identificação de uma Lacuna Geométrica: O artigo destaca o descompasso entre os tokens visuais fundamentados em 2D de VLAs pré-treinados e a estrutura espacial calibrada necessária para manipulação precisa.
2. Framework G3VLA: Um caminho leve e que preserva o backbone que injeta geometria de câmera calibrada via embeddings de raio, PRoPE e fusão cross-view sem alterar o espaço de ação ou o objetivo de imitação.
3. Destilação de Geometria de $\pi_3X$: Um procedimento de dois estágios que supervisiona módulos geométricos usando mapas de pontos densos com gating de confiança de um professor de geometria visual, eliminando a necessidade de anotações 3D manuais ou sensores de profundidade.
4. Validação Multi-Arquitetura: O método é validado em três sistemas VLA distintos ($\pi_0$, $\pi_0.5$ e GR00T 1.5), demonstrando ganhos consistentes e fornecendo insights arquiteturais sobre como sinais geométricos se propagam para a geração de ação.

Resultados Experimentais

Benchmarks de Simulação

• LIBERO: No backbone $\pi_0$, o G3VLA (GT) melhorou a taxa média de sucesso macro de 84,6% para 88,1% (+3,5 pontos). Os maiores ganhos foram observados em LIBERO-Object (+5,0) e LIBERO-Spatial (+4,0), confirmando que tarefas que exigem localização de objetos e raciocínio espacial se beneficiam mais. O G3VLA ($\pi_3X$) também alcançou ganhos significativos (+2,4 sobre o baseline), provando a utilidade da geometria destilada pelo professor.
• RoboCasa24 & RoboTwin2.0: O G3VLA (GT) melhorou as taxas de sucesso no RoboCasa24 (34,2% $\to$ 37,1%) e RoboTwin2.0 (44,0% $\to$ 49,0%). Notavelmente, o G3VLA ($\pi_3X$) teve um desempenho inferior no RoboTwin2.0 (caindo para 41,0%), o que os autores atribuem a alvos de mapa de pontos $\pi_3X$ offline não confiáveis em cenas sintéticas visualmente limpas e com pouca textura.
• Compatibilidade de Backbone:
  • $\pi_0.5$: Os ganhos foram menores, mas consistentes (95,9% $\to$ 97,0%), confirmando a compatibilidade com backbones mais fortes e próximos da saturação.
  • GR00T 1.5: Os resultados foram mistos. Ganhos foram observados com supervisão $\pi_3X$, mas não com GT. Os autores sugerem que isso se deve à arquitetura de duas torres do GR00T 1.5, onde a política de difusão acessa características visuais via cross-attention para um VLM congelado, em vez de consumir tokens conscientes da geometria diretamente, atenuando o sinal geométrico.

Resultados no Mundo Real

Avaliado em um robô bimanual UR5 com duas tarefas (Pick-and-Place Test Tube, Pouring Nut), o G3VLA mostrou as melhorias mais significativas em configurações Out-of-Distribution (OOD) (visões de câmera não vistas).

• Na tarefa "Pouring Nut", o G3VLA melhorou as taxas de sucesso OOD para $\pi_0$ de ~70-75% para ~83-87,5%.
• A análise qualitativa mostrou que as variantes baseadas em GT exibiram comportamentos de recuperação robustos (ex: regraspagem, realinhamento) após erros intermediários, que estavam ausentes nos baselines vanilla.

Estudos de Ablação

• Componentes Geométricos: Remover os embeddings de raio causou a maior queda (-2,0%), seguido pela remoção do PRoPE (-1,1%), confirmando seus papos complementares.
• Currículo de Treinamento: Substituir o currículo de dois estágios por um treinamento conjunto de um estágio reduziu o desempenho em 0,7%, destacando a importância de pré-alinhar o caminho geométrico antes da otimização da ação.
• Fonte de Supervisão: A supervisão de ground-truth forneceu o sinal mais forte, mas a destilação $\pi_3X$ recuperou a maior parte do ganho, servindo como uma alternativa prática quando a profundidade não está disponível.

Significância e Alegações

O artigo afirma que a geometria de câmera calibrada é um viés indutivo leve e útil para a precisão espacial em políticas VLA generalistas. A principal significância reside em demonstrar que a estrutura geométrica pode ser injetada no fluxo de tokens visuais de modelos pré-treinados sem modificar o backbone, o espaço de ação ou o objetivo de imitação.

Os autores concluem modestamente que a eficácia dessa injeção geométrica depende da arquitetura: é mais eficaz quando os tokens conscientes da geometria têm acesso direto ao caminho de geração de ação (como visto em $\pi_0$ e $\pi_0.5$). Em arquiteturas onde o modelo de ação acessa características indiretamente (ex: GR00T 1.5), o benefício é atenuado. Além disso, a dependência de um professor de geometria visual introduz sensibilidade ao descompasso de domínio (ex: cenas com pouca textura), sugerindo que, embora a destilação por professor seja uma estratégia viável, a supervisão por ground-truth permanece superior quando disponível.

No geral, o G3VLA oferece uma abordagem prática para aumentar a generalização espacial de modelos VLA existentes, particularmente para tarefas sensíveis à localização de objetos e relações espaciais, aproveitando os parâmetros de calibração de câmera conhecidos como um prior estrutural.