See like a Robot: Robot-Centric Pointmaps for Vision-Language-Action Models

Resumo Técnico: Mapas de Pontos Centrados no Robô para Modelos de Visão-Linguagem-Ação

Definição do Problema
Modelos de Visão-Linguagem-Ação (VLA) preveem ações de manipulação robótica com base em observações visuais e instruções de linguagem. Existe um descompasso fundamental nas arquiteturas VLA atuais: as ações são definidas no referencial de coordenadas 3D do robô (por exemplo, comandos de espaço de tarefa do efetuador final relativos à base do robô), mas as observações são tipicamente recebidas no referencial da câmera (imagens RGB ou mapas de profundidade). Embora esse descompasso seja gerenciável sob pontos de vista fixos, onde a política pode memorizar um mapeamento único de observação-para-ação, ele se torna significativamente mais difícil quando os dados de treinamento agregam demonstrações de diversas configurações de câmera. Em tais cenários, a política deve generalizar o mapeamento através de diferentes pontos de vista, em vez de simplesmente memorizar um, o que leva à degradação do desempenho quando os posicionamentos das câmeras variam.

Metodologia
Os autores propõem Mapas de Pontos Centrados no Robô (Robot-Centric Pointmaps) como uma representação de entrada para resolver esse descompasso de referenciais. Em vez de forçar a política a inferir a geometria do referencial do robô a partir de observações do referencial da câmera, o método pré-computa as coordenadas 3D dos pontos da cena no referencial do robô e os apresenta como uma imagem.

O mecanismo central envolve três etapas:

1. Elevação e Transformação: Uma observação RGB-D é elevada para 3D dentro do referencial da câmera usando intrínsecos e profundidade. Esses pontos 3D são então transformados para o referencial compartilhado da base do robô usando a transformação extrínseca câmera-robô.
2. Centralização no Efetuador Final: O mapa de pontos resultante é recentralizado na posição atual do efetuador final. Isso expressa a geometria da cena em relação à origem da ação, garantindo que o deslocamento necessário para alcançar um alvo permaneça consistente, independentemente da posição absoluta do alvo no espaço de trabalho.
3. Fusão: O mapa de pontos centrado no robô mantém a estrutura de grade densa $H \times W$ da imagem RGB original. Ele é codificado por uma torre visual separada (inicializada a partir do codificador RGB) e fundido com os tokens RGB via adição elemento a elemento. Este design permite a integração da geometria 3D métrica em VLAs 2D pré-treinados sem a necessidade de codificadores específicos para nuvens de pontos, módulos de voxelização ou sequências de tokens adicionais.

Principais Contribuições e Escolhas de Design
Através de estudos de ablação controlados no conjunto de dados RoboCasa, o artigo estabelece vários princípios de design críticos:

• Pré-computação vs. Aprendizado: Fornecer à política a geometria pré-computada do referencial do robô é significativamente mais eficaz do que fornecer profundidade bruta e calibração de câmera (intrínsecos/extrínsecos) e pedir que a política aprenda a transformação.
• Formato de Imagem vs. Nuvem de Pontos: Preservar a grade de imagem ($H \times W$) é crucial. Os mapas de pontos superam as nuvens de pontos porque permitem a fusão direta elemento a elemento com os tokens RGB, aproveitando o caminho visual pré-treinado. Nuvens de pontos, que exigem codificadores dedicados e frequentemente resultam em entradas esparsas, falham em manter a correspondência espacial com as características RGB.
• Origem de Coordenadas: Centralizar o mapa de pontos no efetuador final, em vez de na base do robô, produz uma representação mais robusta ao ponto de vista. Isso agrupa alvos de interação próximos à origem, fornecendo uma geometria local consistente para movimentos semelhantes, independentemente de onde ocorram no espaço de trabalho.

Resultados Experimentais
O método proposto foi avaliado no benchmark de simulação RoboCasa e em um robô real Franka Research 3.

• Simulação (RoboCasa): Quando aplicado aos backbones $\pi0.5$ e SmolVLA, os mapas de pontos centrados no robô melhoraram as taxas de sucesso em +7,6 e +4,2 pontos, respectivamente, em 24 tarefas. O método superou baselines representativos conscientes da câmera (ex: KYC, OC-VLA) e baselines aumentados com 3D (ex: GeoVLA, PointVLA) que compartilham o mesmo backbone.
• Robustez à Variação de Ponto de Vista: À medida que a variação do ponto de vista da câmera durante o treinamento aumentava, as políticas apenas de RGB sofriam quedas significativas de desempenho. Em contraste, a política baseada em mapas de pontos permaneceu estável.
• Generalização para Robôs Reais: Em experimentos no mundo real, a vantagem dos mapas de pontos ampliou-se quando a câmera foi movida para um posicionamento não visto durante o treinamento. A diferença de desempenho em relação a uma política apenas de RGB cresceu de +5,0 pontos em um posicionamento de câmera visto para +11,7 pontos em um posicionamento não visto. Embora uma política baseada em nuvem de pontos (DP3) tenha mostrado melhor robustez do que o RGB, a VLA aprimorada por mapas de pontos alcançou o maior desempenho geral, demonstrando que combinar geometria 3D com os vieses indutivos de VLAs 2D pré-treinados é altamente eficaz.

Significância e Alegações
O artigo alega que os mapas de pontos centrados no robô oferecem um mecanismo simples e eficaz para injetar geometria 3D em VLAs pré-treinados sem uma reformulação arquitetural. A principal significância reside em abordar diretamente o descompasso de referencial entre observação e ação: ao expressar as observações no sistema de coordenadas onde o robô atua, a política pode aprender com demonstrações diversificadas de pontos de vista sem precisar absorver a variação da própria câmera. Os autores sugerem um princípio geral para VLAs conscientes de 3D: quando a calibração está disponível, as observações devem ser expressas no referencial de ação do robô antes de serem passadas para a política. Esta abordagem mantém a estrutura de imagem densa necessária para modelos pré-treinados, ao mesmo tempo que fornece a informação geométrica métrica necessária para uma manipulação robusta.