Direct Action-Head Injection of A Grounded 3D Point Unlocks Spatial and Task Generalization

Resumo Técnico: Injeção Direta de Ponto 3D Ancorado no Cabeçalho de Ação Desbloqueia Generalização Espacial e de Tarefa

1. Definição do Problema

Modelos de Visão-Linguagem-Ação (VLA) utilizam o pré-treinamento em larga escala de visão e linguagem para permitir a manipulação robótica flexível. No entanto, esses modelos exibem uma fragilidade significativa no momento do teste ao longo de dois eixos críticos:

• Generalização Espacial: O desempenho colapsa quando as posições dos objetos diferem das encontradas durante o treinamento.
• Generalização de Tarefa: Os modelos falham ao adaptar-se quando uma cena familiar é pareada com uma instrução de linguagem diferente, muitas vezes repetindo trajetórias memorizadas em vez de responder ao novo comando.

Abordagens existentes tentam mitigar isso fornecendo ancoragem espacial explícita (ex: localizações de objetos) via prompts de linguagem (tokens de texto) ou prompts visuais (sobreposições de imagem). Os autores argumentam que esses métodos falham em abordar sistematicamente como o sinal espacial é representado e injetado. Especificamente, depender de representações 2D força a política a reconstruir internamente a geometria 3D a partir de características visuais e linguísticas, um fardo que limita a generalização robusta.

2. Metodologia

O artigo propõe um módulo leve e agnóstico ao modelo que altera fundamentalmente como os sinais de ancoragem são processados: elevar um ponto de ancoragem 2D para 3D e injetá-lo diretamente no cabeçalho de ação.

O pipeline consiste em três estágios:

1. Elevação 3D (3D Lifting): Dado um ponto alvo 2D (obtido de qualquer módulo de ancoragem visual pronto para uso, como um VLM ou detector), o sistema eleva este ponto para o espaço 3D usando informações de profundidade e parâmetros de câmera. Ele calcula o deslocamento relativo ($d$) entre a posição do alvo ($p_t$) e a posição atual da garra ($p_g$) no referencial da base do robô:
   $$d = p_t - p_g$$
2. Embedding Espacial: Este vetor de deslocamento 3D é codificado em um embedding espacial ($z_{spatial}$) usando um MLP (Perceptron Multicamadas) simples de duas camadas. A dimensão de saída corresponde ao tamanho oculto do cabeçalho de ação.
3. Injeção Direta via AdaLN: VLAs modernos frequentemente utilizam um Transformer de Difusão (DiT) como cabeçalho de ação, que emprega Normalização de Camada Adaptativa (AdaLN) para condicionamento. Em vez de adicionar o sinal aos tokens de entrada ou prompts de texto, o método injeta o embedding espacial diretamente no mecanismo AdaLN. O embedding espacial é combinado com o embedding de tempo ($z_{time}$) via adição elemento a elemento para modular os parâmetros de escala ($\gamma$) e deslocamento ($\beta$) das camadas de normalização:
   $$\gamma, \beta = \text{Linear}(z_{time} + z_{spatial})$$
   Isso permite que a política incorpore informações geométricas 3D relevantes para a tarefa diretamente durante a predição da ação, sem modificar o backbone VLA ou o pipeline de pré-treinamento.

3. Principais Contribuições

• Identificação do Gargalo: Os autores demonstram que a representação (2D vs. 3D) e o mecanismo de injeção (prompting vs. injeção direta no cabeçalho) são os fatores primários que determinam a generalização, e não a fonte do sinal de ancoragem em si.
• Arquitetura Leve: A solução proposta não requer mudanças no backbone VLA ou nos dados de pré-treinamento. Ela adiciona apenas um MLP de duas camadas e utiliza os mecanismos de condicionamento AdaLN já existentes.
• Agnosticismo de Backbone: O método é validado em múltiplos backbones VLA distintos (GR00T-N1.6 e $\pi0.5$), provando sua aplicabilidade em diferentes arquiteturas de modelo.

4. Resultados Experimentais

O método foi avaliado nos benchmarks LIBERO e LIBERO-PRO, que incluem Perturbação de Tarefa (mudança de instruções) e Perturbação de Posição (mudança de localização de objetos).

• Desempenho em Simulação:

  • No GR00T-N1.6, o método melhorou a taxa de sucesso média sob Perturbação de Tarefa de 31,2% para 77,5% e sob Perturbação de Posição de 28,1% para 60,2%.
  • No $\pi0.5$, ganhos semelhantes foram observados, aumentando as taxas de sucesso de 37,3% para 75,9% (Tarefa) e de 47,0% para 72,2% (Posição).
  • Comparações Controladas: Ao fornecer o mesmo ponto alvo 2D oracle, as variantes 2D (via texto, visual ou prompts AdaLN) produziram apenas melhorias modestas. Em contraste, a representação 3D injetada via AdaLN produziu ganhos dramáticos, confirmando que o sinal 3D e a injeção direta são os fatores críticos.
  • Eficiência de Dados: Um método treinado em apenas 20 tarefas usando esta abordagem superou os baselines treinados em 69 tarefas, sugerindo que o design arquitetural supera a escala de dados para generalização.
  • Robustez: O método permaneceu eficaz mesmo quando treinado e testado com entradas de profundidade ruidosas.

• Validação no Mundo Real:

  • Experimentos em um robô Franka Emika Panda com sensores RGB-D de nível consumidor confirmaram os achados de simulação.
  • Enquanto os baselines e as variantes de prompt 2D colapsaram para um sucesso próximo de zero sob perturbações no mundo real, o método proposto manteve alto desempenho, demonstrando aplicabilidade prática apesar de entradas de ancoragem ruidosas.

5. Significância e Alegações

O artigo afirma que a descoberta central é um insight "simples, mas negligenciado": dada uma ancoragem 2D adequada, elevar o sinal para 3D e injetá-lo diretamente no cabeçalho de ação é a chave para desbloquear tanto a generalização espacial quanto a de tarefa em VLAs.

Os autores enfatizam que esta abordagem alcança ganhos substanciais de desempenho sem a necessidade de encoders 3D complexos, modelos de fundação adicionais ou reformulações arquiteturais. O trabalho sugere que o campo tem complicado excessivamente a integração de sinais espaciais, e que uma injeção direta e alinhada à geometria no cabeçalho de ação é o caminho mais eficaz para uma manipulação robótica robusta. Os autores observam limitações em relação a movimentos agnósticos ao objeto e à suposição de disponibilidade de ancoragem 2D, mas posicionam sua contribuição como um passo fundamental para melhorar a robustez dos VLAs.