Generalizable Coarse-to-Fine Robot Manipulation via Language-Aligned 3D Keypoints

Título: Manipulação Robótica Fina e Grossa Generalizável via Keypoints 3D Alinhados à Linguagem (CLAP)

1. O Problema

A aprendizagem por imitação em robótica tem tido sucesso em tarefas de manipulação 3D, mas enfrenta dois desafios críticos para a aplicação em larga escala no mundo real:

1. Generalização para Variações de Ambiente (G1): Robôs precisam operar em novos cenários com variações de objetos, fundos e iluminação.
2. Generalização Composicional de Habilidades (G2): Robôs devem ser capazes de combinar habilidades previamente aprendidas para resolver novas tarefas complexas.

As políticas existentes do tipo Grossa-a-Fina (Coarse-to-Fine), que preveem uma região de interesse (um keypoint 3D) para guiar uma ação de alta precisão, são eficientes em amostras, mas sofrem de generalização limitada. Mesmo com modelos pré-treinados, elas falham em:

• Lidar com deslocamento de domínio entre imagens de pré-treinamento e dados robóticos.
• Prever keypoints 3D precisos a partir de modelos visuais padrão.
• Adaptar-se a variações de objetos e instruções de linguagem novas.
• Explorar plenamente a capacidade de planejamento dos Modelos Visão-Linguagem (VLMs).

2. Metodologia: CLAP

Os autores propõem o CLAP (Coarse-to-fine Language-Aligned manipulation Policy), uma arquitetura hierárquica que integra três componentes principais para superar as limitações anteriores:

A. Decomposição de Tarefas e Planejamento de Tarefas Grossas

Diferente de políticas anteriores que condicionam toda a trajetória a uma única descrição de tarefa, o CLAP utiliza um Planejador de Tarefas Grossas (implementado como um VLM pré-treinado, especificamente o Qwen 2.5 VL-3B) para:

• Decompor tarefas complexas em instruções de linguagem passo a passo (ex: "abra a gaveta" $\rightarrow$ "alinhamento", "agarrar", "puxar").
• Protocolo de Inferência em Duas Rodadas:
  1. Gera um plano de linguagem completo apenas com base no texto (reduzindo o viés visual).
  2. Usa o plano gerado + imagens visuais para prever a instrução do passo atual e o keypoint 3D correspondente.
• Raciocínio em Cadeia (Chain-of-Thought): O VLM é treinado para seguir uma sequência lógica: localizar objetos relevantes $\rightarrow$ gerar a instrução do passo $\rightarrow$ prever o keypoint 3D.
• Memória de Curto Prazo: Para tarefas de longo horizonte, o modelo recebe a instrução do passo anterior como entrada para evitar repetições e manter o contexto.

B. Preditor de Ação de Alta Precisão (Fine-Grained)

O preditor de ação final utiliza a instrução do passo específico (em vez da descrição global da tarefa) e observações refinadas (recortes da cena focados no keypoint).

• Representação Consciente de 3D (3D-Aware Representation):
  • Imagens RGB e instruções de texto são processadas por codificadores pré-treinados (ex: SigLIP) para alinhamento semântico.
  • Imagens de profundidade são codificadas separadamente (ex: DINOv2) para capturar estrutura geométrica.
  • Embeddings de Posição 3D: Coordenadas 3D de cada pixel são incorporadas para alinhar melhor as informações 2D e 3D.
  • Todas as representações são fundidas via um Multi-View Transformer para prever a ação final.

C. Estratégia de Treinamento

O treinamento do VLM no planejador grossa envolve três partes para reforçar a compreensão da cena:

1. Ajuste Fino (Fine-tuning) em Planos de Linguagem: Para melhorar o raciocínio composicional.
2. Ajuste Fino para Predição de Keypoints: Treinamento sequencial (localização $\rightarrow$ instrução $\rightarrow$ keypoint).
3. Tarefa Auxiliar de Detecção 3D: Uso de um dataset adicional de posições de objetos para melhorar a generalização zero-shot para variações de objetos.

3. Principais Contribuições

1. Nova Arquitetura de Política Grossa-a-Fina: Introduz a decomposição de tarefas em instruções linguísticas passo a passo, alinhadas a keypoints 3D, promovendo generalização composicional.
2. Pipeline de Ajuste Fino para VLMs: Adapta modelos pré-treinados para predição de keypoints 3D através de raciocínio estruturado e tarefas auxiliares, superando a inadequação de modelos visuais padrão para tarefas robóticas 3D.
3. Representação Consciente de 3D: Incorpora embeddings de posição 3D e codificadores especializados no preditor de ação, melhorando a precisão e a eficiência de amostras.

4. Resultados Experimentais

Simulação (GemBench)

O método foi avaliado no GemBench, um benchmark focado em generalização.

• Desempenho Geral: O CLAP alcançou uma taxa de sucesso média 12% superior ao método State-of-the-Art (SOTA) anterior (BridgeVLA).
• Eficiência de Dados: Alcançou esse desempenho utilizando apenas 1/5 das trajetórias de treinamento (20 demonstrações por variação de tarefa vs. 100 dos outros métodos).
• Generalização:
  • Nível 2 (Objetos Rígidos Novos): 83.2% de sucesso vs. ~65% dos SOTAs.
  • Nível 3 (Objetos Articulados Novos): 49.6% vs. ~44%.
  • Nível 4 (Tarefas de Longo Horizonte): 31.4% vs. 0% (muitos métodos falharam completamente).

Mundo Real

Experimentos realizados em um robô físico com apenas 10 demonstrações por tarefa.

• O CLAP demonstrou forte generalização para novas instruções e variações de objetos.
• Comparação com RVT2: O CLAP superou o RVT2 (um método coarse-to-fine anterior) em 54.8% na taxa de sucesso média em tarefas de avaliação, incluindo variações de cor de mesa, objetos distratores e substituição de objetos.

5. Significado e Conclusão

O trabalho CLAP representa um avanço significativo na robótica de aprendizado, demonstrando que é possível combinar a eficiência de amostras das políticas hierárquicas coarse-to-fine com a capacidade de generalização e raciocínio dos grandes modelos de linguagem (VLMs).

Ao desacoplar o planejamento da tarefa da predição de ação e introduzir um raciocínio estruturado para alinhar linguagem e geometria 3D, os autores resolvem o problema de generalização que limitava métodos anteriores. Isso permite que robôs aprendam novas habilidades complexas com poucos dados e se adaptem a ambientes não vistos, um passo crucial para a implantação de robôs em ambientes domésticos e industriais dinâmicos.

Limitações: O método ainda depende de tarefas estruturadas que podem ser decompostas em etapas discretas (dificuldade em tarefas contínuas como "limpar uma mesa") e carece de um mecanismo robusto de correção de erros em tempo real.