🤖 machine learning

CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining

Este artigo apresenta o CLAMP, um novo framework de pré-treinamento 3D que aproveita a aprendizagem contrastiva em nuvens de pontos de múltiplas visões e ações de robô para melhorar a eficiência de amostragem e o desempenho de políticas de manipulação robótica em tarefas tanto simuladas quanto do mundo real.

Autores originais: I-Chun Arthur Liu, Krzysztof Choromanski, Sandy Huang, Connor Schenck

Publicado 2026-05-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: I-Chun Arthur Liu, Krzysztof Choromanski, Sandy Huang, Connor Schenck

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine ensinar um robô a realizar tarefas domésticas, como colocar uma caneca em um prato ou abrir uma gaveta. No passado, cientistas tentavam ensinar robôs mostrando-lhes milhares de vídeos de humanos executando essas tarefas. O robô tentava copiar os movimentos, mas frequentemente tinha dificuldades porque via o mundo em "2D" (como uma fotografia plana). Ele não compreendia realmente que uma xícara é um objeto sólido com profundidade, ou que precisa alcançar ao redor de algo para pegá-lo.

Este artigo apresenta o CLAMP, uma nova maneira de treinar robôs que é como dar a eles um "cérebro 3D" antes mesmo de começarem a aprender tarefas específicas.

Veja como funciona, decomposto em conceitos simples:

1. O Problema: Visão Plana vs. 3D

Pense em uma câmera padrão de robô como um humano olhando para uma pintura. Você pode ver as cores e as formas, mas não consegue sentir a profundidade. Se um robô tentar pegar uma chave de fenda, pode errar porque não compreende plenamente o espaço 3D ao redor do objeto.

Solução do CLAMP: Em vez de apenas olhar para imagens planas, o CLAMP constrói uma nuvem de pontos 3D. Imagine usar um milhão de minúsculos pontos para representar cada superfície que o robô vê. Isso dá ao robô uma compreensão "sólida" do mundo, sabendo exatamente onde estão as bordas e os cantos dos objetos no espaço 3D.

2. O Treinamento na "Academia" (Pré-treinamento)

Antes de o robô tentar realizar uma tarefa específica (como abrir uma gaveta), ele passa por uma sessão massiva de "academia" em uma simulação computacional. Isso é chamado de Pré-treinamento.

O Treino: O robô observa milhões de movimentos de robôs simulados.
A Lição: Ele aprende a conectar três coisas:
1. O que vê (a forma 3D dos objetos).
2. O que faz (o histórico de movimentos de seu braço).
3. O que lhe é dito (descrições em texto como "coloque o abridor de latas no compartimento esquerdo").
O Truque Mágico (Aprendizado Contrastivo): Imagine um jogo de "Memória". O robô recebe uma imagem de uma cena e uma lista de ações. Ele deve combinar a imagem correta com a ação correta. Se combinar uma imagem de uma chave de fenda com a ação "pegue a chave de fenda", ganha um ponto. Se combinar a imagem da chave de fenda com "pegue as tesouras", perde um ponto. Após milhões de tentativas, ele aprende a conexão profunda entre ver um objeto e saber como se mover para pegá-lo.

3. A Vantagem da "Câmera de Pulso"

Uma das grandes descobertas do artigo é que os robôs precisam ver as coisas a partir de suas próprias mãos, e não apenas de uma câmera fixa no teto.

A Analogia: Imagine tentar enfiar um fio em uma agulha enquanto alguém segura uma lanterna na parede. É difícil. Mas se você segurar a lanterna você mesmo (uma "visão de pulso"), consegue ver exatamente o que está fazendo.
A Estratégia do CLAMP: Ele simula câmeras acopladas aos pulsos do robô. Isso ajuda o robô a ver os objetos claramente mesmo quando seus próprios braços bloqueiam a visão, o que é crucial para tarefas de alta precisão.

4. O "Ponto de Partida" (Ajuste Fino)

Depois que o robô termina seu treinamento na "academia", ele está pronto para aprender uma tarefa real.

O Jeito Antigo: Geralmente, você precisa começar do zero, mostrando ao robô algumas centenas de exemplos de uma nova tarefa, e leva muito tempo para aprender.
O Jeito CLAMP: Como o robô já entende o espaço 3D e como as ações se relacionam com os objetos, ele só precisa ver um número minúsculo de exemplos (como 4.500 demonstrações) para dominar uma nova tarefa. É como um aluno que já aprendeu a ler e escrever; ele só precisa aprender o vocabulário específico de uma nova disciplina, em vez de aprender a segurar uma caneta do zero.

5. Os Resultados

Os autores testaram o CLAMP em seis tarefas simuladas diferentes (como colocar um abridor de latas em um porta-utensílios) e cinco tarefas do mundo real (como abrir gavetas ou reciclar latas).

O Resultado: O CLAMP foi significativamente melhor e mais rápido no aprendizado do que outros métodos de ponta. No mundo real, ele abriu gavetas e colocou canecas em pratos com muito mais frequência do que robôs treinados sem esse pré-treinamento 3D.

Resumo

O CLAMP é como um campo de treinamento militar para robôs. Em vez de apenas mostrar a um robô como fazer um trabalho específico, ele ensina o robô a ver o mundo em 3D e como seu corpo se move nesse espaço. Uma vez que o robô possui esse "senso comum" geral sobre objetos 3D e movimento, ele pode aprender novas tarefas domésticas específicas incrivelmente rápido e com precisão.

Resumo Técnico: CLAMP

Declaração do Problema

Embora o aproveitamento de representações de imagens 2D pré-treinadas para clonagem de comportamento tenha se tornado um padrão na manipulação robótica, essas abordagens frequentemente falham em capturar as informações espaciais 3D essenciais necessárias para a interação precisa com objetos e cenas. Os métodos existentes de pré-treinamento em robótica enfrentam desafios que incluem a disponibilidade limitada de dados robóticos em grande escala, incerteza quanto às modalidades ótimas (por exemplo, RGB versus nuvens de pontos) e a complexidade dos espaços de estado e ação de alta dimensão. Além disso, esforços anteriores de pré-treinamento 3D, como o 3D-MVP, frequentemente dependem de reconstrução de imagem por meio de autoencoders mascarados sem incorporar dados de ação robótica, deixando uma lacuna na aprendizagem da relação entre percepção 3D e padrões de ação.

Metodologia

Os autores propõem o CLAMP (Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining), um framework projetado para aprender representações robustas de imagem e ação 3D por meio de aprendizagem contrastiva em trajetórias robóticas simuladas em grande escala.

1. Representação e Renderização de Dados

Construção de Nuvem de Pontos: O sistema constrói uma nuvem de pontos da cena a partir de imagens RGB-D e extrínsecas da câmera, omitindo cores RGB para melhorar a generalização de aparência.
Rerenderização Multi-visão: Em vez de visões ortogonais padrão, o CLAMP rerenderiza a cena em imagens de quatro canais (Profundidade, coordenadas X, Y, Z) a partir de cinco pontos de vista virtuais: três visões fixas (superior, frente-esquerda, trás-direita) e duas visões dinâmicas de pulso (acopladas às garras). As visões dinâmicas de pulso são especificamente projetadas para reduzir oclusões e fornecer observações mais claras para tarefas de alta precisão.
Entrada de Texto: As entradas de texto incluem descrições de tarefas de alto nível, nomes de objetos, posições globais normalizadas e inteiros de progresso da tarefa. Estes são derivados da verdade fundamental do simulador e usados exclusivamente durante o pré-treinamento para fundamentar as representações.

2. Arquitetura do Modelo

O CLAMP emprega três codificadores treinados por meio de aprendizagem contrastiva:

Codificador de Imagem: Um Vision Transformer (ViT) que utiliza codificação posicional relativa STRING. Diferentemente das codificações posicionais padrão, o STRING usa as coordenadas 3D (centro de massa dos pontos visíveis) derivadas da nuvem de pontos para correlacionar tokens entre diferentes visões. Isso permite que o modelo aprenda implicitamente a estrutura 3D e correlacione tokens de diferentes visões 2D que correspondem a regiões 3D similares.
Codificador de Ação: Um codificador Transformer que processa um histórico de blocos de ações anteriores.
Codificador de Texto: Um codificador de texto baseado em CLIP que processa as descrições da tarefa e dos objetos.

3. Objetivo de Pré-treinamento Contrastivo

Os codificadores são treinados para minimizar uma perda no estilo SigLIP sobre três pares de modalidades: imagem-texto, imagem-ação e texto-ação. O objetivo aproxima os embeddings de tripletos correspondentes $(I, T, A)$ enquanto afasta tripletos não correspondentes. Isso incentiva o modelo a aprender padrões de ação que podem inferir estados futuros e representações de imagem que podem inferir o histórico de ações, condicionados a descrições espaciais e temporais da tarefa.

4. Pré-treinamento e Ajuste Fino da Política de Difusão

Pré-treinamento Paralelo: Uma Política de Difusão (controlador visuomotor) é pré-treinada em paralelo com os codificadores no mesmo conjunto de dados simulado. Esta política é inicializada com os pesos pré-treinados para melhorar a eficiência de amostras a jusante.
Ajuste Fino: Para tarefas a jusante, a política é ajustada finamente em um número limitado de demonstrações específicas da tarefa. Durante esta fase, os codificadores CLAMP são congelados para extrair embeddings de imagem e ação, que são concatenados com características RGB (de ResNet-50) e dados proprioceptivos. Estes são alimentados em um codificador-decodificador Transformer para prever ruído para os próximos 50 passos de ação.

Contribuições Principais

Novo Framework de Pré-treinamento 3D: Introdução do CLAMP, que aproveita ações robóticas e visões dinâmicas de pulso para pré-treinamento contrastivo 3D.
STRING para Coordenadas 3D: A primeira aplicação de codificação posicional relativa STRING usando coordenadas 3D derivadas diretamente de nuvens de pontos (em vez de mapas de profundidade) para correlacionar tokens entre observações multi-visão.
Importância das Visões Dinâmicas: Demonstração de que as visões dinâmicas de pulso são críticas para tarefas de manipulação de alta precisão.
Pré-treinamento Conjunto de Codificador e Política: Evidência de que o pré-treinamento tanto dos codificadores quanto da Política de Difusão produz desempenho substancialmente melhor do que o pré-treinamento de codificadores isoladamente.

Resultados

Os autores avaliaram o CLAMP em seis tarefas simuladas e cinco tarefas do mundo real usando a plataforma robótica ALOHA.

Simulação: O CLAMP superou significativamente as bases de comparação mais avançadas (incluindo ALOHA Unleashed, ACT e backbones VLA) em todas as seis tarefas. Por exemplo, na tarefa "Abridor de Lata no Portão", o CLAMP alcançou uma taxa de sucesso de 94,0%, comparada a 70,0% para o ALOHA Unleashed Pré-treinado e 7,3% para o Backbone VLA.
Mundo Real: Em experimentos do mundo real, o CLAMP superou as bases de comparação em quatro de cinco tarefas, mostrando melhorias notáveis na abertura/fechamento de gavetas e na colocação de canecas em pratos.
Estudos de Ablação:
- A remoção das visões de pulso virtuais resultou em quedas significativas de desempenho (por exemplo, -28,6% em "Caneca no Prato").
- A substituição do ViT por um backbone estilo PointNet (DP3) degradou o desempenho.
- A remoção do codificador de texto teve um impacto menor na simulação, mas um impacto negativo perceptível em configurações do mundo real, sugerindo que a fundamentação de texto é mais valiosa ao lidar com ruído visual.
- O pré-treinamento da política junto com os codificadores mostrou-se essencial para alta eficiência de amostras.

Significado

O artigo afirma que o CLAMP melhora substancialmente a eficiência de aprendizagem e o desempenho da política em tarefas não vistas, aproveitando efetivamente informações geométricas 3D e padrões de ação robótica. Ao pré-treinar em dados simulados em grande escala e inicializar a política com essas representações aprendidas, o framework reduz a complexidade de amostras necessária para o ajuste fino em demonstrações limitadas do mundo real. O trabalho estabelece que incorporar percepção 3D e aprendizagem contrastiva condicionada à ação é uma abordagem viável e superior para o pré-treinamento de manipulação robótica em comparação com métodos existentes baseados em 2D ou reconstrução.