🤖 machine learning

Cross-Embodiment Transfer via Behavior-Aligned Representations

Este artigo propõe o uso de representações alinhadas ao comportamento, particularmente traços do efetor final, dentro de modelos de visão-linguagem-ação para unificar diversos dados de múltiplos corpos e melhorar significativamente o desempenho de transferência robótica, alcançando um aumento de 28% na conclusão de tarefas no mundo real após o pré-treinamento em simulação.

Autores originais: Ajay Sridhar, Jensen Gao, Jonathan Yang, Jean Mercat, Suneel Belkhale, Dorsa Sadigh

Publicado 2026-07-31

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ajay Sridhar, Jensen Gao, Jonathan Yang, Jean Mercat, Suneel Belkhale, Dorsa Sadigh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a fazer tarefas domésticas. No mundo do aprendizado de máquina, existe uma ideia popular de que, se você alimentar um modelo com uma quantidade massiva de dados de todos os lugares, ele se tornará mais inteligente do que se você o alimentasse apenas com dados de uma única fonte específica. Este é o mesmo motivo pelo qual um ser humano que viaja pelo mundo e aprende várias línguas pode, muitas vezes, adaptar-se melhor a novas situações do que alguém que sempre viveu em uma única cidade pequena. Para os robôs, isso significa que queremos treiná-los com dados coletados de muitos tipos diferentes de robôs — alguns com braços longos, outros com braços curtos, outros com garras que parecem pinças, outras como pinças de pressão. Isso é chamado de aprendizado de "cross-embodiment" (corporificação cruzada). O objetivo é criar um cérebro de robô "universal" que possa aprender com uma biblioteca de experiências de muitas máquinas diferentes e, então, aplicar esse conhecimento a um novo robô que ele nunca viu antes. No entanto, há um grande problema: uma câmera em um robô alto vê o mundo de um ângulo elevado, enquanto um robô baixo vê do chão. Suas "mãos" se movem de forma diferente, e seus comandos de ação são escritos em "línguas" diferentes. Tentar misturar esses conjuntos de dados bagunçados e incompatíveis é como tentar ensinar um aluno a dirigir mostrando-lhe vídeos de carros, caminhões e bicicletas ao mesmo tempo sem explicar as diferenças. É confuso, e muitas vezes o robô simplesmente trava.

Este artigo, intitulado "Cross-Embodiment Transfer via Behavior-Aligned Representations" (Transferência de Corporificação Cruzada via Representações Alinhadas ao Comportamento), aborda essa confusão ao fazer uma pergunta inteligente: em vez de tentar forçar os robôs a parecerem ou se moverem exatamente da mesma forma, podemos ensiná-los a falar uma "linguagem de comportamento" comum? Os autores, uma equipe da Stanford e do Toyota Research Institute, propõem que podemos diminuir a lacuna entre diferentes robôs focando na história da ação, em vez da mecânica específica. Eles sugerem o uso de "representações alinhadas ao comportamento" — que são, basicamente, resumos simplificados do que está acontecendo, como uma descrição textual do movimento ("mover para a esquerda e para baixo"), uma caixa desenhada ao redor do objeto que está sendo pego, ou uma linha traçando o caminho que a mão do robô percorre pelo ar.

Os pesquisadores testaram essa ideia usando um novo benchmark de simulação que construíram chamado RoboCasa-X. Eles treinaram os cérebros de seus robôs (especificamente um tipo de modelo chamado modelo de Visão-Linguagem-Ação) em enormes conjuntos de dados de três robôs de origem diferentes. Em seguida, tentaram transferir esse conhecimento para quatro robôs de destino diferentes que não estavam nos dados de treinamento. Eles compararam o treinamento com apenas dados brutos contra o treinamento com a adição desses "resumos de comportamento" extras.

Os resultados foram bastante reveladores. O estudo descobriu que adicionar esses resumos de comportamento ajudou significamente os robôs a transferirem habilidades para novos corpos. Entre os diferentes tipos de resumos que testaram, os "traços do efetor final" (end-effector traces) — que são essencialmente os caminhos 2D que a mão do robô desenha na visão da câmera — foram a ferramenta mais poderosa. Quando os robôs foram treinados com esses traços, tornaram-se muito melhores em se adaptar a novos hardwares. De fato, quando pegaram uma política pré-treinada em dados de simulação e a testaram em robôs do mundo real, o uso dessas representações melhorou o progresso de conclusão da tarefa em 28%.

Curiosamente, o artigo também descobriu que você não precisa necessariamente que o robô "pense" sobre esses traços enquanto está realmente realizando a tarefa. Os modelos aprenderam melhor quando foram treinados para prever esses traços juntamente com as ações, mas durante o trabalho real, simplesmente prever a ação diretamente funcionou tão bem quanto. Isso sugere que os traços ajudaram o robô a aprender a lógica subjacente da tarefa durante o treinamento, agindo como uma rodinha de treinamento que poderia ser removida mais tarde. Além disso, a equipe mostrou que essas representações poderiam até ajudar os robôs a aprender com dados que não incluíam comandos de ação (dados sem ação), desde que os resumos de comportamento estivessem presentes.

Os autores observam cautelosamente que, embora seu método funcione bem em seus testes específicos de simulação e do mundo real, ele depende de os robôs terem algum nível de similaridade em suas tarefas e configurações de câmera. Eles não provaram que isso funciona para todo e qualquer descompasso de robôs, mas seus experimentos sugerem fortemente que dar aos robôs um "vocabulário comportamental" compartilhado é uma maneira promissora de torná-los mais adaptáveis. Ao focar no "o quê" e no "como" do movimento, em vez de no "quem" específico (o modelo do robô), eles encontraram uma maneira de tornar a vasta e bagunçada biblioteca de dados de robôs realmente útil para construir máquinas mais inteligentes e flexíveis.

Resumo Técnico: Transferência de Cross-Embodiment via Representações Alinhadas ao Comportamento

Declaração do Problema

Avanços recentes na manipulação robótica têm sido impulsionados pelo aprendizado por imitação em larga escala através de diversos embodiments robóticos. No entanto, alcançar uma transferência de cross-embodiment significativa — onde uma política treinada em dados de um conjunto de robôs se generaliza para uma nova plataforma robótica não vista — permanece um desafio persistente.

O obstáculo primário é a variação substancial nos espaços de observação (ex: poses de câmera, entradas visuais) e nos espaços de ação (ex: configurações de juntas, cinemática do efetuador final) entre diferentes embodiments. Embora trabalhos anteriores tenham tentado abordar isso alinhando explicitamente observações (ex: via normalização de pose de câmera ou inpainting) ou espaços de ação, esses métodos frequentemente exigem um esforço manual significativo, conhecimento específico do robô de implantação durante o treinamento, ou são difíceis de escalar. Consequentemente, o desempenho muitas vezes falha em exceder significativamente o treinamento realizado apenas em dados específicos do embodiment alvo.

A metodologia proposta utiliza um framework que alinha implicitamente conjuntos de dados heterogêneos usando representações alinhadas ao comportamento. A hipótese central é que, embora as observações e ações brutas variem entre os robôs, as representações intermediárias que descrevem o comportamento da tarefa (ex: "mover para a esquerda", "agarrar objeto em [x,y]") podem permanecer invariantes entre os embodiments. Ao treinar modelos de Visão-Linguagem-Ação (VLA) para prever essas representações juntamente com as ações, a política pode aproveitar um espaço de raciocínio unificado.

Framework e Formalização

A abordagem é formulada dentro de um cenário de aprendizado por imitação condicionado por linguagem. A política $\pi_\theta$ é treinada para mapear observações $o$ e instruções de linguagem $l$ para ações $a$ .

Representações Alinhadas ao Comportamento ( $z$ ): Os autores definem um conjunto de representações $z = (z^{(1)}, \dots, z^{(K)})$ que são computáveis a partir do conjunto de dados, úteis para prever o comportamento ideal e invariantes entre embodiments.
Objetivo de Treinamento: O modelo é treinado para prever de forma autorregressiva um subconjunto amostrado de representações $\tilde{z}$ seguido de ações. A perda total combina a perda de clonagem de comportamento (predição de ação) com perdas auxiliares para a predição das representações:
$\mathcal{L}_{total} = \mathbb{E}[\ell(\pi_\theta(\cdot | o, l, \tilde{z}), a) + \sum \lambda_k \ell_{rep}^{(k)}(\pi_\theta(\cdot | o, l), z^{(k)})]$
Durante a inferência, o modelo pode ser configurado para prever ações diretamente ou condicionar-se em representações preditas.

Representações Específicas Estudadas

O artigo avalia três tipos específicos de representações alinhadas ao comportamento:

Bounding Boxes: Caixas delimitadoras 2D de objetos manipuláveis (extraídas via Grounding DINO).
Language Motions: Descrições textuais do movimento imediato (ex: "mover para a esquerda e para baixo"), derivadas de mudanças no estado proprioceptivo.
End-Effector (EE) Traces: Sequências de posições 2D futuras do efetuador final do robô no quadro da imagem.

Benchmark: RoboCasa-X

Para avaliar rigorosamente essas hipóteses, os autores introduzem o RoboCasa-X, um benchmark baseado em simulação que estende o RoboCasa.

Dados de Origem: Pré-treinamento em dados diversos de três robôs de origem (IIWA, Kinova3, UR5e) com variados grippers.
Dados de Alvo: Avaliação de transferência em três robôs alvo (Panda, Jaco, Panda-OG) com demonstrações limitadas do alvo (50 por tarefa).
Tarefas: Quatro tarefas de manipulação (ex: "Pegar e Colocar Contra a Pia", "Ligar a Torneira da Pia") apresentando variação significativa em layouts, texturas e poses de objetos.

Principais Contribuições

Alinhamento Implícito via Representações: O artigo demonstra que representações alinhadas ao comportamento oferecem um método escalável e implícito para unificar dados de cross-embodiment, evitando a necessidade de alinhamento explícito de espaços de observação ou ação.
Análise Empírica de Representações: Através de extensos estudos de ablação, os autores identificam que as traços do efetuador final (end-effector traces) são a representação mais impactante para a transferência de cross-embodiment, seguidas por movimentos de linguagem e bounding boxes.
Leis de Escala (Scaling Laws): O estudo revela que a utilidade dessas representações escala com o tamanho do conjunto de dados de cross-embodiment prévio; conjuntos de dados maiores (ex: 3.000 demonstrações) rendem maiores benefícios do alinhamento de representação do que conjuntos menores.
Transferência Livre de Ação (Action-Free Transfer): O framework permite a transferência de datasets livres de ação. Os autores mostram que o pré-treinamento em dados onde apenas as representações são preditas (sem rótulos de ação) ainda melhora o desempenho subsequente quando ajustado (fine-tuned) em dados de ação, sugerindo que as representações induzem um estado interno útil.
Validação Sim-to-Real: A abordagem é validada em robôs do mundo real, demonstrando que as representações podem mitigar o gap sim-to-real enquanto lidam simultaneamente com a transferência de cross-embodiment.

Resultados Experimentais

Resultados de Simulação (RoboCasa-X)

Ganhos de Desempenho: O uso de representações alinhadas ao comportamento melhora consistentemente as taxas de sucesso sobre os baselines sem representações.
- End-Effector Traces: Proporcionaram o maior impulso individual.
- Representações Combinadas: O uso de "Joint Reps" (treinar um único modelo para prever qualquer subconjunto de representações) geralmente alcançou as maiores taxas de sucesso globais na maioria das tarefas e robôs alvo (Panda, Jaco).
- Exceção: Para o alvo Panda-OG (que possui um gripper único não visto no pré-treinamento), os traços do efetuador final sozinhos superaram as representações combinadas, sugerindo que a escolha da representação ideal depende do gap específico do embodiment.
Escalabilidade: As representações proporcionaram uma melhoria de +19% ao escalar de 900 para 3.000 demonstrações prévias, enquanto o benefício foi menor com dados de single-embodiment.
Inferência: A predição de representações durante a inferência forneceu apenas ganhos marginais sobre a predição direta de ação, apoiando a hipótese de que o principal benefício é aprendido durante o treinamento (alinhamento implícito).
Dados Livres de Ação: O pré-treinamento em dados livres de ação (predizendo apenas representações) melhorou o desempenho em 14% em relação ao treinamento do zero e em 11% em relação ao uso de dados de ação total sem representações.

Resultados no Mundo Real

Transferência Sim-to-Real: Os autores adaptaram modelos pré-treinados no RoboCasa-X (XP-3K) para dois robôs reais: Franka Research 3 (FR3) e ViperX 300 S.
Melhoria Significativa: Apesar dos gaps significativos de domínio nas observações visuais e espaços de ação (ex: diferentes frequências de controle e comportamentos de bloqueio), a abordagem "Joint Reps" melhorou o progresso de conclusão de tarefas em 28% comparado aos baselines sem representações.
Comparação: As representações foram mais benéficas no cenário do mundo real do que na simulação, provavelmente devido ao maior gap de domínio tornar o alinhamento implícito mais crítico.

Significância e Alegações

O artigo afirma que as representações alinhadas ao comportamento são um mecanismo crucial para permitir o aprendizado de cross-embodiment escalável. Ao fornecer uma "linguagem" comum de comportamento (traços, caixas, linguagem) que é invariante ao hardware específico do robô, essas representações permitem que as políticas aproveitem vastos e heterogêneos conjuntos de dados que, de outra forma, seriam inutilizáveis devido aos desajustes de embodiment.

Os autores posicionam este trabalho como um passo em direção à compreensão da "transferência positiva" no aprendizado de cross-embodiment. Eles enfatizam que, embora seu cenário atual envolva um alinhamento significativo (ex: distribuições de câmera consistentes em simulação), o framework fornece um ponto de partida para explorar a transferência em ambientes menos estruturados e mais desalinhados. O trabalho sugere que pesquisas futuras devem investigar como diferentes níveis de desalinhamento influenciam a eficácia de representações específicas e explorar uma gama mais ampla de sinais alinhados ao comportamento além da manipulação centrada em objetos.