💻 computer science

What Matters When Cotraining Robot Manipulation Policies on Everyday Human Videos?

Este artigo investiga a transferibilidade de políticas de manipulação robótica treinadas em vídeos humanos cotidianos, revelando que, embora rótulos de pose de mão de alta qualidade sejam benéficos, a transferência bem-sucedida requer redes de visão e de política especializadas para mitigar a lacuna de movimento, alcançando, em última análise, uma melhoria de 29,7% na taxa de sucesso em regimes de baixos dados robóticos por meio de uma nova abordagem de cotreinamento.

Autores originais: Richard Li, Aditya Prakash, Andrew Wen, Saurabh Gupta, Yilun Du, Pulkit Agrawal

Publicado 2026-06-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Richard Li, Aditya Prakash, Andrew Wen, Saurabh Gupta, Yilun Du, Pulkit Agrawal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você queira ensinar um robô a cozinhar, dobrar roupas ou arrumar um quarto. A maneira tradicional é contratar um humano para sentar, usar sensores especiais e demonstrar a tarefa lentamente para o robô, repetidas vezes. Isso é como contratar um tutor particular que só fala uma linguagem robótica muito específica. É caro, lento e você só consegue algumas horas de aulas.

Este artigo faz uma pergunta mais simples: Por que não podemos simplesmente ensinar o robô assistindo a vídeos do YouTube de pessoas comuns fazendo essas coisas?

Os autores tentaram isso, mas encontraram alguns obstáculos. Eles construíram um "campo de treinamento" para descobrir exatamente o que faz o ensino de robôs através de vídeos humanos funcionar (ou falhar). Aqui está o que eles descobriram, explicado de forma simples:

1. O Problema da "Mão": Vendo os Detalhes

Quando você assiste a um vídeo de uma pessoa despejando café, seus olhos naturalmente focam na mão dela. Mas os computadores são ruins em adivinhar exatamente onde uma mão está no espaço 3D apenas olhando para um vídeo plano.

O Jeito Antigo: Tentativas anteriores usavam estimativa "monocular" (adivinhar o 3D a partir de uma única câmera 2D). Isso é como tentar adivinhar a forma exata de uma nuvem apenas olhando para sua sombra; muitas vezes é algo borrado e errado.
A Solução: Os autores criaram um novo conjunto de dados chamado TriHands. Eles pegaram 532 vídeos de culinária e usaram múltiplas câmeras (como um set de filmagem com câmeras de todos os lados) para "triangular" matematicamente a posição exata das mãos.
O Resultado: É a diferença entre um esboço borrado e uma planta de alta definição. Eles descobriram que, quanto mais precisos forem os dados da mão, melhor o robô aprende. Embora o método de "esboço borrado" (usando IA padrão) ainda ajudasse um pouco, o método da "planta de alta definição" foi muito superior.

2. O Problema da "Câmera": Lentes Diferentes, Mundos Diferentes

Imagine que você está ensinando um robô usando um vídeo gravado com uma lente grande-angular tipo olho de peixe (como uma GoPro em um capacete) e o robô tem uma câmera padrão em seu braço.

O Problema: No vídeo, um copo pode parecer enorme porque a câmera está perto e é ampla. No robô, esse mesmo copo parece pequeno porque a câmera é estreita e está longe. Se você apenas fornecer ambas as imagens ao rob em, ele ficará confuso. É como tentar aprender a dirigir um carro assistindo a um vídeo de alguém dirigindo um kart, mas o vídeo está com tanto zoom que a estrada parece um corredor.
A Solução: Eles desenvolveram uma maneira de "redimensionar" o mundo do vídeo para corresponder ao mundo do robô. Eles ajustaram matematicamente o vídeo para que os objetos apareçam na mesma escala e distância que apareceriam para o robô.
O Resultado: Este ajuste simples foi um divisor de águas. Sem ele, o robô não conseguiria aprender. Com ele, o robô conseguiu realmente entender o vídeo.

3. O Problema do "Corpo": Humanos e Robôs se Movem Diferentemente

Humanos têm braços, pulsos e dedos flexíveis. Robôs geralmente têm braços rígidos e articulados com uma garra.

O Problema: Se você forçar um robô a copiar exatamente os movimentos de um humano, ele falhará. Um humano pode girar o pulso para pegar um copo; um braço de robô pode não ser capaz de dobrar dessa forma. É como tentar ensinar um pinguim a voar mostrando a ele vídeos de águias. O pinguim apenas baterá as asas e cairá.
A Solução: Em vez de forçar o robô a copiar o humano exatamente, eles construíram uma rede "tradutora" especial. Esta rede aprende o objetivo do movimento (ex: "pegar o copo"), mas deixa o robô descobrir seu próprio jeito de chegar lá usando seu próprio corpo. Eles deram ao robô seu próprio "cérebro" para entender seu próprio corpo, separado do humano.
O Resultado: Essa "especialização" permitiu que o robô aprendesse a intenção do humano sem ficar preso tentando imitar poses humanas impossíveis.

A Grande Recompensa

Os autores testaram isso em seis tarefas diferentes (como empilhar tigelas, despejar água ou pegar um livro).

O Milagre dos "Baixos Dados": Quando o robô tinha pouquíssimos dados de prática próprios (apenas algumas horas), adicionar os vídeos humanos aumentou sua taxa de sucesso em quase 30%. É como se o robô passasse de mal conseguir passar no teste para tirar um "A" apenas assistindo aos vídeos humanos.
A Realidade dos "Altos Dados": Quando o robô tinha muitos dados de prática próprios, os vídeos humanos ajudaram menos, mas ainda proporcionaram um pequeno aumento.

A Conclusão

Ensinar robôs a partir de vídeos cotidianos da internet é possível, mas você não pode simplesmente despejar os vídeos no cérebro do robô e esperar pelo melhor. Você precisa de três coisas:

Rótulos de Mão Claros: Você precisa saber exatamente onde as mãos estão (não apenas um palpite).
Alinhamento de Escala: Você precisa garantir que o mundo do vídeo tenha o mesmo tamanho que o mundo do robô.
Especialização de Corpo: Você precisa deixar o robô aprender seu próprio jeito de se mover, em vez de forçá-lo a copiar a anatomia humana.

Ao corrigir essas três coisas, os autores mostraram que podemos usar a vasta biblioteca de vídeos humanos na internet para treinar robôs de forma muito mais rápida e barata do que nunca antes.

Resumo Técnico: O que importa ao realizar o cotreino de políticas de manipulação robótica em vídeos cotidianos de humanos?

Declaração do Problema

A construção de modelos de fundação robóticos generalistas é atualmente dificultada pela escassez de dados. Embora demonstrações por teleoperação sejam caras e lentas para coletar, e o aprendizado por reforço enfrente desafios no design de recompensas e na transferência sim-para-real, vídeos da Internet de atividades cotidianas humanas oferecem uma fonte potencialmente escalável de inteligência física. No entanto, alavancar esses vídeos para a manipulação robótica não é trivial. Trabalhos anteriores dependem de pipelines modulares que decompõem políticas em componentes intermediários (ex: poses 3D, affordances) ou empregam cotreino end-to-end que exige dados altamente curados e alinhados, onde os movimentos humanos são orquestrados para corresponder à cinemática do robô, câmeras são idênticas e hardware especializado captura poses de mãos 3D precisas.

A questão aberta abordada por este trabalho é: Quais fatores permitem a transferência de políticas de manipulação de vídeos cotidianos e não estruturados da Internet para robôs? Especificamente, os autores investigam o impacto de duas fontes primárias de dificuldade: (1) a qualidade dos rótulos de pose da mão 3D e (2) o "gap de ação" induzido pelo movimento humano natural e desajustes de tarefas em comparação ao comportamento do robô.

Metodologia

1. O Conjunto de Dados TriHands

Para estudar rigorosamente o impacto da qualidade dos rótulos de mão sem o ruído inerente à estimativa monocular, os autores construíram um novo conjunto de dados, o TriHands.

Fonte: 532 vídeos de culinária do dataset EgoExo4D.
Anotação: Em vez de depender de estimadores monoculares, os autores utilizaram um pipeline multi-view para triangular poses de mãos 3D. Eles utilizaram câmeras extrínsecas junto com a visão egocêntrica para gerar rótulos 3D de alta qualidade.
Refinamento: O pipeline envolveu o ajuste fino de um estimador de pose de mão 3D (WiLoR) usando perda de reprojeção em rótulos 2D parciais fornecidos pelo EgoExo4D. Eles empregaram Transformação Linear Direta (DLT) com refinamento não linear, selecionando subconjuntos de câmeras que maximizam a contagem de câmeras enquanto satisfazem limiares de erro de reprojeção.
Escala: O conjunto de dados resultante contém mais de 28 horas de dados de movimento natural de alta qualidade com 3.042.406 frames de mão direita a 30fps.

2. Estrutura e Arquitetura

Os autores propõem um framework de cotreino que equilibra o alinhamento de observações/ações entre diferentes embodiments, permitindo que a rede se especialize nas diferenças cinemáticas e sensoriais específicas entre humanos e robôs.

Alinhamento de Escala no Espaço da Imagem: Um passo crítico, anteriormente negligenciado, envolve alinhar a escala do espaço da imagem dos objetos. Como as câmeras humanas e robóticas frequentemente possuem diferentes distâncias focais e campos de visão (FOV), os autores destorcem as imagens fisheye humanas e ajustam as extrínsecas da câmera do robô (rotação e translação de profundidade) para corresponder à extensão 3D vertical da cena humana. Isso garante que os objetos apareçam em escalas semelhantes na entrada da rede.
Alinhamento do Espaço de Ação: Poses de mão 3D humanas são mapeadas para o espaço de ação do robô (pose do TCP e comando de garra). Para lidar com a multimodalidade introduzida pelo movimento da câmera na cabeça, as poses por frame de tempo são estabilizadas transformando-as para o frame atual da cabeça. Os chunks de ação são centrados na média e escalonados para $\pm 1$ para resolver vieses de distribuição.
Arquitetura (Inspirada em Transfusion): O modelo utiliza uma arquitetura de correspondência de fluxo condicional (conditional flow-matching).
- Fusão ao Nível de Token: Diferente de trabalhos anteriores que usam gargalos de imagem (tokens CLS), esta arquitetura mantém todos os tokens de imagem ViT e os concatena com tokens de ação ruidosos via atenção compartilhada.
- Especialização de Embodiment: A rede emprega especialistas FFN separados para tokens visuais e de ação. Crucialmente, ela utiliza codificadores e decodificadores de ação específicos para cada embodiment (MLPs separados para humano e robô) em vez de pesos compartilhados. Isso permite que o modelo aprenda representações visuais invariantes enquanto acomoda as distintas dinâmicas de movimento de cada embodiment.
Algoritmo de Cotreino: Para evitar que o grande volume de dados humanos sobrecarregue o menor conjunto de dados do robô, os autores amostram números iguais de batches de cada embodiment por passo. Isso é matematicamente equivalente a aumentar o peso da perda do robô, garantindo que a política permaneça fundamentada na cinemática do robô.

Principais Contribuições

Dataset TriHands: Um conjunto de dados de grande escala de vídeos humanos cotidianos com rótulos de mão 3D triangulados precisos. Os autores demonstram que este dataset produz um melhor desempenho de transferência para robôs do que datasets de laboratório de grande escala (ex: EgoDex), apesar de ter 5x menos horas de dados, destacando a importância da diversidade de cenas sobre a escala pura.
Impacto da Qualidade da Mão: O estudo mostra que rótulos de pose de mão 3D de maior qualidade melhoram significamente a transferência. Embora estimadores monoculares de última geração (HaWoR) ainda forneçam algum benefício sobre o treinamento apenas com robô, há um gap de desempenho substancial entre as estimativas monoculares e as mãos trianguladas, particularmente em tarefas complexas.
Alinhamento de Escala da Imagem: Os autores identificam e demonstram a necessidade de alinhar as escalas do espaço da imagem ao realizar o cotreino entre datasets com câmeras diferentes. Ajustes geométricos simples na posição virtual da câmera do robô melhoram significamente a transferência, um fator que não é atualmente considerado em modelos líderes de Visão-Linguagem-Ação (VLA).
Arquitetura para Movimento Natural: O artigo estabelece que receitas padrão de cotreino projetadas para dados de laboratório (ex: tokens CLS compartilhados, gargalos de imagem) falham em transferir efetivamente para dados de movimento natural. Em vez disso, a especialização de embodiment (fusão de nível de token e codificadores/decodificadores separados) é necessária para mitigar o grande gap de movimento inerente aos vídeos humanos não estruturados.

Resultados

Os autores avaliaram sua abordagem em seis tarefas de manipulação no mundo real (Pegar, Empilhar, Reorientar, Puxar, Livro, Servir/Verter) usando um braço AgileX Piper de 6-DOF. Eles treinaram em 532 vídeos humanos e quantidades variáveis de dados de robô (3, 5 ou 10 ambientes).

Ganhos de Desempenho: A receita de cotreino proposta gerou melhorias consistentes em todos os regimes de dados de robô. No regime de baixo dado de robô (3 ambientes), o método alcançou um ganho absoluto de taxa de sucesso de 29,7% (41,7% vs. 12,0% para apenas robô) através de seis tarefas.
Comportamento de Escalonamento: Embora o benefício relativo dos dados humanos diminua conforme a quantidade de dados de robô específicos da tarefa aumenta (um fenômeno conhecido em cotreino de múltiplas tarefas), os ganhos absolutos permanecem significativos em regimes de baixos dados.
Estudos de Ablação:
- Arquitetura: Remover a fusão de nível de token (usando tokens CLS) ou compartilhar codificadores/decodificadores de ação resultou em quedas significativas de desempenho, confirmando a necessidade de especialização.
- Alinhamento de Escala: Usar um modelo de câmera pinhole "fortemente desalinhado" (sem correção de escala) resultou em desempenho comparável ao treinamento apenas com robô, enquanto o alinhamento por extensão dobrou o desempenho.
- Qualidade da Mão: Adicionar ruído Gaussiano às mãos trianguladas para simular erros de estimativa monocular causou uma degradação monotônica no desempenho, confirmando que a precisão da pose da mão é um fator limitante.

Significância e Alegações

O artigo afirma traçar um caminho para o cotreino de robôs em vídeos da Internet ao identificar e abordar os gargalos específicos que distinguem esses dados de demonstrações de laboratório curadas. Os autores afirmam que:

O movimento natural é uma faca de dois gumes: Embora ofereça escalabilidade, o gap de movimento inerente exige especialização arquitetural (codificadores/decodificadores específicos de embodiment) em vez de um simples alinhamento.
A qualidade dos dados importa mais que a escala: A diversidade de cenas em vídeos naturais (TriHands) superou datasets de laboratório maiores e mais restritos (EgoDex).
Direções futuras: O trabalho sugere que melhorias futuras na estimativa de pose de mão (aproximando-se da qualidade dos rótulos triangulados) desbloquearão capacidades de transferência ainda maiores. Os autores observam que sua dependência atual de retargeting cinemático pode limitar a eficácia nas tarefas mais complexas (ex: "Servir/Verter"), deixando para investigações futuras o alinhamento representacional e o retargeting de ação.

O estudo conclui que, embora desafios permaneçam, uma combinação de rótulos de mão de alta qualidade, cuidadoso alinhamento de escala de imagem e arquiteturas especializadas por embodiment torna o cotreino em vídeos cotidianos de humanos uma estratégia viável e eficaz para melhorar a manipulação robótica, particularmente em cenários de escassez de dados.