💻 computer science

SEED-UMI: Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration

O SEED-UMI é um novo framework de aprendizado por imitação que possibilita o treinamento eficiente de robôs destros ao fazer com que tanto o humano quanto o robô usem o mesmo exoesqueleto, criando assim medições de juntas e visões de câmera de pulso compartilhadas que eliminam a necessidade de retargeting propenso a erros e permitem que as políticas aprendam diretamente de demonstrações ricas em contato.

Autores originais: Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

Publicado 2026-09-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Ensinar um robô a usar suas mãos como um humano é um dos problemas mais difíceis da robótica moderna. Embora as máquinas tenham se tornado mestres em caminhar ou mover seus braços, o trabalho delicado e rico em contatos dos dedos permanece esquivo. A dificuldade central não reside apenas na complexidade da própria mão, mas em como a ensinamos. Para aprender, um robô precisa observar um humano realizar uma tarefa e então tentar copiar esse movimento. No entanto, as mãos humanas e as mãos robóticas são construídas de forma diferente; elas possuem números diferentes de articulações, tamanhos diferentes e movem-se de maneiras distintas. Quando um humano toca um objeto, sua pele se comprime e suas articulações se dobram de uma forma específica que uma mão de metal rígido não consegue mimetizar perfeitamente. Os métodos atuais tentam preencher essa lacuna usando câmeras para observar o humano ou luvas para registrar seus movimentos, mas essas abordagens frequentemente falham quando a mão realmente toca algo. Os dados tornam-se confusos, a tradução do humano para o robô falha e o robô tem dificuldade em replicar a pressão sutil e o tempo necessários para tarefas como parafusar um parafuso ou arremessar uma bola.

Uma equipe de pesquisadores propôs uma solução diferente que evita a necessidade de uma tradução complexa inteira. Em vez de tentar converter matematicamente os movimentos humanos em comandos robóticos, eles construíram um sistema onde o humano e o robô usam exatamente o mesmo dispositivo mecânico. Este dispositivo é um exoesqueleto especializado, uma estrutura leve que se ajusta à mão e aos dedos. Os pesquisadores projetaram esta estrutura para que ela corresponda perfeitamente à mão do robô em tamanho e posicionamento de articulações. Quando um humano o coloca, a estrutura se move com seus dedos. Quando o robô o coloca, a estrutura se move com seus motores. Como a estrutura física é idêntica, os sensores dentro do dispositivo registram exatamente os mesmos dados, quer um humano ou um robô o esteja usando. Essa mudança simples transforma um problema de tradução difícil em um problema de observação direta.

Os pesquisadores, liderados por Tengbo Yu e colegas, desenvolveram um framework que chamam de SEED-UMI para colocar essa ideia em prática. O sistema baseia-se em uma medição física compartilhada. O exoesqueleto é equipado com sensores em cada articulação que medem o quanto cada dedo está dobrando. Ele também carrega uma câmera montada no pulso, apontando para a mão e para os objetos que ela está tocando. Quando um operador humano usa o dispositivo para realizar uma tarefa, os sensores registram os ângulos das articulações e a câmera registra a visão. Como o robô usa o mesmo dispositivo, ele vê a mesma visão e mede os mesmos ângulos de articulação quando realiza a mesma ação. Isso significa que o robô não precisa adivinhar como traduzir um gesto humano; ele simplesmente aprende a mover suas próprias articulações para corresponder às leituras dos sensores que vê, usando o desempenho do humano como um guia direto.

Para fazer isso funcionar, a equipe utilizou um processo de aprendizado de duas etapas. Primeiro, eles fizeram o robô usar o exoesqueleto e mover suas articulações aleatoriamente, um processo que chamam de "motor babbling" (balbucio motor). Isso ajudou o robô a entender a relação básica entre seus próprios comandos de motor e as leituras de sensores que ele produzia. Em seguida, introduziram os dados pareados. Um humano usaria o dispositivo e realizaria uma tarefa, como pegar um estojo de AirPods ou parafusar um parafuso. O robô então repetiria esse movimento usando o mapeamento inicial. Crucialmente, o sistema comparava as leitções dos sensores da tentativa do humano com as leituras dos sensores da tentativa do robô. Se os dedos do robô se movessem de forma diferente dos do humano, o sistema usava essa diferença para ajustar o mapeamento. Isso permitiu que o robô aprendesse a lidar com o atrito e a resistência extras que ocorrem quando os dedos pressionam objetos reais, uma situação onde métodos anteriores frequentemente falhavam.

A equipe testou essa abordagem em cinco tarefas desafiadoras que exigiam contato e tempo precisos. Estas incluíam parafusar um parafuso em uma tábua, inserir um AirPod em seu estojo de carregamento, arremessar uma bola em um cesto, limpar uma mesa com um pano e borrifar um aromatizador de ambiente. Nestes testes, os pesquisadores compararam seu novo método contra a teleoperação tradicional, onde um humano controla o robô em tempo real, e contra métodos que não utilizam a etapa de ajuste fino pareado. Os resultados mostraram que a abordagem SEED-UMI foi altamente eficaz. Os robôs treinados com este método alcançaram uma taxa de sucesso de 70,0% em todas as tarefas. Este desempenho foi quase idêntico à taxa de sucesso de 71,7% alcançada por robôs treinados em dados coletados através de teleoperação direta, mas com uma vantagem significativa de velocidade.

A descoberta mais impressionante foi a eficiência da coleta de dados. Como o operador humano não precisa controlar o robô em tempo real, ele pode realizar as tarefas de forma natural e rápida. Os pesquisadores descobriram que podiam coletar dados três vezes mais rápido usando o SEED-UMI do que com a teleoperação tradicional. Em uma janela de trinta minutos, um único operador coletou 52 demonstrações bem-sucedidas usando o novo sistema, comparado a apenas 18 usando o método antigo. Esse ganho de velocidade não veio à custa da qualidade. Os robôs treinados com esses dados mais rápidos foram capazes de lidar com tarefas delicadas, como o tempo preciso necessário para arremessar uma bola ou a pressão constante necessária para limpar uma mesa, tão bem quanto aqueles treinados nos dados mais lentos de tempo real. O sistema provou ser particularmente forte em tarefas onde o robô tinha que reagir à resistência física de um objeto, um cenário onde métodos de malha aberta anteriores frequentemente enfrentavam dificuldades.

O sucesso deste trabalho sugere que o gargalo no ensino de habilidades destreza para robôs pode não ser algoritmos melhores, mas sim a interface entre o humano e a máquina. Ao fazer com o humano e o robô compartilharem a mesma ferramenta de medição física, os pesquisadores removeram a necessidade de softwares complexos para traduzir movimentos. O robô aprende diretamente da experiência compartilhada do dispositivo, observando o mesmo mundo e sentindo as mesmas restrições mecânicas que o humano. Embora o sistema atualmente exija um exoesqueleto construído sob medida para cada mão robótica específica, os resultados indicam um caminho promissor. Ele oferece uma maneira de reunir grandes quantidades de dados de alta qualidade e ricos em contato, sem os atrasos e erros do controle em tempo real, potencialmente acelerando o desenvolvimento de robôs que possam verdadeiramente dominar as habilidades finas e táteis da mão humana.

Resumo Técnico: SEED-UMI

Definição do Problema

A manipulação de mãos dexteras permanece um gargalo significativo no aprendizado robótico, principalmente devido à dificuldade de coletar demonstrações ricas em contato e de alta qualidade que sejam transferidas fielmente do humano para o robô. As abordagens existentes enfrentam compromissos inerentes:

Rastreamento baseado em visão permite movimentos sem restrições, mas sofre com oclusão e jitter durante o contato.
Sistemas baseados em luvas (sensores inerciais/de flexão) fornecem dados de movimento confiáveis, mas introduzem artefatos de movimento da pele e exigem mapeamentos de correspondência complexos e frequentemente imprecisos entre as articulações humanas e robóticas.
Sistemas baseados em exoesqueletos oferecem medições mecânicas consistentes, mas tipicamente sacrificam o conforto ou o rendimento do operador devido ao hardware volumoso.

Crucialmente, os pipelines atuais tratam a demonstração humana e a execução robótica como domínios distintos conectados por modelos de retargeting de malha aberta. Esses modelos são frequentemente calibrados em espaço livre e degradam-se significativamente sob interações ricas em contato devido ao atrito, cargas externas e efeitos de acoplamento de juntas. Além disso, discrepâncias visuais entre as observações humanas e robóticas muitas vezes necessitam de tradução de imagem generativa ou segmentação, o que pode obscurecer pixels críticos de contato.

Metodologia: SEED-UMI

Os autores propõem o SEED-UMI (Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration), um framework construído sobre o conceito de medição física compartilhada. Em vez de aprender um mapeamento entre corpos distintos (humano e robô), o SEED-UMI utiliza um único exoesqueleto cinematicamente isomórfico usado tanto pelo operador humano quanto pela mão robótica alvo.

1. Hardware: O Exoesqueleto Compartilhado

A inovação central é um exoesqueleto projetado sob medida e coengenheirado com uma mão dexter específica (mão Wuji).

Isomorfismo Cinemático: O comprimento dos elos, os eixos das juntas e os limites de amplitude de movimento do exoesqueleto são mecanicamente idênticos à árvore cinemática do robô. Isso garante uma correspondência estrita de 1:1 de juntas (20 graus de liberdade) e uma geometria de contato idêntica em ambos os lados (humano e robô).
Design do Mecanismo: Para evitar a oclusão da superfície de contato palmar e caber dentro dos envelopes de folga lateral, o design emprega uma articulação de quatro barras paralela. Isso roteia a rotação do eixo da junta para um encoder magnético sem contato montado dorsalmente, preservando a superfície de contato desobstruída necessária para manipulações finas.
Integração de Sensores: A estrutura do exoesqueleto monta rigidamente:
- Encoders rotativos magnéticos sem contato em cada junta (fornecendo um vetor de encoder compartilhado $e_t \in \mathbb{R}^{20}$ ).
- Um Intel RealSense T265 dorsal para rastreamento de pulso de 6-DoF.
- Uma câmera fisheye ventral (FoV de 150°) para observação do espaço de trabalho.
  Como os sensores são montados no exoesqueleto, as intrínsecas e extrínsecas da câmera em relação ao frame do encoder permanecem idênticas, independentemente de quem esteja usando o dispositivo.

2. Software: Mapeamento Cross-Embodiment em Dois Estágios

O framework desacopla a coleta de dados da teleoperação em tempo real, utilizando um processo de dois estágios para aprender o mapeamento de encoder-para-comando ( $e_t \to q_t$ ):

Estágio 1: Motor Babbling (Espaço Livre): O robô veste o exoesqueleto e executa exploração estruturada (varreduras de junta única, movimentos acoplados). Isso treina um mapeamento inicial $f_{\theta_0}$ das leituras do encoder para os comandos de junta do robô. Embora capture a cinemática básica, este método é propenso a deriva sob cargas de contato.
Estágio 2: Replay Pareado e Ajuste Fino (Fine-Tuning):
1. Um operador humano realiza demonstrações usando o exoesqueleto, registrando trajetórias de encoder ricas em contato $\{e^{(h)}_t\}$ .
2. Essas trajetórias são reproduzidas no robô usando o mapeamento inicial $f_{\theta_0}$ .
3. O sistema registra as respostas de encoder resultantes do lado do robô $\{e^{(r)}_t\}$ e os comandos de junta $\{q^{(r)}_t\}$ .
4. Um conjunto de dados pareado é formado, onde a discrepância entre o traço do encoder do lado humano e a resposta do encoder do lado do robô serve como um sinal de supervisão.
5. O mapeamento é ajustado minimizando uma função de perda que alinha os encoders previstos do lado do robô com o traço humano, regulariza os comandos em direção ao replay pareado e penaliza saltos temporais. Isso corrige o mapeamento para efeitos dependentes de contato (atrito, complacência) sem exigir ajuste manual ou simulação.

3. Aprendizado de Política

As políticas são treinadas diretamente em imagens de pulso brutas, centradas no exoesqueleto e no vetor de encoder compartilhado. Como a observação visual (câmera montada no exoesqueleto compartilhado) e a interface física são idênticas durante a coleta de dados humanos e a execução robótica, o framework elimina a necessidade de:

Segmentação de mão.
Tradução de imagem generativa (inpainting).
Simulação ou Aprendizado por Reforço (RL).
Os autores utilizam arquiteturas padrão como ACT, Diffusion Policy e $\pi0.5$ , tomando observações brutas e entradas de encoder para prever blocos de ação (action chunks).

Principais Contribuições

Interface de Medição Física Compartilhada: Um design de hardware inovador onde o mesmo exoesqueleto é usado tanto pelo humano quanto pelo robô, transformando o retargeting em um problema de supervisão pareada cross-embodiment em vez de um mapeamento de malha aberta.
Coleta de Dados Rica em Contato: O sistema permite a coleta de demonstrações naturais e ricas em contato que são diretamente transferíveis para o robô, evitando a degradação de mapeamentos de malha aberta sob carga.
Pipeline de Aprendizado Eficiente: Ao remover a necessidade de alinhamento visual generativo e simulação, o framework permite que as políticas treinem em dados brutos com aumentos padrão, simplificando significativamente o pipeline de aprendizado.
Ajuste Fino Pareado: Um método baseado em dados para refinar os mapeamentos de encoder-para-comando usando traços pareados de humano-robô, corrigindo efetivamente a dinâmica de contato sem intervenção manual.

Resultados Experimentais

O framework foi avaliado em cinco tarefas de manipulação dexter rica em contato: Parafusamento, Inserção de Estojo de AirPods, Arremesso de Cesta de Bolas, Limpeza de Mesa e Pulverização de Desodorizador de Ambiente.

Taxas de Sucesso:
- SEED-UMI com ajuste fino pareado ( $P+$ ): Alcançou uma taxa de sucesso média de 70,0% em todas as tarefas.
- Teleoperação Baseline ( $T$ ): Alcançou 71,7%.
- SEED-UMI sem ajuste fino ( $P-$ ): Alcançou 57,3%.
- Notavelmente, o $P+$ superou a teleoperação em tarefas altamente precisas e dinâmicas como Inserção de Estojo de AirPods (73,3% vs. 65,0%) e Arremesso de Cesta de Bolas (68,3% vs. 60,0%), onde loops de teleoperação em tempo real lutam contra latência e tempo.
Eficiência de Coleta de Dados:
- O SEED-UMI demonstrou uma melhoria de 3,0× no rendimento da coleta de dados em comparação com a teleoperação baseada em exoesqueleto.
- Em uma janela de 30 minutos, um operador coletou 52 demonstrações bem-sucedidas via SEED-UMI contra 18 via teleoperação.
- O ganho de dados úteis por minuto normalizado pelo sucesso permaneceu aproximadamente em 2,9×.

Significância e Alegações

O artigo argumenta que superar o gargalo na manipulação dexter exige repensar a interface entre os corpos humano e robótico em vez de apenas melhorar algoritmos de retargeting. Ao transformar o retargeting e o aprendizado de política visuomotora em uma forma de supervisão pareada cross-embodiment, o SEED-UMI oferece um caminho escalável e eficiente para o aprendizado robótico dexter.

Os autores afirmam que sua abordagem:

Desacopla a coleta de demonstração humana da teleoperação robótica em tempo real, simulação ou RL.
Preserva a naturalidade das interações humanas ricas em contato enquanto garante a transferência fiel para o robô.
Fornece uma direção promissora para a coleta de dados de mão dexter no mundo real em uma escala anteriormente inalcançável com a teleoperação tradicional, sem sacrificar a qualidade dos dados.

O trabalho reconhece limitações, observando que o sistema atual requer escolhas de engenharia para diferentes geometrias de mão e que a usabilidade do operador continua sendo um fator para tarefas de longo horizonte. Trabalhos futuros são direcionados para automatizar o design cross-hand e melhorar a experiência de uso.