💻 computer science

SEED-UMI: Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration

SEED-UMI est un nouveau cadre d'apprentissage par imitation qui permet un entraînement efficace de robots dextres en faisant porter le même exosquelette à l'humain et au robot, créant ainsi des mesures articulaires et des vues de caméra de poignet partagées qui éliminent le besoin de détourage sujet aux erreurs et permettent aux politiques d'apprendre directement à partir de démonstrations brutes et riches en contacts.

Auteurs originaux : Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

Publié 2026-09-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Enseigner à un robot à utiliser ses mains comme un humain est l'un des casse-têtes les plus difficiles de la robotique moderne. Bien que les machines soient devenues des maîtres pour marcher ou bouger leurs bras, le travail délicat et riche en contacts des doigts reste insaisissable. La difficulté fondamentale ne réside pas seulement dans la complexité de la main elle-même, mais dans la manière dont nous l'enseignons. Pour apprendre, un robot doit regarder un humain accomplir une tâche, puis tenter de copier ce mouvement. Cependant, les mains humaines et les mains robotiques sont construites différemment ; elles possèdent un nombre de articulations différent, des tailles différentes et se déplacent de manières différentes. Lorsqu'un humain touche un objet, sa peau se comprime et ses articulations se plient d'une manière spécifique qu'une main métallique rigide ne peut pas imiter parfaitement. Les méthodes actuelles tentent de combler cet écart en utilisant des caméras pour observer l'humain ou des gants pour enregistrer ses mouvements, mais ces approches échouent souvent lorsque la main entre réellement en contact avec quelque chose. Les données deviennent désordonnées, la traduction de l'humain vers le robot se brise, et le robot peine à reproduire la pression subtile et le timing requis pour des tâches comme visser un boulon ou lancer une balle.

Une équipe de chercheurs a proposé une solution différente qui évite totalement le besoin d'une traduction complexe. Au lieu d'essayer de convertir mathématiquement les mouvements humains en commandes robotiques, ils ont construit un système où l'humain et le robot portent exactement le même dispositif mécanique. Ce dispositif est un exosquelette spécialisé, une structure légère qui s'ajuste sur la main et les doigts. Les chercheurs ont conçu ce cadre de sorte qu'il corresponde parfaitement à la main du robot en termes de taille et de placement des articulations. Lorsqu'un humain le porte, le cadre bouge avec ses doigts. Lorsque le robot le porte, le cadre bouge avec ses moteurs. Parce que la structure physique est identique, les capteurs à l'intérieur du dispositif enregistrent exactement les mêmes données, que ce soit un humain ou un robot qui le porte. Ce changement simple transforme un problème de traduction difficile en un problème d'observation directe.

Les chercheurs, dirigés par Tengbo Yu et ses collègues, ont développé un cadre qu'ils appellent SEED-UMI pour mettre cette idée en pratique. Le système repose sur une mesure physique partagée. L'exosquelette est équipé de capteurs à chaque articulation qui mesurent l'amplitude de flexion de chaque doigt. Il transporte également une caméra montée sur le poignet, pointant vers la main et les objets qu'elle touche. Lorsqu'un opérateur humain porte le dispositif pour accomplir une tâche, les capteurs enregistrent les angles articulaires et la caméra enregistre la vue. Comme le robot porte le même dispositif, il voit la même vue et mesure les mêmes angles articulaires lorsqu'il effectue la même action. Cela signifie que le robot n'a pas besoin de deviner comment traduire un geste humain ; il apprend simplement à bouger ses propres articulations pour correspondre aux lectures des capteurs qu'il observe, en utilisant la performance de l'humain comme un guide direct.

Pour faire fonctionner cela, l'équipe a utilisé un processus d'apprentissage en deux étapes. D'abord, ils ont fait porter l'exosquelette au robot et lui ont fait bouger ses articulations de manière aléatoire, un processus qu'ils appellent "motor babbling" (babil moteur). Cela a aidé le robot à comprendre la relation de base entre ses propres commandes motrices et les lectures de capteurs qu'il produisait. Ensuite, ils ont introduit les données appariées. Un humain porte le dispositif et réalise une tâche, comme ramasser un boîtier d'AirPods ou conduire une vis. Le robot rejoue ensuite ce mouvement en utilisant la cartographie initiale. Crucialement, le système compare les lectures des capteurs de la tentative de l'humain avec les lectures des capteurs de la tentative du robot. Si les doigts du robot bougent différemment de ceux de l'humain, le système utilise cette différence pour ajuster la cartographie. Cela a permis au robot d'apprendre à gérer la friction et la résistance supplémentaires qui surviennent lorsque les doigts pressent contre des objets réels, une situation où les méthodes précédentes échouaient souvent.

L'équipe a testé cette approche sur cinq tâches exigeantes qui nécessitent un contact et un timing précis. Celles-ci comprenaient le vissage d'une vis dans une planche, l'insertion d'un AirPod dans son boîtier de charge, le lancer d'une balle dans un panier, l'essuyage d'une table avec un chiffon et la pulvérisation d'un désodorisant. Dans ces tests, les chercheurs ont comparé leur nouvelle méthode à la téléopération traditionnelle, où un humain contrôle le robot en temps réel, ainsi qu'à des méthodes n'utilisant pas l'étape d'ajustement fin appariée. Les résultats ont montré que l'approche SEED-UMI était très efficace. Les robots entraînés avec cette méthode ont atteint un taux de réussite de 70,0 % sur l'ensemble des tâches. Cette performance était presque identique au taux de réussite de 71,7 % obtenu par les robots entraînés via des données collectées par téléopération directe, mais avec un avantage significatif en termes de vitesse.

La découverte la plus frappante fut l'efficacité de la collecte de données. Parce que l'opérateur humain n'a pas besoin de contrôler le robot en temps réel, il peut accomplir les tâches naturellement et rapidement. Les chercheurs ont constaté qu'ils pouvaient collecter des données trois fois plus vite avec SEED-UMI qu'avec la téléopération traditionnelle. En une fenêtre de trente minutes, un seul opérateur a collecté 52 démonstrations réussies avec le nouveau système, contre seulement 18 avec l'ancienne méthode. Ce gain de vitesse ne s'est pas fait au détriment de la qualité. Les robots entraînés avec ces données plus rapides ont pu gérer des tâches délicates, telles que le timing précis nécessaire pour lancer une balle ou la pression constante requise pour essuyer une table, tout aussi bien que ceux entraînés avec les données plus lentes en temps réel. Le système s'est montré particulièrement performant dans les tâches où le robot devait réagir à la résistance physique d'un objet, un scénario où les méthodes en boucle ouverte précédentes peinaient souvent.

Le succès de ce travail suggère que le goulot d'étranglement pour enseigner les compétences dextres aux robots ne réside peut-être pas dans de meilleurs algorithmes, mais plutôt dans l'interface entre l'humain et la machine. En faisant en sorte que l'humain et le robot partagent le même outil de mesure physique, les chercheurs ont supprimé le besoin d'un logiciel complexe pour traduire les mouvements. Le robot apprend directement de l'expérience partagée du dispositif, observant le même monde et ressentant les mêmes contraintes mécaniques que l'humain. Bien que le système nécessite actuellement un exosquelette construit sur mesure pour chaque main de robot, les résultats indiquent une voie prometteuse. Il offre un moyen de recueillir de grandes quantités de données riches en contacts et de haute qualité, sans les délais et les erreurs du contrôle en temps réel, accélérant potentiellement le développement de robots capables de véritablement maîtriser les compétences tactiles fines de la main humaine.

Résumé Technique : SEED-UMI

Énoncé du Problème

La manipulation dextre par une main robotique demeure un goulot d'étranglement majeur pour l'apprentissage robotique, principalement en raison de la difficulté de collecter des démonstrations de haute qualité, riches en contacts, qui se transfèrent fidèlement de l'humain au robot. Les approches existantes font face à des compromis inhérents :

Le suivi basé sur la vision permet des mouvements sans contraintes mais souffre d'occlusions et de tremblements lors des contacts.
Les systèmes basés sur des gants (capteurs inertiels/de flexion) fournissent des données de mouvement fiables mais introduisent des artefacts de mouvement cutané et nécessitent une correspondance complexe, et souvent inexacte, entre les articulations humaines et robotiques.
Les systèmes basés sur des exosquelettes offrent des mesures mécaniques cohérentes mais sacrifient généralement le confort et la productivité de l'opérateur en raison de leur matériel encombrant.

Crucialement, les pipelines actuels traitent la démonstration humaine et l'exécution robotique comme deux domaines distincts reliés par des modèles de retargeting (reformatage) en boucle ouverte. Ces modèles sont souvent calibrés en espace libre et se dégradent considérablement lors d'interactions riches en contacts dues à la friction, aux charges externes et aux effets de couplage des articulations. De plus, les divergences visuelles entre les observations humaines et robotiques nécessitent souvent la traduction d'images génératives ou la segmentation, ce qui peut occulter des pixels de contact critiques.

Méthodologie : SEED-UMI

Les auteurs proposent SEED-UMI (Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration), un cadre construit sur le concept de mesure physique partagée. Au lieu d'apprendre une correspondance entre des embodiments humain et robot distincts, SEED-UMI utilise un exosquelette unique, cinématiquement isomorphe, porté à la fois par l'opérateur humain et la main robotique cible.

1. Matériel : L'exosquelette partagé

L'innovation centrale est un exosquelette conçu sur mesure et co-développé avec une main dextre entièrement actionnée spécifique (main Wuji).

Isomorphisme Cinématique : Les longueurs de liaison, les axes articulaires et les limites d'amplitude de mouvement de l'exosquelette sont mécaniquement identiques à l'arbre cinématique du robot. Cela garantit une correspondance articulaire stricte de 1:1 (20 degrés de liberté) et une géométrie de contact identique sur les côtés humain et robot.
Conception du Mécanisme : Pour éviter d'occulter la surface de contact palmaire et de s'insérer dans les enveloppes de dégagement latéral, la conception utilise un mécanisme à quatre barres parallèle. Cela permet d'acheminer la rotation de l'axe de l'articulation vers un encodeur magnétique sans contact monté dorsalement, préservant ainsi la surface de contact dégagée requise pour une manipulation fine.
Intégration des Capteurs : La structure de l'exosquelette monte rigidement :
- Des encodeurs rotatifs magnétiques sans contact à chaque articulation (fournissant un vecteur d'encodeur partagé $e_t \in \mathbb{R}^{20}$ ).
- Un RealSense T265 dorsal pour le suivi du poignet à 6 degrés de liberté (6-DoF).
- Une caméra fisheye ventrale (champ de vision de 150°) pour l'observation de l'espace de travail.
  Comme les capteurs sont montés sur l'exosquelette, les intrinsèques et extrinsèques de la caméra par rapport au référentiel de l'encodeur restent identiques, que l'appareil soit porté par l'humain ou par le robot.

2. Logiciel : Cartographie Cross-Embodiment en deux étapes

Le cadre découple la collecte de données de la téléopération en temps réel, en utilisant un processus en deux étapes pour apprendre la correspondance encodeur-commande ( $e_t \to q_t$ ) :

Étape 1 : Babillage moteur (Espace libre) : Le robot porte l'exosquelette et exécute une exploration structurée (balayages mono-articulaires, mouvements couplés). Cela entraîne une correspondance initiale $f_{\theta_0}$ des lectures d'encodeur vers les commandes articulaires du robot. Bien que cela capture la cinématique de base, le système est sujet à la dérive sous les charges de contact.
Étape 2 : Relecture appariée et ajustement fin (Fine-tuning) :
1. Un opérateur humain effectue des démonstrations en portant l'exosquelette, enregistrant des trajectoires d'encodeur riches en contacts $\{e^{(h)}_t\}$ .
2. Ces trajectoires sont rejouées sur le robot en utilisant la correspondance initiale $f_{\theta_0}$ .
3. Le système enregistre les réponses de l'encodeur côté robot résultantes $\{e^{(r)}_t\}$ et les commandes articulaires $\{q^{(r)}_t\}$ .
4. Un jeu de données apparié est formé où l'écart entre la trace de l'encodeur côté humain et la réponse de l'encodeur côté robot sert de signal de supervision.
5. La correspondance est affinée en minimisant une fonction de perte qui aligne les encodeurs prédits côté robot avec la trace humaine, régularise les commandes vers la relecture appariée et pénalise les sauts temporels. Cela corrige la correspondance pour les effets dépendants du contact (friction, compliance) sans nécessiter de réglage manuel ou de simulation.

3. Apprentissage de la Politique

Les politiques sont entraînées directement sur des images de poignet brutes centrées sur l'exosquelette et le vecteur d'encodeur partagé. Comme l'observation visuelle (caméra montée sur l'exosquelette partagé) et l'interface physique sont identiques lors de la collecte de données humaines et du déploiement du robot, le cadre élimine le besoin de :

Segmentation de la main.
Traduction d'image générative (inpainting).
Simulation ou Apprentissage par Renforcement (RL).
Les auteurs utilisent des architectures standards comme ACT, Diffusion Policy et $\pi0.5$ , prenant des observations brutes et des entrées d'encodeur pour prédire des blocs d'actions (action chunks).

Contributions Clés

Interface de Mesure Physique Partagée : Une conception matérielle novatrice où le même exosquelette est porté à la fois par l'humain et le robot, transformant le retargeting en un problème de supervision croisée d'embodiment apparié plutôt qu'en une simple correspondance en boucle ouverte.
Collecte de Données Riches en Contacts : Le système permet la collecte de démonstrations naturelles et riches en contacts qui sont directement transférables au robot, évitant la dégradation des correspondances en boucle ouverte sous la charge.
Pipeline d'Apprentissage Efficace : En supprimant la nécessité d'alignement visuel génératif et de simulation, le cadre permet aux politiques de s'entraîner sur des données brutes avec des augmentations standards, simplifiant considérablement le pipeline d'apprentissage.
Ajustement Fin Apparié : Une méthode basée sur les données pour affiner les correspondances encodeur-commande en utilisant des traces appariées humain-robot (encodeur), corrigeant efficacement la dynamique de contact sans intervention manuelle.

Résultats Expérimentaux

Le cadre a été évalué sur cinq tâches de manipulation dextre riches en contacts : vissage, insertion d'étui d'AirPods, lancer de balle dans un panier, nettoyage de table et pulvérisation d'désodorisant.

Taux de Succès :
- SEED-UMI avec ajustement fin apparié ( $P+$ ) : A atteint un taux de succès moyen de 70,0 % sur toutes les tâches.
- Baseline de Téléopération ( $T$ ) : A atteint 71,7 %.
- SEED-UMI sans ajustement fin ( $P-$ ) : A atteint 57,3 %.
- Notamment, $P+$ a surpassé la téléopération sur des tâches hautement précises et dynamiques comme l'Insertion d'étui d'AirPods (73,3 % contre 65,0 %) et le Lancer de balle dans un panier (68,3 % contre 60,0 %), là où les boucles de téléopération en temps réel peinent avec la latence et le timing.
Efficacité de la Collecte de Données :
- SEED-UMI a démontré une amélioration de 3,0× du débit de collecte de données par rapport à la téléopération par exosquelette.
- Dans une fenêtre de 30 minutes, un opérateur a collecté 52 démonstrations réussies via SEED-UMI contre 18 via la téléopération.
- Le gain de données utiles par minute, normalisé par le succès, est resté d'environ 2,9×.

Signification et Revendications

L'article soutient que surmonter le goulot d'étranglement de la manipulation dextre nécessite de repenser l'interface entre les embodiments humain et robot plutôt que d'améliorer uniquement les algorithmes de retargeting. En transformant le retargeting et l'apprentissage de politique visuomotrice en une forme de supervision croisée d'embodiment appariée, SEED-UMI offre une voie évolutive et efficace vers l'apprentissage de la dextérité robotique.

Les auteurs affirment que leur approche :

Découple la collecte de démonstrations humaines de la téléopération du robot en temps réel, de la simulation ou du RL.
Préserve le caractère naturel des interactions humaines riches en contacts tout en assurant un transfert fidèle au robot.
Fournit une direction prometteuse pour la collecte de données de main dextre dans le monde réel à une échelle auparavant inatteignable avec la téléopération traditionnelle, sans sacrifier la qualité des données.

Le travail reconnaît des limites, notant que le système actuel nécessite des choix d'ingénierie pour différentes géométries de mains et que la portabilité de l'opérateur reste un facteur pour les tâches de longue durée. Les travaux futurs sont orientés vers l'automatisation de la conception cross-hand et l'amélioration de l'expérience de port de l'appareil.