🤖 machine learning

A Minimalist Retargeting-Guided Reinforcement Learning Recipe for Dexterous Manipulation

Cet article présente REGRIND, un pipeline minimaliste qui combine l'apprentissage par renforcement guidé par le retargeting avec un transfert sim-to-real zero-shot pour permettre des tâches de manipulation dextres et riches en contacts sur des robots multi-doigts en utilisant une seule démonstration humaine.

Auteurs originaux : Yunhai Feng, Natalie Leung, Jiaxuan Wang, Lujie Yang, Haozhi Qi, Preston Culbertson

Publié 2026-07-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yunhai Feng, Natalie Leung, Jiaxuan Wang, Lujie Yang, Haozhi Qi, Preston Culbertson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez apprendre à une main robotique à utiliser une paire de ciseaux ou à tourner un tournevis. Vous pourriez essayer de programmer chaque mouvement de doigt à la main, mais cela reviendrait à essayer d'écrire un roman en tapant une lettre à la fois avec un bandeau sur les yeux. Au lieu de cela, les chercheurs derrière ce papier, REGRIND, ont tenté une astuce bien plus simple : ils ont demandé à un humain d'effectuer la tâche une seule fois, l'ont enregistrée, puis ont appris au robot à copier cette performance unique.

Mais voici le piège : une main humaine et une main robotique sont construites différemment. Si vous dites simplement au robot : « Déplace tes doigts pour correspondre à la forme humaine », vous pourriez vous retrouver avec une main robotique qui essaie de tenir un tournevis à travers la table ou qui pince l'air au lieu de l'outil. C'est comme dire à un chat de nager comme un chien ; la forme peut sembler correcte, mais la physique est un désastre.

La "recette secrète" de la préservation de l'interaction
La principale découverte du papier est que, pour que cela fonctionne, vous ne pouvez pas simplement copier la forme de la main ; vous devez copier la relation entre la main et l'objet. Les auteurs appellent cela le « retargeting préservant l'interaction » (interaction-preserving retargeting).

Voyez cela ainsi : si un humain tient des ciseaux, ses doigts sont enroulés autour des poignées et les lames sont ouvertes. Si vous dites simplement au robot de placer ses doigts aux mêmes endroits, il pourrait accidentellement écraser les ciseaux ou les lâcher parce qu'il ne « ressent » pas la tension. La méthode REGRIND construit un « filet de sécurité » numérique (appelé maillage d'interaction ou interaction mesh) qui maintient les doigts du robot au bon endroit par rapport à l'outil, garantissant que le robot ne tente pas de tenir l'objet d'une manière physiquement impossible.

La recette : Une démo, une pratique infinie
Le processus est étonnamment minimaliste. Ils ont pris une seule démonstration humaine (une vidéo d'une personne utilisant l'outil).

Retargeting : Ils ont converti ce mouvement humain en un chemin adapté au robot qui respecte la physique de la tenue de l'outil.
Le jeu du « Et si ? » : Puisqu'ils n'avaient qu'un seul exemple, ils ont utilisé une astuce ingénieuse pour créer des milliers de sessions d'entraînement. Ils ont imaginé que l'outil commençait dans des positions légèrement différentes (jusqu'à 5 cm de distance ou 30 degrés d'inclinaison) et ont appris au robot comment ajuster son chemin pour réussir malgré tout. C'est comme s'entraîner pour un lancer au basket non pas seulement depuis la ligne de lancer franc, mais aussi un peu à gauche, un peu à droite et un peu derrière, afin de ne pas paniquer si le ballon rebondit bizarrement.
Entraînement en simulation : Le robot s'est entraîné des millions de fois dans une simulation semblable à un jeu vidéo, apprenant à suivre parfaitement le mouvement de l'outil.

Est-ce que ça a marché ? Le test de réalité
Les résultats étaient impressionnants, mais avec quelques astérisques importants. Dans la simulation, le robot était une superstar. Sur des tâches comme l'utilisation d'un tournevis avec la main WUJI, il a réussi 99,7 % du temps. Même avec la tâche plus complexe des ciseaux, il a atteint 98,7 % de réussite. Le robot a appris à bouger de manière fluide, presque comme un humain.

Cependant, lorsqu'ils ont déplacé le robot du jeu vidéo vers le monde réel, les choses sont devenues un peu plus cahoteuses.

La bonne nouvelle : Sur trois tests sur quatre dans le monde réel, le robot a très bien fonctionné. Il a utilisé avec succès la main LEAP pour couper avec des ciseaux (9 tentatives sur 10) et pour tourner un tournevis (10 sur 10). Il a également bien fonctionné avec la main WUJI sur la tâche du tournevis (9 sur 10).
La mauvaise nouvelle : Il a totalement échoué sur la tâche WUJI-Ciseaux (0 sur 10). Les auteurs soupçonnent que c'est parce que les vrais ciseaux ne correspondaient pas parfaitement au modèle numérique et que les moteurs du robot étaient trop rigides pour s'ajuster.
La comparaison : Ils ont testé d'autres méthodes qui n'utilisaient pas leur astuce de « préservation de l'interaction ». Ces méthodes étaient comme des étudiants qui mémorisent les réponses sans comprendre les mathématiques. Dans le monde réel, elles ont presque toujours échoué (0 % de réussite sur la plupart des tâches), souvent parce qu'elles essayaient de saisir l'outil d'une manière qui provoquait l'impact du robot contre la table.

Ce que cela signifie (et ce que cela ne signifie pas)
Le papier suggère que si vous voulez qu'un robot apprenne une tâche complexe impliquant des contacts, comme utiliser un outil, vous devez lui enseigner comment la main touche l'objet, et pas seulement où vont les doigts. Ils ont prouvé qu'une seule démo humaine, lorsqu'elle est traitée correctement, est suffisante pour apprendre à un robot à accomplir ces tâches dans le monde réel.

Mais ne vous attendez pas à un majordome robotique pour tout de suite. Le système a encore besoin d'une caméra de capture de mouvement pour lui dire exactement où se trouve l'outil en temps réel ; il ne peut pas encore « voir » l'outil avec une caméra ordinaire. De plus, si l'objet réel ne correspond pas parfaitement au modèle numérique (comme pour l'échec WUJI-Ciseaux), le robot peut rester bloqué.

En bref, les auteurs ont trouvé une recette qui transforme une simple vidéo humaine en une compétence robotique fonctionnelle, mais le robot a encore besoin d'un petit coup de pouce d'une caméra et d'un jumeau numérique parfait de l'objet pour y parvenir dans le monde réel imparfait.

Résumé Technique : REGRIND – Une recette minimaliste de RL guidée par le retargeting pour la manipulation dextre

Énoncé du Problème

La manipulation dextre implique des dynamiques complexes et riches en contacts, nécessitant une régulation délicate des modes de contact et des forces. Bien que le contrôle du corps entier pour les humanoïdes ait adopté avec succès une recette de type « retargeting puis apprentissage » (retargeting du mouvement humain vers la cinématique du robot et entraînement de politiques d'apprentissage par renforcement (RL) pour les suivre), cette approche ne s'est pas traduite efficacement pour la manipulation dextre. Les compétences de manipulation actuelles reposent souvent sur des démonstrations téléopérées sur de vrais robots ou sont confinées à la simulation.

Le défi central identifié est que le retargeting cinématique simple, bien qu'il corresponde aux poses de la main humaine, ignore souvent les interactions main-objet. Cela entraîne des trajectoires physiquement implausibles (par exemple, des pénétrations main-objet) qui servent de mauvaises références pour le RL en aval. De plus, la manipulation dextre présente une sensibilité nettement plus élevée aux écarts sim-to-real (friction, compliance, géométrie) par rapport à la locomotion, rendant le transfert zero-shot difficile.

Méthodologie : REGRIND

Les auteurs proposent REGRIND (REtargeting-Guided ReINforcement learning for Dexterous manipulation), un pipeline minimaliste qui apprend des politiques de manipulation dextre à partir d'une seule démonstration humaine. Le pipeline suit un flux de travail real-to-sim-to-real :

1. Retargeting de mouvement préservant l'interaction

Au lieu d'un retargeting cinématique standard, la méthode formule le retargeting comme un problème d'optimisation qui préserve les relations spatiales et de contact entre la main et l'objet.

Maillages d'interaction : La méthode construit des « maillages d'interaction » reliant des points clés sémantiques de la main humaine et de l'objet (source) aux points clés correspondants de la main robotique et de l'objet (cible).
Objectif d'optimisation : La trajectoire du robot est optimisée pour minimiser l'énergie de déformation entre les maillages d'interaction source et cible. Cela est mesuré par le changement des coordonnées Laplaciennes des sommets du maillage.
Contraintes : L'optimisation inclut des contraintes cinématiques, l'évitement de collisions et un terme de régularisation pour la lissité temporelle.
Résultat : Cela génère une trajectoire de référence pour le robot qui maintient des structures de contact valides, évitant les saisies physiquement impossibles courantes dans les approches de cinématique inverse (IK) standard.

2. Entraînement RL avec Augmentation

Une politique de RL résiduelle est entraînée en simulation pour suivre la trajectoire de référence retargetée.

Espace d'action : La politique apprend une action résiduelle ajoutée à la configuration retargetée nominale ( $q_{target} = \bar{q}_t + \alpha \odot \pi_\theta(\bar{q}_t, o_t)$ ).
Espace d'observation : L'acteur utilise la pose de l'objet, les positions des articulations du robot, l'action précédente et une variable de phase. Pour minimiser l'écart sim-to-real, la politique évite d'utiliser des mesures de capteurs bruitées comme la vitesse.
Fonction de Récompense : La récompense principale est une métrique de proximité basée sur les points clés de l'objet ( $\epsilon_{object}$ ), encourageant le robot à suivre l'état de l'objet par rapport à la référence. Cela encode implicitement les priors d'interaction sans nécessiter de récompenses de contact explicites.
Augmentation de Données : Pour pallier la rareté des données issues d'une seule démonstration, la méthode augmente dynamiquement la trajectoire de référence. Elle perturbe la configuration initiale de l'objet (position et orientation) et applique une transformation rigide variant dans le temps à l'ensemble de la trajectoire retargetée. Cela déforme le début de la trajectoire vers le nouvel état initial tout en revenant de manière fluide vers l'objectif original, créant ainsi des échantillons d'entraînement diversifiés sans avoir à résoudre à nouveau l'optimisation coûteuse du retargeting.
Curriculum et Randomisation : L'entraînement inclut la randomisation de domaine (friction, gains moteurs), le bruit d'observation et un curriculum impliquant des poussées aléatoires et une augmentation progressive de la gravité.

3. Transfert Sim-to-Real

La politique entraînée est déployée sur le matériel avec un transfert zero-shot. Les auteurs soulignent que le transfert réussi nécessite non seulement la stratégie de retargeting, mais aussi une identification systématique du système et l'utilisation des poses d'objets provenant d'un système de capture de mouvement lors du déploiement pour éliminer les erreurs de perception comme facteur de confusion.

Contributions Clés

Un Framework Minimaliste : Un pipeline général pour apprendre la manipulation dextre riche en contacts à partir d'une seule démonstration humaine via un retargeting préservant l'interaction.
Retargeting Préservant l'Interaction : Un nouvel objectif de retargeting qui maintient les relations spatiales et de contact main-objet, traitant l'échec du pur retargeting cinématique dans les contextes riches en contacts.
Augmentation de Données Dynamique : Une stratégie pour synthétiser des trajectoires de référence diverses à partir d'une seule démo en perturbant les états initiaux et en déformant la trajectoire, améliorant la robustesse et la généralisation de la politique.
Analyse Systématique : Une évaluation des facteurs clés régissant le transfert sim-to-real en manipulation dextre, soulignant la nécessité de références préservant l'interaction et d'une identification rigoureuse du système.

Résultats Expérimentaux

La méthode a été évaluée sur quatre tâches impliquant deux mains robotiques (LEAP 16-DoF et WUJI 20-DoF) et deux outils (Ciseaux et Tournevis).

Qualité du Retargeting : Les résultats qualitatifs montrent que REGRIND produit des saisies semblables à celles de l'humain qui préservent la sémantique de l'interaction, tandis que les bases de comparaison (Mink IK, DexMachina) produisent des pénétrations physiquement implausibles ou des saisies instables.
Performance en Simulation : REGRIND a atteint des taux de succès quasi parfaits (98,7 % – 99,8 %) et de faibles erreurs de suivi sur les quatre tâches. Les bases de comparaison comme SPIDER ont échoué à initialiser efficacement le RL, et DexMachina a lutté significativement avec les dynamiques de contact complexes de la tâche des Ciseaux.
Transfert Sim-to-Real :
- REGRIND a transféré avec succès sur le matériel réel sur trois des quatre tâches (LEAP-Ciseaux, LEAP-Tournevis, WUJI-Tournevis), atteignant des taux de succès de 9/10 ou 10/10.
- Les bases de comparaison (DexMachina, Mink IK + RL) ont échoué à transférer efficacement, résultant souvent en des saisies instables ou des collisions, ce qui est attribué à leur dépendance aux artefacts de simulation et au manque de régularisation préservant l'interaction.
- La tâche WUJI-Ciseaux a échoué pour toutes les méthodes, probablement en raison de moteurs non débrayables et d'une modélisation par maillage imprécise des ciseaux réels.
Généralisation : Les politiques entraînées avec REGRIND se sont bien généralisées à des configurations initiales d'objets randomisées dans le monde réel, maintenant des performances similaires à la configuration démontrée.

Signification et Revendications

L'article affirme que préserver les interactions lors du retargeting est un facteur critique pour améliorer les performances du RL dans la manipulation dextre riche en contacts. Les auteurs soutiennent que si le retargeting-based learning est efficace pour la locomotion, la manipulation nécessite une approche plus nuancée en raison de sa sensibilité aux erreurs de modélisation.

La signification de REGRIND réside dans la démonstration qu'un pipeline minimaliste — combinant un retargeting respectant l'interaction, du RL résiduel et une simple augmentation de données — peut atteindre une manipulation dextre robuste et humaine sur du matériel réel à partir d'une seule démonstration. Ce travail fournit des orientations pratiques pour la communauté, suggérant que le transfert sim-to-real réussi en manipulation nécessite une approche holistique impliquant des références préservant l'interaction, une conception réfléchie des espaces d'observation/action et une identification rigoureuse du système, plutôt que de simplement augmenter l'échelle de la simulation ou l'ingénierie des récompenses.