UniHM: Unified Dexterous Hand Manipulation with Vision Language Model

Each language version is independently generated for its own context, not a direct translation.

🤖 UniHM : Le "Chef d'Orchestre" des Mains Robotiques

Imaginez que vous voulez apprendre à un robot à faire des tâches complexes avec ses mains, comme ouvrir une boîte de biscuits, tourner une poignée de porte ou saisir une pomme fragile. C'est ce qu'on appelle la manipulation dextre.

Le problème, c'est que les robots sont souvent très rigides. Si vous leur dites "prends la pomme", ils peuvent essayer de la saisir comme un robot des années 80, ou pire, ils ne comprennent pas comment faire le mouvement complet (saisir, tourner, poser).

UniHM est une nouvelle méthode qui permet aux robots de comprendre des instructions en langage naturel (comme "ouvre le tiroir") et de réaliser des mouvements fluides et réalistes, comme un humain.

Voici comment ça marche, en trois étapes clés :

1. Le "Dictionnaire Universel" des Mains 🗣️🖐️

Les robots ont tous des mains différentes : certaines ont 5 doigts, d'autres 4, certaines sont grandes, d'autres petites. C'est comme si vous essayiez d'enseigner le français à quelqu'un qui parle chinois, espagnol et japonais en même temps.

L'analogie : Imaginez que UniHM crée un dictionnaire secret universel. Au lieu d'apprendre à chaque robot ses propres mouvements complexes, UniHM traduit tous les mouvements de toutes les mains dans un même langage de "briques" (des codes).
Le résultat : Que le robot ait une main de type "Shadow", "Allegro" ou une main humaine, il utilise le même dictionnaire. Cela permet au robot d'apprendre une fois et de pouvoir appliquer ce savoir à n'importe quel type de main robotique. C'est comme si vous appreniez à conduire une voiture, et que vous pouviez ensuite conduire n'importe quel modèle de voiture sans repartir de zéro.

2. Apprendre en Regardant des Vidéos (sans télécommande) 📺

Habituellement, pour apprendre à un robot à faire des choses complexes, des humains doivent le guider main dans la main (téléopération), ce qui est long, cher et fastidieux.

L'analogie : UniHM fonctionne comme un élève très observateur. Au lieu de se faire guider par un professeur, il regarde des milliers d'heures de vidéos de humains qui interagissent avec des objets (ouvrir, fermer, saisir).
Le secret : Le système utilise un modèle de "Vision-Langage" (un cerveau artificiel qui voit et comprend le texte). Il regarde la vidéo, lit l'instruction ("ouvre la porte") et comprend le lien entre le mot et le mouvement. Il apprend ainsi à imiter les humains sans qu'on ait besoin de le manipuler physiquement.

3. Le "Coach de Physique" pour éviter les catastrophes 🛡️

Parfois, un robot peut imaginer un mouvement qui semble logique sur le papier, mais qui est physiquement impossible (par exemple, faire passer un doigt à travers un objet solide).

L'analogie : Une fois que le robot a imaginé son mouvement, un coach de physique intervient. C'est comme un entraîneur sportif qui corrige la posture d'un athlète.
Le travail du coach : Il vérifie : "Est-ce que le doigt va traverser la table ? Non, recule-le un peu." "Est-ce que le mouvement est trop brusque ? Ralentis-le." Il ajuste le mouvement en temps réel pour s'assurer qu'il est fluide, réaliste et qu'il ne brise rien.

🌟 Pourquoi c'est révolutionnaire ?

C'est flexible : Vous pouvez dire au robot n'importe quoi ("sers-moi un café", "pousse ce tiroir") et il comprendra, même si c'est un objet qu'il n'a jamais vu avant.
C'est généralisable : Ce qui est appris sur un robot peut être transféré à un autre robot avec une main différente, grâce au "dictionnaire universel".
C'est réaliste : Grâce au coach de physique, les mouvements ne sont pas saccadés ou bizarres ; ils ressemblent vraiment à ceux d'un humain.

En résumé 🎬

UniHM, c'est comme donner à un robot un cerveau humain (qui comprend le langage et regarde des vidéos) couplé à un système de traduction universel (pour parler à toutes les mains) et un réflexe de sécurité physique (pour ne pas casser les objets).

C'est une étape majeure pour rendre les robots domestiques capables de nous aider dans nos tâches quotidiennes les plus complexes, simplement en leur parlant.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

La manipulation habile par des mains robotiques (dexterous hand manipulation) représente un défi central en robotique et en IA incarnée. Les méthodes existantes souffrent de plusieurs limitations majeures :

Dépendance aux instructions fermées : Elles reposent souvent sur des indices centrés sur l'objet ou des séquences d'interaction main-objet précises, négligeant le guidage riche et compositionnel des instructions en langage naturel libre (open-vocabulary).
Génération statique : La plupart des approches guidées par le langage se concentrent sur la génération de poses de préhension statiques, ignorant la structure temporelle nécessaire pour produire des séquences de manipulation fluides et complexes.
Coût des données : Les systèmes actuels nécessitent souvent de vastes ensembles de données de téléopération réels, ce qui est coûteux et difficile à obtenir.
Manque de généralisation morphologique : Il est difficile de transférer les compétences d'une main robotique à une autre ayant une morphologie différente (ex: Shadow Hand vs Allegro Hand).

2. Méthodologie : Le Framework UniHM

UniHM propose un cadre unifié pour générer des séquences de manipulation dynamiques et physiquement réalisables à partir d'instructions textuelles libres et d'entrées visuelles (RGB-D). L'architecture repose sur trois piliers principaux :

A. Auto-annotation et Retargeting

Annotation par VLM : Les séquences d'interaction main-objet (HOI) sont annotées automatiquement avec des instructions en langage naturel libre en utilisant GPT-4o, en se basant sur des images clés (première, dernière et avant le contact).
Retargeting : Les poses humaines (format MANO) sont mappées sur cinq types de mains robotiques (Shadow, Allegro, SVH, Leap, Panda) via une optimisation cinématique différentiable, suivie d'une optimisation physique pour garantir la faisabilité.

B. Tokenizer Unifié pour Mains Habiles (Unified Hand-Dexterous Tokenizer)

C'est le cœur de la généralisation morphologique.

Codebook Partagé : Le modèle utilise un VQ-VAE (Vector Quantized Variational Autoencoder) avec un codebook discret partagé ( $Z$ ).
Indépendance Morphologique : Chaque type de main possède son propre encodeur ( $E_h$ ) et décodeur ( $D_h$ ), mais tous les encodeurs sont alignés sur le même espace latent discret.
Distillation de Connaissance : Pour intégrer une nouvelle morphologie, l'encodeur est aligné sur un encodeur de référence via une distillation de connaissances, évitant ainsi les discontinuités de gradient liées à l'étape de quantification. Cela permet de réutiliser directement les tokens appris pour de nouvelles mains.

C. Modèle d'Action Vision-Langage (VLM)

Architecture Découplée : Le modèle utilise une base VLM légère (Qwen3-0.6B) pour éviter le gaspillage de données.
- Un module de perception (style CLIPort) infère la trajectoire cible ( $T_{tar}$ ) et segmente l'objet ( $P_{obj}$ ) à partir de l'image RGB-D et de l'instruction.
- Le VLM génère ensuite la séquence de tokens d'action conditionnée par le texte, la perception et l'historique des tokens.
Entraînement par Masquage Progressif : Le modèle est entraîné avec un curriculum de masquage (progressive masking) où les poses de vérité terrain sont progressivement remplacées par des tokens masqués, forçant le modèle à apprendre la continuité temporelle et la génération autoregressive.

D. Raffinement Dynamique Guidé par la Physique

Pour combler l'écart entre la génération sémantique et la réalité physique, une étape de post-traitement par optimisation est appliquée :

Énergie de Contact : Une fonction de pénalité asymétrique et lisse assure que les doigts ne pénètrent pas dans l'objet tout en maintenant un contact stable.
Priors Génératifs et Temporels : L'optimisation pénalise les écarts par rapport à la trajectoire générée par le VLM (pour garder l'intention sémantique) et impose la régularité temporelle (vitesse et accélération lisses).
Résolution : Le problème est résolu itérativement (Gauss-Newton avec amortissement Levenberg-Marquardt) pour produire des trajectoires jointes lisses et réalisables.

3. Contributions Clés

Premier Framework Unifié : UniHM est le premier système capable de générer des séquences complètes de manipulation habile (pas seulement des poses statiques) guidées par des instructions en langage libre, pour des objets vus et non vus.
Codebook Morphologie-Agnostique : Introduction d'un codebook VQ unifié permettant le transfert direct de compétences entre différentes morphologies de mains robotiques sans réentraînement massif.
Apprentissage sans Téléopération : Le système apprend des compétences de manipulation habile à partir de vidéos humaines (HOI) uniquement, éliminant le besoin de données de téléopération robotique coûteuses.
Optimisation Physique Intégrée : Un module de raffinement dynamique garantissant la faisabilité physique (contacts, collisions, limites des joints) tout en préservant l'intention de l'utilisateur.

4. Résultats Expérimentaux

Les évaluations ont été menées sur les jeux de données DexYCB et OakInk, ainsi que dans des environnements réels.

Performance Quantitative : UniHM surpasse l'état de l'art (TM2T, MDM, FlowMDM, MotionGPT3) sur toutes les métriques clés :
- MPJPE (Erreur de position des joints) : Réduction significative de l'erreur (ex: 61.40 vs 74.80 sur DexYCB Seen).
- FID (Fréchet Inception Distance) : Meilleure fidélité de la distribution des mouvements générés par rapport aux données réelles.
- Diversité : Capacité à générer des mouvements variés pour un même prompt.
Généralisation : Le modèle montre une forte robustesse sur des objets et des trajectoires "non vus" (unseen) durant l'entraînement.
Expériences Réelles : Sur des robots physiques (Franka arm avec différentes mains), UniHM atteint des taux de réussite bien supérieurs (ex: 65% pour la saisie vs 30% pour les méthodes de base) sur des tâches vues et non vues.
Ablation : Les études d'ablation confirment l'importance cruciale de l'entrée RGB-D, de l'entraînement masqué et du raffinement physique.

5. Signification et Impact

UniHM marque une avancée significative dans le domaine de la robotique incarnée en :

Démocratisant l'accès aux données : En prouvant que l'apprentissage à partir de vidéos humaines suffit pour maîtriser la manipulation robotique complexe, réduisant ainsi la barrière à l'entrée.
Unifiant la morphologie : En résolvant le problème de la transférabilité des compétences entre différentes conceptions de mains robotiques, facilitant le déploiement sur divers plateformes matérielles.
Intégrant le langage et la physique : En créant un pipeline robuste qui comprend les instructions complexes en langage naturel tout en garantissant que les actions générées sont physiquement sûres et exécutables dans le monde réel.

Ce travail ouvre la voie à des agents robotiques capables d'interagir de manière naturelle et fluide avec leur environnement en suivant des commandes verbales libres, sans nécessiter de programmation explicite pour chaque tâche.