💻 computer science

Human Universal Grasping

Cet article présente HUG, un modèle de correspondance de flux (flow-matching) entraîné sur un ensemble massif de données de saisies humaines égocentrées d'un million de trames qui génère des saisies diverses et remaquillables pour n'importe quel objet à partir d'une seule image RGB-D, atteignant des performances de pointe en matière de saisie robotique zero-shot à travers diverses formes et environnements.

Auteurs originaux : Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à ramasser une tasse de café. Habituellement, les ingénieurs doivent passer des mois à programmer le robot, en lui montant des milliers d'exemples de la manière dont ce robot spécifique doit bouger ses doigts. C'est comme apprendre à un enfant à lacer ses chaussures en ne lui montrant que comment ses propres mains font, puis s'attendre à ce qu'il comprenne comment lacer des chaussures avec une paire de mains différente.

Cet article, intitulé « Human Universal Grasping » (HUG), propose une solution beaucoup plus simple et plus naturelle : Regardez simplement les humains le faire.

Voici l'histoire de la façon dont ils y sont parvenus, expliquée en termes courants.

1. Le problème : Les robots sont des élèves maladroits

Les robots sont excellents pour les tâches répétitives en usine, mais ils ont du mal avec le monde désordonné et imprévisible d'une maison. Si vous donnez à un robot un objet de forme étrange (comme un ananas ou une brosse à cheveux), il ne sait souvent pas comment le saisir sans le renverser. La plupart des robots sont entraînés sur des données « simulées » (jeux informatiques) ou par des humains qui les contrôlent manuellement, ce qui est lent et fastidieux.

2. La solution : La sortie scolaire avec des « lunettes intelligentes »

Les chercheurs ont réalisé que les humains sont déjà des experts pour saisir des objets. Nous ramassons des milliers d'objets chaque jour sans même y réfléchir. Au lieu d'apprendre aux robots en partant de zéro, ils ont décidé de copier le mode d'emploi humain.

La collecte de données : Ils ont donné aux gens une paire de lunettes intelligentes (appelée Aria Gen 2) qui ressemblent à des lunettes ordinaires mais possèdent des caméras et des capteurs.
La mission : Les gens ont porté ces lunettes et ont poursuivi leur journée dans 41 bâtiments différents (maisons, bureaux, etc.). Ils ont ramassé 6 707 objets différents.
Le résultat : Ils ont créé une immense bibliothèque appelée 1M-HUGS. Elle contient 1 million d'images de mains humaines saisissant des objets. C'est comme un « YouTube » de la saisie humaine, mais avec des informations de profondeur 3D pour que l'ordinateur sache exactement à quelle distance se trouve la main.

3. Le cerveau : Un modèle de « flux »

Une fois qu'ils ont eu les données, ils avaient besoin d'un moyen d'apprendre au robot à les utiliser. Ils ont construit un modèle appelé HUG.

Voyez HUG comme un caméléon ou un traducteur universel :

Entrée : Vous lui montrez une seule photo (avec profondeur) d'un objet, comme un grille-pain sur un comptoir. Vous cliquez sur le grille-pain avec votre souris.
Traitement : Le modèle regarde sa bibliothèque de 1 million de saisies humaines. Il se demande : « Si un humain voyait ce grille-pain, comment le saisirait-il ? »
Sortie : Il ne dit pas seulement « attrape-le ». Il calcule la position exacte, la rotation et la forme des doigts nécessaires pour tenir cet objet spécifique.

Le tour de magie est que ce modèle apprend comment les humains bougent, et non comment un robot spécifique bouge. Il apprend le concept d'une saisie.

4. La traduction : Des mains humaines aux mains robotiques

C'est ici que réside l'astuce. Le modèle prédit une saisie en utilisant une forme de main humaine standard (appelée MANO). Mais les robots ont des mains différentes : certains ont trois doigts, d'autres quatre, certains sont grands, d'autres petits.

Les chercheurs ont construit un système de ciblage (retargeting). Imaginez que vous êtes un danseur. Vous apprenez une chorégraphie (la saisie humaine). Maintenant, vous devez exécuter cette même chorégraphie sur une scène avec une configuration de sol différente, ou avec un partenaire plus grand que vous. Vous n'apprenez pas une nouvelle danse ; vous ajustez simplement vos pas pour vous adapter à votre nouveau partenaire.

HUG fait cela instantanément. Il prend la pose de la main humaine qu'il a prédite et la « re-cible » mathématiquement pour l'adapter aux doigts spécifiques du robot.

Pas de réentraînement nécessaire : Vous n'avez pas besoin de réapprendre au robot. Vous branchez simplement le nouveau robot, et cela fonctionne.
Zero-shot : Cela signifie qu'il fonctionne sur des objets que le robot n'a jamais vus auparavant, dans des pièces qu'il n'a jamais visitées.

5. Le test : Le défi « HUG-BENCH »

Pour prouver que cela fonctionne, ils ne se sont pas contentés de tester des choses faciles comme des balles ou des boîtes. Ils ont construit un « examen final » appelé HUG-BENCH.

Ils ont rassemblé 90 objets difficiles : des objets avec des poignées, des formes bizarres, des articles minuscules et des articles volumineux et encombrants.
Ils ont testé le système de deux manières :
1. En simulation : Un monde informatique où ils pouvaient tester des milliers de fois rapidement.
2. Dans le monde réel : Ils ont emmené un vrai robot dans une vraie maison et ont essayé de ramasser ces 90 objets.

Les résultats :

HUG a réussi 66,7 % du temps sur la table et 62 % dans le monde réel (maison désordonnée).
Il a battu les meilleures méthodes robotiques actuelles par une marge énorme (23 % à 34 % de mieux).
Alors que d'autres robots échouaient sur des articles délicats comme un panier de pique-nique ou un flacon pulvérisateur, HUG a trouvé comment les saisir parce qu'il avait « vu » des humains faire des gestes similaires auparavant.

Résumé

L'article affirme qu'en collectant 1 million de saisies humaines réelles grâce à des lunettes intelligentes, ils ont créé un système qui permet aux robots de apprendre à saisir n'importe quoi, n'importe où, avec n'importe quelle main, simplement en copiant l'intuition humaine. Cela comble le fossé entre la dextérité humaine et la maladresse robotique sans avoir besoin de programmer le robot pour chaque nouvel objet.

Ce qu'ils n'ont pas affirmé :

Ils n'ont pas affirmé que cela fonctionne pour la chirurgie médicale ou les tâches cliniques délicates.
Ils n'ont pas affirmé que le robot peut planifier des tâches complexes à plusieurs étapes (comme faire un sandwich) ; il résout uniquement le problème spécifique de « comment je saisis cet objet précis, tout de suite ? »
Ils ont noté des limites : le système ne modélise actuellement que les saisies de la main droite et éprouve des difficultés avec les objets très petits ou les objets qui sont complètement cachés de la vue.

Résumé Technique : HUG (Human Universal Grasping)

Énoncé du Problème

Alors que les humains saisissent des objets arbitraires sans effort, les mains robotiques multi-doigts manquent d'une telle généralité. Un goulot d'étranglement primaire est la rareté des données de saisie diversifiées et réelles pour les robots. Les approches existantes présentent des limitations significatives :

Données Synthétiques : Les méthodes reposant sur la simulation (optimisation de la fermeture de force ou utilisation de l'apprentissage par renforcement) souffrent du fossé sim-to-real et nécessitent souvent un réentraînement pour chaque nouvelle incarnation de robot.
Téléopération : Bien qu'elle fournisse des saisies réelles, la téléopération est fastidieuse, ne passe pas à l'échelle dans le monde ouvert et est difficile à collecter pour les mains dextres.
Rareté des Données : Les robots manquent des milliers d'expériences de saisie quotidiennes que les humains accumulent, ce qui entrave l'apprentissage de distributions de saisie naturelles et exécutables.

L'article soutient que la source la plus naturelle de données de saisie pour les robots est l'humain lui-même. Cependant, exploiter cela nécessite de surmonter les défis liés à l'échelle de la collecte de données, la précision de l'annotation 3D et le fossé morphologique entre la main humaine et la main robotique.

Méthodologie : Cadre HUG

Les auteurs proposent HUG (Human Universal Grasping), un cadre qui apprend la saisie dextre purement à partir de données humaines en milieu naturel, permettant un transfert zero-shot vers diverses mains robotiques. Le pipeline se compose de trois composants principaux :

1. Jeu de Données : 1M-HUGS

Les auteurs ont collecté 1M-HUGS, un jeu de données égocentrique comprenant 1 million de paires image-saisie.

Collecte : Les données ont été enregistrées à l'aide de lunettes intelligentes Aria Gen 2 à travers 41 bâtiments, capturant 6 707 instances d'objets sur 27,8 heures de vidéo.
Protocole : Les porteurs ont enregistré des scènes statiques depuis des points de vue divers avant de tendre la main droite pour saisir un objet. La pose de la saisie est propagée vers l'arrière aux images précédentes (où les mains sont invisibles) en utilisant les poses de la caméra, générant ainsi des centaines de paires (image d'objet seul, saisie) par saisie physique.
Traitement : Un pipeline de curation utilise des modèles de langage-vision et SAM3 pour le masquage d'objets. Les images sont filtrées selon la confiance de la profondeur et l'intersection main-objet.
Étiquettes : Puisque Aria ne fournit que 21 points de repère de la main, les auteurs ajustent un modèle de main articulée complet MANO à ces points. Le paramètre de forme de MANO ( $\beta$ ) est fixé à une valeur canonique pour supprimer les variations de taille inter-personnes, tandis que le paramètre de pose ( $\theta$ ) capture la saisie. Le jeu de données inclut des données synchronisées RGB, niveaux de gris, profondeur métrique, masques d'objets et poses MANO.

2. Architecture du Modèle : Flow-Matching Transformer

HUG est un modèle de flow-matching qui prédit un état de saisie MANO à partir d'une seule image RGB-D et d'un point de requête 2D spécifié par l'utilisateur sur l'objet.

Entrée : Une image RGB-D et un clic de pixel 2D $(u, v)$ , qui est élevé en un point de requête 3D $p_q$ en utilisant la profondeur et les intrinsèques.
Encodeurs :
- RGB : Encodé via un DINOv2-Base ViT gelé avec des jetons de registre.
- Nuage de Points (PC) : L'image de profondeur est projetée en arrière en un nuage de points métriques, découpé selon un rayon de 0,3 m autour de $p_q$ , et traité par un PointNeXt U-Net entraînable.
Fusion : Le modèle utilise le point painting, projetant les centroïdes du nuage de points sur l'image RGB pour échantillonner les caractéristiques DINO, qui sont concaténées avec les jetons PC et fusionnées via un MLP.
Flow Transformer : L'état de saisie est décomposé en translation du poignet ( $t$ ), rotation du poignet ( $R_{6d}$ ) et pose des doigts ( $\theta_{6d}$ ). Ils sont traités par un bloc DiT (Diffusion Transformer) qui effectue une attention croisée avec les jetons de scène fusionnés. Le modèle est conditionné sur les pas de temps via une modulation AdaLN-Zero.
Sortie : Le modèle prédit un état de saisie de 99 dimensions, qui est intégré via une ODE de flow-matching pour produire la pose MANO finale.

3. Retargeting (Réadressage)

Les saisies humaines prédites (poses MANO) sont réadressées vers diverses mains robotiques (ex: Ability, WUJI) en utilisant des méthodes de retargeting apprises. Crucialement, aucun entraînement par incarnation n'est requis ; le modèle généralise en zero-shot à travers différentes morphologies de robots.

Contributions Clés

Premier Cadre Purement Humain : HUG est le premier cadre de saisie entraîné uniquement sur des données humaines (aucune donnée robotique) qui est déployable sur plusieurs incarnations de robots.
Jeu de Données 1M-HUGS : Un jeu de données à grande échelle de 1M de saisies humaines naturelles avec profondeur métrique et poses de main ajustées avec MANO, couvrant divers environnements et instances d'objets.
HUG-BENCH : Un nouveau benchmark d'évaluation composé de 90 objets non vus (30 pour les tests en conditions réelles) à travers cinq catégories géométriques et trois classes de taille. Il inclut des maillages 3D à échelle métrique pour une évaluation appariée en simulation et en conditions réelles.
Méthodologie : Un modèle de flow-matching conditionné par points qui fusionne RGB et profondeur pour prédire des saisies naturelles et diverses sans nécessiter d'entraînement par main.

Résultats Expérimentaux

Évaluation en Simulation (HUG-BENCH)

Évalué dans MuJoCo sur 30 objets de test non vus :

Performance : HUG a atteint un taux de succès (SR) de 73,0 % et une erreur de contact du bout des doigts (FC) de 14,6 mm.
Baselines : A surpassé l'Oracle de Saisie Humaine ("Human Grasp Oracle") (94,0 % SR) par une marge cohérente avec les limitations du simulateur (erreurs de suivi, exécution en boucle ouverte).
Ablations :
- La suppression de la perte géométrique 3D a fait chuter le SR à 32,7 %, soulignant sa nécessité pour un placement précis du bout des doigts.
- La suppression du recadrage de 0,3 m ou du point painting a réduit la performance d'environ 10-15 points de SR.
- Modalité : Le mode RGB seul a échoué de manière significative (29,7 % SR), tandis que le mode PC seul était performant (70,7 % SR) mais manquait de fondement sémantique. L'approche bimodale RGB+PC était essentielle pour résoudre les cas ambigus (ex: saisir le manche d'une brosse vs les poils).
Scaling : La performance s'est améliorée de manière monotone de 25K à 1M de trames, suggérant que le modèle est encore limité par les données plutôt que par sa capacité.

Évaluation en Conditions Réelles

Évalué sur 30 objets dans deux configurations :

Tabletop (xArm + Main Ability) : HUG a atteint un SR de 66,7 %, surpassant Dex1B (43,7 %) et CAP (32,7 %) de +23 % et +34 % respectivement. HUG a réussi à saisir 28/30 objets au moins une fois.
In-the-Wild (Manipulateur mobile YOR + Main WUJI + Lunettes Aria) : HUG a atteint un SR de 62,0 % dans des environnements domestiques non contrôlés sans aucun réglage sur site ou réentraînement par incarnation.

Modes d'Échec : La plupart des échecs se sont produits lors de la transition pré-saisie à saisie (collision avec l'objet ou la table) ou lors du levage (glissement). Ceux-ci sont attribués à l'exécution en boucle ouverte et au manque de retour de force, plutôt qu'à une prédiction de saisie incorrecte.
Généralisation : HUG a démontré une robustesse à travers diverses tailles d'objets (petites gommes à grands bacs), géométries (amorphes, avec appendices) et environnements.

Signification et Revendications

L'article affirme que HUG démontre que la saisie robotique dextre peut être apprise directement à partir du comportement naturel des humains, contournant le besoin de collecte de données coûteuses spécifiques aux robots ou d'entraînement intensif en simulation.

Généralité : En modélisant la distribution des saisies humaines naturelles plutôt que toutes les saisies physiquement valides, le système produit des saisies fiables et exécutables qui se transfèrent en zero-shot vers de nouvelles caméras, mains robotiques et foyers inconnus.
Scalabilité : L'utilisation de lunettes intelligentes légères permet la collecte de jeux de données massifs (1M de trames) qui étaient auparavant irréalisables.
Benchmarking : L'introduction de HUG-BENCH fournit un benchmark standardisé, exigeant et à échelle métrique pour évaluer la saisie dextre tant en simulation qu'en conditions réelles, répondant au manque de normes d'évaluation rigoureuses dans le domaine.

Les auteurs concluent que bien que des limitations existent (ex: main droite uniquement, exécution en boucle ouverte, gestion des occlusions), le cadre représente une étape significative vers l'atteinte de la généralité de la saisie humaine en robotique.