Learning Humanoid End-Effector Control for Open-Vocabulary Visual Loco-Manipulation

Ce papier présente HERO, une nouvelle approche pour le loco-manipulation par des robots humanoïdes qui combine la compréhension visuelle open-vocabulary des grands modèles de vision avec une politique de contrôle précise de l'effecteur terminal entraînée en simulation, permettant ainsi une manipulation généralisable d'objets divers dans des environnements réels.

L'essentiel

🤖 HERO : Le Robot Humanoïde qui a enfin "les yeux et les mains" pour tout attraper

Imaginez que vous êtes dans une cuisine inconnue. Vous devez trouver une tasse à café spécifique, une pomme ou un jouet, parmi plein d'autres objets, sur des tables de hauteurs différentes. En tant qu'humain, c'est facile : vous vous penchez, vous vous accroupissez, vous tordez un peu le torse, et vous attrapez l'objet sans même y penser.

Faire cela avec un robot humanoïde (qui a deux jambes et deux bras comme nous) est un cauchemar pour les ingénieurs. Jusqu'à présent, les robots étaient soit très forts pour marcher (comme des athlètes faisant des sauts périlleux), soit très précis pour manipuler des objets, mais jamais les deux en même temps.

Ce papier présente HERO, un nouveau système qui permet à un robot humanoïde (le modèle G1 de Unitree) de faire exactement ce que vous faites : trouver et attraper des objets inconnus dans des environnements inconnus, en utilisant uniquement ses propres yeux (caméras) et son corps.

---

🧩 Le Problème : Le "Gros Problème de Précision"

Pour attraper un objet, un robot doit faire deux choses :

1. Voir l'objet (c'est facile avec l'intelligence artificielle moderne).
2. Amener sa main exactement à l'endroit où se trouve l'objet (c'est là que ça coince).

Auparavant, les robots humanoïdes avaient un problème de "vision floue" interne. Même si le robot pensait : "Ma main est à 10 cm de la tasse", en réalité, à cause de la flexibilité des joints et des erreurs de calcul, sa main pouvait être à 13 cm de la cible.

L'analogie : C'est comme essayer d'enfiler un fil dans l'œil d'une aiguille en portant des gants de boxe épais et en ayant les yeux bandés. Vous avez une idée de où est l'aiguille, mais votre main est trop imprécise pour réussir.

💡 La Solution : Une Approche en "Deux Étages"

Les chercheurs ont décidé de ne pas tout apprendre d'un coup (ce qui est trop difficile). Ils ont divisé le travail en deux équipes distinctes, comme dans une entreprise bien organisée :

1. L'Équipe "Stratégie" (Le Cerveau Visuel)

Cette équipe utilise des modèles d'intelligence artificielle très puissants (appelés "Grands Modèles de Vision") pour comprendre le monde.

• Son rôle : Elle écoute la commande vocale (ex: "Attrape la tasse orange") et regarde la caméra. Elle identifie l'objet, le découpe virtuellement et dit : "Ok, la tasse est là, et voici la meilleure façon de la saisir."
• Le super-pouvoir : Elle comprend n'importe quel objet, même ceux qu'elle n'a jamais vus avant (comme un "spam" ou un "jouet chien"), grâce à sa connaissance générale du monde.

2. L'Équipe "Exécution" (Le Corps Précis - HERO)

C'est ici que réside la vraie innovation du papier. Une fois que l'équipe "Stratégie" a dit "Va chercher la main à cet endroit précis", l'équipe "Exécution" doit y aller.

• Le problème : Les calculs mathématiques classiques pour savoir où est la main du robot sont souvent faux (comme un GPS qui vous fait tourner dans un rond-point).
• La solution HERO : Au lieu de faire confiance aux maths pures, le robot a appris à corriger ses propres erreurs grâce à un "modèle neuronal résiduel".
  • L'analogie : Imaginez que vous conduisez une voiture avec un GPS qui a un léger décalage. Au lieu de suivre aveuglément le GPS, vous avez un passager (le modèle neuronal) qui vous dit : "Le GPS dit tourne à gauche, mais en réalité, il faut tourner 5 degrés plus à droite". Le robot apprend à faire cette correction en temps réel.

🛠️ Comment ça marche en détail ? (Les 4 ingrédients secrets)

Pour que le robot ne rate pas sa cible, HERO utilise quatre astuces de génie :

1. Le Plan de Route (Inverse Kinematics) : Le robot ne se contente pas de dire "va là". Il calcule d'abord tout son corps : "Je dois plier le genou, tourner le torse et avancer le bras pour atteindre cet endroit sans tomber."
2. La Correction de Trajectoire (Replanning) : Si le robot commence à dévier (ce qui arrive souvent quand on marche ou qu'on s'accroupit), il ne continue pas bêtement. Il s'arrête 6 secondes, regarde où il est vraiment, et recalcule sa trajectoire. C'est comme un navigateur GPS qui vous dit "Recalcul..." quand vous faites une erreur de direction.
3. L'Auto-Correction (Goal Adjustment) : Le robot sait qu'il a tendance à rater sa cible d'un petit peu. Alors, il vise un peu au-delà de la cible pour compenser. C'est comme un tireur qui vise légèrement à gauche pour compenser le vent.
4. La Vision de la "Vraie" Position : Le robot a appris à mieux connaître son propre corps que ses propres capteurs. Il utilise un modèle d'apprentissage pour deviner où est sa main, même si ses capteurs internes sont imprécis.

🏆 Les Résultats : Un Succès Éclatant

Grâce à cette méthode, le robot a réussi des exploits impressionnants dans le monde réel :

• Précision : L'erreur de la main est passée de 13 cm (trop grand pour attraper un objet) à 2,5 cm (assez précis pour saisir une tasse ou une pomme).
• Succès : Dans des tests réels, le robot a attrapé avec succès 90 % des objets demandés (tasses, pommes, jouets, livres) sur des tables de hauteurs variées, dans des bureaux, des cafés et des couloirs.
• Généralisation : Il a réussi à attraper des objets qu'il n'avait jamais vus, dans des pièces qu'il ne connaissait pas, simplement en écoutant une phrase en langage naturel.

🚀 En Résumé

Ce papier nous dit que pour faire avancer les robots humanoïdes, il ne faut pas essayer de tout apprendre d'un seul bloc. Il faut séparer la vision (ce qu'il faut faire) du contrôle (comment le faire).

En combinant l'intelligence visuelle des grands modèles d'IA avec un contrôle corporel ultra-précis et auto-correctif (HERO), les chercheurs ont donné aux robots la capacité de devenir de véritables assistants domestiques capables de ranger le salon, de préparer un café ou de chercher un jouet, tout comme nous le faisons naturellement.

C'est un grand pas vers un futur où les robots ne sont plus juste des athlètes qui sautent, mais des aides précises qui peuvent manipuler notre quotidien.

Résumé technique

1. Problématique

La loco-manipulation visuelle (se déplacer et manipuler des objets) sur des robots humanoïdes dans des environnements réels et non structurés pose deux défis majeurs :

• Généralisation visuelle : La capacité à identifier et à saisir des objets nouveaux (vocabulaire ouvert) dans des scènes variées sans entraînement spécifique pour chaque objet.
• Précision du contrôle : La nécessité d'un contrôle extrêmement précis de l'effecteur terminal (EE) pour saisir des objets, ce qui est difficile avec les humanoïdes en raison de leurs chaînes cinématiques complexes, de l'incertitude des capteurs et de la nécessité de maintenir l'équilibre du corps entier (se pencher, s'accroupir, se tordre).

Les approches existantes reposent souvent sur l'apprentissage par imitation en monde réel, ce qui limite la généralisation en raison de la difficulté à collecter de vastes ensembles de données. De plus, les politiques de suivi de mouvement actuelles souffrent d'erreurs de suivi de l'effecteur terminal trop importantes (8 à 13 cm) pour permettre une manipulation précise.

2. Méthodologie : Le système HERO

Les auteurs proposent HERO, un système modulaire qui combine la généralisation visuelle des grands modèles de vision (LVM) avec un contrôle de bas niveau précis entraîné en simulation.

A. Architecture Modulaire

Le système sépare la planification d'action (perception et décision) de l'exécution d'action (contrôle moteur) :

1. Perception Vocabulaire Ouvert : Utilisation de modèles de vision pré-entraînés (Grounding DINO 1.5 et SAM-3) pour segmenter l'objet cible à partir d'une requête textuelle libre (ex: "la tasse orange").
2. Prédiction de Prise : Le modèle AnyGrasp génère des poses de prise parallèle, qui sont ensuite adaptées (retargeting) pour la main Dex-3 du robot Unitree G1.
3. Exécution (HERO Tracker) : Un contrôleur de suivi de l'effecteur terminal guide le robot vers la pose de prise prédite en utilisant uniquement ses capteurs embarqués (caméra RGB-D, proprioception, IMU).

B. Innovations Techniques du Contrôleur HERO

Le cœur de l'article réside dans l'amélioration drastique de la précision du suivi de l'effecteur terminal grâce à quatre composantes clés :

1. Modèles Neuronaux de Cinématique Directe Résiduelle (Residual Neural FK) :

   • La cinématique directe analytique (FK) est imprécise sur les robots humanoïdes bon marché (erreur moyenne de ~1,76 cm) en raison des tolérances mécaniques et de l'élasticité des joints.
   • HERO apprend un modèle de réseau de neurones qui prédit une correction résiduelle à la sortie de la FK analytique. Cela réduit l'erreur de position de l'effecteur à 0,27 cm.

2. Odométrie de Jambes Résiduelle (Residual Leg Odometry) :

   • Contrairement aux bras fixes, la base du robot humanoïde bouge pour maintenir l'équilibre. L'odométrie analytique dérive rapidement.
   • Un deuxième modèle neuronal estime la transformation résiduelle de la base du robot par rapport à sa position initiale, en supposant que les pieds restent fixes au sol.

3. Replanification en Boucle Fermée (Closed-Loop Replanning) :

   • Pour éviter que le robot ne dérive trop loin de la trajectoire de référence (ce qui rendrait le suivi hors distribution), le système recalculé une nouvelle trajectoire de référence toutes les 6 secondes (300 pas de temps) en utilisant un planificateur de mouvement (cuRobo).

4. Ajustement de l'Objectif (Goal Adjustment) :

   • Pour compenser les erreurs systématiques restantes, le système ajuste dynamiquement la cible vers la direction opposée à l'erreur actuelle (en amplifiant l'erreur par un facteur de 1,6) afin d'encourager le contrôleur à atteindre la position désirée.

3. Résultats Expérimentaux

Précision du Suivi (Tracking Accuracy)

• En Simulation et Monde Réel : HERO réduit l'erreur de suivi de l'effecteur terminal à 2,44 cm en moyenne dans le monde réel (mesuré avec un système MoCap), contre 8 à 13 cm pour les méthodes de l'état de l'art (AMO, FALCON).
• Gain de performance : L'erreur de translation est réduite d'un facteur 3,2x par rapport aux meilleures méthodes précédentes.

Taux de Réussite de Saisie (Grasping Success)

Le système a été testé sur des objets du quotidien dans divers environnements :

• Objets et Tables Standards : 90 % de réussite sur 10 objets différents placés sur des tables de hauteurs variées (0,56 m à 0,74 m).
• Généralisation aux Scènes : 73,3 % de réussite sur 10 scènes nouvelles (bureaux, cafés, laboratoires) avec des objets non vus durant l'entraînement.
• Scènes Encombrées : 80 % de réussite dans des environnements désordonnés, démontrant la capacité à ignorer les distractors grâce aux requêtes textuelles.

4. Contributions Clés

1. Preuve de Concept Modulaire : Démonstration qu'un système modulaire (perception LVM + contrôle simulé) est viable et performant pour la loco-manipulation humanoïde, évitant le besoin de données d'imitation massives en monde réel.
2. Précision du Contrôle : Développement d'une politique de contrôle résiduelle qui surmonte les limitations de la cinématique analytique sur les robots humanoïdes, rendant la manipulation précise possible.
3. Généralisation Vocabulaire Ouvert : Capacité à saisir des objets décrits par du langage naturel dans des environnements totalement nouveaux sans réapprentissage.
4. Analyse de l'Espace de Travail : Démonstration que l'activation des degrés de liberté du torse (bending, twisting) augmente le volume de l'espace de travail atteignable d'environ 2,1 fois par rapport à un contrôle des bras uniquement.

5. Signification et Impact

Ce travail marque une avancée significative vers l'autonomie des robots humanoïdes dans les environnements domestiques et professionnels. En résolvant le problème critique de la précision du contrôle de l'effecteur terminal, les auteurs ouvrent la voie à l'utilisation de politiques de manipulation entraînées sur d'autres plateformes (comme les bras de table) et leur déploiement sur des humanoïdes complets.

Le système HERO démontre qu'il n'est pas nécessaire de réinventer le contrôle pour chaque tâche ; une approche hybride combinant la puissance de généralisation des modèles de fondation (Foundation Models) et un contrôle de bas niveau robuste et précis permet de réaliser des tâches complexes de manipulation dans le monde réel. Cela suggère une voie d'évolution vers des robots humanoïdes capables d'interagir de manière fluide et sûre avec des objets quotidiens variés.