LHM-Humanoid: Learning a Unified Policy for Long-Horizon Humanoid Whole-Body Loco-Manipulation in Diverse Messy Environments

LHM-Humanoid est un cadre d'apprentissage et un benchmark qui introduit une politique unifiée permettant à un robot humanoïde d'exécuter des tâches complexes de locomotion et de manipulation sur de longues séquences dans des environnements encombrés et variés, surpassant les méthodes existantes grâce à une généralisation cross-scène et une robustesse accrue.

L'essentiel

Voici une explication simple et imagée de l'article LHM-Humanoid, conçue pour être comprise par tout le monde, même sans être expert en robotique.

🤖 Le Défi : Un Robot "Bricoleur" dans un Salon en Désordre

Imaginez un robot humanoïde (qui ressemble à un humain) entrant dans une maison complètement en désordre.

• Le problème : Des objets sont éparpillés partout (un ordinateur sur un lit, une poubelle bloque le passage).
• La mission : Le robot doit non seulement marcher jusqu'à l'objet, mais aussi le ramasser, le transporter sans tomber, et le ranger à l'endroit prévu.
• La difficulté : Il ne doit pas s'arrêter entre chaque tâche. Il doit enchaîner : Ramasser un livre -> Le ranger -> Marcher vers une tasse -> La ranger -> Ramasser un jouet... le tout sans jamais se reposer ni redémarrer le système. C'est ce qu'on appelle un "long horizon" (une longue séquence d'actions).

La plupart des robots actuels sont comme des élèves qui excellent en mathématiques mais qui paniquent dès qu'on leur demande de faire du sport. Ils savent marcher OU manipuler un objet, mais pas les deux en même temps dans un environnement chaotique.

---

💡 La Solution : LHM-Humanoid (Le "Chef d'Orchestre")

Les chercheurs ont créé un nouveau système appelé LHM-Humanoid. Pour le comprendre, imaginez que vous apprenez à un robot à faire le ménage. Au lieu de lui donner un manuel rigide, vous utilisez une méthode en trois étapes, un peu comme un système de tuteurat (mentorat).

1. Les Deux Professeurs (Les "Teachers")

Au lieu d'essayer d'enseigner tout d'un coup (ce qui échouerait), ils ont créé deux "professeurs" virtuels :

• Le Professeur 1 : Il apprend au robot à faire le premier cycle : aller chercher l'objet, le poser, et s'éloigner proprement.
  • L'analogie : Imaginez un professeur qui vous apprend à poser un vase fragile sur une table, puis à reculer doucement pour ne pas le renverser en vous retournant. C'est crucial ! Si le robot reste collé à l'objet, il risque de le bousculer plus tard.
• Le Professeur 2 : Il prend le relais là où le premier s'arrête. Le robot est peut-être penché, accroupi ou de travers après avoir posé l'objet. Le Professeur 2 apprend au robot à se redresser, se réorienter et aller chercher le prochain objet, même dans une position bizarre.
  • L'analogie : C'est comme un coach de sport qui vous aide à vous relever après une chute pour continuer la course, sans vous dire "recommencez depuis le début".

2. L'Élève Génie (Le "Student")

Une fois que les deux professeurs ont bien entraîné le robot sur des milliers de situations différentes (chambres, cuisines, entrepôts), ils utilisent une technique appelée distillation (comme faire une réduction de sauce pour concentrer les saveurs).

• Ils fusionnent les connaissances des deux professeurs en un seul cerveau unique.
• Ce "cerveau unique" (le modèle étudiant) sait maintenant tout faire : marcher, ramasser, porter, ranger, se redresser, et recommencer, le tout sans s'arrêter.

3. Le Super-Pouvoir : La Généralisation

Le vrai génie de ce système, c'est qu'il ne se contente pas de répéter ce qu'il a appris.

• Si vous lui montrez une chambre qu'il n'a jamais vue, avec des meubles placés différemment, il s'adapte.
• L'analogie : C'est comme un cuisinier qui a appris à faire un gâteau. Un robot classique ne peut faire que le gâteau qu'il a vu. Le robot LHM-Humanoid, lui, comprend les principes de la pâtisserie : s'il n'a pas de farine, il essaiera de trouver une alternative, ou s'il n'a pas de moule rond, il fera un gâteau carré. Il s'adapte au chaos.

---

🧪 Les Résultats : Plus Fort que la Concurrence

Les chercheurs ont testé leur robot dans un simulateur ultra-réaliste (Isaac Gym) avec 350 scénarios différents (chambres, cuisines, entrepôts).

• Les autres robots (les "baselines") : Ils échouent souvent. Soit ils tombent, soit ils oublient la deuxième tâche, soit ils se bloquent dès qu'un obstacle est un peu différent. C'est comme si un élève qui sait additionner échouait dès qu'on lui demande de soustraire.
• Leur robot (LHM-Humanoid) : Il réussit à enchaîner plusieurs tâches de suite avec un taux de réussite très élevé (plus de 70% pour deux objets, et même sur des séquences de 5 objets !).
• Le plus beau : Ils ont même réussi à connecter ce robot à un système de langage et de vision (VLA). Vous pouvez lui dire : "Nettoie la cuisine, mets la tasse sur l'étagère" en parlant, et il le fait en regardant autour de lui, sans avoir besoin de coordonnées GPS précises.

🌟 En Résumé

L'article présente une méthode pour apprendre à un robot humanoïde à être un vrai "domestique" autonome dans un monde réel et désordonné.

Au lieu de lui donner une liste de règles rigides, ils lui ont appris à :

1. Faire une tâche et s'éloigner proprement (pour ne pas gêner la suite).
2. Se remettre d'une position bizarre pour continuer.
3. Tout fusionner en un seul cerveau capable de s'adapter à n'importe quelle pièce, même celle qu'il n'a jamais vue.

C'est un grand pas vers des robots qui pourront vraiment nous aider à ranger notre maison, sans avoir besoin que nous leur disions exactement où mettre chaque objet à la seconde près.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "LHM-Humanoid: Learning a Unified Policy for Long-Horizon Humanoid Whole-Body Loco-Manipulation in Diverse Messy Environments".

1. Problématique et Contexte

Le papier aborde le défi complexe de la loco-manipulation (déplacement et manipulation d'objets) par des robots humanoïdes dans des environnements réels, désordonnés et non structurés.

• Limites des travaux précédents : La plupart des recherches actuelles se concentrent soit sur des horizons temporels courts (interactions à un seul objet ou étape unique), soit sur des scénarios simplifiés avec des distributions de scènes fixes. Ils échouent souvent à gérer la coordination corps entier nécessaire pour naviguer, saisir, transporter et déposer des objets dans des environnements encombrés sans réinitialisation.
• Le défi spécifique : L'objectif est de faire exécuter à un agent humanoïde une séquence continue et longue (long-horizon) comprenant :
  1. Marcher vers une cible.
  2. Saisir l'objet avec des postures corporelles variées sous contraintes d'équilibre.
  3. Transporter l'objet tout en évitant les obstacles.
  4. Déposer l'objet à un endroit précis.
  5. Répéter ce cycle pour plusieurs objets dans un seul épisode continu, sans réinitialisation de l'environnement.
• Contraintes clés : Généralisation inter-scènes (sur des agencements, objets et poses inconnus) et contrôle unifié par une seule politique (sans bibliothèques de compétences pré-entraînées ni commutation explicite).

2. Méthodologie

Les auteurs proposent une approche en trois étapes, centrée sur l'apprentissage par renforcement (RL) et la distillation de politiques, pour surmonter les difficultés d'exploration et d'attribution de crédit dans des horizons longs.

A. Le Benchmark LHM-Humanoid

• Données : Un ensemble de 350 scènes distinctes réparties sur 4 types de pièces (chambre, salon, cuisine, entrepôt).
• Complexité : 79 objets au total (25 cibles déplaçables). Les scènes présentent des variations importantes dans la disposition, la masse, la forme et la couleur des objets.
• Nature du benchmark : C'est un défi de tâche et de scène, pas un jeu de données de démonstration. Aucune séquence de mouvement "ground-truth" spécifique à la scène n'est fournie, forçant l'apprentissage basé sur les objectifs de la tâche.

B. Architecture d'Apprentissage : Distillation à Double Enseignant (Dual-Teacher)

Pour éviter l'échec de l'apprentissage par renforcement direct (End-to-End RL) dû à la difficulté d'exploration sur de longs horizons, les auteurs utilisent une stratégie de distillation :

1. Enseignant 1 (Teacher 1) :

   • Entraîné pour accomplir le premier cycle (aller-saisir-transporter-déposer).
   • Innovation clé : Il inclut une phase de "Release-and-Retreat" (relâchement et retrait). Après avoir déposé l'objet, le robot doit s'éloigner de manière stable. Cela crée un état terminal stable et non canonique, évitant que le robot ne gêne l'objet déposé ou ne reste dans une posture instable.
   • Utilise un prior de mouvement adversaire (AMP) pour garantir des mouvements naturels.

2. Enseignant 2 (Teacher 2) :

   • Prend le relais immédiatement après le retrait de l'Enseignant 1, sans réinitialisation de l'environnement.
   • Il doit gérer des états initiaux "non canoniques" (postures accroupies, déséquilibrées, orientées aléatoirement) et naviguer vers le prochain objet.
   • Il apprend implicitement à récupérer l'équilibre et à naviguer dans des passages encombrés.

3. Élève Unifié (Student Policy) :

   • Les deux enseignants sont distillés en une seule politique unifiée via l'algorithme DAgger (Dataset Aggregation).
   • Un automate à états finis (FSM) supervise l'élève : Teacher 1 supervise la première phase, Teacher 2 la suivante.
   • Le résultat est un réseau unique capable d'exécuter l'épisode complet de bout en bout sans frontières de phases codées en dur.

C. Extension VLA (Vision-Language-Action)

La politique unifiée est ensuite distillée dans un modèle VLA.

• Entrées : Observations RGB à la première personne (caméra embarquée) et instructions en langage naturel.
• Sortie : Actions de contrôle direct.
• Cela permet un suivi d'instructions interactif et élimine le besoin d'états privilégiés (oracle) lors du déploiement.

3. Résultats Expérimentaux

Les expériences ont été menées dans le simulateur Isaac Gym.

• Sur les 350 tâches d'entraînement :

  • La méthode proposée (LHM-Humanoid-T) atteint un taux de succès global (Success All) de 72,38 %, contre 0 % pour le RL direct et ~47 % pour un apprentissage par curriculum simple.
  • Les erreurs de dépôt sont minimales (0,25 m).
  • Les ablations montrent que le mécanisme "Release-and-Retreat" et le prior AMP sont critiques (sans eux, le succès chute drastiquement).

• Généralisation sur 66 scènes non vues (Unseen Tasks) :

  • La méthode atteint 63,20 % de succès global, surpassant largement les baselines (HumanVLA : 25 %, Hierarchical RL : 17 %).
  • Cela démontre une robustesse exceptionnelle face aux changements de disposition et d'obstacles.

• Extension à plus de deux objets (Long-Horizon) :

  • Testé sur des séquences de 3 à 5 objets sans ré-entraînement.
  • LHM-Humanoid maintient un taux de succès de 18,07 % sur 5 objets, alors que toutes les autres méthodes s'effondrent à près de 0 % (accumulation d'erreurs).
  • Cela prouve que la politique apprend des compétences de récupération et de transition réutilisables.

• Performance VLA :

  • Le modèle VLA distillé conserve une performance élevée (63,71 % de succès global), confirmant que la politique apprise se transfère bien du contrôle basé sur l'état privilégié au contrôle basé sur la vision et le langage.

4. Contributions Clés

1. Benchmark LHM-Humanoid : Une nouvelle référence pour la loco-manipulation humanoïde à long horizon dans des environnements désordonnés, mettant l'accent sur la généralisation inter-scènes.
2. Cadre de distillation à double enseignant : Une architecture innovante qui sépare l'apprentissage de la phase de dépôt/stabilisation et de la phase de récupération/navigation, permettant de couvrir une distribution d'états beaucoup plus large qu'une seule trajectoire canonique.
3. Politique unifiée et VLA : Démonstration qu'un seul réseau de neurones peut gérer des épisodes longs et complexes sans réinitialisation, et qu'il peut être distillé vers un modèle VLA fonctionnant uniquement avec des capteurs visuels et du langage.

5. Signification et Impact

Ce travail représente une avancée majeure vers le déploiement de robots humanoïdes dans des environnements domestiques ou industriels réels.

• Dépassement des limites actuelles : Il résout le problème de l'accumulation d'erreurs dans les tâches à long horizon, un obstacle majeur pour les approches hiérarchiques ou les RL directs.
• Robustesse : La capacité à gérer des états intermédiaires instables (grâce au "Release-and-Retreat") et à naviguer dans des scènes non vues est cruciale pour l'autonomie réelle.
• Vers le monde réel : L'intégration réussie dans un modèle VLA ouvre la voie à des robots capables de comprendre des instructions naturelles et d'agir dans des environnements complexes sans programmation explicite de chaque étape.

En résumé, LHM-Humanoid démontre qu'une approche unifiée, combinant une conception astucieuse de la phase de transition et une distillation de politiques, est la clé pour réaliser une manipulation humanoïde robuste et généralisable sur de longues séquences.