🤖 machine learning

HOIST: Humanoid Optimization with Imitation and Sample-efficient Tuning for Manipulating Suspended Loads

Le document présente HOIST, un cadre qui combine l'apprentissage par imitation à partir de la téléopération en VR avec un apprentissage par renforcement efficace en termes d'échantillonnage pour permettre aux robots humanoïdes de manipuler et de placer avec précision des charges suspendues et sous-actionnées.

Auteurs originaux : Songyang Liu, Shunyu Yao, Dingyuan Huang, Shuai Li

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Songyang Liu, Shunyu Yao, Dingyuan Huang, Shuai Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de déplacer un lourd lustre oscillant qui est suspendu au plafond par une longue corde. Vous ne pouvez pas saisir le lustre directement ; vous pouvez seulement le pousser avec vos mains ou votre corps. Si vous poussez trop fort, il oscille sauvagement. Si vous vous arrêtez trop tôt, il continue de rouler vers l'avant. Si vous vous arrêtez trop tard, il dépasse l'endroit où vous voulez qu'il atterrisse. C'est le problème complexe que l'article HOIST tente de résoudre en utilisant un robot humanoïde.

Voici une décomposition simple de ce que les chercheurs ont fait et de la manière dont ils l'ont fait :

Le Problème : Le dilemme du « Lustre Oscillant »

Dans la construction et les entrepôts, les travailleurs doivent souvent guider des charges lourdes suspendues à des grues. C'est dangereux car si la charge oscille, elle peut heurter des personnes. Les robots ont généralement du mal avec cela car :

Ils ne peuvent pas saisir la charge : Le robot doit la pousser alors qu'elle est encore suspendue.
C'est imprévisible : La charge agit comme un pendule. Elle continue de bouger même après que le robot a fini de pousser.
L'apprentissage est difficile : Si vous laissez un robot apprendre par essais et erreurs (Apprentissage par Renforcement) sur un vrai robot, il pourrait s'écraser, briser des choses ou se blesser. Si vous lui apprenez simplement en regardant des humains (Apprentissage par Imitation), il pourrait copier les mouvements d'un humain mais échouer à s'arrêter exactement au bon endroit car il ne comprend pas la physique de l'oscillation.

La Solution : HOIST (L'approche du « Coach Intelligent »)

L'équipe a créé un système appelé HOIST. Considérez cela comme un programme d'entraînement en trois étapes pour le robot :

Étape 1 : La phase de « Shadowing » (Imitation)
D'abord, un opérateur humain porte un casque de Réalité Virtuelle (VR) et utilise des contrôleurs pour créer un « fantôme » du robot. L'humain guide le robot à travers la tâche de pousser la charge oscillante vers une cible. Le robot observe et apprend : « D'accord, c'est ainsi qu'un humain déplace son corps pour pousser ce truc. »

Analogie : C'est comme un étudiant en danse qui regarde un maître danseur et essaie de copier ses pas. L'étudiant réussit le flux général, mais pourrait encore trébucher lors du tour final.

Étape 2 : La phase de « Pratique Autonome » (Rollouts Autonomes)
Ensuite, le robot tente la tâche de son côté en utilisant ce qu'il a appris de l'humain. Il pousse la charge, mais comme c'est un robot, il peut s'arrêter un peu trop tôt ou un peu trop tard. Le système enregistre ces tentatives.

Analogie : L'étudiant essaie la routine de danse seul. Il maîtrise le rythme, mais il manque encore la pose finale de quelques centimètres.

Étape 3 : La phase de « Fine-Tuning » (RL à efficacité d'échantillonnage)
C'est la partie magique. Le système ne fait pas repartir le robot de zéro. Au lieu de cela, il examine les « sessions de pratique » et se demande : « Comment pouvons-nous ajuster la toute première pensée ou le tout premier "coup de pouce" que le robot fait pour corriger le point d'atterrissage final ? » Il utilise une astuce mathématique spéciale (appelée "flow-matching") pour ajuster la « direction » interne du robot sans changer tout le cerveau du robot.

Analogie : Imaginez un coach regardant la session de pratique de l'étudiant et disant : « Tu te débrouilles très bien, mais si tu inclines juste légèrement la tête vers la gauche au tout début, tu atterriras parfaitement au centre. » Le robot apprend ce petit ajustement.

Les Résultats : À quel point cela a-t-il fonctionné ?

Les chercheurs ont testé cela dans une simulation informatique et sur un vrai robot.

Meilleur que la simple copie : Lorsqu'ils n'utilisaient que la phase de « Shadowing » (Imitation), le robot était en sécurité mais manquait souvent la cible de manière significative (environ 22 cm de décalage dans la simulation).
Meilleur que l'ajout de plus de vidéos : Ils ont essayé d'enseigner au robot avec encore plus de vidéos humaines, mais cela n'a pas beaucoup aidé.
Le Gagnant : En ajoutant la phase de « Fine-Tuning » (seulement 30 sessions de pratique), le robot s'est beaucoup rapproché. Dans la simulation, il a réduit l'erreur de près de 20 cm et a arrêté l'oscillation beaucoup plus efficacement.

Le Bémol (Limites)

L'article admet une faiblesse majeure : les « muscles » du robot (le contrôleur de bas niveau qui déplace réellement les articulations) sont fixes et n'ont pas été réentraînés. Le robot ne peut pousser qu'avec une certaine force. Si la charge est trop lourde, le robot pourrait ne pas être assez fort pour la déplacer efficacement, peu importe la intelligence de son « cerveau ».

Résumé

HOIST est une méthode qui enseigne à un robot comment pousser une charge suspendue et oscillante en commençant par copier un humain, puis en effectuant de petits ajustements intelligents basés sur ses propres sessions de pratique. C'est comme apprendre à un robot à être l'assistant d'un grutier : il apprend les mouvements d'un humain, puis s'entraîne juste assez pour maîtriser l'art délicat de s'arrêter exactement là où il doit être sans renverser la charge.

Résumé Technique : HOIST – Optimisation de l'Humanoïde par Imitation et Ajustement Efficace en Échantillonnage pour la Manipulation de Charges Suspendues

1. Définition du Problème

L'article traite du défi du levage par humanoïde : utiliser un robot humanoïde pour positionner une charge sous-actionnée suspendue de l'extérieur. Contrairement aux tâches classiques de « pick-and-place » où le robot saisit un objet de manière rigide, la charge dans ce scénario est suspendue (par exemple, par une grue ou un câble) et se comporte comme un pendule oscillatoire. Le robot ne peut pas actionner directement la charge ; il peut seulement influencer le mouvement de la charge par la locomotion de tout le corps, la posture corporelle et des forces de contact intermittentes (poussée).

Difficultés clés :

Sous-actionnement et Dynamique : La charge continue de balancer après l'arrêt du contact, ce qui entraîne un dépassement (overshoot) et une oscillation résiduelle.
Sécurité et Efficacité : L'apprentissage par renforcement (RL) direct à partir de zéro sur de vrais humanoïdes est dangereux en raison du risque de mouvements instables et de contacts durs. Inversement, l'apprentissage par imitation (IL) pur à partir de démonstrations échoue souvent à optimiser la précision du placement final ou à corriger les erreurs d'exécution en boucle fermée.
Complexité de la Tâche : Le succès nécessite une coordination de l'équilibre de tout le corps, un timing de contact précis et des comportements d'arrêt spécifiques pour amortir le balancement de la charge.

2. Méthodologie : Le Framework HOIST

HOIST (Humanoid Optimized with Imitation and Sample-efficient Tuning) est un pipeline en trois étapes conçu pour combler le fossé entre une initialisation sûre et l'optimisation au niveau de la tâche.

A. Collecte de Données par Téléopération

Des opérateurs humains utilisent des casques VR et des contrôleurs pour téléopérer un robot humanoïde à travers la séquence de levage (approche, contact, poussée, arrêt).
Les trajectoires sont enregistrées sous forme de paires état-action, incluant les observations visuelles, les états proprioceptifs et les commandes du planificateur.
Ces démonstrations fournissent une politique de comportement initiale sûre qui évite les échecs catastrophiques lors du déploiement précoce.

B. Finetuning Supervisé de la VLA

Une politique de haut niveau Vision-Language-Action (VLA) est affinée (finetuned) en utilisant les données de téléopération collectées. Le modèle de base est adapté à partir de GR00T N1.6.
Modalités d'Entrée : La politique traite des entrées multimodales incluant des images RGB/profondeur embarquées, des images externes de vue latérale (pour capturer les relations charge-cible), des états proprioceptifs (articulations/base/IMU), des instructions linguistiques et les commandes de navigation précédentes.
Modifications de l'Architecture :
- Les commandes de navigation sont ajoutées comme une modalité explicite au modèle vision-langage.
- Les images de profondeur et la vitesse propre (ego-velocity) sont ajoutées à l'expert d'action basé sur le "flow-matching" pour se conditionner sur la géométrie de la scène et l'état physique.
- Seuls les quatre dernières couches du VLM, l'expert d'action transformer-diffusion et les nouveaux encodeurs de modalités sont affinés ; le reste du modèle de fondation reste gelé pour préserver les acquis généraux.
Sortie : La politique prédit un segment de court horizon d'incréments de commandes relatives ( $\Delta U_t$ ) pour les cibles manuelles, la pose de la tête, la navigation et la hauteur de la base. Ceux-ci sont accumulés en commandes de planificateur complètes.

C. Exécution Fixe du Corps Complet (Whole-Body Execution)

Les commandes du planificateur de haut niveau sont exécutées par un contrôleur de corps complet découplé et fixe (basé sur la pile GR00T WBC).
Le contrôleur de bas niveau gère l'équilibre, la stabilisation des articulations et les forces de contact. Crucialement, le contrôleur de bas niveau n'est pas affiné ; toute l'adaptation à la tâche se produit au stade de la génération de commande de haut niveau.

D. Raffinement par RL Efficace en Échantillonnage

Pour corriger les biais systématiques de la politique apprise par imitation (par exemple, une poussée trop forte ou trop faible constante), HOIST utilise un RL par lots itératif.
Processus :
1. La politique VLA affinée est déployée pour collecter un petit lot de rollouts autonomes.
2. Ces rollouts sont étiquetés avec des récompenses spécifiques au levage (une combinaison pondérée de l'erreur de placement de translation et de l'erreur angulaire brute).
3. Un module acteur-critique est entraîné hors ligne pour prédire un « vecteur de direction du bruit initial » pour l'expert d'action de type flow-matching. Cet acteur produit de manière déterministe un vecteur de correction pour orienter le processus de génération de la politique VLA gelée.
4. La politique VLA elle-même reste gelée ; seul l'acteur-critique de direction du bruit est mis à jour.
5. Les caractéristiques VLM de la politique gelée sont mises en cache et réutilisées pour maximager l'efficacité.
Ce cycle se répète, permettant au système de raffiner la précision du placement et le comportement d'arrêt avec un minimum de données réelles.

3. Contributions Clés

Formulation du Problème : L'introduction du « levage par humanoïde » comme un problème distinct de manipulation de corps complet impliquant des charges suspendues et oscillatoires.
Le Framework HOIST : Un nouveau pipeline combinant la téléopération VR, le finetuning supervisé de la VLA, l'exécution de corps complet fixe et le raffinement par RL efficace en échantillonnage (via la direction du bruit) pour la manipulation de charges suspendues.
Évaluation Empirique : Des expériences exhaustives en simulation et sur une plateforme humanoïde réelle, démontrant que le raffinement par RL surpasse la simple addition de démonstrations et analysant l'impact des modalités d'entrée et du nombre de rollouts.

4. Résultats Expérimentaux

L'article évalue HOIST par rapport à des bases telles que l'imitation pure (VLA-50, VLA-80) et la téléopération humaine.

Gains de Performance :
- En simulation, HOIST (50 démos + 30 rollouts RL) a réduit l'erreur de placement de translation de 19,9 cm et l'erreur angulaire brute de 3,56° par rapport aux rollouts VLA purs (VLA-50).
- Sur la plateforme réelle, HOIST a atteint une erreur de position Manhattan totale de 6,38 cm, surpassant VLA-80 (8,57 cm) qui utilisait 30 démonstrations supplémentaires mais sans RL.
RL vs Démonstrations Additionnelles : Les résultats indiquent que l'optimisation des récompenses de placement en boucle fermée via le RL est plus efficace pour corriger les erreurs de position finale que l'ajout de démonstrations téléopérées.
Études d'Ablation :
- L'ajout d'images de profondeur et le conditionnement par commande de navigation aux entrées VLA ont considérablement amélioré la politique initiale apprise par imitation avant le raffinement par RL.
- L'analyse du mouvement résiduel (via l'IMU sur la charge) a montré que si HOIST produit des lectures d'accéléromètre plus élevées (indiquant une correction active), il réduit les réponses du gyroscope (mouvement angulaire) d'environ la moitié par rapport aux politiques basées uniquement sur l'imitation, suggérant un meilleur amortissement du balancement résiduel.

5. Signification et Revendications

L'article affirme que HOIST démontre le potentiel des humanoïdes pour les tâches de manutention de matériaux sous-actionnés, un domaine actuellement dominé par les travailleurs humains en raison des risques de sécurité (être frappé par, être coincé entre).

Sécurité et Efficacité : En partant de données de téléopération sûres et en utilisant le RL uniquement pour le raffinement de la commande de haut niveau, HOIST évite les risques de sécurité et l'inefficacité d'échantillonnage de l'entraînement à partir de zéro sur le matériel réel.
Correction de Biais : Ce travail souligne que l'apprentissage par imitation souffre de décalages de distribution lors du déploiement (où les propres erreurs du robot modifient la dynamique de la tâche). Le raffinement par RL de HOIST cible spécifiquement ces biais systématiques pour améliorer la précision finale.
Limites Modestes : Les auteurs reconnaissent que le système est actuellement limité par le contrôleur de corps complet de bas niveau fixe, qui ne peut pas adapter explicitement les forces à différents poids de charge. Par conséquent, le système peine avec des objets plus lourds nécessissant des forces plus grandes et adaptatives.

En résumé, HOIST présente une approche pratique pour permettre aux humanoïdes de manipuler des charges suspendues en combinant la sécurité de l'apprentissage par imitation avec la puissance d'optimisation de l'apprentissage par renforcement efficace en échantillonnage, spécifiquement adapté à la dynamique des systèmes sous-actionnés et oscillatoires.