💻 computer science

HiWET: Hierarchical World-Frame End-Effector Tracking for Long-Horizon Humanoid Loco-Manipulation

Cet article présente HiWET, un cadre d'apprentissage par renforcement hiérarchique qui permet une loco-manipulation humanoïde précise et stable sur de longs horizons en reformulant le contrôle dans le référentiel du monde pour éliminer la dérive cumulative et en incorporant un Prior de Variété Cinématique pour garantir des actions cinématiquement valides.

Auteurs originaux : Zhanxiang Cao, Liyun Yan, Yang Zhang, Sirui Chen, Jianming Ma, Tianyue Zhan, Shengcheng Fu, Yufei Jia, Cewu Lu, Yue Gao

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhanxiang Cao, Liyun Yan, Yang Zhang, Sirui Chen, Jianming Ma, Tianyue Zhan, Shengcheng Fu, Yufei Jia, Cewu Lu, Yue Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot humanoïde comme un danseur très talentueux, mais légèrement maladroit, qui essaie également de jongler. Le danseur doit bouger ses pieds pour atteindre un endroit précis sur la scène (locomotion) tout en utilisant simultanément ses mains pour dessiner un cœur parfait dans les airs (manipulation).

Le problème de la plupart des danseurs robots précédents est qu'ils pensent en « coordonnées corporelles ». Si le danseur glisse ou trébuche, son cerveau s'embrouille sur l'emplacement de ses mains dans le monde réel. C'est comme essayer de tracer une ligne droite sur une feuille de papier alors que quelqu'un secoue constamment la table ; la ligne finit par être tremblante et décalée.

HiWET est un nouveau « cerveau » pour ces robots qui résout ce problème en changeant leur façon de penser. Voici comment cela fonctionne, décomposé en concepts simples :

1. Le système à deux cerveaux (Contrôle hiérarchique)

Au lieu d'un seul cerveau essayant de tout faire à la fois, HiWET utilise une équipe à deux niveaux :

Le « Capitaine » (Politique de haut niveau) : Ce cerveau voit la situation dans sa globalité. Il vit dans le « Référentiel du Monde », ce qui signifie qu'il sait exactement où se trouve le robot sur la scène et où se trouve la cible (comme un cœur) dans la pièce. Il ne se soucie pas de savoir comment les genoux se plient ; il dit simplement : « Nous devons déplacer nos pieds vers la gauche pour atteindre ce point, et nos mains doivent monter. » Il fixe les objectifs.
Le « Danseur » (Politique de bas niveau) : Ce cerveau gère les détails physiques. Il prend les objectifs du Capitaine et détermine exactement comment bouger chaque articulation des jambes et des bras pour atteindre l'objectif sans tomber. Il fonctionne très rapidement, effectuant de minuscules ajustements pour maintenir l'équilibre du robot.

2. La « Priorité de Variété Cinématique » (Le KMP)

C'est l'ingrédient secret de l'article. Imaginez que vous appreniez à un humain à dessiner. Si vous lui demandez de dessiner un cercle à partir de zéro, il pourrait avoir du mal. Mais si vous lui donnez un pochoir (un guide) et que vous lui demandez de le suivre en apportant de petites corrections, il le fera parfaitement.

HiWль utilise une Priorité de Variété Cinématique (KMP) qui agit comme ce pochoir.

Avant même que le robot ne commence à apprendre, on lui donne un « guide » pré-entraîné qui sait comment bouger les bras et la taille de manière sûre et de base pour atteindre une cible.
Le robot n'a pas besoin d'apprendre comment bouger son bras à partir de zéro ; il apprend seulement les corrections résiduelles (les petits ajustements) nécessaires pour rendre le mouvement parfait et stable.
Cela empêche le robot d'essayer de faire des mouvements impossibles ou dangereux, ce qui lui permet d'apprendre beaucoup plus vite et en toute sécurité.

3. Résoudre le problème de la « Table Secouante »

Lorsqu'un robot marche, son corps rebondit et se déplace. Si le robot ne regarde que son propre corps pour savoir où se trouve sa main, cette main semble osciller sauvagement, même si elle est stable dans la pièce.

HiWET résout cela en gardant un œil constant sur le Référentiel du Monde. Même si les pieds du robot glissent ou si son corps fait un mouvement brusque, le « Capitaine » sait exactement où se trouve la cible dans la pièce et dit au « Danseur » de compenser. C'est comme un funambule qui garde les yeux fixés sur la ligne d'arrivée, et non sur ses propres pieds qui vacillent.

4. Ce qu'ils ont testé

Les chercheurs ont testé cela sur un vrai robot (le Unitree G1) et dans une simulation informatique.

Le Test : Ils ont demandé au robot de marcher vers différents endroits et de dessiner des formes complexes (comme des étoiles, des cœurs et des spirales) dans les airs avec sa main.
Le Résultat : Le robot a été capable de dessiner ces formes avec une grande précision (à environ 12 millimètres de la cible) tout en marchant, en s'accroupissant et en déplaçant ses pieds.
La Magie du « Zero-Shot » : Ils ont entraîné le robot entièrement dans une simulation informatique, puis l'ont placé sur le vrai robot sans aucun réglage supplémentaire. Le robot a fonctionné immédiatement, prouvant que le système est robuste.

Résumé

En bref, HiWET est une nouvelle façon de contrôler les robots humanoïdes qui sépare « où aller » de « comment bouger ». En utilisant un guide pré-entraîné pour aider aux mouvements des bras et en gardant une attention stricte sur l'emplacement réel des tâches (plut plutôt que sur le corps du robot lui-même), il permet aux robots de marcher et de manipuler des objets avec un niveau de précision et de stabilité que les méthodes précédentes ne pouvaient atteindre.

Résumé Technique : HiWET

Énoncé du Problème

La loco-manipulation humanoïde nécessite l'exécution de tâches de manipulation précises tout en maintenant une stabilité dynamique lors du mouvement de la base. Les approches existantes font face à deux limitations principales :

Formulation centrée sur le corps : La plupart des méthodes pilotées par commande opèrent dans des référentiels centrés sur le corps. Cela échoue à corriger intrinsèquement la dérive cumulative dans le référentiel monde induite par la locomotion des jambes, entraînant une dégradation de la précision de l'effecteur terminal dans le référentiel global.
Optimisation dans l'espace articulaire : Les méthodes d'imitation de mouvement du corps entier optimisent généralement les erreurs dans l'espace des articulations plutôt que la précision dans l'espace de la tâche, manquant de garanties théoriques pour un suivi précis de l'effecteur terminal et nécessitant souvent des trajectoires de référence denses et coûteuses.
Défis de couplage : Le couplage étroit entre la dynamique du haut et du bas du corps signifie que des mouvements de bras agressifs peuvent déstabiliser la marche, tandis que la locomotion impacte les effecteurs terminaux. Lorsque les tâches s'étendent au-delà de l'espace de travail statique atteignable, les formulations centrées sur le corps ne traitent pas explicitement la nécessité de transporter activement la base pour maintenir l'accessibilité.

Méthodologie

Les auteurs proposent HiWET (Hierarchical World-Frame End-Effector Tracking), un cadre d'apprentissage par renforcement hiérarchique (HRL) qui découple le raisonnement global de l'exécution dynamique. Le système est modélisé comme un Processus de Décision Semi-Markovien (Semi-MDP) opérant sur deux échelles de temps.

1. Architecture Hiérarchique

Politique de Haut Niveau (Commandant, $\pi_H$ ) : Opère à une fréquence plus basse (tous les $K$ pas) dans le référentiel monde. Il agit comme un planificateur de tâches, interprétant les cibles globales de l'effecteur terminal et générant des sous-objectifs structurés : vitesse de la base ( $v_{des}^b$ ), hauteur du corps ( $h_{des}$ ) et poses de l'effecteur terminal relatives au corps ( $bT_{des}$ ). Il raisonne explicitement sur le couplage géométrique entre la locomotion et la manipulation pour remodeler l'espace de travail opérationnel.
Politique de Bas Niveau (Tracker, $\pi_L$ ) : Opère à haute fréquence pour traduire les sous-objectifs en commandes dans l'espace articulaire. Elle assure la stabilité dynamique et la faisabilité physique. L'humanoïde est décomposé en sous-systèmes : haut du corps (bras/taille) et bas du corps (jambes).

2. Composants Techniques Clés

Priorité de la Variété Cinématique (KMP - Kinematic Manifold Prior) : Un réseau de neurones pré-entraîné qui fournit des références articulaires cinématiquement cohérentes pour le haut du corps basées sur les poses désirées de l'effecteur terminal et un poids de régularisation de la taille ( $\alpha$ $α$ ).
- La politique de bas niveau apprend des corrections résiduelles ( $\Delta q$ ) ajoutées à la référence de la KMP ( $\hat{q}$ ) plutôt que des cibles articulaires absolues. Cela réduit la dimensionnalité de l'exploration et atténue les comportements cinématiquement invalides.
- Le paramètre $\alpha$ permet à la politique de haut niveau de moduler l'engagement du torse, faisant un arbitrage entre l'accessibilité (utilisation de la redondance de la taille) et l'équilibre dynamique (stabilisation du centre de masse).
Estimateur d'État : Un module neuronal entraîné pour inférer les variables d'état privilégiées (ex: vitesse linéaire de la base, poses de l'effecteur terminal) à partir de l'historique des observations, compensant ainsi l'observabilité partielle lors du déploiement.
Échantillonnage par Importance (IS) : Pour remédier à l'inefficacité de l'échantillonnage cartésien uniforme (qui produit souvent des cibles inaccessibles ou mal conditionnées), les auteurs ont constitué un ensemble de données priorisées. Cet ensemble de données est filtré par l'erreur de reconstruction de la cinématique inverse (IK) et pondéré par un indice de maniabilité. La distribution de commande d'entraînement est un mélange d'échantillonnage uniforme et de ce prior organisé.
Façonnage de la Récompense (Reward Shaping) :
- Bas Niveau : Inclut le suivi de la référence KMP, le suivi de la hauteur de la base sensible aux genoux (pondération asymétrique pour les marges de flexion/extension), et une régularisation pour la fluidité.
- Haut Niveau : Encourage l'optimisation de l'espace de travail (alignement de l'orientation de la base avec les cibles), le suivi précis de l'effecteur terminal dans le référentiel monde, et la stabilité.

3. Procédure d'Entraînement

Le cadre utilise un processus d'entraînement en deux étapes :

Étape 1 (Tracker) : La politique de bas niveau est entraînée pour suivre les commandes de l'effecteur terminal relatives à la base en utilisant la KMP et l'échantillonnage par importance.
Étape 2 (Commander) : La politique de haut niveau est entraînée avec la politique de bas niveau gelée. Un curriculum spatial est utilisé, commençant avec des cibles proches de la base du robot et s'étendant progressivement à mesure que l'erreur de suivi diminue.

Résultats Clés

Le cadre a été validé sur l'humanoïde Unitree G1 (29 DoF) en simulation et via un transfert sim-to-real zero-shot.

Précision de Suivi : En simulation, HiWET a atteint une erreur de suivi de l'effecteur terminal dans le référentiel monde de 12,4 mm avec une faible variance.
Études d'Ablation :
- Le retrait de la KMP a augmenté l'erreur de la main à 25,2 mm avec une variance 5 fois plus élevée, confirmant la nécessité d'un guidage cinématique.
- Le retrait de l'estimateur d'état a dégradé le suivi de près de 10 mm, soulignant le besoin d'un retour précis pour compenser les oscillations de la locomotion.
- Le retrait de l'échantillonnage par importance a entraîné une erreur plus élevée (16,1 mm), démontrant la valeur de se concentrer sur les régions fonctionnelles de l'espace de travail.
Comparaison : HiWET a surpassé la ligne de base HOMIE, réduisant l'erreur quadratique moyenne (RMSE) de la vitesse linéaire de la base d'environ 20 %.
Sim-to-Real : La politique de bas niveau a été transférée avec succès sur le robot physique sans ajustement fin (fine-tuning), démontant une locomotion stable sous diverses commandes de manipulation.
Tâches à Longue Durée : Le système a suivi avec succès des trajectoires géométriques complexes (étoiles, cœurs, spirales) dans le référentiel monde, maintenant une stabilité dynamique tout en naviguant vers les zones cibles.

Signification et Revendications

L'article affirme que HiWET fournit une solution efficace et évolutive pour la loco-manipulation humanoïde à long terme en abordant explicitement le couplage géométrique entre la base et les effecteurs terminaux.

Cohérence dans le Référentiel Monde : En formulant la tâche comme un suivi de l'effecteur terminal dans le référentiel monde, le contrôleur compense activement les perturbations de la base et remodèle l'espace de travail opérationnel via la locomotion, une capacité absente des approches centrées sur le corps.
Contrôle Découplé : La séparation hiérarchique entre "où aller" (planification globale) et "comment bouger" (exécution dynamique) permet une optimisation spécialisée pour l'accessibilité et la stabilité.
Efficacité : L'intégration de la Priorité de la Variété Cinématique via l'apprentissage résiduel ancre la politique dans des variétés de manipulation valides, accélérant l'apprentissage et améliorant la précision du suivi sans sacrifier l'adaptabilité dynamique.

Les auteurs concluent que cette approche permet un suivi précis et stable de l'effecteur terminal dans des tâches de longue durée et démontre un transfert robuste zero-shot vers le matériel réel.