Résumé Technique : RL Guidé par Référence Consistante avec le Terrain pour la Navigation Humanoïde

Énoncé du Problème

Les méthodes contemporaines de locomotion humanoïde ont atteint une grande agilité et robustesse, exploitant souvent des données humaines ou une optimisation de trajectoire pour guider l'Apprentissage par Renforcement (RL). Cependant, un goulot d'étranglement majeur subsiste dans le déploiement de ces comportements au sein de piles de navigation plus vastes pour des environnements complexes et non structurés. Les approches de RL guidé par référence existantes font face à deux limitations principales :

1. Absence d'Interface de Planification : De nombreuses méthodes nécessitent des trajectoires de référence à degrés de liberté complets ou du mouvement capturé en direct comme entrées, les rendant incompatibles avec les planificateurs de navigation standards qui émettent des commandes de vitesse simples (par exemple, des vitesses SE(2)).
2. Absence de Conditionnement Environnemental : Les pipelines standards de génération de référence ne tiennent pas compte de la géométrie du terrain (par exemple, appuis valides, escaliers, pentes). Par conséquent, les politiques entraînées sur des références statiques peinent à suivre les trajectoires sur un terrain accidenté, entraînant une instabilité ou un échec lors du déploiement dans des environnements réels centrés sur l'humain.

Bien que certains travaux abordent la locomotion perceptive sans références, ils manquent souvent de la robustesse des méthodes guidées par référence. À l'inverse, les méthodes guidées par référence échouent souvent à s'intégrer aux piles d'autonomie ou à s'adapter au terrain. Cet article traite de l'intersection entre le RL perceptive guidé par référence et l'autonomie de navigation en boucle fermée.

Méthodologie

La méthode proposée, RL Guidé par Référence Consistante avec le Terrain, synthétise des trajectoires de référence cohérentes avec l'environnement directement à l'intérieur de la boucle d'entraînement RL. Le système est conçu pour produire une politique qui accepte des commandes de vitesse SE(2) standards tout en utilisant des données de caméra de profondeur pour l'adaptation au terrain.

1. Synthèse de Référence Cohérente avec l'Environnement

L'innovation centrale est la génération rapide de trajectoires de référence utilisant un modèle de Pendule Inversé Linéaire (LIP) modulé pour correspondre à la géométrie du terrain.

• Génération de Base : Une commande de vitesse SE(2) désirée ($v_d$) est convertie en longueurs de pas désirées et en une trajectoire de Centre de Masse (CoM) en utilisant la dynamique du modèle LIP. Cela génère une référence nominale pour le CoM, le pied d'oscillation et les bras.
• Projection du Terrain : Avant que l'agent RL ne reçoive la référence, le système projette l'emplacement du pas désiré sur le prochain appui valide dérivé de la géométrie du terrain (représentée comme une grille de polygones).
• Modification de la Trajectoire :
  • Pas : Le pas désiré est projeté sur l'appui valide, et le roulis et le tangage du terrain à ce point sont incorporés.
  • Pied d'Oscillation : La trajectoire du pied d'oscillation est modifiée pour relier la pose initiale à la pose projetée, incluant l'orientation du terrain. La hauteur $z$ est ajustée en ajoutant la hauteur de l'enveloppe convexe supérieure des points du terrain le long du chemin d'oscillation pour assurer le dégagement.
  • CoM : La trajectoire de hauteur du CoM est ajustée en fonction de la ligne reliant le pied d'appui actuel à l'emplacement du pas projeté.
• Efficacité : Cette synthèse s'exécute rapidement dans la boucle d'entraînement, permettant à la politique d'apprendre à partir de références physiquement cohérentes avec l'environnement immédiat.

2. Politique de Locomotion et Entraînement

• Architecture : La politique utilise une architecture basée sur un Perceptron Multicouche (MLP) à étape unique. Elle mappe la proprioception et une seule image de caméra de profondeur (résolution 26x30) directement vers les actions.
• Perception : Une caméra de profondeur ZED Mini montée sur le torse du robot fournit l'entrée. En simulation, cela est modélisé par lancer de rayons avec un sous-échantillonnage agressif pour imiter le bruit et les artefacts du monde réel.
• Conception de la Récompense : L'entraînement utilise des Fonctions de Lyapunov de Contrôle (CLF-RL). Des fonctions quadratiques de Lyapunov sont définies pour les objectifs de suivi (bassin, pied d'oscillation, articulations). La fonction de récompense se compose de deux termes :
  1. Un terme encourageant un suivi proche du signal de référence.
  2. Un terme incitant à la satisfaction de la condition de décroissance de Lyapunov (assurant que le système se dirige vers la référence).
     Cette approche densifie le signal de récompense, fournissant des retours même lorsque le suivi est imparfait mais en amélioration.
• Acteur-Critique Asymétrique : L'acteur reçoit des données proprioceptives et de profondeur bruitées, tandis que le critique reçoit des observations sans bruit et des informations privilégiées (références vérité terrain, états de contact, etc.).

3. Pile d'Autonomie de Navigation

La politique de locomotion entraînée est intégrée dans une pile d'autonomie complète via une interface de vitesse SE(2) propre.

• Planificateur : Un planificateur de Contrôle Prédictif de Modèle (MPC) opère sur un intégrateur unique avec modèle de cap. Il prend une pose d'objectif et une carte d'environnement (générée via LiDAR et FAST-LIO2) pour planifier des trajectoires sans collision.
• Fonctions de Barrière de Contrôle (CBF) : Le MPC incorpore des contraintes CBF en temps discret pour assurer l'évitement d'obstacles et la robustesse face aux erreurs de suivi.
• Exécution : Le MPC produit une trajectoire de commandes de vitesse, qui sont suivies par un contrôleur de rétroaction et transmises à la politique de locomotion RL.

Contributions Clés

1. Synthèse de Référence Conditionnée par l'Environnement : L'article introduit le premier pipeline de RL guidé par référence pour humanoïdes où les références sont modulées en ligne pour être cohérentes avec la géométrie du terrain (escaliers, pentes, appuis discrets) en utilisant un modèle LIP d'ordre réduit au sein de la boucle d'entraînement.
2. Architecture Simplifiée : La politique résultante repose uniquement sur un MLP sans mémoires tampons d'historique, éliminant le besoin de distillation complexe ou de réseaux récurrents, tout en atteignant des performances comparables aux modèles basés sur l'attention.
3. Intégration d'Autonomie en Boucle Fermée : La méthode intègre avec succès une politique de RL perceptive guidée par référence dans une pile de navigation standard. Elle démontre une navigation autonome à long horizon (>70m) sur le robot Unitree G1 à travers des environnements extérieurs contenant un terrain accidenté et des séries d'escaliers consécutifs, avec tous les capteurs et le calcul à bord.

Résultats

Simulation

• Performance de Suivi : Le conditionnement des références sur l'environnement a considérablement amélioré la performance de suivi par rapport à l'utilisation de références non modifiées (agnostiques de l'environnement). Sur un terrain d'escalier, l'erreur de suivi a été réduite d'un facteur deux.
• Complexité du Modèle : La politique simple basée sur MLP ("Ours") a atteint des erreurs de suivi statistiquement similaires à une architecture plus complexe avec attention croisée ("Ours (Attn)") sur des terrains plats, en pente et en escalier. Cependant, la version MLP nécessitait significativement moins de VRAM (14 Go contre 60 Go) et est plus facile à mettre en œuvre.

Déploiement Matériel

• Plateforme : Robot humanoïde Unitree G1 équipé d'une caméra de profondeur ZED Mini et d'un LiDAR Livox MID360.
• Performance : Le système a effectué avec succès une navigation autonome en boucle fermée dans des environnements extérieurs centrés sur l'humain.
  • Escaliers : Le robot a navigué de manière autonome sur 15 escaliers consécutifs.
  • Long Horizon : Le robot a parcouru plus de 70 mètres, traversant des racines d'arbres, un terrain accidenté, des trottoirs et deux séries d'escaliers.
  • Transition Intérieur/Extérieur : Le robot a gravi des escaliers extérieurs, est entré dans un bâtiment et a gravi des escaliers intérieurs.
• Comparaison : Contrairement aux travaux antérieurs qui s'appuient sur des contrôleurs aveugles basés sur modèle pour la navigation ou des méthodes RL perceptive non intégrées dans des piles d'autonomie, ce travail démontre une politique guidée par référence conditionnée par la perception servant de couche de locomotion pour une pile d'autonomie complète.

Signification et Revendications

L'article revendique que ce travail comble le fossé entre la locomotion guidée par référence haute performance et l'autonomie de navigation pratique. En synthétisant des références cohérentes avec le terrain pendant l'entraînement, la méthode permet à la politique RL d'apprendre des comportements robustes pour des environnements non structurés sans nécessiter d'architectures complexes basées sur l'historique.

La signification réside dans l'interface de vitesse SE(2), qui permet à la politique de locomotion d'être un composant plug-and-play pour les planificateurs de navigation standards. Cela permet le déploiement d'une locomotion humanoïde agile et perceptive dans des scénarios réels (escaliers, terrain accidenté) qui étaient auparavant inaccessibles aux méthodes guidées par référence en raison de leur manque de conditionnement environnemental et de compatibilité avec la planification. Les auteurs positionnent cela comme une étape vers la navigation humanoïde générale dans des environnements centrés sur l'humain, allant au-delà des sols plats ou des terrains personnalisés construits en laboratoire.