Résumé Technique : Maintenant Vous Voyez Cela : Apprentissage de la Locomotion End-to-End pour Humanoïdes à partir de Pixels Bruts

1. Énoncé du Problème

Réaliser une locomotion robuste basée sur la vision pour les robots humanoïdes reste un défi majeur en intelligence incarnée. Contrairement aux robots quadrupèdes, qui possèdent une stabilité statique inhérente tolérant des erreurs de contrôle modérées, les humanoïdes opèrent dans des régimes intrinsèquement instables nécessitant une coordination précise entre la perception et l'action. L'article identifie deux barrières fondamentales au déploiement de tels systèmes dans le monde réel :

1. L'Écart Sim-to-Réal en Perception : Les pipelines de simulation standards échouent à capturer les imperfections structurées des capteurs de profondeur du monde réel (par exemple, les artefacts d'appariement stéréo, les incertitudes de calibration et le bruit dépendant de la profondeur). Ce bruit de perception dégrade sévèrement les performances sur des tâches à haute précision nécessitant une exactitude au centimètre près, telles que la traversée de longues volées d'escaliers ou la navigation dans des espaces étroits.
2. Objectifs d'Apprentissage Conflictuels dans le Contrôle Unifié : L'entraînement d'une seule politique pour gérer des terrains divers (par exemple, escaliers, espaces vides, terrains accidentés, plateformes) est entravé par des paysages de récompense conflictuels. L'apprentissage par renforcement standard avec une seule fonction de valeur peine à capturer ces dynamiques hétérogènes, nécessitant souvent l'entraînement de politiques spécialistes séparées, ce qui entraîne des frais généraux substantiels.

2. Méthodologie

Les auteurs proposent un cadre end-to-end qui adresse à la fois le transfert de perception et le contrôle unifié des terrains via un pipeline d'entraînement en deux étapes.

A. Simulation Réaliste de Capteurs de Profondeur

Pour combler l'écart sim-to-réal, les auteurs introduisent un pipeline d'augmentation complet qui applique séquentiellement huit opérateurs aux images de profondeur brutes. Contrairement à la randomisation de domaine standard, ce pipeline modélise explicitement les artefacts de capteurs structurés :

• Fusion de Profondeur Stéréo : Simule des motifs de trous dans les régions occluses et sans texture en imposant des vérifications de cohérence de disparité entre les points de vue gauche et droit.
• Bruit Dépendant de la Profondeur : Modélise une croissance non linéaire du bruit avec la distance en utilisant une mise à l'échelle quadratique.
• Motifs de Bruit Structurés : Utilise du bruit de Perlin multi-octave pour simuler des interférences environnementales spatialement corrélées.
• Distorsions Optiques : Applique une convolution randomisée pour modéliser les aberrations de lentille.
• Incertitudes de Calibration : Randomise l'échelle de profondeur, les paramètres intrinsèques et extrinsèques de la caméra pour simuler les variations de fabrication et la dérive.
• Prétraitement : Inclut la simulation de pannes de pixels (pixels morts/saturés), le recadrage de profondeur et le recadrage spatial pour correspondre aux caractéristiques réelles des capteurs.

B. Apprentissage par Renforcement Privilegié (Enseignant)

La première étape consiste à entraîner une politique « privilégiée » utilisant des observations de scans de hauteur propres (cartes d'élévation par lancer de rayons) plutôt que des images de profondeur brutes. Pour gérer des terrains divers, les auteurs emploient :

• Façonnage de Récompense Spécifique au Terrain : Les terrains sont partitionnés en trois catégories (escaliers/platformes, franchissement d'espaces vides, et terrains accidentés), chacune avec des composantes de récompense spécialisées.
• Architecture Multi-Critique et Multi-Discriminateur : Au lieu d'une seule fonction de valeur, le système utilise $K=3$ réseaux critiques dédiés et $K=3$ réseaux discriminateurs. Chaque paire est spécialisée pour une catégorie de terrain spécifique, partageant une colonne vertébrale commune mais maintenant des têtes de sortie séparées. Cela permet à la politique d'apprendre des priors de mouvement et des paysages de valeur distincts pour différents régimes dynamiques tout en opérant au sein d'une architecture unifiée.
• Priors de Mouvement Adversariaux (AMP) : Les discriminateurs fournissent des récompenses de style adaptées aux caractéristiques de mouvement requises pour chaque type de terrain, guidant une locomotion naturelle.

C. Distillation de Comportement Consciente de la Vision (Étudiant)

La deuxième étape distille la politique privilégiée en une politique de déploiement opérant directement sur des images de profondeur bruitées et augmentées. Ce processus combine :

• Clonage de Comportement : Minimisation de la divergence d'action entre l'étudiant (entrée de profondeur) et l'enseignant (entrée de scan de hauteur).
• Objectif de Débruitage : Imposition de la cohérence entre les représentations latentes de la profondeur propre et de la profondeur bruitée augmentée pour assurer une extraction de caractéristiques robuste.
• Régularisation des Caractéristiques : Application d'une régularisation par divergence KL pour empêcher l'effondrement des représentations en faisant correspondre la distribution des caractéristiques de l'encodeur à une prior normale standard.

3. Contributions Clés

L'article énonce quatre contributions principales :

1. Simulation Réaliste de Capteurs de Profondeur : Un pipeline d'augmentation complet qui reproduit les artefacts d'appariement stéréo, le bruit dépendant de la profondeur, les distorsions optiques et les incertitudes de calibration, facilitant un transfert sim-to-réal transparent.
2. Distillation de Comportement Consciente de la Vision : Un cadre combinant le façonnage de l'espace latent avec des tâches auxiliaires invariants au bruit (débruitage et régularisation KL) pour transférer les connaissances de locomotion des observations privilégiées vers des entrées de profondeur bruitées.
3. Apprentissage de Terrains Multi-Critique et Multi-Discriminateur : Une architecture de politique unifiée utilisant un façonnage de récompense spécifique au terrain et des réseaux dédiés pour capturer des dynamiques et des priors de mouvement distincts à travers des terrains divers sans nécessiter de politiques spécialistes séparées.
4. Validation Multi-Plateforme : Expériences réelles étendues sur deux robots humanoïdes équipés de caméras de profondeur stéréo différentes, démontrant une traversée réussie de terrains extrêmes et à haute précision sans affinage.

4. Résultats Expérimentaux

L'approche a été validée sur un robot humanoïde personnalisé équipé d'une caméra de profondeur Orbbec Gemini 336L et évaluée sur le Benchmark de Transfert de Profondeur Réel (RDT-Bench), qui utilise des images de profondeur augmentées par CycleGAN pour simuler des conditions de perception réalistes.

• Métriques de Performance : La méthode proposée a atteint un taux de réussite moyen de 98,9 % sur quatre configurations de terrains (escaliers, espaces vides, plateformes et mixte), avec une consommation d'énergie moyenne de $27,7 \times 10^1$ W et un Ratio de Dégradation de Puissance (PDR) de seulement 5,8 %.
• Comparaisons :
  • Comparé à « Aucune Augmentation » (43,0 % de réussite, 70,9 % de PDR), le pipeline complet a démontré l'importance critique de la modélisation réaliste des capteurs.
  • Comparé à « Apprentissage de Parkour Humanoïde » (71,0 % de réussite, 30,9 % de PDR), la méthode proposée a amélioré les taux de réussite de 27,9 % et réduit la dégradation de puissance de 25,1 %.
  • Les études d'ablation ont confirmé que la suppression de l'architecture multi-critique ou des objectifs de débruitage dégradait considérablement les performances, validant la nécessité à la fois de l'apprentissage spécifique au terrain et de l'extraction de caractéristiques invariante au bruit.
• Déploiement Réel : Sur le matériel physique, la politique a atteint un taux de réussite global de 97,8 % (88/90 essais) sur des escaliers extérieurs, des plateformes, des volées d'escaliers étendues (30+ marches) et des espaces vides larges. Notamment, la politique s'est exécutée entièrement embarquée à 50 Hz sans aucun affinage dans le monde réel.
• Généralisation Multi-Plateforme : Des résultats préliminaires sur un robot Unitree G1 avec un capteur différent (Intel RealSense D435i) ont montré un taux de réussite de 100 % pour la montée d'escaliers, suggérant que les représentations apprises se généralisent au-delà du matériel d'entraînement spécifique.

5. Importance et Revendications

L'article revendique que son cadre permet une locomotion humanoïde robuste, end-to-end et basée sur la vision à travers un large spectre d'environnements difficiles, allant d'obstacles extrêmes de style parkour à des tâches à haute précision comme la traversée bidirectionnelle à long terme d'escaliers.

Les auteurs soulignent que leur approche unifie avec succès le contrôle de terrains hétérogènes au sein d'une seule politique, surmontant les limitations des travaux antérieurs qui soit reposaient sur des politiques spécialistes séparées, soit échouaient à gérer le bruit de perception inhérent aux capteurs de profondeur du monde réel. En combinant la simulation réaliste des capteurs avec un apprentissage multi-critique spécifique au terrain et une distillation consciente de la vision, la méthode atteint des taux de réussite élevés et une efficacité énergétique sans nécessiter d'affinage dans le monde réel.

Cependant, les auteurs notent modestement une limitation : la descente d'escaliers reste moins robuste (86,7 % de réussite) que la montée (100 % de réussite). Ils attribuent cela à l'amplification gravitationnelle des erreurs mineures lors de la descente et à l'occlusion des points d'appui cibles par les bords des marches, ce qui exacerbe les artefacts d'appariement stéréo. Cette observation motive des travaux futurs sur la détection de profondeur à haute résolution en champ proche et des stratégies de placement de pied prédictives.