🤖 AI

CMR: Contractive Mapping Embeddings for Robust Humanoid Locomotion on Unstructured Terrains

Cet article introduit le cadre de travail CMR (Contractive Mapping for Robustness), qui améliore la locomotion des humanoïdes sur des terrains non structurés en projetant des observations bruitées dans un espace latent contractif via l'apprentissage contrastif et la régularisation de Lipschitz, démontrant ainsi théoriquement une limitation des écarts de rendement et surpassant empiriquement les algorithmes existants sous un bruit de capteur significatif.

Auteurs originaux : Qixin Zeng, Hongyin Zhang, Shangke Lyu, Junxi Jin, Donglin Wang, Chao Huang

Publié 2026-02-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qixin Zeng, Hongyin Zhang, Shangke Lyu, Junxi Jin, Donglin Wang, Chao Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot humanoïde essayant de marcher à travers une pièce chaotique et désordonnée, remplie de planches de sol inégales, d'obstacles aléatoires et de lumières vacillantes. Pour le robot, le monde est un flou de données confuses : ses capteurs sont bruyants, ses « yeux » (caméras et cartes de hauteur) buggent et son sens interne de l'équilibre est flou. Dans ce chaos, un robot normal pourrait trébucher, chanceler ou se figer parce qu'il surréagit à chaque petit bug de ses données.

Ce document présente une nouvelle méthode appelée CMR (Contractive Mapping for Robustness - Application contractante pour la robustesse) pour aider ces robots à marcher avec stabilité, même lorsque leurs sens font défaut. Voici comment cela fonctionne, expliqué par des analogies simples :

1. Le Problème : L'« Écho » du Bruit

Imaginez que vous essayez d'avoir une conversation dans une pièce où, chaque fois que quelqu'un parle, un écho fort répète ses paroles, mais de manière légèrement déformée. Si vous essayez de réagir à l'écho, la déformation s'aggrave de plus en plus à chaque répétition. Finalement, vous ne pouvez plus rien comprendre.

En robotique, c'est ce qui arrive avec le « bruit d'observation ». Si les capteurs d'un robot sont légèrement décalés (comme une carte de hauteur qui indique qu'une marche mesure 1 pouce de haut alors qu'elle en mesure réellement 2), un robot standard pourrait surcorriger. Cette surcorrection provoque une nouvelle erreur, qui provoque une autre surcorrection, menant à une chute. Le papier appelle cela une « amplification » des erreurs.

2. La Solution : L'Effet « Éponge »

Les auteurs proposent une nouvelle façon pour le robot de traiter l'information. Au lieu de réagir directement aux données bruitées et buggées, le robot passe d'abord ces données à travers un « filtre » ou une « éponge » spéciale appelée Embedding Contractile (Plongement Contractile).

Voyez cette éponge comme un amortisseur de voiture.

Sans l'éponge : Si vous heurtez une bosse, la voiture rebondit sauvagement.
Avec l'éponge : Si vous heurtez une bosse, l'amortisseur absorbe l'énergie. La voiture peut tanguer un peu, mais le tangage diminue de plus en plus jusqu'à disparaître.

Le CMR fait exactement cela pour les données. Il prend les données de capteurs désordonnées et de haute dimension (comme une grille de 15x15 d'informations de hauteur) et les comprime dans un espace « latent » plus simple. Dans ce nouvel espace, les petites erreurs (le bruit) rétrécissent naturellement au fil du temps au lieu de croître. Si le robot commet une petite erreur dans sa carte interne, la mathématique du CMR garantit que cette erreur sera « écrasée » plutôt qu'amplifiée lors du pas suivant du robot.

3. Comment il Apprend : La « Corde Raide » et la « Carte »

Pour construire cette éponge spéciale, les chercheurs ont utilisé deux astuces d'entraînement ingénieuses combinées en un seul système :

La Règle « Lipschitz » (La Corde Raide) : Imaginez un funambule qui promet que si son pied bouge d'un pouce, son corps ne bougera jamais de plus d'un pouce. Il ne se projettera pas soudainement de trois pieds vers la gauche. C'est ce qu'on appelle une « contrainte de Lipschitz ». Le robot est entraîné à promettre que de petits changements dans ce qu'il voit entraîneront uniquement des changements petits et contrôlés dans sa façon de bouger. Cela empêche les réactions brusques et saccadées aux bugs de capteurs.
L'Apprentissage Contrastif (La Carte) : Le robot doit aussi savoir ce qui est important. Imaginez que vous êtes dans une forêt brumeuse. Vous devez savoir qu'un arbre est un arbre, même si le brouillard le rend flou. Le robot utilise l'« apprentissage contrastif » pour s'assurer que deux vues similaires du sol (même si l'une est bruitée) sont toujours reconnues comme étant le même type de terrain. Il préserve la « forme » du monde tout en lissant le bruit.

4. Les Résultats : Marcher sur une Corde Raide dans une Tempête

Les auteurs ont testé cela sur un robot humanoïde Unitree G1 dans une simulation informatique. Ils ont soumis le robot à tout genre de chaos :

Capteurs Bruyants : Ils ont ajouté du bruit aléatoire à la vision et aux capteurs d'équilibre du robot.
Terrains Difficiles : Ils ont fait marcher le robot sur un sol inégal, des pierres de passage et des poutres d'équilibre.
Commandes Aléatoires : Ils ont ordonné au robot de marcher à des vitesses et dans des directions aléatoires.

Le Résultat :

Les autres robots (utilisant des méthodes standards) avaient tendance à trébucher, à gaspiller beaucoup d'énergie en agitant leurs membres ou à s'arrêter de bouger complètement lorsque le bruit était élevé.
Le robot CMR, lui, a continué de marcher. Il a parcouru une plus grande distance, a utilisé moins d'énergie et s'est déplacé de manière beaucoup plus fluide. Même lorsque le bruit était extrême, le robot n'a pas paniqué ; il a simplement continué à avancer.

5. Pourquoi cela Importe (Selon le Papier)

Le papier affirme que c'est la première fois que le concept mathématique de « Mapping Contractant » (l'idée que les choses se rapprochent au fil du temps) est appliqué avec succès pour enseigner à des robots comment marcher.

Ils ont prouvé mathématiquement que si un robot utilise cette méthode, l'écart entre la performance qu'il devrait avoir et la performance qu'il a réellement est strictement limité, même lorsque les capteurs sont médiocres. C'est comme avoir la garantie que, peu importe la météo, la suspension de votre voiture vous empêchera de percuter le plafond.

En bref : Le CMR apprend au robot à ignorer les « parasites » de ses capteurs et à se concentrer sur le rythme régulier de la marche, garantissant qu'il ne trébuche pas sur sa propre confusion.

Résumé technique : Plongements de mappage contractif pour une locomotion humanoïde robuste sur des terrains non structurés (CMR)

Problématique

Le rejet robuste des perturbations reste un défi critique pour la locomotion humanoïde, particulièrement dans les environaux non structurés caractérisés par des irrégularités de terrain, des perturbations d'actionnement et des capteurs peu fiables. Bien que les données de perception (ex: cartes de hauteur) améliorent la connaissance du terrain, le bruit des capteurs et les écarts sim-to-real peuvent déstabiliser les politiques de contrôle. Les approches existantes présentent des limitations significatives :

Les contrôleurs basés sur des modèles (ex: ZMP, LIP) reposent sur des hypothèses restrictives (hauteur fixe du CoM, dynamique simplifiée) et peinent face à l'incertitude de mesure.
Les méthodes basées sur l'apprentissage échouent souvent à maintenir la robustesse lorsque les capteurs exteroceptifs introduisent du bruit, notamment sur des terrains complexes comme des escaliers ou des poutres d'équilibre.
Les techniques de robustesse actuelles, telles que les filtres passe-bas ou les récompenses de lissage, nécessitent un réglage extensif, réduisent la capacité d'exploration et échouent souvent à se généraliser à divers systèmes robotiques.
Les méthodes de contrôle de sensibilité existantes (ex: contraintes de Lipschitz via des pénalités de gradient) sont souvent limitées à des comportements de marche basiques sur des terrains de faible complexité.

Le problème central abordé est l'absence d'une méthode systématique pour assurer la robustesse contre le bruit d'observation dans des tâches de locomotion humanoïde à haut degré de liberté (DOF) sans sacrifier la performance de la tâche ou nécessiter un effort d'ingénierie prohibitif.

Méthodologie

Les auteurs proposent le Contractive Mapping for Robustness (CMR), un cadre qui projette des observations de haute dimension et sujettes aux perturbations dans un espace latent où les perturbations locales sont atténuées au fil du temps.

Fondement théorique

L'approche est ancrée dans le Théorème du point fixe contractant (Contraction Mapping Theorem). Les auteurs dérivent des bornes théoriques sur l'écart de rendement (dégradation de la performance) sous l'effet du bruit d'observation :

Systèmes standards : Dans les systèmes avec des constantes de Lipschitz $L_f \geq 1$ , le bruit d'observation peut entraîner une croissance exponentielle de l'erreur sur l'horizon temporel $H$ , causant une grave dégradation des performances.
Systèmes contractants : En projetant les états dans un espace latent avec un facteur de contraction $0 < \kappa < 1$ , le cadre garantit que les différences entre les trajectoires rétrécissent au fil du temps. L'analyse théorique (Théorème 2) établit que l'écart de rendement est borné par $O(\frac{\eta}{1-\kappa})$ , où $\eta$ borne l'écart d'action attendu. Crucialement, cette borne est indépendante de la longueur de l'horizon $H$ , offrant une robustesse supérieure sur le long terme par rapport aux approches non contractantes.

Architecture du cadre

Le cadre CMR intègre trois composants clés dans un pipeline standard de Deep Reinforcement Learning (RL) (spécifiquement l'Optimisation de Politique Proximale ou PPO) :

Apprentissage de représentation contrastive : Utilise une perte InfoNCE pour préserver la discrimination sémantique, garantissant que l'espace latent conserve une géométrie pertinente pour la tâche et évite une perte d'information excessive.
Régularisation de Lipschitz : Introduit un terme de perte spécifique ( $L_{Lipschitz}$ ) pour contraindre explicitement l'évolution des différences dans l'espace d'immersion, imposant la propriété de contraction ( $\kappa < 1$ ).
Optimisation conjointe : L'objectif d'entraînement total combine la perte PPO, la perte contrastive et la régularisation de Lipschitz :
$L_{CMR} = L_{InfoNCE} + \lambda \cdot L_{Lipschitz} + L_{PPO}$
où $\lambda$ équilibre la discrimination sémantique et la contraction dynamique.

Détails de mise en œuvre

Observations : Le système traite des données proprioceptives bruitées (positions/vitesses articulaires, pose de la base) et des données exteroceptives (cartes d'élévation égocentrées).
Injection de bruit : Pendant l'entraînement, du bruit est injecté dans les observations de perception pour simuler la dégradation du monde réel.
Compatibilité : La formulation agit comme un terme de perte auxiliaire, ne nécessitant qu'une modification minimale des pipelines de deep RL existants.

Contributions clés

Nouveau cadre : Introduction de CMR, un cadre d'immersion contractive qui atténue systématiquement les perturbations d'observation tout en préservant la structure pertinente de la tâche.
Avancée théorique : Première application du théorème de la contraction mapping à la locomotion humanoïde par apprentissage, fournissant des bornes rigoureuses sur les écarts de rendement induits par le bruit.
Intégration pratique : Développement d'un système d'entraînement simple et efficace qui s'intègre de manière transparente aux pipelines de deep RL modernes, permettant un contrôle robuste avec un effort technique minimal.

Résultats expérimentaux

Des expériences approfondies ont été menées sur le robot humanoïde Unitree G1 en simulation (Isaac Gym et MuJoCo) sur divers terrains (sol inégal, pierres de passage, poutres d'équilibre) et différents niveaux de bruit.

Rejet du bruit : Sous des conditions de bruit élevé (Cas de bruit I et III-V), CMR surpasse significativement les bases de comparaison (HIM, LCP, PPO naïf). Il maintient une locomotion stable, atteint des distances de parcours plus longues et présente une consommation de puissance articulaire plus faible ainsi que des actions de contrôle plus fluides.
Généralisation (Sim-to-Sim) : Dans des scénarios de transfert zero-shot d'Isaac Gym vers MuJoCo sous des perturbations bruitées, CMR démontre un suivi de commande et une efficacité énergétique supérieurs par rapport à la base de comparaison HIM.
Études d'ablation : L'analyse des hyperparamètres ( $\tau$ , $\lambda$ , $\kappa$ ) a confirmé un compromis entre la précision de la trajectoire et la consommation d'énergie, validant la configuration par défaut choisie comme un compromis équilibré.
Visualisation de l'espace latent : Les visualisations t-SNE ont révélé que les trajectoires de l'espace latent de CMR présentent nettement moins de déviations sous l'effet du bruit par rapport aux bases de comparaison, confirmant les propriétés d'auto-stabilisation de l'espace contractant.

Signification et affirmations

L'article affirme que CMR représente une étape importante vers un contrôle robuste des humanoïdes en :

Abordant systématiquement la robustesse au bruit dans des tâches de locomotion complexes, un domaine précédemment identifié comme un problème de recherche ouvert.
Fournissant des garanties théoriques qui limitent la dégradation des performances due au bruit d'observation, dépassant le simple réglage heuristique.
Permettant un potentiel de transfert sim-to-real en apprenant des plongements d'état contractifs qui limitent de manière prouvable la propagation du bruit.

Les auteurs notent que bien que le travail actuel se concentre sur la simulation, ils vérifient les performances de transfert via des expériences sur robot réel pour renforcer la crédibilité pratique. Les travaux futurs visent à incorporer une perception multimodale (ex: caméras de profondeur) pour gérer des terrains encore plus précis et complexes.