⚡ electrical engineering

HuMam: Humanoid Motion Control via End-to-End Deep Reinforcement Learning with Mamba

HuMam est un cadre d'apprentissage par renforcement de bout en bout centré sur l'état pour la locomotion humanoïde qui exploite un encodeur Mamba à une seule couche pour fusionner les états du robot avec les cibles de pas et une horloge de phase, atteignant une stabilité d'entraînement, une efficacité et des économies d'énergie supérieures par rapport aux bases de référence de type feedforward sur le robot JVRC-1.

Auteurs originaux : Yinuo Wang, Yuanyang Qi, Jinzhao Zhou, Pengxiang Meng, Xiaowen Tao

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Yinuo Wang, Yuanyang Qi, Jinzhao Zhou, Pengxiang Meng, Xiaowen Tao

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Apprendre à un robot à marcher sans « trop réfléchir »

Imaginez que vous essayez d'apprendre à un robot comment marcher. Le robot possède deux jambes, un torse et 12 articulations dans ses jambes. Pour marcher, il doit coordonner parfaitement toutes ces articulations tout en équilibrant son poids, en réagissant au sol et en suivant un chemin.

Habituellement, quand nous enseignons cela aux robots, nous utilisons un « cerveau » (un réseau de neurones) qui observe la situation actuelle et décide de ce qu'il faut faire ensuite. Le problème est que beaucoup de ces cerveaux sont soit trop simples (ils ratent des détails importants), soit trop lourds et lents (ils demandent trop de puissance informatique pour fonctionner).

Les auteurs de cet article ont construit un nouveau cerveau appelé HuMam. Quel est le ingrédient secret ? Ils ont utilisé une nouvelle architecture d'IA appelée Mamba.

L'analogie : Le « Chef d'orchestre intelligent » contre l'« Orchestre chaotique »

Considérez le corps du robot comme un orchestre avec 12 instruments différents (les articulations des jambes).

L'ancienne méthode (Référence) : Le chef d'orchestre (l'IA) regarde la partition, mais il oublie les notes qu'il vient de jouer. Il essaie de deviner la note suivante en se basant uniquement sur l'instant présent. Parfois, il se trompe de rythme, l'orchestre trébuche et le robot tombe.
La méthode Huam : Le chef d'orchestre utilise un système Mamba. Ce n'est pas seulement un chef d'orchestre ; c'est un chef d'orchestre doté d'une mémoire parfaite et instantanée du flux de la musique. Il n'a pas besoin de relire toute la chanson depuis le début à chaque fois. Il sait exactement comment la dernière note se connecte à la suivante. Cela permet au robot de bouger avec fluidité, comme un danseur, plutôt que comme un marcheur maladroit.

Qu'est-ce qui rend HuMam spécial ?

1. Le cerveau « léger » (Mamba)

L'article affirme que c'est la première fois qu'une architecture Mamba est utilisée pour contrôler la marche d'un robot humanoïde.

La métaphore : Imaginez que vous portez un sac à dos lourd (un modèle d'IA complexe) en courant un marathon. Cela vous ralentit. HuMam utilise une couche « Mamba », qui est comme un sac à dos léger et de haute technologie. Il contient toutes les informations nécessaires, mais ne pèse presque rien. Cela signifie que le robot peut réfléchir plus vite et consommer moins de batterie.

2. La « fiche de score à six points » (Reward Shaping)

Pour enseigner au robot, l'ordinateur lui donne des points (récompenses) lorsqu'il fait les choses correctement. Les auteurs ont créé une « fiche de score » spécifique avec six éléments :

Ne pas piétiner : Gardez vos pieds délicatement sur le sol.
Balancer avec fluidité : Ne donnez pas de coups de jambes sauvages.
Atteindre la cible : Posez le pied exactement là où vous l'aviez prévu.
Se tenir droit : Gardez la tête haute et le dos droit.
Rester à la bonne hauteur : Ne vous accroupissez pas trop bas et ne vous tenez pas trop haut.
Ne pas vaciller : Gardez le haut du corps stable.

Le robot essaie d'obtenir le score le plus élevé possible sur cette fiche. Comme le cerveau Mamba est si doué pour relier ces points, le robot apprend à équilibrer ces six objectifs à la fois sans en sacrifier un pour l'autre.

Les résultats : Plus rapide, plus fluide et plus écologique

Les chercheurs ont testé HuMam sur un robot virtuel nommé JVRC-1 dans une simulation informatique. Ils ont comparé HuMam à un cerveau de robot standard (la Référence) qui n'utilise pas Mamba. Voici ce qui s'est passé :

Apprentissage plus rapide : Huam a appris à marcher beaucoup plus vite. Il a eu besoin de 13 % à 42 % de tentatives d'entraînement en moins pour atteindre le même niveau de compétence que l'autre robot.
- Analogie : Si l'ancien robot avait besoin de pratiquer la marche pendant 100 heures pour devenir bon, Huam n'en a eu besoin que de 60 heures.
Plus stable : L'apprentissage de l'ancien robot était « saccadé » — parfois il devenait très bon, puis soudainement moins bon. Huam était constant.
- Analogie : L'ancien robot était comme un élève qui réussit un examen un jour et échoue le lendemain. Huam était l'élève qui obtenait un A à chaque fois.
Efficacité énergétique : C'est un point crucial. Huam a utilisé moins d'électricité pour parcourir la même distance.
- Analogie : L'ancien robot était comme un SUV gourmand en essence qui fait rugir son moteur. Huam est comme une voiture hybride qui glisse silencieusement. Dans le test de « Station debout », Huam a utilisé 39 % de puissance en moins juste pour rester droit.
Articulations plus fluides : Les articulations du robot (hanches, genoux, chevilles) bougeaient avec moins de force brusque.
- Analogie : Les articulations de l'ancien robot ressemblaient à une charnière rouillée ; celles de Huam ressemblaient à une porte bien huilée.

L'essentiel

L'article soutient qu'en utilisant ce nouveau cerveau « Mamba », ils ont créé un contrôleur de robot qui est :

Plus léger (utilise moins de puissance informatique).
Plus intelligent (apprend plus vite et de manière plus constante).
Plus écologique (consomme moins d'énergie).

Ils ont prouvé avec succès que vous n'avez pas besoin d'un cerveau informatique massif et lourd pour faire bien marcher un robot. Parfois, un cerveau « Mamba » léger et efficace est tout ce dont vous avez besoin pour faire traverser la pièce à un robot en dansant.

Note : L'article se concentre entièrement sur des simulations informatiques (robots virtuels). Il ne prétend pas avoir testé cela sur un vrai robot physique pour le moment, bien qu'il mentionne que c'est un objectif pour des travaux futurs.

Résumé Technique : HuMam – Contrôle de Mouvement Humanoïde via l'Apprentissage par Renforcement Profond de Bout en Bout avec Mamba

1. Énoncé du Problème

La locomotion humanoïde présente des défis uniques par rapport aux systèmes quadrupèdes ou à roues, principalement en raison de centres de gravité plus élevés, de la dynamique couplée du haut et du bas du corps, et d'exigences strictes en matière de sécurité. Bien que l'apprentissage par renforcement (RL) de bout en bout offre une cartographie perception-action compacte, le déploiement pratique souffre souvent d'instabilité d'entraînement, d'une fusion de caractéristiques inefficace et de coûts d'actionnement élevés.

Les approches existantes font face à des limitations spécifiques :

Les architectures de type feedforward exploitent souvent mal les données d'observation structurées, telles que la phase de marche et les cibles de pas orientées.
Les modèles séquentiels lourds (par exemple, les Transformers ou les RNN profonds) imposent des compromis calcul-mémoire défavorables, entravant le déploiement embarqué en temps réel.
La dynamique d'entraînement présente fréquemment de l'instabilité, une forte variance entre les graines (seeds) et une utilisation inefficace des échantillons, menant à des politiques qui sont soit instables, soit peu économes en énergie.

Le document traite du besoin d'un contrôleur qui soit à la fois prévoyant (coordonnant le placement des pieds et l'équilibre) et conscient des ressources (opérant dans les limites de calcul et d'actionnement embarqués) sans dépendre de l'accumulation explicite d'un historique temporel.

2. Méthodologie : Le Cadre HuMam

Les auteurs proposent HuMam, un cadre de RL de bout en bout centré sur l'état, conçu pour la marche humanoïde. L'innovation centrale réside dans l'adoption d'un encodeur Mamba à couche unique comme architecture de fusion légère.

2.1. Espace d'Observation

L'agent reçoit un ensemble riche d'observations à chaque pas de temps, divisé en deux catégories :

États centrés sur le robot : Positions et vitesses articulaires pour les 12 articulations de jambes actionnées, orientation de la racine (roulis, tangage), et vitesse angulaire (roulis, tangage, lacet). Le lacet global est exclu car les pas sont définis par rapport au référentiel de la racine.
Guidage externe : Deux cibles de pas orientées ( $T_1, T_2$ ) définies par une position 3D et un cap, ainsi qu'une horloge de phase continue encodant le cycle de marche ( $\sin, \cos$ ) pour éviter les discontinuités associées à un encodage de phase scalaire.

2.2. Architecture : Encodeur Mamba à Couche Unique

Contra अ l'utilisation de conceptions récurrentes ou basées sur l'attention qui accumulent un historique temporel, HuMam repose uniquement sur l'état actuel mais utilise la dynamique d'espace d'état sélective de Mamba pour capturer les dépendances structurées entre les modalités d'entrée.

Tokenisation : Les états du robot et externes sont concaténés et projetés dans des plongements (embeddings) spécifiques à la modalité.
Encodage d'Espace d'État : Une couche Mamba unique applique une dynamique d'espace d'état à porte (gated) à ces tokens. Cette formulation fournit une vue convolutionnelle avec des noyaux à décroissance exponentielle, permettant un mélange de caractéristiques efficace sans récurrence temporelle explicite.
Sortie : La représentation encodée est agrégée en un vecteur de caractéristiques compact partagé par les têtes de politique et de valeur.

2.3. Hiérarchie de Contrôle et Espace d'Action

Espace d'Action : La politique de haut niveau (tournant à 40 Hz) produit les cibles de position articulaires souhaitées pour les 12 articulations de jambes actionnées.
Exécution de Bas Niveau : Un contrôleur Proportionnel-Dérivé (PD) à faible gain (tournant à 1000 Hz) convertit ces cibles de position en couples articulaires exécutables. Cette structure hiérarchique assure une exécution fluide des couples et maintient le problème d'apprentissage bien conditionné.

2.4. Mise en Forme de la Récompense (Reward Shaping)

Le cadre utilise une fonction de récompense concise à six termes optimisée via l'Optimisation de Politique Proximale (PPO) pour équilibrer la stabilité, la précision et l'efficacité énergétique :

Force du Pied ( $R_{force}$ ) : Pénalise les forces de réaction au sol excessives.
Vitesse du Pied ( $R_{vel}$ ) : Encourage des mouvements fluides de la jambe pendante.
Précision du Pas ( $R_{step}$ ) : Récompense un placement précis du pied par rapport aux cibles.
Orientation ( $R_{orient}$ ) : Aligne l'orientation de la racine avec le cap souhaité.
Hauteur du Corps ( $R_{height}$ ) : Maintient une hauteur de buste nominale.
Stabilité du Haut du Corps ( $R_{upper}$ ) : Minimise l'oscillation du haut du corps.

3. Principales Contributions

Le document souligne quatre contributions principales :

Premier Contrôleur RL Humanoïde basé sur Mamba : Introduit Mamba comme un squelette de fusion léger pour la locomotion humanoïde de bout en bout, démontrant qu'une seule couche suffit pour une performance robuste dans un contexte centré sur l'état.
Efficacité du Backbone : Montre que l'encodeur Mamba permet un apprentissage plus rapide, une meilleure efficacité d'échantillonnage et une réduction de la variabilité entre les graines par rapport à une base feedforward entraînée de manière identique.
Mise en Forme de Récompense Sensible à l'Énergie : Propose une récompense à six termes qui régule conjointement les forces de contact, les vitesses de balancement, la précision des pas et la stabilité du corps, favorisant implicitement l'efficacité énergétique.
Validation Empirique Étendue : Valide le cadre sur l'humanoïde JVRC-1 à travers diverses tâches (marche avant, arrière, courbe, latérale et station debout) dans l'environnement mc-mujoco.

4. Résultats Expérimentaux

Les expériences ont été menées sur l'humanoïde JVRC-1 (1,72 m, 62 kg) en utilisant mc-mujoco. HuMam a été comparé à une base de référence feedforward robuste sous des conditions d'entraînement identiques.

4.1. Efficacité d'Apprentissage et Stabilité

Efficacité d'Échantillonnage : HuMam a nécessité 15,8 M d'échantillons pour atteindre un retour de 240, contre 18,2 M pour la base de référence (amélioration de 13,2 %). À un seuil plus élevé (retour 260), l'amélioration est de 42,5 % (20,2 M vs 35,0 M d'échantillons).
Stabilité : HuMAM a réduit la déviation de la courbe d'apprentissage entre les graines de 35,4 % et la variance de fin d'entraînement de 61,0 %, indiquant une convergence plus fiable.
Performance : La performance de pointe a augmenté de 5,8 % (269,85 à 285,50) et le retour moyen sur les derniers 10 % de l'entraînement s'est amélioré de 5,5 %.

4.2. Profils de Récompense et de Couple

Composantes de Récompense : HuMam a atteint une récompense moyenne par étape plus élevée (0,737 contre 0,728), avec des améliorations notables dans la régulation de la force du pied et la fluidité de la vitesse.
Réduction de Couple : Le cadre a réduit les magnitudes moyennes de couple articulaire de 9,6 % et les couples de pointe de 9,1 %. Des articulations spécifiques, telles que le tangage de la hanche gauche et le tangage de la cheville droite, ont vu des réductions significatives (jusqu'à 40 % de réduction du couple moyen pour la cheville).

4.3. Efficacité Énergétique

HuMam a démontré une économie d'énergie supérieure lors des tâches dynamiques :

Station debout : Réduction de la consommation d'énergie moyenne de 57,48 W à 35,08 W (diminution de 39 %).
Marche Avant : Réduction du coût énergétique de 673 J/m à 421 J/m.
Marche Latérale : Réduction du coût énergétique de 1395 J/m à 963 J/m.
Puissance par Masse : Valeurs de W/kg systématiquement plus basses pour toutes les tâches, avec une réduction moyenne de 1,92 W/kg (base de référence) à 1,38 W/kg (HuMam).

5. Signification et Revendications

Les auteurs affirment que HuMam représente le premier contrôleur RL humanoïde de bout en bout adoptant Mamba comme squelette de fusion. Le document soutient que cette architecture apporte des gains tangibles dans trois domaines critiques :

Efficacité : Atteindre une performance supérieure avec moins d'échantillons d'entraînement et une charge de calcul moindre grâce à la complexité quasi-linéaire de l'encodeur Mamba à couche unique.
Stabilité : Réduire la variance de l'apprentissage et produire des démarches plus fluides et plus robustes à travers divers scénarios de locomotion.
Économie de Contrôle : Générer des politiques qui nécessitent moins de couple et d'énergie, les rendant plus adaptées au déploiement réel sur du matériel doté de budgets énergétiques limités.

Le travail conclut que le squelette Mamba est un encodeur efficace pour l'apprentissage de politiques compactes centrées sur l'état, permettant la synthèse de comportements de marche humanoïdes naturels et stables sans dépendre d'un historique temporel explicite ou de modèles séquentiels lourds. Les travaux futurs sont orientés vers le déploiement matériel, le transfert sim-to-real et l'intégration de la perception embarquée.