💻 computer science

Quadruped Parkour Learning: Sparsely Gated Mixture of Experts with Visual Input

Cette étude démontre que l'application d'architectures de mélange d'experts à portes clairsemées (MoE) aux politiques de contrôle visuelles pour la parkour robotique améliore significativement la performance et l'efficacité computationnelle par rapport aux réseaux de neurones denses classiques lors de la navigation sur des terrains difficiles.

Auteurs originaux : Michael Ziegltrum, Jianhao Jiao, Tianhu Peng, Chengxu Zhou, Dimitrios Kanoulas

Publié 2026-04-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Michael Ziegltrum, Jianhao Jiao, Tianhu Peng, Chengxu Zhou, Dimitrios Kanoulas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🤖 Le Robot Parkour : Quand l'IA apprend à sauter comme un humain

Imaginez un petit robot chien (un "quadrupède") qui doit traverser un parcours du combattant rempli de gros obstacles, de marches hautes et de trous. C'est ce qu'on appelle le parkour robotique. C'est difficile ! Le robot ne doit pas seulement marcher, il doit sauter, grimper et s'adapter en temps réel.

Jusqu'à présent, les robots faisaient cela avec un "cerveau" un peu rigide : une seule grosse chaîne de calculs (appelée MLP) qui traitait tout de la même manière, comme un ouvrier qui fait toujours le même geste, même si la situation change.

Les chercheurs de l'University College London (UCL) ont eu une idée géniale : et si le cerveau du robot fonctionnait comme une équipe d'experts ?

🧠 L'Analogie : Le Restaurant "À la Carte" vs Le Buffet

Pour comprendre la différence entre l'ancienne méthode et la nouvelle, imaginons deux types de restaurants :

L'ancien robot (MLP classique) : C'est un buffet à volonté. Peu importe si vous voulez un petit café ou un énorme gâteau, le serveur vous sert tout le buffet en même temps. C'est lourd, ça consomme beaucoup d'énergie, et c'est lent. Le robot utilise toute sa puissance de calcul pour chaque mouvement, même quand il n'en a pas besoin.
Le nouveau robot (MoE - Mélange d'Experts) : C'est un restaurant à la carte avec une équipe de chefs.
- Il y a 16 chefs différents (les "experts") dans la cuisine.
- Mais à chaque fois qu'un client commande, un maître d'hôtel intelligent (la "porte d'entrée" ou gating) regarde la commande.
- Si le client veut un steak, le maître d'hôtel n'envoie la commande qu'au chef grilladin. Il ne réveille pas le chef pâtissier ni le chef poissonnier.
- Résultat : Le robot ne fait travailler que 4 experts sur les 16 à chaque instant. C'est beaucoup plus rapide, plus économe en énergie, et chaque expert devient un spécialiste de son domaine.

🚀 Ce que les chercheurs ont découvert

Ils ont testé cette idée sur un vrai robot (le Unitree Go2) avec une caméra pour voir le monde (comme des yeux). Voici les résultats magiques :

Double de réussite : Face à un obstacle très haut (80% de la taille du robot), le robot avec l'équipe d'experts a réussi à sauter deux fois plus souvent que le robot avec l'ancien cerveau rigide.
La vitesse compte : Pour que l'ancien robot fasse aussi bien, il aurait fallu le rendre énorme (beaucoup plus gros et lourd). Mais même avec cette taille, il était 14% plus lent à réfléchir. Le nouveau robot est à la fois plus fort et plus rapide.
Des spécialistes de la danse : En regardant comment les "experts" travaillaient, les chercheurs ont vu que certains experts prenaient le relais exactement au bon moment du cycle de marche (quand la patte touche le sol, quand elle se lève, etc.). C'est comme si le robot avait appris à danser en faisant confiance à des spécialistes pour chaque pas.

👁️ Le défi de la vision (Les yeux du robot)

Le vrai défi, c'est que le robot doit voir le monde réel, pas juste un dessin sur un écran.

Le problème : Les images de la caméra sont souvent floues, avec de la poussière ou des reflets (comme quand on regarde à travers une vitre sale).
La solution : Les chercheurs ont entraîné le robot dans un simulateur en lui donnant volontairement des images "sales" et bruyantes. C'est comme entraîner un pilote de course sur un circuit boueux pour qu'il soit prêt à rouler sous la pluie. Grâce à cela, le robot a pu réussir son parcours même dans un skate-park en plein soleil, avec des ombres et des lumières changeantes.

🏁 En résumé

Cette recherche montre que pour faire faire des acrobaties à un robot, il ne faut pas juste le rendre plus gros. Il faut le rendre plus intelligent dans la façon dont il utilise son énergie.

En utilisant une architecture de type "Mélange d'Experts" (où le robot active seulement les parties de son cerveau nécessaires à la tâche précise), ils ont créé un robot plus agile, plus rapide et capable de sauter par-dessus des obstacles que les modèles précédents ne pouvaient pas gérer.

C'est un peu comme passer d'un marteau-piqueur géant (qui fait tout mais est lent) à une boîte à outils où l'on choisit le bon outil pour le bon travail : c'est plus efficace, plus élégant, et ça permet d'aller plus loin !

1. Problématique et Contexte

Le parkour robotique (sauts, escalade de marches, franchissement d'obstacles) représente un défi majeur pour la locomotion des robots quadrupèdes, nécessitant des mouvements dynamiques et une interaction complexe avec l'environnement.

Limites des approches actuelles : La plupart des méthodes actuelles reposent sur des architectures de réseaux de neurones séquentiels standard, spécifiquement des Perceptrons Multicouches (MLP) avec des couches densément activées. Ces architectures activent tous les paramètres à chaque inférence, ce qui limite l'évolutivité (scaling) et l'efficacité computationnelle.
Opportunité : Le domaine des grands modèles de langage (LLM) a démontré l'efficacité des Mélanges d'Experts (MoE) à portes clairsemées (sparsely gated). Ces architectures n'activent qu'un sous-ensemble de paramètres à chaque étape d'inférence, permettant d'augmenter la capacité du modèle sans augmenter proportionnellement le coût computationnel.
Objectif : L'article vise à appliquer cette architecture MoE à la locomotion robotique basée sur la vision (vision-based parkour) pour améliorer la robustesse et l'efficacité, en particulier dans des environnements réels bruyants et non structurés.

2. Méthodologie

L'approche proposée combine l'apprentissage par renforcement (RL) avec une architecture MoE et un pipeline de perception visuelle.

A. Architecture du Réseau (MoE Actor)

Structure : L'acteur (policy) est composé de trois couches séquentielles. La couche centrale est un MoE à portes clairsemées, encadré par deux couches linéaires avec une fonction d'activation ELU.
Mécanisme MoE :
- Le modèle contient $n=16$ experts (matrices de poids simples).
- À chaque inférence, un mécanisme de porte (gating network) sélectionne les $k=4$ experts les plus pertinents pour l'observation donnée.
- Cela permet une computation conditionnelle : seuls 4 experts sur 16 sont activés, réduisant la charge computationnelle tout en augmentant la capacité totale du modèle.
- Une fonction de perte de « load balancing » est ajoutée pour encourager la diversité et éviter que certains experts ne dominent le processus d'apprentissage.

B. Pipeline d'Observation et Entraînement en Deux Phases

L'entraînement suit une stratégie en deux phases pour combler l'écart simulation-réalité (Sim-to-Real) :

Phase 1 (Simulation avec informations privilégiées) :
- Le robot a accès à des informations « privilégiées » (position du centre de masse, coefficients de friction, forces motrices, cartes de hauteur exactes via des « scandots »).
- L'architecture utilise un MLP pour encoder les cartes de hauteur.
- L'entraînement se fait via PPO (Proximal Policy Optimization).
Phase 2 (Distillation vers la réalité) :
- Les informations privilégiées sont remplacées par des estimations déduites de l'historique des observations proprioceptives (via des estimateurs supervisés).
- Perception visuelle : Les cartes de hauteur sont remplacées par des images de profondeur (Depth Images) encodées par une unité récurrente (GRU).
- Pipeline de profondeur : Pour simuler le bruit des capteurs réels (Intel Realsense D435f), les images simulées subissent un prétraitement incluant : recadrage, ajout d'artefacts, flou gaussien et normalisation.

C. Environnement et Matériel

Robot : Unitree Go2 équipé d'une caméra de profondeur.
Environnement : Simulation dans Isaac Gym avec randomisation de domaine (bruit sur les capteurs, friction, masses, etc.).
Déploiement : Le contrôle s'effectue hors du robot (sur un GPU Nvidia RTX 2060) avec une fréquence de 15 Hz pour les images.

3. Contributions Clés

Cadre MoE pour le Parkour : Introduction d'une architecture MoE à portes clairsemées dans le contexte de la locomotion quadrupède basée sur la vision, une première pour ce domaine spécifique.
Intégration Visuelle Robuste : Incorporation d'un pipeline de traitement d'images de profondeur (avec simulation de bruit et d'artefacts) directement dans l'architecture d'apprentissage.
Déploiement Réel : Validation réussie sur un robot réel (Unitree Go2) dans des conditions extérieures complexes (parcours d'obstacles, lumière naturelle, passages étroits), démontrant une robustesse supérieure aux approches MLP classiques.

4. Résultats Expérimentaux

Les expériences ont été menées sur un obstacle de 32 cm (80 % de la hauteur du robot) et en extérieur.

Performance de Franchissement :
- La politique MoE a réussi 10/10 essais sur l'obstacle de 32 cm.
- Une politique MLP standard de taille équivalente (en nombre de paramètres actifs à l'inférence) n'a réussi que 5/10 essais.
- Pour égaler la performance du MoE, un MLP standard doit être augmenté en taille jusqu'à ce que son nombre total de paramètres égale celui du modèle MoE complet (MoE top4/16). Cependant, ce MLP « Extra-Large » est 14,3 % plus lent en temps d'inférence que le MoE.
Efficacité Computationnelle : Le MoE offre un meilleur compromis performance/coût. Il permet d'avoir un modèle plus grand (plus de paramètres totaux) sans pénaliser la vitesse d'exécution, grâce à la sparsité.
Analyse des Experts :
- L'analyse des poids des experts révèle une spécialisation cyclique : certains experts sont activés de manière préférentielle à des moments spécifiques du cycle de marche (phase de contact, phase de vol).
- Un expert spécifique (index 7) s'est révélé très sensible aux données de profondeur (latent de profondeur) mais peu utilisé, suggérant une spécialisation pour des tâches de perception spécifiques plutôt que pour le cycle de marche lui-même.
Études d'Ablation :
- L'ajout de bruit dans les observations est crucial pour la robustesse en conditions réelles.
- L'adaptation en ligne régulée (ROA) pour estimer les propriétés physiques (friction, masse) est également essentielle au succès.

5. Signification et Conclusion

Cette étude démontre que les architectures MoE à portes clairsemées, initialement développées pour les LLM, sont hautement transférables et bénéfiques pour la robotique dynamique.

Avantage Principal : Elles permettent de scaler la capacité des politiques de contrôle (en ajoutant plus d'experts) sans augmenter le temps de calcul à l'inférence, offrant ainsi une meilleure robustesse face aux terrains complexes et imprévisibles.
Impact : Les résultats montrent une amélioration significative de la réussite des tâches de parkour (doublement des succès par rapport à un MLP de même taille active) et une capacité à opérer dans des environnements extérieurs non contrôlés.
Perspectives : L'article ouvre la voie à une spécialisation plus fine des experts (liée à des obstacles spécifiques ou des phases de mouvement) et suggère que l'efficacité computationnelle via la sparsité est une voie prometteuse pour le déploiement de robots autonomes complexes.