Mixture-of-Experts RL for Fault-Tolerant Legged Locomotion

Résumé Technique : Apprentissage par Renforcement par Mélange d'Experts pour la Locomotion de Robots Quadrupèdes Tolérante aux Pannes

Énoncé du Problème
Les robots quadrupèdes sont de plus en plus essentiels pour l'exploration planétaire et les opérations à distance en raison de leur capacité à traverser des terrains non structurés. Cependant, un déploiement de longue durée dans ces environnements expose le matériel à une dégradation et à des défaillances d'actionneurs, ce qui peut gravement compromettre la mobilité. Bien que l'apprentissage par renforcement (RL) ait démontré une certaine robustesse pour la locomotion quadrupède, les politiques monolithiques conventionnelles peinent à représenter efficacement les diverses stratégies de contrôle requises pour différentes conditions de panne. Un réseau unique tentant d'encoder la perception du terrain, la locomotion standard et plusieurs comportements distincts de récupération de panne souffre souvent d'interférences de représentation et d'une efficacité d'apprentissage réduite, particulièrement lorsque la complexité des tâches augmente.

Méthodologie
Les auteurs proposent une architecture de contrôle modulaire sensible aux pannes qui exploite explicitement les informations de diagnostic de panne pour activer des experts de contrôle spécialisés. Contrairement aux approches classiques de Mélange d'Experts (MoE) qui reposent sur un réseau de routage appris pour inférer le mode de fonctionnement, ce cadre utilise des informations de panne explicites pour sélectionner l'expert approprié.

Le pipeline de contrôle se compose de trois composants principaux :

1. Politique de Mélange d'Experts Sensible aux Pannes : Le réseau de politique utilise un encodeur partagé pour traiter les observations proprioceptives (vitesses linéaires/angulaires de la base, projection de la gravité, positions/vitesses des articulations) et les cartes de hauteur visuelles du terrain. Au lieu d'un mécanisme de routage appris, le système emploie un mécanisme de sélection "one-hot" basé sur la condition de panne diagnostiquée $k$. Cela active un expert spécifique $\pi_k$ adapté à ce mode de défaillance tout en maintenant les autres experts inactifs. Cette conception réduit le coût d'inférence active ($C_{active} = C_{enc} + C_k$) par rapport au routage dense ($C_{dense} = C_{enc} + \sum C_k$).
2. Estimation d'État : Pour gérer la rupture des hypothèses basées sur des modèles lors de défaillances sévères (ex: traînage du corps), le cadre emploie un estimateur d'état basé sur l'apprentissage. Ce réseau neuronal prédit directement la vitesse linéaire de la base à partir d'observations sensorielles (incluant l'accélération de l'IMU) sans s'appuyer sur une modélisation explicite du contact, s'adaptant ainsi aux changements dynamiques induits par les défaillances d'actionneurs.
3. Détection de Panne : Un réseau neuronal dédié ($f_{fault}$) est entraîné comme un problème d'apprentissage supervisé pour identifier la condition de défaillance actuelle de l'actionneur à partir d'une fenêtre temporelle d'historique proprioceptif. Ce module fournit la distribution catégorielle des états de panne utilisée pour déclencher l'expert correspondant.

Le système a été entraîné via l'optimisation de politique proximale (PPO) au sein du framework IsaacLab sur un robot Unitree Go2. La fonction de récompense inclut des objectifs orientés vers la tâche (suivi de vitesse, hauteur/orientation de la base) et des termes de régularisation (énergie articulaire, lissage). Crucialement, des termes de récompense spécifiques sont dynamiquement activés ou désactivés en fonction du nombre de pattes défaillantes ($n_f$) afin d'adapter l'objectif d'apprentissage à la sévérité de la panne.

Contributions Clés

• Politique MoE Sensible aux Pannes : La proposition d'un cadre de RL modulaire où des experts spécialisés sont explicitement conditionnés par les défaillances d'actionneurs diagnostiquées, éliminant le besoin d'une fonction de routage apprise et permettant un calcul conditionnel.
• Efficacité sous Contraintes : Une évaluation démontrant que les politiques modulaires maintiennent des performances de locomotion compétitives même avec une capacité de réseau significativement réduite (variantes "Small"), surpassant les bases monolithiques de taille comparable.
• Reproductibilité : La publication du code associé pour fournir une base de référence reproductible pour la communauté.

Résultats
Les expériences ont été menées en simulation et sur un robot réel Unitree Go2 à travers quatre scénarios : Pas de Panne, Défaillance Avant-Gauche (LF), Défaillance Arrière-Gauche (LH), et défaillance simultanée Arrière-Gauche + Arrière-Droite (LH+RH).

• Comparaison de Performance : L'architecture MoE proposée a systématiquement surpassé les bases PPO monolithiques dans tous les scénarios de panne. Bien que les performances soient comparables en conditions nominales, l'avantage de l'approche MoE devient de plus en plus évident à mesure que la sévérité de la panne augmente. Dans le scénario le plus sévère (LH+RH Fail), où la locomotion nécessite des comportements de traînage distincts du trot standard, la politique MoE a obtenu des récompenses cumulées nettement plus élevées.
• Sensibilité à la Capacité du Réseau : Lorsque la capacité du réseau a été réduite (de l'architecture Large à Small), la base monolithique a subi une dégradation significative des performances. En revanche, l'architecture MoE a conservé une performance robuste, sa variante "Small" atteignant des résultats comparables à la base monolithique "Large". Cela suggère qu'une spécialisation structurée permet un apprentissage efficace même avec moins de paramètres actifs.
• Validation en Monde Réel : Le cadre a été déployé avec succès sur un robot physique, démontrant une traversée réussie de terrain rocheux en conditions nominales, une locomotion à trois pattes (LH Fail) et une locomotion de traînage à deux pattes (LH+RH Fail).

Signification et Limites
L'article soutient que la spécialisation explicite conditionnée par la panne offre une alternative supérieure au simple accroissement de la taille du modèle pour la locomotion tolérante aux pannes. L'architecture est particulièrement significative pour les plateformes robotiques à ressources de calcul limitées, telles que celles utilisées pour l'exploration spatiale, où les ressources embarquées sont restreintes. En découplant les comportements spécifiques aux pannes en experts dédiés, le système atteint une haute robustesse sans la surcharge de calcul d'un réseau monolithique massif.

Les auteurs reconnaissent modestement une limite concernant l'efficacité de l'échantillonnage. Comme les réseaux d'experts ne partagent pas tous les paramètres, les estimations de gradient de politique sont plus bruitées, car chaque expert n'est mis à jour que sur les trajectoires de sa condition de panne spécifique. Bien que les expériences actuelles (utilisant environ 4 096 agents par condition de panne) aient été suffisantes, le passage à un plus grand nombre de conditions de panne pourrait nécessiter des environnements de simulation supplémentaires ou des stratégies de partage de paramètres plus sophistiquées.