Gain Tuning Is Not What You Need: Reward Gain Adaptation for Constrained Locomotion Learning

Résumé Technique : Adaptation du Gain de Récompense pour l'Apprentissage de la Locomotion Contrainte

Énoncé du Problème
Les techniques existantes d'apprentissage de la locomotion robotique, particulièrement celles basées sur l'Apprentissage par Renforcement (RL), font face à deux défis critiques. Premièrement, elles dépendent fortement de la sélection hors ligne des gains de pondération des récompenses, un processus chronophage qui nécessite un réglage intensif des hyperparamètres et qui produit souvent des résultats sous-optimaux si les valeurs sont mal sélectionnées. Deuxièmement, les approches de RL traditionnelles sont sujettes aux violations de contraintes (par exemple, la chute ou le dépassement des limites physiques) pendant le processus d'apprentissage en raison de l'exploration aléatoire. Bien que des techniques de RL Contraint (CRL) existent pour assurer la sécurité, beaucoup souffrent encore de violations de contraintes pendant l'apprentissage ou nécessitent des formulations mathématiques complexes (par exemple, les Fonctions de Barrière de Contrôle) et une optimisation itérative (par exemple, les méthodes primal-dual) qui retardent l'ajustement des gains de pénalité. Par conséquent, atteindre une violation de contrainte proche de zéro tout en maximisant la performance sur des robots physiques réels reste un défi non résolu.

Méthodologie : ROGER
Les auteurs proposent ROGER (Reward-Oriented Gains via Embodied Regulation), une méthode qui adapte les gains de pondération des récompenses en ligne sur la base des pénalités reçues lors de l'interaction incarnée, éliminant ainsi le besoin de réglages hors ligne extensifs.

• Mécanisme Central : ROGER équilibre dynamiquement le ratio entre les récompenses positives (objectifs de la tâche primaire) et les récompenses négatives (pénalités de contrainte).
  • Lorsque le robot se trouve dans des états sûrs (loin des seuils de contrainte), le ratio favorise la récompense primaire pour donner la priorité à la performance.
  • À mesure que le robot approche des seuils de contrainte, le ratio bascule automatiquement pour augmenter les gains de pénalité et réduire les gains primaires, décourageant ainsi efficacement les actions dangereuses.
• Formulation Mathématique : La méthode utilise une configuration à canaux de récompenses multiples où les récompenses et les pénalités sont stockées indépendamment. À chaque pas de temps $t$, les gains de pondération sont calculés comme suit :
  • $\lambda_{0t} = 1 - \Delta_t$ (Gain de la récompense primaire)
  • $\lambda_{it} = r_{\lambda_{it}} \Delta_t$ (Gain de pénalité pour la contrainte $i$)
  • Ici, $\Delta_t$ est une sommation tronquée des pénalités de contrainte estimées par rapport à leurs seuils ($\tau$), garantissant que la somme des gains est égale à 1. Le ratio de contribution $r_{\lambda_{it}}$ distribue les poids de pénalité en fonction de la sévérité des violations de contraintes spécifiques.
• Hyperparamètres : L'approche repose sur des hyperparamètres intuitifs, spécifiquement les seuils de contrainte ($\tau$) dérivés des limites physiques du système (par exemple, l'orientation matérielle maximale), plutôt que sur des coefficients de pénalité complexes qui nécessitent une recherche par grille.
• Intégration : ROGER est conçu comme un mécanisme d'ajout aux cadres d'apprentissage existants (par exemple, AGOL pour les quadrupèdes, PPO pour les robots hopper), adaptant la structure de la récompense en temps réel sans modifier l'algorithme de mise à jour de la politique sous-jacente.

Contributions Clés

1. Satisfaction des Contraintes : ROGER garantit des violations de contraintes proches de zéro tout au long du processus d'apprentissage en ajustant dynamiquement les gains avant que les violations ne surviennent, plutôt que de réagir après coup.
2. Simplification du Réglage : La méthode élimine le besoin de réglages extensifs des gains hors ligne en utilisant des seuils physiques intuitifs, réduisant considérablement le temps et le risque associés à la sélection des hyperparamètres.
3. Optimisation de la Performance : En privilégiant la performance uniquement lorsqu'elle est sûre, ROGER atteint des récompenses primaires plus élevées par rapport à la pondération fixe et aux autres techniques de pondération adaptative.

Résultats Expérimentaux
Les auteurs ont évalué ROGER sur un robot quadrupède Unitree B1 de 60 kg (en simulation et dans le monde réel) et sur un hopper MuJoCo.

• Locomotion Quadrupède (Simulation et Monde Réel) :
  • Violations de Contraintes : En simulation, ROGER a atteint des violations quasi nulles (1 violation sur 50 000 pas de temps), surpassant les méthodes adaptatives de pointe comme CRPO (0 violation sur 25 000 pas de temps mais performance moindre) et les méthodes à pondération fixe. Lors des essais en monde réel, le robot physique a complété 300 épisodes d'apprentissage (environ 1 heure) sans tomber, maintenant les angles de roulis et de tangage en dessous du seuil de 10°.
  • Performance : ROGER a atteint une vitesse de déplacement vers l'avant finale de 0,6 m/s, ce qui est 50 % plus élevé que les techniques de pointe équivalentes (pénalité à gain fixe et CRPO) et correspond à la performance d'un entraînement avec les récompenses primaires seules, mais avec une sécurité garantie.
  • Adaptabilité : Le robot a réussi à apprendre à se déplacer sur des terrains difficiles (surfaces glissantes, gravier meuble, marches aléatoires) et sous des charges dynamiques sans capteur exteroceptif, démontant que des politiques de contrôle réalisables ont émergé par l'exploration tout en respectant les contraintes.
• Locomotion Hopper (MuJoCo) :
  • ROGER a été testé sur un hopper à une seule jambe où les hypothèses d'optimalité de pénalité nulle et de dynamique douce ont été violées.
  • Métriques : ROGER a obtenu une amélioration de 20 % de la distance de saut par rapport à la fonction de récompense par défaut, une réduction de 57 % de l'utilisation du couple et une réduction de 59 % de la déviation d'orientation.
  • Robustesse : Même sous des contraintes plus strictes (seuils divisés par deux), ROGER a maintenu le saut vers l'avant sans reculer, démontant sa capacité à s'adapter à des dynamiques de système sensibles.

Signification et Revendications
L'article affirme que ROGER contribue au domaine de l'apprentissage de la locomotion robotique continue respectant les contraintes dans le monde réel. En exploitant l'interaction incarnée pour réguler dynamiquement les gains de récompense, la méthode simplifie le processus de réglage des gains de pondération des récompenses. Cette réduction de la complexité de réglage facilite potentiellement le développement de robots physiques capables d'apprendre de manière sûre et efficace dans le monde réel, comblant ainsi l'écart critique où les techniques actuelles soit échouent à garantir la sécurité pendant l'apprentissage, soit nécessitent un volume prohibitif de réglages manuels. Les auteurs soulignent que, bien que ROGer garantisse que la valeur attendue des contraintes est satisfaite, il ne garantit pas l'absence de chutes dans tous les scénarios (particulièrement avec des dynamiques sensibles), mais il améliore considérablement la performance et la sécurité par rapport aux bases de référence existantes.