Résumé Technique : Shield-Loco

Énoncé du Problème

Les politiques d'apprentissage par renforcement (RL) ont démontré leur succès pour permettre une locomotion d'animaux quadrupèdes dynamique en associant des localisations de contact souhaitées à des commandes de joints de bas niveau. Cependant, ces politiques manquent de mécanismes actifs pour prévenir les violations de sécurité lors de la rencontre de contraintes environnementales (ex: obstacles) qui n'étaient pas présentes pendant l'entraînement. Bien que l'apprentissage sécurisé hors ligne à grande échelle soit impraticable pour couvrir tous les cas limites, les cadres de sécurité existants font face à des limitations significatives :

• Modèles d'ordre réduit : Les méthodes telles que les Fonctions de Barrière de Contrôle (CBF) reposent souvent sur des modèles simplifiés qui ne peuvent pas raisonner sur les comportements du corps complet, menant à des échecs sous des dynamiques de contact non modélisées.
• Récupération conservatrice : Le Blindage par Modèle Prédictif (MPS) et les approches de réachabilité de Hamilton-Jacobi (HJ) ont souvent recours à des contrôleurs de récupération conservateurs qui sacrifient la performance de la tâche ou nécessitent des certificats faits à la main qui échouent dans des scénarios complexes.
• Scalabilité : La réachabilité HJ augmente de manière exponentielle avec la dimension de l'état, rendant les modèles de corps complet intraitables.

Le défi central est d'intervenir sur la politique pour garantir la sécurité sans dégrader la performance de la tâche ni nécessiter un réentraînement complet de la politique de RL.

Méthodologie

Les auteurs proposent Shield-Loco, un filtre de sécurité prédictif qui opère post-hoc sur les localisations de contact injectées dans une politique de RL conditionnée par le contact. L'idée clé est que les localisations de contact des pieds servent d'abstraction cinématique suffisante pour imposer l'évitement de collisions du corps complet tout en restant traitable pour l'optimisation en ligne.

Aperçu du Cadre

À chaque étape de contrôle, le filtre reçoit une séquence nominale de localisations de contact provenant d'un planificateur de haut niveau. Il effectue une projection vers l'avant (forward rollout) en utilisant un simulateur physique complet (MuJoCo) et la politique de RL gelée pour prédire les états futurs.

1. Prédiction : Si aucune violation de sécurité n'est prédite dans l'horizon de récession, le contact nominal est transmis à la politique.
2. Intervention : Si une violation est prédite, un optimiseur basé sur l'échantillonnage recherche une séquence de contact alternative qui maximise le rendement sur un horizon fini tout en satisfaisant les contraintes de sécurité.
3. Exécution : La première localisation de contact optimisée est transmise à la politique de RL, qui génère les couples des articulations. Le processus se répète de manière asynchrone, permettant à la politique de bas niveau de fonctionner à haute fréquence (50 Hz) même si l'optimiseur fonctionne à une fréquence plus basse (3 Hz).

Formulation de l'Optimisation

Le filtre résout le problème d'optimisation suivant lorsqu'une intervention est requise :
$$\max_{p_{0}, \dots, p_{H-1}} \mathbb{E} \left[ \sum_{t=0}^{H-1} \gamma^t r(s_t, a_t) + \gamma^H V(s_H) \right]$$
Sous réserve de contraintes de sécurité $g(s_t, p_t) \leq 0$, où $a_t = \pi(s_t, p_t)$ et $s_{t+1} = f(s_t, a_t)$.

• Récompense ($r$) : Encode la performance de la tâche (ex: suivi des contacts désirés, efficacité énergétique).
• Fonction de Valeur ($V$) : Une fonction de valeur apprise effectue un bootstrap des retours à long horizon, entraînée hors ligne via l'apprentissage par différence temporelle sur des trajectoires collectées par l'optimiseur.
• Contraintes de Sécurité ($g$) :
  • Pénalité de Contact du Pied : Pénalités douces basées sur la fonction de distance signée (SDF) entre les pieds et les obstacles.
  • Collision du Corps Complet : Une grande pénalité est appliquée si un lien du robot entre en contact avec un obstacle, détecté via les données de contact de MuJoCo.

Composants Algorithmiques pour la Traitabilité

Pour rendre l'optimisation faisable dans un paysage de contact discontinu, les auteurs introduisent trois composants clés :

1. Projection Géométrique : Les localisations de contact échantillonnées sont projetées sur l'ensemble sans collision via un Programme Quadratique (QP) avant l'évaluation de la projection (rollout). Cela garantit que les candidats satisfont les contraintes strictes localement, bien que la projection complète soit toujours évaluée pour la sécurité.
2. Mises à jour Augmentées par le Momentum : Dérivée de la descente de gradient naturel proximal accélérée, cette règle de mise à jour accélère la convergence en extrapolant dans la direction de l'amélioration, réduisant ainsi le nombre d'itérations nécessaires.
3. Échange de Répliques (Tempering Parallèle) : Pour échapper aux minima locaux peu profonds, plusieurs répliques de l'optimiseur avec différentes températures inverses ($\lambda$) sont maintenues. Les répliques adjacentes échangent des séquences de contact selon le critère de Metropolis-Hastings, permettant aux répliques à haute température d'explorer largement tandis que celles à basse température exploitent les solutions prometteuses.

Contributions Clés

1. Filtre de Sécurité Prédictif sur les Localisations de Contact : Une méthode qui opère directement sur les localisations de contact injectées dans les politiques de RL, permettant l'évitement de collisions du corps complet sans modifier la politique sous-jacente.
2. Optimisation par Échantillonnage Traitable : Un nouveau schéma d'optimisation intégrant la projection géométrique, les mises à jour augmentées par le momentum et l'échange de répliques pour gérer le paysage de coût non lisse et discontinu de la locomotion d'animaux quadrupèdes.
3. Validation en Simulation et en Réel : Évaluation complète sur un quadrupède Unitree Go2 dans des environnements denses et encombrés, démontrant des réductions substantielles des violations de sécurité avec une déviation minimale par rapport à la démarche nominale.

Résultats

La méthode a été évaluée sur un quadrupède Unitree Go2 dans des simulations MuJoCo et lors d'expériences matérielles réelles.

• Compromis Sécurité vs Performance : Comparé aux bases de référence (CBF et réachabilité HJ utilisant des approximations de unicycle), Shield-Loco a obtenu des coûts de suivi nettement inférieurs et moins de violations de sécurité réelles. Les bases de référence d'ordre réduit ont peiné dans les environnements denses et encombrés, tandis que Shield-Loco a maintenu un fort compromis sécurité-suivi.
• Variantes de l'Optimiseur : Parmi les optimiseurs testés (MPPI, CEM et Replica Exchange MPPI), la variante Replica Exchange a obtenu le coût de suivi le plus bas (0,0086) tout en maintenant de faibles taux de violation, bien qu'elle ait engendré un temps d'optimisation plus élevé.
• Études d'Ablation :
  • Momentum : Les coefficients de momentum non nuls ($\beta$) ont systématiquement amélioré les coûts de suivi, avec $\beta=0,1$ offrant les performances optimales.
  • Horizon et Itérations : Un budget computationnel modéré ($N=3$ itérations, $H \in [4, 6]$) a fourni le meilleur équilibre entre sécurité et réactivité.
  • Projection : L'application de la projection géométrique tant lors de l'échantillonnage de la projection que sur le plan optimisé final était critique pour minimiser les violations.
• Déploiement en Réel : Le système a navigué avec succès dans des environnements encombrés avec des obstacles (téléphones, colis, câbles) et de grands obstacles statiques. La conception asynchrone a permis au robot de rester stable même lorsque l'optimiseur prenait plus de temps que le cycle de planification (ex: 400 ms pour $H=8$), car la politique de bas niveau continuait de suivre les dernières cibles de contact sûres.

Signification et Limitations

L'article positionne Shield-Loco comme une intervention de sécurité peu invasive qui comble le fossé entre l'expressivité des modèles physiques complets et la traitabilité requise pour le filtrage de sécurité en ligne. En opérant sur les localisations de contact plutôt que sur les couples des articulations, il évite la "malédiction de la dimensionnalité" tout en conservant la capacité de raisonner sur les collisions du corps complet.

Limitations et Travaux Futurs :

• Garanties Théoriques : La méthode manque de garanties théoriques formelles d'optimalité ou de sécurité. Le plan filtré peut dévier de l'ensemble sûr réel si l'optimiseur converge vers un optimum local.
• Projection Heuristique : La projection géométrique est une heuristique et peut ne pas préserver strictement les propriétés de convergence de l'optimiseur.
• Limitations de la Politique : Les violations réelles lors des expériences étaient parfois causées par la génération par la politique de RL de configurations intermédiaires de phase de balancement (swing-phase) non sûres, même lorsque les cibles de contact étaient sûres.
• Portée : La validation est actuellement limitée aux quadrupèdes sur des terrains plats. Étendre cela à la locomotion sur terrains multiples, aux humanoïdes ou aux scénarios nécessitant une torsion active du torse reste un travail futur.
• Perception : Le cadre actuel suppose une géométrie d'obstacle connue ; l'intégration de pipelines de perception en ligne pour un déploiement entièrement autonome dans des environnements non vus est identifiée comme une direction future nécessaire.