SafeMind: A Risk-Aware Differentiable Control Framework for Adaptive and Safe Quadruped Locomotion

1. Problématique

La locomotion quadrupède dans des environnements non structurés pose un défi fondamental : garantir la sécurité formelle face à l'incertitude du modèle, au bruit de perception et aux conditions de contact imprévisibles.

• Limites des contrôleurs basés sur le modèle (MPC) : Bien que performants, ils dépendent fortement de modèles de friction et de contact précis. En cas de déviation du modèle, ils peuvent devenir instables ou violer les contraintes de sécurité.
• Limites des contrôleurs basés sur l'apprentissage (RL) : Ils offrent une grande agilité mais manquent souvent de garanties de sécurité formelles. Les politiques apprises peuvent violer les limites de couple ou de cinématique face à des perturbations réelles.
• Limites des fonctions barrières (CBF) classiques : Les CBF déterministes sont souvent trop conservateurs ou échouent lorsque le désaccord modèle-réalité dépasse certaines limites. De plus, les approches existantes ne traitent pas bien l'incertitude stochastique (épistémique et aléatoire) ni l'intégration de contextes sémantiques de haut niveau dans la couche de contrôle.

L'objectif est donc de développer un cadre unifié capable de gérer l'incertitude probabiliste, d'intégrer des instructions sémantiques et de maintenir une efficacité de calcul pour un contrôle en temps réel.

2. Méthodologie : Le cadre SafeMind

SafeMind est un cadre de contrôle différentiable, stochastique et conscient du risque. Il unifie les fonctions barrières de contrôle probabilistes (CBF) avec la compréhension du contexte sémantique et un calibrage adaptatif du risque.

A. Modélisation Stochastique et Barrières

Le système est modélisé comme une équation différentielle stochastique (SDE) :
$$dx = (f(x) + g(x)u)dt + \Sigma^{1/2}(x)dW_t$$
où $\Sigma(x)$ capture à la fois l'incertitude épistémique (désaccord du modèle, erreur de contact) et aléatoire (bruit capteur, variabilité du terrain).
SafeMind introduit une condition de barrière risquée :
$$E[\dot{h}] + \alpha h(x) - \kappa \sigma_h(x) \ge 0$$

• $E[\dot{h}]$ : Évolution attendue de la barrière.
• $\sigma_h(x)$ : Écart-type de l'évolution de la barrière, calculé à partir de la matrice de diffusion.
• $\kappa$ : Paramètre de sensibilité au risque. Une incertitude élevée augmente la marge de sécurité (comportement plus prudent).

B. Optimisation Différentiable

Le contrôle est formulé comme un Programme Quadratique (QP) différentiable intégré dans un réseau de neurones. Cela permet la rétropropagation du gradient à travers la couche de sécurité pour l'entraînement de bout en bout.

• Fonction barrière composite : Pour gérer de multiples contraintes (limites articulaires, clearance des pieds, évitement d'obstacles), SafeMind agrège les barrières individuelles via un opérateur lisse (log-sum-exp), permettant une sélection "soft" des contraintes critiques.
• Différentiation implicite : L'utilisation des conditions KKT permet de calculer les gradients par rapport aux paramètres du problème (y compris les paramètres de risque) de manière efficace.

C. Intégration Sémantique

Un encodeur sémantique transforme des instructions de haut niveau (ex: "évite les surfaces mouillées", "maintiens une distance avec les humains") en paramètres de sécurité ($\alpha, \kappa, h_s$).

• Ces paramètres modulent la géométrie de la barrière et la sensibilité au risque en temps réel.
• Contrairement aux approches précédentes où la sémantique influence seulement la planification, SafeMind intègre directement le contexte sémantique dans la génération des contraintes de contrôle bas niveau.

D. Apprentissage Méta-Adaptatif

Un module d'apprentissage méta met à jour en ligne les paramètres de risque ($\alpha, \kappa$) en fonction des statistiques de violation et des changements de terrain.

• Cela permet une adaptation rapide aux nouvelles conditions (ex: passage d'un sol sec à un sol glissant) sans réentraînement complet.
• Les mises à jour sont bornées et lissées pour garantir la stabilité de la boucle de contrôle.

3. Contributions Clés

1. Modélisation de sécurité différentiable consciente du risque : Formulation de contraintes probabilistes capturant les incertitudes épistémiques et aléatoires via une dynamique de barrière stochastique, tout en restant différentiable pour l'optimisation de bout en bout.
2. Intégration du contexte sémantique : Mécanisme transformant les informations sémantiques (perception ou langage) en paramètres de sécurité modulant les marges de sécurité en temps réel.
3. Mécanisme d'apprentissage méta-adaptatif : Procédure de mise à jour en ligne des paramètres de risque permettant une adaptation rapide aux conditions de terrain tout en préservant la praticité de la boucle de contrôle.
4. Validation expérimentale étendue : Implémentation sur des robots Unitree A1 et ANYmal C, validée sur 12 types de terrains, avec des obstacles dynamiques et des tâches sémantiques.

4. Résultats Expérimentaux

Les expériences ont été menées en simulation (plus de 20 000 épisodes) et sur du matériel réel (Unitree A1, ANYmal C) à une fréquence de 200 Hz.

• Sécurité : SafeMind réduit les violations de sécurité de 3 à 10 fois par rapport aux meilleures méthodes de référence (CBF déterministe, MPC robuste, RL-CBF).
• Efficacité énergétique : Réduction de la consommation d'énergie de 10 à 15 % grâce à une régulation plus fluide et moins de comportements de récupération coûteux.
• Robustesse :
  • Transitions de terrain : Meilleure récupération après des transitions abruptes (ex: sol plat vers sol glissant) avec des pics de violation réduits.
  • Incertitude croissante : Performance stable même avec une augmentation de l'incertitude paramétrique jusqu'à 35 %.
  • Scénarios difficiles : Excellents résultats sur terrains rocheux, zones de décombres, franchissement de gaps et corridors étroits.
• Temps réel : Latence totale moyenne de 2,08 ms sur un matériel embarqué (Jetson Orin NX), permettant un contrôle à 200 Hz.
• Analyse de défaillance : Les échecs observés sont principalement des excursions mineures près des limites plutôt que des catastrophes, démontrant une dégradation gracieuse.

5. Signification et Impact

SafeMind représente une avancée significative dans le contrôle robotique en comblant le fossé entre :

1. La sécurité formelle (garanties probabilistes via CBF stochastiques).
2. L'adaptabilité de l'apprentissage (capacité à apprendre et s'adapter via des couches différentiables).
3. La compréhension contextuelle (intégration directe de la sémantique dans le contrôle bas niveau).

Contrairement aux approches antérieures qui traitaient ces aspects séparément, SafeMind offre un cadre unifié capable de fonctionner en temps réel sur des robots quadrupèdes réels. Il démontre qu'il est possible d'obtenir une locomotion à la fois agile et sûre dans des environnements non structurés et incertains, ouvrant la voie à des déploiements robotiques plus fiables dans des scénarios réels complexes (recherche et sauvetage, inspection industrielle, interaction humain-robot).