Safe and Optimal Variable Impedance Control via Certified Reinforcement Learning

1. Problématique et Contexte

L'interaction physique entre les robots et les environnements dynamiques (notamment avec des humains) nécessite des capacités d'adaptation et de compliance. Le Contrôle d'Impédance Variable (VIC) permet aux robots d'ajuster dynamiquement leur rigidité et leur amortissement. Bien que l'Apprentissage par Renforcement (RL) soit une approche puissante pour apprendre des politiques de contrôle complexes combinant des primitives de mouvement (DMP) et des gains d'impédance, il présente des risques majeurs :

• Instabilité et Danger : Les méthodes de RL « sans modèle » (model-free) explorent l'espace des paramètres de manière aléatoire. Cela peut conduire à l'échantillonnage de profils de gains d'impédance instables, violant les conditions de stabilité de Lyapunov.
• Conséquences : Ces violations entraînent des comportements dangereux, tels que des collisions avec l'environnement ou des humains, et une divergence des trajectoires.
• Limites des approches existantes : Les méthodes actuelles utilisent souvent des pénalités de récompense pour décourager l'instabilité ou des filtres de sécurité a posteriori. Ces approches ne garantissent pas la stabilité pendant l'exploration et peuvent être inefficaces ou coûteuses en calcul.

2. Méthodologie : C-GMS (Certified Gaussian-Manifold Sampling)

Les auteurs proposent un nouveau cadre d'apprentissage par renforcement appelé C-GMS. L'objectif est d'intégrer la stabilité et la faisabilité des actionneurs directement dans le processus d'exploration, garantissant que chaque politique échantillonnée est sûre par construction.

A. Paramétrisation de la Trajectoire et des Gains

• Trajectoires (DMP) : Les mouvements sont paramétrés à l'aide de Dynamic Movement Primitives (DMP) utilisant des fonctions de base radiales (RBF).
• Gains d'impédance (VIC) : Contrairement aux méthodes classiques qui échantillonnent directement les gains $K(t)$ et $D(t)$, C-GMS introduit des variables d'écart (slack variables) matricielles, notées $S_D(t)$ et $S_K(t)$.

B. Certification par Variété (Manifold)

Le cœur de la méthode repose sur la reformulation des conditions de stabilité de Lyapunov (issues de Kronander & Billard) en contraintes structurelles :

1. Condition de stabilité : Les gains doivent satisfaire des inégalités différentielles garantissant la stabilité globale uniforme.
2. Construction par slack : Au lieu de vérifier ces inégalités après coup, C-GMS paramètre les gains de manière à ce qu'ils soient automatiquement satisfaits.
   • $D(t)$ et $K(t)$ sont construits à partir des variables d'écart via des décompositions de Cholesky et des relations algébriques.
   • L'exploration (bruit gaussien) est effectuée sur les paramètres des variables d'écart, pas directement sur les gains.
   • Résultat : Tout échantillon généré appartient à une « variété certifiée » où les conditions de stabilité sont vérifiées analytiquement.

C. Gestion des Limites des Actionneurs (Actuator-Limit Governor)

Pour garantir que les couples moteurs ne dépassent pas les limites physiques :

• Un gouverneur de couple est introduit. Il scale uniformément les variables d'écart par un facteur $\beta \in [0, 1]$.
• Ce facteur $\beta$ est calculé en temps réel pour maximiser la performance tout en respectant strictement les contraintes de saturation des actionneurs ($\tau_{min} \le \tau \le \tau_{max}$).
• Cette opération préserve la structure de la certification de Lyapunov, assurant que la stabilité est maintenue même sous saturation.

D. Garanties Théoriques

Les auteurs démontrent un théorème prouvant que, même en présence d'erreurs de modèle et de bruit de capteurs (résidus bornés), l'erreur de suivi reste uniformément ultimement bornée (UUB). La taille de cette borne dépend de la précision du modèle et des marges de stabilité strictes imposées par C-GMS.

3. Résultats Expérimentaux

Les expériences ont été menées sur un robot collaboratif Franka Research 3 (FR3) dans une tâche de transfert d'objet à un humain, avec introduction d'obstacles.

• Comparaison C-GMS vs. Sans C-GMS :
  • Avec C-GMS : Le robot apprend une trajectoire stable passant par un point de passage (via-point) pour éviter l'obstacle. Les gains d'impédance s'adaptent localement (augmentation de rigidité près du point critique) tout en restant stables. La convergence de la fonction de coût est lisse.
  • Sans C-GMS (RL non contraint) : Bien que la fonction de coût puisse converger (le robot atteint l'objectif), les gains d'impédance deviennent instables. Cela se traduit par des trajectoires oscillatoires, une divergence des gains et des collisions avec l'environnement ou l'humain.
• Validation sur Matériel Réel :
  • Le système a été testé sur cinq scénarios différents avec des points de passage variés.
  • Le gouverneur de couple a permis d'exécuter les politiques sur du matériel avec des limites de couple réduites (simulant un hardware moins puissant) sans jamais saturer les actionneurs, tout en maintenant la certification de stabilité.
  • Les erreurs de suivi (RMSE) sont faibles et stables.

4. Contributions Clés

1. Cadre C-GMS : Première méthode de RL pour le VIC qui garantit la stabilité de Lyapunov et la faisabilité des actionneurs par construction durant l'exploration, éliminant le besoin de pénalités ou de filtres de sécurité a posteriori.
2. Paramétrisation par Variété Certifiée : Introduction d'une méthode d'échantillonnage gaussien sur une variété mathématique définie par des variables d'écart, assurant que chaque rollout est physiquement réalisable et stable.
3. Garantie de Robustesse : Preuve théorique de la borne de l'erreur de suivi en présence d'incertitudes de modèle et de bruit.
4. Validation Expérimentale : Démonstration réussie sur un robot réel dans un scénario d'interaction humain-robot complexe, prouvant la supériorité par rapport aux méthodes de RL non contraintes.

5. Signification et Limites

Signification :
Ce travail marque une avancée majeure vers le déploiement fiable de l'apprentissage par renforcement dans la robotique interactive. Il résout le dilemme classique entre l'exploration nécessaire à l'apprentissage et la sécurité requise pour l'interaction physique. En garantissant la stabilité à chaque étape de l'apprentissage, C-GMS ouvre la voie à des robots autonomes capables d'apprendre des comportements complexes sans risque de blessure ou de dommage matériel.

Limites :

• Dynamique en Espace Libre : La condition de stabilité utilisée est formulée pour des dynamiques en espace libre (sans contact externe). Elle ne gère pas directement les tâches riches en contacts (ex: polissage, assemblage avec frottement).
• Contrôle d'Orientation : La fonction de coût actuelle se concentre sur la position et ne prend pas explicitement en compte le contrôle de l'orientation, ce qui est nécessaire pour des tâches de manipulation plus réalistes.

Perspectives Futures :
Les auteurs prévoient d'étendre ce cadre aux tâches avec contacts et d'intégrer le contrôle d'orientation, tout en adaptant le gouverneur pour gérer des charges variables.