Safety-Aware Performance Boosting for Constrained Nonlinear Systems

1. Problématique et Contexte

L'article aborde le défi fondamental de la commande des systèmes autonomes non linéaires soumis à des contraintes d'état et d'entrée strictes. L'objectif est de concilier trois exigences souvent contradictoires :

1. Sécurité : Respect garanti des contraintes physiques (zones d'exclusion, limites d'actionneurs).
2. Stabilité : Preuve formelle de la stabilité en boucle fermée.
3. Performance : Capacité à exécuter des tâches complexes et optimiser le comportement au-delà de la simple stabilisation.

Limites des approches existantes :

• MPC (Commande Prédictive) : Bien qu'efficace pour gérer les contraintes, l'optimisation conjointe de la sécurité, de la stabilité et de la performance peut être trop conservatrice et coûteuse en calcul.
• Filtres de Sécurité Prédictifs (PSF) standards : Ces filtres agissent comme une couche de sécurité qui modifie les entrées de commande pour garantir la sécurité et la stabilité via une contrainte de décroissance de Lyapunov fixe. Cependant, cette décroissance monotone et rigide confine le système à des ensembles de niveau de Lyapunov rétrécissants, empêchant des comportements complexes comme des détours temporaires pour éviter des obstacles.
• Apprentissage par Renforcement (RL) : Bien que performant, il manque souvent de garanties formelles de sécurité et de stabilité. De plus, l'entraînement de contrôleurs couplés à des PSF est difficile car il nécessite de différencier à travers un problème d'optimisation non lisse (non différentiable lorsque les contraintes sont actives).

2. Méthodologie Proposée

Les auteurs proposent une architecture de contrôle décomposée en deux blocs principaux (voir Figure 1 de l'article) :

A. Le Filtre de Sécurité Prédictif Programmé (Scheduled PSF)

Le PSF agit comme un contrôleur de base pré-stabilisant. Contrairement aux PSF classiques qui imposent un taux de décroissance de Lyapunov fixe ($\rho$), l'approche proposée introduit un taux de décroissance dynamique et programmé ($\rho_t$).

• Fonction de certificat : Une fonction $J$ (basée sur un horizon de prédiction) sert de certificat de stabilité.
• Contrainte de stabilité programmée : La contrainte de décroissance $J_{t} \leq J_{t-1} - (1-\rho_t)s(x,u)$ est modifiée. Le paramètre $\rho_t$ n'est plus fixe mais dépend de l'entrée de performance $u_{L,t}$ via une fonction de programmation $\psi$.
• Logique de programmation :
  • Si l'entrée de performance est faible (système proche de l'équilibre), $\rho_t$ est fixe et strictement inférieur à 1, assurant une stabilité uniforme.
  • Si l'entrée de performance est forte (phase transitoire, besoin de manœuvre), $\rho_t$ peut augmenter, voire dépasser 1 temporairement. Cela permet de "relâcher" la contrainte de décroissance de Lyapunov pour autoriser des trajectoires non monotones (ex: s'éloigner temporairement de l'objectif pour éviter un obstacle).

B. Le Contrôleur d'Amélioration des Performances (PB - Performance Boosting)

Ce contrôleur, noté $M_\theta$, génère l'entrée de performance $u_L$.

• Paramétrisation : Il est conçu comme un opérateur causal paramétré (réseau de neurones) utilisant une structure "Magnitude-and-Direction" (MAD).
• Garantie $\ell_2$ : La structure du contrôleur (utilisant des unités récurrentes linéaires - LRU) garantit mathématiquement que l'entrée $u_L$ appartient à l'espace $\ell_2$ (énergie finie), quelle que soit la valeur des paramètres $\theta$.
• Rôle : Il propose des trajectoires optimales et fournit le signal de programmation $\rho_t$ au PSF.

C. Procédure d'Entraînement

Pour éviter le problème de différenciation à travers le PSF (problème d'optimisation non lisse) :

• L'interconnexion PSF-Système est traitée comme une "boîte noire".
• Une méthode Actor-Critic hors politique (ex: DDPG) est utilisée.
• Le critique apprend la fonction de valeur $Q$ sans nécessiter le gradient du solveur du PSF, contournant ainsi les difficultés de différentiation.

3. Contributions Clés et Résultats Théoriques

L'article établit deux résultats théoriques majeurs :

1. Stabilité par conception (Théorème 1) :

   • Tout contrôleur respectant cette paramétrisation maintient la stabilité en boucle fermée ($\ell_2$-stabilité) et garantit le respect des contraintes.
   • La preuve repose sur le fait que si $u_L \in \ell_2$, alors $\|u_{L,t}\| \to 0$. Par conséquent, après un temps fini $T$, le taux de programmation $\rho_t$ revient automatiquement à sa valeur stricte ($\bar{\rho} < 1$), garantissant la convergence finale.

2. Expansion stricte de l'ensemble des trajectoires (Théorème 2) :

   • L'architecture proposée étend strictement l'ensemble des trajectoires sûres et stables réalisables par rapport aux PSF à taux fixe.
   • En permettant des augmentations transitoires de la fonction de Lyapunov (via $\rho_t > \bar{\rho}$), le système peut explorer des régions de l'espace d'état interdites aux approches conservatrices, tout en restant dans l'ensemble de stabilité global.

4. Validation Numérique

L'approche est validée sur un pendule inversé contraint avec un obstacle mobile.

• Scénario : Stabiliser le pendule à la position verticale (équilibre instable) tout en évitant un obstacle qui traverse la trajectoire.
• Résultats :
  • PSF à taux fixe (Baseline) : Échoue. La contrainte de décroissance monotone empêche le pendule de faire un détour. Pour éviter l'obstacle, le système devrait temporairement augmenter son énergie (valeur de $J$), ce qui est interdit par le taux fixe. Le pendule entre en collision.
  • Architecture proposée : Réussit. Le contrôleur PB génère une entrée qui augmente temporairement le taux $\rho_t$, permettant à la fonction de Lyapunov $J$ de croître transitoirement. Le pendule effectue un détour sûr autour de l'obstacle. Une fois l'obstacle évité, $u_L$ diminue, $\rho_t$ se resserre, et le système converge vers l'équilibre.

5. Signification et Impact

Cet article apporte une avancée significative en théorie du contrôle et en apprentissage par renforcement :

• Déverrouillage des comportements complexes : Il démontre qu'il est possible d'obtenir des garanties formelles de sécurité et de stabilité tout en permettant des manœuvres transitoires agressives (détours) qui étaient auparavant considérées comme impossibles sous des filtres de sécurité rigides.
• Séparation des préoccupations : Il réussit à découpler la sécurité (gérée par le PSF) et la performance (gérée par le PB), permettant d'utiliser des algorithmes d'apprentissage puissants sans sacrifier la robustesse.
• Applicabilité : La méthode est particulièrement pertinente pour les systèmes autonomes opérant dans des environnements dynamiques et encombrés où la rigidité des approches conservatrices est un frein à l'efficacité.

En résumé, cette architecture propose un cadre mathématiquement rigoureux pour "assouplir" intelligemment les contraintes de sécurité pendant les phases transitoires, permettant ainsi aux systèmes autonomes d'être à la fois sûrs et performants.