Curvature-Guided Safety Filters: State-Dependent Hessian-Weighted Projection with Provable Performance Bounds

---

1. Problématique et Contexte

Les systèmes de contrôle modernes, notamment ceux intégrant l'apprentissage par renforcement (RL) ou des contrôleurs "boîte noire", doivent garantir la sécurité tout en maintenant des performances élevées. Les filtres de sécurité (Safety Filters - SF) sont des mécanismes légers conçus pour ajuster les commandes de contrôle en temps réel afin de maintenir le système dans un ensemble d'états sûrs, tout en modifiant le moins possible la commande nominale (souvent optimale en termes de performance).

Limites des approches existantes :

• Projection Euclidienne : La méthode la plus courante consiste à projeter la commande nominale sur l'ensemble des commandes admissibles en minimisant la distance euclidienne. Cependant, cette approche ignore la structure de la fonction de valeur à long terme (action-value function). Elle peut être sous-optimale, car elle pénalise uniformément toutes les directions de déviation, même celles qui ont un impact négligeable sur la performance future.
• Optimisation directe de la fonction Q : Optimiser directement la fonction de valeur dans l'ensemble sûr garantit la performance optimale, mais conduit souvent à des problèmes non convexes et computationnellement prohibitifs, rendant l'application en temps réel difficile.

Objectif : Développer un filtre de sécurité qui préserve les garanties de sécurité strictes et l'efficacité computationnelle de la projection, tout en améliorant la performance à long terme en tenant compte de la sensibilité de la valeur des actions.

---

2. Méthodologie Proposée

L'article propose un filtre de sécurité guidé par la courbure, basé sur une projection pondérée dépendante de l'état.

A. Projection Pondérée par le Hessien

Au lieu de minimiser la distance euclidienne $\|u - u_{ref}\|^2$, le filtre minimise une métrique pondérée :
$$u_W = \arg \min_{u \in \mathcal{U}(x)} \|u - u_{ref}\|^2_{W(x)}$$
où $\|v\|^2_{W(x)} = v^\top W(x) v$.

La matrice de pondération $W(x)$ est choisie comme l'opposé du Hessien de la fonction de valeur d'action (Q-function) évalué à la commande de référence $u_{ref}$ :
$$W(x) = -\nabla^2_u Q(x, u_{ref})$$

Intuition :

• Si la fonction $Q$ est fortement concave dans une certaine direction (forte sensibilité de la valeur), le Hessien aura une grande valeur propre négative, rendant $W(x)$ grand dans cette direction.
• La projection pénalisera donc davantage les déviations dans les directions critiques pour la performance, forçant le filtre à corriger la commande dans des directions moins sensibles, préservant ainsi la valeur à long terme.
• Si $Q$ est quadratique, cette projection est exactement équivalente à la recherche de l'action sûre optimale.

B. Garanties Théoriques

Les auteurs établissent deux résultats majeurs sous des hypothèses de régularité (continuité Lipschitz du Hessien et concavité stricte locale) :

1. Borne de sous-optimalité : La perte de performance entre l'action projetée $u_W$ et l'action sûre optimale $u^*$ est bornée uniformément par une constante dépendant de la courbure ($\mu$) et de la variation du Hessien ($L_2$).
2. Condition de supériorité : Ils dérivent une condition suffisante garantissant que la projection pondérée par le Hessien surpasse la projection euclidienne en termes de valeur, notamment lorsque la courbure locale est forte et que la contrainte de sécurité force une déviation significative.

C. Construction Data-Driven (Pour contrôleurs boîte noire)

Puisque la fonction $Q$ est souvent inconnue pour les contrôleurs appris, les auteurs proposent une méthode pour estimer $W(x)$ à partir de données :

• Approximation linéaire structurée : La fonction $Q$ est approximée par $Q_\theta(x, u) = \theta^\top \psi(x, u)$, où $\psi$ inclut des blocs de features quadratiques explicites pour les actions.
• Apprentissage par Fitted Q-Iteration : Un algorithme itératif apprend les paramètres $\theta$.
• Régularisation : Deux termes de régularisation sont ajoutés à la fonction de perte :
  1. Une pénalité pour assurer la dominance des termes quadratiques (garantissant que $W(x)$ est définie positive avec une borne inférieure spectrale $\mu$).
  2. Une pénalité pour borner les dérivées d'ordre supérieur (garantissant une petite constante Lipschitz $L_2$).
• Exécution : Une fois appris, le calcul de $W(x)$ et la résolution du problème de projection convexe se font en ligne avec une surcharge computationnelle négligeable.

---

3. Contributions Clés

1. Nouveau Filtre de Sécurité : Introduction d'une projection dépendante de l'état utilisant le Hessien de la fonction de valeur, remplaçant la métrique euclidienne standard.
2. Garanties de Performance : Démonstration théorique que cette approche préserve la convexité (et donc l'efficacité) tout en offrant des bornes de performance prouvables et une condition pour surpasser la projection euclidienne.
3. Méthode d'Estimation Robuste : Proposition d'un schéma d'apprentissage par données avec régularisation spécifique pour construire la matrice de pondération pour des contrôleurs "boîte noire", en assurant que les conditions théoriques (A1-A2) sont satisfaites.
4. Validation par Simulation : Application réussie sur un drone quadrotor, démontrant une meilleure trajectoire de suivi et une moindre dégradation de la valeur par rapport à la projection euclidienne, sans coût computationnel supplémentaire significatif.

---

4. Résultats de Simulation

Les auteurs ont testé leur méthode sur un système de quadrotor non linéaire avec des contraintes d'évitement d'obstacles sphériques.

• Sécurité : Le filtre maintient le système dans l'ensemble sûr (évitement d'obstacles) aussi bien que la projection euclidienne.
• Performance : La projection pondérée par le Hessien permet un suivi de trajectoire plus serré près des obstacles et préserve une valeur de fonction $Q$ plus élevée (moins de dégradation de performance) par rapport à la projection euclidienne.
• Efficacité : Le temps de calcul par étape pour résoudre le problème de projection pondérée est comparable à celui de la projection euclidienne, validant son applicabilité en temps réel.

---

5. Signification et Impact

Cet article apporte une avancée significative dans le domaine de l'apprentissage par renforcement sûr (Safe RL) et du contrôle robuste :

• Pont entre Sécurité et Performance : Il résout le compromis classique entre la sécurité stricte (souvent conservatrice) et la performance optimale. En exploitant la géométrie de la fonction de valeur, il rend le filtre de sécurité "intelligent" plutôt que purement géométrique.
• Faisabilité Théorique et Pratique : Contrairement aux méthodes d'optimisation non convexe qui sont trop lourdes, cette approche offre des garanties mathématiques tout en restant un problème d'optimisation convexe rapide.
• Applicabilité Générale : La méthode de construction data-driven permet d'appliquer ces principes à des contrôleurs complexes et non modélisés, ce qui est crucial pour le déploiement réel de systèmes autonomes.

En résumé, cette travail propose un cadre théorique solide et une implémentation pratique pour des filtres de sécurité qui ne se contentent pas de "sauver" le système, mais qui le guident vers des actions sûres qui sont également les plus performantes à long terme.