A Forward Reachability Perspective on Control Barrier Functions and Discount Factors in Reachability Analysis

1. Problématique

L'article aborde le défi fondamental de la conception de politiques de contrôle sûres pour des systèmes dynamiques soumis à des contraintes d'état sur un horizon de temps indéfini. Deux concepts clés sont au cœur de ce problème :

• Les ensembles de contrôle invariant (Control Invariant Sets) : Des sous-ensembles de l'espace d'état où, une fois entré, le système peut rester indéfiniment sous l'action d'un contrôleur approprié, malgré la présence de perturbations adverses.
• Les Fonctions de Barrière de Contrôle (Control Barrier Functions - CBF) : Des fonctions scalaires qui garantissent la sécurité en imposant une inégalité différentielle (contrainte de barrière) assurant que les trajectoires ne sortent pas de la région sûre.

Le problème identifié : Les méthodes existantes pour calculer les ensembles invariants robustes reposent principalement sur l'analyse de rétro-accessibilité (backward reachability). Bien que ces méthodes permettent d'identifier le plus grand ensemble invariant contenu dans une contrainte, elles échouent à fournir directement des CBF valides. Les fonctions de valeur associées aux approches de rétro-accessibilité (souvent basées sur des équations de Hamilton-Jacobi-Bellman) deviennent soit plates à l'intérieur de l'ensemble invariant (rendant le gradient nul et inutile pour le contrôle), soit discontinues et non bornées si l'on tente d'adapter les conditions de barrière. Cela empêche l'utilisation directe de ces solutions comme CBF différentiables.

2. Méthodologie

Les auteurs proposent un changement de paradigme en passant de la rétro-accessibilité à l'analyse de rétro-accessibilité avant (Forward Reachability), combinée à l'introduction d'un facteur d'actualisation (discount factor) dans le coût du jeu différentiel.

A. Le Tube de Réachabilité Inévitable (Inevitable FRT)

Au lieu de chercher les états initiaux qui peuvent atteindre un ensemble cible (rétro-accessibilité), les auteurs définissent le Tube de Réachabilité Inévitable (FRT) d'un ensemble initial $C$. Le FRT est l'ensemble des états que toute trajectoire, soumise aux pires perturbations adverses, doit avoir traversé à un moment donné dans le passé pour atteindre l'état actuel.

• Le contrôle tente de minimiser la croissance du FRT (en restant dans $C$).
• La perturbation tente de maximiser cette croissance.

B. Formulation par Jeu Différentiel et Facteur d'Actualisation

Le FRT est caractérisé comme le zéro-sur-niveau strict d'une fonction de valeur $V_\gamma$ issue d'un jeu différentiel infini. La fonction de coût intègre un facteur d'actualisation exponentiel $e^{\gamma t}$ (avec $\gamma > 0$) appliqué à une fonction de distance $h_C$ vers la frontière de $C$.

• Fonction de valeur : $V_\gamma(x) = \sup_{\xi_d} \inf_{u} \sup_{t \in (-\infty, 0]} e^{\gamma t} h_C(x(t))$.
• Équation de Hamilton-Jacobi (HJ) : La fonction de valeur est l'unique solution de viscosité d'une inégalité variationnelle (HJ-FRT-VI) :
  $$0 = \min \left\{ V_\gamma(x) - h_C(x), \quad \max_{u \in U} \min_{d \in D} \frac{\partial V_\gamma}{\partial x} \cdot f(x, u, d) + \gamma V_\gamma(x) \right\}$$

C. Lien Théorique avec les CBF

L'apport central de la méthodologie est la démonstration que le terme $\gamma V_\gamma(x)$ dans l'équation HJ correspond exactement à la contrainte de barrière des CBF (généralement de la forme $\dot{h} + \gamma h \geq 0$).

• Si la frontière du FRT est continûment différentiable, $V_\gamma$ est une CBF robuste.
• Si la frontière n'est pas différentiable (ce qui est fréquent), $V_\gamma$ peut perdre l'invariance. Cependant, les auteurs prouvent que toute sur-solution ($C^1$) de l'équation HJ-FRT-VI est une CBF valide et caractérise un ensemble de contrôle invariant robuste qui sur-approxime le FRT.

D. Approche d'Apprentissage (Neural FRT-CBF)

Pour surmonter la difficulté de résolution analytique des équations HJ en haute dimension, les auteurs proposent une méthode basée sur les réseaux de neurones pour apprendre une sur-solution de l'équation HJ.

• Architecture : Un réseau de neurones apprend une fonction $W_\theta(x) = h_C(x) + u_\theta(x)^2$, garantissant $W_\theta \geq h_C$.
• Fonction de perte : Elle combine trois termes :
  1. La violation de l'inégalité HJ (contrainte de sur-solution).
  2. L'inclusion de l'ensemble appris dans la région de sécurité globale ($W_\theta \leq h_X$).
  3. La condition d'invariance sur la frontière apprise.

3. Contributions Clés

1. Établissement d'un lien théorique fort : L'article prouve que les CBF peuvent être systématiquement construites à partir de la réachabilité avant, contrairement aux approches de rétro-accessibilité existantes.
2. Rôle du facteur d'actualisation : L'introduction d'un facteur d'actualisation $\gamma$ dans la formulation de réachabilité avant transforme l'équation HJ pour qu'elle satisfasse naturellement la contrainte de barrière des CBF, tout en garantissant que la fonction de valeur reste bornée, continue et unique.
3. Théorie des sur-solutions : Les auteurs démontrent que toute sur-solution $C^1$ de l'équation HJ-FRT-VI est une CBF valide. Cela assigne une signification concrète de sécurité aux sur-solutions et permet de concevoir des CBF différentiables même lorsque le FRT exact possède des coins (non-différentiables).
4. Méthode d'apprentissage : Développement d'un cadre d'apprentissage neuronal pour calculer ces sur-solutions, permettant de trouver un ensemble invariant robuste qui sur-approxime le FRT d'un ensemble initial donné.

4. Résultats

• Validation théorique : Les auteurs démontrent que si la frontière du FRT est différentiable, le FRT est un ensemble de contrôle invariant robuste. Sinon, le FRT peut ne pas être invariant, mais il est toujours contenu dans tout ensemble invariant robuste différentiable qui contient l'ensemble initial.
• Exemple du double intégrateur : Sur un système double intégrateur, l'article montre que pour un ensemble initial non invariant, le FRT calculé n'est pas invariant (trajectoires fuyant aux coins). Cependant, la méthode d'apprentissage réussit à trouver une fonction de barrière lisse ($W_\theta$) qui sur-approxime ce FRT et garantit l'invariance.
• Comparaison avec l'état de l'art : La fonction de valeur apprise est continûment différentiable et bornée, contrairement aux fonctions issues des méthodes de rétro-accessibilité (CBVF) qui peuvent être discontinues ou non bornées.
• Performance : L'entraînement sur un GPU (RTX 5090) converge rapidement (30 minutes) avec une erreur négligeable, produisant une frontière de sécurité lisse et valide.

5. Signification et Impact

Cet article comble un vide crucial dans la littérature sur le contrôle sûr en reliant trois piliers théoriques : l'analyse de réachabilité, l'invariance de contrôle et les fonctions de barrière (CBF).

• Nouvelle perspective : En passant de la rétro-accessibilité à la réachabilité avant, l'article résout le problème de la non-différentiabilité et de l'absence de gradient utile dans les méthodes traditionnelles.
• Généralité : La méthode permet de concevoir des CBF pour des systèmes complexes et non linéaires, même lorsque l'ensemble initial n'est pas invariant, en fournissant une sur-approximation sûre.
• Applicabilité : L'approche basée sur l'apprentissage profond ouvre la voie à l'application de ces garanties de sécurité formelles à des systèmes de haute dimension (robots, véhicules autonomes) où les méthodes de grille (grid-based) pour les équations HJ sont impraticables.

En résumé, ce travail propose un cadre unifié où la réachabilité avant, enrichie par un facteur d'actualisation, devient l'outil naturel pour générer des fonctions de barrière de contrôle robustes et mathématiquement garanties.