Résumé Technique : De l'apprentissage à la sécurité : Un cadre direct fondé sur les données pour le contrôle contraint

1. Énoncé du problème

L'article traite du défi critique que représente la garantie de la sécurité (satisfaction des contraintes) dans les systèmes de contrôle basés sur l'apprentissage, particulièrement dans les contextes sans modèle (model-free) où la dynamique explicite du système est indisponible. Bien que les filtres de sécurité traditionnels (par exemple, les fonctions de barrière de contrôle ou CBF) imposent efficacement la sécurité dans les contextes basés sur un modèle en modifiant les entrées de commande, ils reposent généralement sur des modèles prédictifs dérivés de la physique ou de données. Cette dépendance crée une lacune : les filtres de sécurité basés sur les données existants sont principalement « indirects », nécessitant d'abord une identification du système, ce qui aggrave les erreurs et dégrade les performances de sécurité. De plus, les méthodes directes fondées sur les données sont souvent limitées aux contraintes linéaires ou manquent de garanties de sécurité formelles.

Le problème central est de concevoir un cadre de contrôle qui :

1. Opère directement à partir de données de transition d'état sans identification explicite du système.
2. S'intègre de manière transparente avec des algorithmes d'apprentissage sans modèle arbitraires (par exemple, l'apprentissage par renforcement ou l'apprentissage supervisé) pour optimiser les performances.
3. Fournit des garanties formelles de sécurité et de faisabilité récursive, même en présence d'imprécisions de l'apprentissage.

2. Méthodologie

La solution proposée est un cadre de contrôle basé sur l'optimisation qui découple l'optimisation de la performance de l'application de la sécurité. Le cadre repose sur un nouveau certificat de sécurité appelé Fonction de Barrière de Contrôle État-Action (SACBF).

A. Concept central : Fonction de Barrière de Contrôle État-Action (SACBF)

Contrairement aux CBF classiques, qui évaluent la sécurité uniquement sur la base de l'état $x$, la SACBF, notée $Q_B(x, u)$, est une fonction de l'état et de l'entrée de commande.

• Définition : Une fonction $Q_B$ est une SACBF si son ensemble de sous-niveau zéro définit un ensemble sûr $S_Q$ tel que pour tout état dans $S_Q$, il existe une entrée satisfaisant $Q_B(x, u) \leq 0$ qui maintient l'état suivant à l'intérieur de $S_Q$.
• Avantage : Cette formulation permet au filtre de sécurité d'évaluer la sécurité d'une action de commande candidate directement au niveau de la paire état-action actuelle sans propager la dynamique vers l'avant ou nécessiter un modèle $f(x, u)$.

B. Le cadre de contrôle

La politique de contrôle $\pi(x)$ est définie comme la solution d'un problème d'optimisation contraint :
$$\pi(x) := \arg \min_{u \in U} Q(x, u) \quad \text{sous réserve de} \quad Q_B(x, u) \leq 0$$
Ici, $Q(x, u)$ est une fonction d'objectif (apprise via l'apprentissage par renforcement ou supervisé) représentant la performance de la tâche, et $Q_B(x, u)$ est la SACBF apprise agissant comme la contrainte de sécurité.

C. Apprentissage des SACBF

L'article propose trois méthodes distinctes de synthèse fondées sur les données pour $Q_B$ :

1. Apprentissage par renforcement (RL) : Traite la synthèse de la SACBF comme un problème de joignabilité (reachability). Il adapte les méthodes d'apprentissage par renforcement basées sur la valeur (comme l'apprentissage par différence temporelle) pour approximer la fonction de valeur optimale d'un problème de joignabilité. Note : Cette méthode manque de garanties de convergence formelles pour le certificat de sécurité en raison de la nature non contractante de l'équation de Bellman non actualisée dans la joignabilité.
2. Apprentissage guidé par un expert : Suppose la disponibilité d'un contrôleur sûr expert (par exemple, des champs de potentiel artificiels). Il formule la synthèse comme un problème d'optimisation robuste pour trouver une SACBF cohérente avec les trajectoires sûres de l'expert.
3. Apprentissage supervisé (SL) : Suppose qu'une CBF classique $B(x)$ est déjà connue. Il utilise la régression supervisée pour apprendre la correspondance entre les paires état-action et la valeur de la SACBF, dérivée de la CBF connue.

D. Analyse de robustesse : Sécurité d'Erreur à État (ESSf)

Pour traiter les erreurs d'apprentissage (où la $Q_B^\omega$ apprise dévie de la vraie $Q_B$), les auteurs introduisent un cadre de Sécurité d'Erreur à État (ESSf).

• Mécanisme : Au lieu de s'appuyer sur une prédiction basée sur un modèle, le cadre quantifie l'impact des erreurs d'apprentissage ($\epsilon$) directement sur les contraintes de sécurité.
• Stratégie : Il emploie une approche de resserrement et de relâchement des contraintes :
  • Resserrer les contraintes d'état originales ($h(x) \leq 0$) en $h(x) + \delta(\epsilon) \leq 0$.
  • Relâcher la contrainte de la SACBF dans le filtre en $Q_B^\omega(x, u) \leq \kappa(\epsilon)$.
• Résultat : Les théorèmes 1 et 2 fournissent des relations en forme close montrant que si l'erreur d'apprentissage est bornée, le système reste récursivement faisable et sûr à l'intérieur des contraintes d'état resserrées.

E. Raffinement de la politique

Une fois qu'une SACBF valide est apprise, le cadre étend les algorithmes d'apprentissage par renforcement non contraints (comme l'itération Q ajustée ou Fitted Q Iteration) au contexte contraint. L'algorithme (FQI contraint) met à jour de manière itérative l'objectif de performance $Q_\theta$ tout en imposant la contrainte de la SACBF apprise, garantissant que la politique résultante est proche de l'optimalité pour la tâche tout en respectant la sécurité.

3. Contributions clés

1. Cadre de contrôle sûr direct fondé sur les données : L'article propose un cadre qui apprend des contrôleurs sûrs directement à partir de données sans identification de système, comblant ainsi le fossé entre l'apprentissage sans modèle et le contrôle contraint.
2. Fonctions de Barrière de Contrôle État-Action (SACBF) : Il introduit et utilise les SACBF, qui évaluent la sécurité sur les paires état-action, permettant des filtres de sécurité qui ne nécessitent pas de modèles de dynamique explicites.
3. Trois schémas de synthèse : Il présente trois méthodes pour apprendre les SACBF : via l'apprentissage par renforcement (général mais moins garanti), via des démonstrations d'experts (robuste) et via l'apprentissage supervisé à partir de CBF connues (efficace en termes d'échantillonnage).
4. Analyse de Sécurité d'Erreur à État (ESSf) : Il fournit un nouveau cadre d'analyse de robustesse qui quantifie comment les erreurs d'apprentissage affectent la sécurité, offrant des garanties formelles grâce au resserrement des contraintes d'état et au relâchement de la contrainte de la SACBF.
5. Optimisation découplée : Le cadre sépare l'apprentissage de la performance (optimisation de $Q$) de l'application de la sécurité (optimisation de $Q_B$), permettant l'intégration de divers algorithmes d'apprentissage tout en maintenant la sécurité.

4. Résultats

Le cadre a été validé par des simulations sur un véhicule autonome se déplaçant dans un espace 2D avec des obstacles.

• Configuration de l'étude de cas : Un modèle de véhicule cinématique avec des contraintes d'état et d'entrée a été utilisé. La SACBF a été apprise en utilisant à la fois l'approche guidée par un expert (utilisant des champs de potentiel artificiels comme expert) et l'approche par apprentissage par renforcement.
• Performance de sécurité :
  • Le 3DSF proposé (Filtre de Sécurité Direct Fondé sur les Données) a atteint un taux de sécurité de 100 % à travers diverses conditions initiales et politiques de référence (tant pour l'APF non sûr que pour le DDPG non sûr).
  • En comparaison, les Filtres de Sécurité Indirects fondés sur les Données (qui reposent sur un modèle appris) ont obtenu des taux de sécurité inférieurs (environ 79 % pour l'APF non sûr), en raison de l'accumulation des erreurs d'identification du modèle et des erreurs d'apprentissage de la CBF.
  • Le MPC (Contrôle Prédictif par Modèle) a atteint 100 % de sécurité mais a souffert d'une faible performance de la tâche (seulement environ 78 % des trajectoires ont atteint la cible) en raison de problèmes d'optimisation non convexe et d'un coût computationnel élevé.
• Performance de la tâche :
  • L'algorithme Constrained FQI (apprentissage de $Q$ avec contraintes de SACBF) a obtenu un coût total de 173,85, surpassant les politiques DDPG sûres et non sûres filtrées par le 3DSF. Cela démontre qu'intégrer les contraintes de sécurité directement dans le processus d'entraînement par RL améliore la performance de la tâche par rapport au filtrage a posteriori ou au façonnage de récompense (reward shaping).
• Efficacité computationnelle : Le 3DSF a démontré des temps CPU en ligne nettement inférieurs (environ 2,2 ms) par rapport au MPC (environ 33 ms), ce qui le rend adapté aux applications en temps réel.

5. Signification et affirmations

L'article affirme offrir une avancée modeste mais rigoureuse pour le contrôle sûr basé sur l'apprentissage :

• Combler le fossé : Il réussit à combler le fossé entre l'apprentissage sans modèle et le contrôle contraint en supprimant la dépendance vis-à-vis des modèles de système explicites pour l'application de la sécurité.
• Garanties formelles sans modèles : Il fournit des garanties de sécurité formelles (faisabilité récursive et satisfaction des contraintes) même lorsque la dynamique du système est inconnue, à condition que les erreurs d'apprentissage soient bornées.
• Supériorité sur les méthodes indirectes : Les résultats suggèrent que les approches directes fondées sur les données évitent l'accumulation d'erreurs inhérente aux méthodes indirectes (identification du modèle + apprentissage du contrôleur), conduisant à de meilleurs taux de sécurité.
• Flexibilité : Le cadre est compatible avec une large gamme d'algorithmes d'apprentissage existants (RL, SL) et peut être mis à jour en ligne.

Limites reconnues :

• La méthode nécessite un échantillonnage dans l'espace état-action, ce qui augmente la complexité d'échantillonnage par rapport aux méthodes basées uniquement sur l'état.
• Les contraintes de sécurité peuvent être violées pendant la phase de collecte de données pour l'entraînement, ce qui peut ne pas convenir aux systèmes réels où la sécurité est primordiale à tout moment (bien que les simulateurs puissent atténuer cela).
• La synthèse des SACBF par RL manque de garanties de convergence formelles pour le certificat de sécurité lui-même en raison de la nature du problème de joignabilité.
• Le travail actuel se concentre sur les systèmes en temps discret ; l'extension vers le temps continu constitue un travail futur.