Résumé Technique : Accessibilité Conforme pour le Contrôle Sécurisé en Environnements Inconnus

1. Énoncé du Problème

L'article traite du défi de la conception de politiques de contrôle prouvablement sûres pour des systèmes autonomes opérant dans des environnements dynamiques inconnus. Bien que l'apprentissage par renforcement (RL) ait fait progresser l'autonomie, les approches standards manquent souvent de garanties de sécurité rigoureuses, optimisant généralement la performance moyenne ou s'appuyant sur une sécurité empirique qui échoue dans les scénarios critiques.

Les techniques de vérification et de synthèse existantes font face à des limitations significatives :

• Hypothèses de connaissance/déterminisme : De nombreuses méthodes supposent que la dynamique du système est connue ou déterministe, ce qui est rarement le cas en pratique.
• Espaces d'états/actions finis : Les approches nécessitent souvent des espaces d'états ou d'actions finis, ce qui limite l'applicabilité aux systèmes continus.
• Passage à l'échelle et lissage : Les méthodes formelles comme l'accessibilité de Hamilton-Jacobi ne passent pas bien à l'échelle avec la complexité du système, et de nombreuses méthodes basées sur l'apprentissage supposent des dynamiques lisses ou des formes de modèles spécifiques (ex: processus gaussiens).
• Garanties approximatives : Les méthodes actuelles de RL sécurisé fournissent souvent une sécurité uniquement « en moyenne » (via des MDP contraints) ou à la limite, plutôt que d'offrir des garanties probabilistes à horizon fini pour des dynamiques potentiellement stochastiques et inconnues.

Le problème central est d'apprendre une politique qui maximise la récompense cumulée tout en garantissant que le système reste dans un ensemble sûr $S_s$ pour un horizon de décision $K$ avec une garantie de haute probabilité rigoureuse, malgré l'absence de connaissance préalable de la dynamique $P$ du système et de la fonction de récompense $r$.

2. Méthodologie : ReCORS

Les auteurs proposent ReCORS (Reachability with COnformal uncertainty sets for Reinforcement learning with Safety guarantees), un cadre qui intègre le RL basé sur un modèle et sans modèle avec la prédiction conforme (CP) et l'analyse d'accessibilité.

2.1 Approximation de la Dynamique du Système

La méthode apprend un modèle de dynamique paramétrique à temps discret $\hat{f}_\beta$ (un réseau de neurones) qui associe des paires état-action à des états suivants prédits.

• Entraînement Sensible à la Sécurité : Contrairement à l'apprentissage de dynamique standard, la fonction de perte pour $\hat{f}_\beta$ incorpore des poids de sécurité. Les dimensions de l'espace d'états qui sont plus critiques pour les contraintes de sécurité (ex: proximité d'obstacles) se voient attribuer des poids plus élevés dans la perte $\ell_2$. Cela priorise la précision de la prédiction dans les dimensions critiques pour la sécurité, même si cela augmente légèrement l'erreur de prédiction globale.
• Pipeline d'Entraînement : Le modèle est pré-entraîné sur des actions aléatoires, puis affiné de manière itérative aux côtés de la politique en utilisant les données collectées à partir de la politique actuelle.

2.2 Analyse de Sécurité Conforme (CSA)

Pour fournir des garanties probabilistes sans supposer de distributions de dynamique spécifiques, ReCORS utilise la prédiction conforme (CP).

• Quantification de l'Incertitude : La CP est utilisée pour générer des intervalles de prédiction valides (ensembles d'incertitude) pour le modèle de dynamique. Pour un état et une action donnés, le véritable état suivant est garanti de se trouver dans l'intervalle $[\hat{f}(s,a) - \eta, \hat{f}(s,a) + \eta]$ avec une probabilité de $1-\alpha$.
• Bornes au Niveau de la Trajectoire : Pour éviter des bornes d'union trop conservatrices sur les pas de temps, les auteurs utilisent un score de non-conformité au niveau de la trajectoire (basé sur Cleaveland et al. [12]). Cela optimise les poids pour chaque pas de temps afin de produire des bornes plus serrées sur l'ensemble de l'horizon $K$.
• Vérification de l'Accessibilité : En utilisant la dynamique apprise $\hat{f}_\beta$ et les bornes d'incertitude conformes $\eta$, le système effectue une analyse d'accessibilité vers l'avant. Il vérifie si l'ensemble des états atteignables à n'importe quel instant $t \in [1, K]$ intersecte l'ensemble non sûr $S_u$.
• Distribution de l'État Initial : Le cadre prend en compte l'incertitude de la distribution de l'état initial $\rho$ en appliquant des bornes de queue à échantillon fini (inégalité de Hoeffding) aux résultats de vérification empiriques, garantissant que la garantie de sécurité s'applique à l'ensemble de la distribution, et pas seulement aux états initiaux échantillonnés.

2.3 Pipeline d'Entraînement Différentiable

Une innovation clé est de rendre le processus de vérification de la sécurité différentiable pour permettre l'optimisation de la politique de bout en bout.

• Prédicteur Conforme Neuronal : Un réseau de neurones distinct $\eta_\omega$ est entraîné pour prédire les seuils de conformité $\eta$. Cela remplace le calcul de quantile non différentiable de la CP standard.
• Fonctions de Perte :
  • Perte Conforme : Combine un terme d'efficacité (minimisation de la taille de l'ensemble de prédiction) et un terme de couverture (garantissant que la couverture empirique répond à la cible $1-\alpha$).
  • Perte de Sécurité : Pénalise explicitement la violation maximale de sécurité sur l'horizon et encourage l'amélioration des scores de sécurité de l'étape initiale à l'étape finale.
• Optimisation Conjointe : La politique (acteur), le critique, le modèle de dynamique et le prédicteur conforme sont optimisés conjointement. La perte totale combine l'objectif de récompense standard du RL avec les pertes conformes et de sécurité.
• Apprentissage par Curriculum : L'algorithme emploie une stratégie de curriculum, commençant par un horizon de sécurité court $K_0$ et l'augmentant progressivement à mesure que la politique atteint une sécurité prouvable, permettant au système d'apprendre des comportements complexes graduellement.

3. Contributions Clés

1. Analyse de Sécurité Conforme (CSA) : Un cadre novateur combinant la prédiction conforme avec l'analyse d'accessibilité pour l'apprentissage de contrôleurs dans des systèmes dynamiques inconnus. Il fournit des garanties de sécurité probabilistes rigoureuses sans supposer la lissé ou des formes spécifiques des dynamiques sous-jacentes.
2. Apprentissage de Politique Sûre Prouvable : Un cadre d'entraînement qui intègre le RL sans modèle (pour la maximisation de la récompense) avec l'estimation d'accessibilité basée sur un modèle (pour la sécurité). Il impose des contraintes de sécurité strictes via des fonctions de perte différentiables dérivées d'ensembles d'incertitude conformes.
3. Évaluation Complète : Expérimentations approfondies à travers sept environnements (incluant Cartpole, Lane Following, Quadrotors 2D/3D, CarGoal et HalfCheetah) avec des spécifications de sécurité linéaires (affines) et non linéaires.

4. Résultats Expérimentaux

Les auteurs ont évalué ReCORS par rapport à cinq baselines de pointe (PPOLag, PCPO, CRPO, P3O, RESPO).

• Sécurité Vérifiée : ReCORS a obtenu des garanties de sécurité prouvables nettement plus fortes que toutes les baselines. Par exemple, dans l'environnement Cartpole, les baselines ont échoué à fournir des garanties utiles au-delà d'un horizon de $K=20$, tandis que ReCORS a maintenu des garantités de sécurité à haute probabilité jusqu'à $K \ge 50$.
• Compromis Récompense vs Sécurité : Bien que certaines baselines aient atteint des récompenses plus élevées, elles l'ont fait au détriment de propriétés de sécurité médiocres (violations fréquentes). ReCORS était la seule méthode à atteindre systématiquement à la fois une performance forte et une sécurité vérifiée. Dans certains domaines (ex: Quadrotor 2D), ReCORS a surpassé toutes les baselines tant en récompense qu'en sécurité.
• Contraintes Non Linéaires : L'approche a géré avec succès les contraintes de sécurité non linéaires (ex: distance de sécurité dans le Quadrotor 2D), surpassant les baselines qui soit échouaient à vérifier la sécurité, soit résultaient en des comportements trop conservateurs (ex: drones restant stationnaires).
• Études d'Ablation : Les résultats ont confirmé l'importance des poids sensibles à la sécurité dans l'entraînement de la dynamique et de l'optimisation conjointe des modèles de dynamique et d'incertitude.

5. Signification et Revendications

L'article affirme présenter une approche novatrice qui comble le fossé entre l'apprentissage de haute performance et la vérification de sécurité rigoureuse dans des environnements inconnus. Sa signification réside dans :

• Suppression des Hypothèses Restrictives : Contrairement aux travaux antérieurs, il ne suppose pas de dynamiques connues, déterministes ou lisses, et ne nécessite pas d'espaces d'états finis.
• Garanties Indépendantes de la Distribution : En exploitant la prédiction conforme, il fournit une quantification de l'incertitude statistiquement calibrée et indépendante de la distribution, rendant les garanties de sécurité robustes aux erreurs de modèle et à la stochasticité inconnue.
• Passage à l'Échelle : La formulation d'accessibilité à pas discrets et horizon fini passe mieux à l'échelle avec la complexité du système par rapport aux méthodes de Hamilton-Jacobi basées sur les EDP.
• Applicabilité Pratique : La méthode est démontrée comme étant efficace dans divers domaines, offrant une voie viable vers une autonomie de confiance où la sécurité ne peut être compromise pour la performance.

Les auteurs reconnaissent des limites, notant que l'approche actuelle suppose une observabilité parfaite de l'état du système, ce qui reste un problème ouvert pour des travaux futurs.