Résumé technique : Filtrage de risque conditionné à l'action pour le contrôle critique de sécurité sous observabilité partielle

1. Énoncé du problème

De nombreux problèmes de contrôle du monde réel sont à la fois critiques pour la sécurité et partiellement observables (POMDP). Dans ces contextes, les agents doivent prendre des décisions basées sur des observations incomplètes (par exemple, des capteurs bruyants, des dynamiques environnementales cachées) tout en équilibrant la performance de la tâche par rapport au risque de défaillances rares mais catastrophiques. Les exemples incluent la régulation automatisée de la glycémie (où l'absorption des repas et les dynamiques de l'insuline sont latentes) et la navigation sous contraintes de sécurité (où des perturbations latentes peuvent rendre des actions apparemment sûres dangereuses).

Bien que le cadre des Processus de Décision Markoviens Partiellement Observables (POMDP) offre une approche rationnelle en maintenant un état de croyance sur les variables latentes, il rencontre des défis de déploiement significatifs dans les domaines critiques pour la sécurité :

• Coût computationnel : La planification en ligne dans l'espace des croyances est souvent intraitable dans des contextes continus et de haute dimension.
• Dépendance au modèle : Des mises à jour précises des croyances nécessitent des modèles de transition et d'observation précis, qui sont fréquemment indisponibles.
• Surcharge d'information : Un état de croyance complet peut contenir plus d'informations que nécessaire pour des contrôleurs dont les décisions de sécurité sont dominées par des contraintes à court horizon.

L'article postule que pour de telles tâches, maintenir explicitement une croyance complète sur l'état latent peut être inutile. Au lieu de cela, la question décisionnelle critique est souvent plus étroite : « Une action candidate est-elle susceptible de provoquer une violation de sécurité à court terme ? »

2. Méthodologie : Filtrage de risque conditionné à l'action

Les auteurs proposent un cadre d'apprentissage par renforcement (RL) léger et filtré par le risque qui évite les mises à jour explicites des croyances. La méthode repose sur deux composants principaux : un état proxy dépendant de l'historique compact et un prédicteur de danger à court terme conditionné à l'action.

2.1 Construction de l'état proxy

Au lieu de maintenir un état de croyance $b_t = P(s_t | H_t)$, le contrôleur compresse les $W$ étapes d'historique les plus récentes en un état proxy $o_t$ :
$$o_t = \phi(W^W_t) \in \tilde{\mathcal{S}}$$
où $W^W_t = (y_{t-W+1}, a_{t-W+1}, \dots, y_t)$ représente la fenêtre récente d'observations et d'actions. Ce proxy sert d'entrée à la fois pour la prédiction du risque et l'apprentissage de la valeur.

2.2 Prédiction du risque conditionnée à l'action

Pour chaque action candidate $a \in \mathcal{A}$, le contrôleur apprend un prédicteur $\hat{\rho}(o_t, a)$ qui estime la probabilité d'une violation de sécurité dans un horizon court :
$$\hat{\rho}(o_t, a) \approx P(E_t(a) = 1 | H_t)$$
Crucialement, ce risque est calculé séparément pour chaque action candidate. Cela permet au contrôleur de distinguer entre les actions susceptibles d'être sûres et celles qui induisent des dangers à court terme, même sous des observations partielles identiques.

2.3 Estimation de valeur filtrée par le risque

Le cadre utilise un ensemble de $M$ critiques $\{Q_m(o, a)\}$ pour fournir des estimations de valeur optimistes ($Q^+$) et conservatrices ($Q^-$). Le risque prédit $\hat{\rho}$ est utilisé pour interpoler entre ces estimations, créant une fonction de valeur consciente du risque $Q_{gate}$ :
$$Q_{gate}(o, a) = (1 - \hat{\rho}(o, a))Q^+(o, a) + \hat{\rho}(o, a)Q^-(o, a)$$

• Risque faible : Lorsque $\hat{\rho}$ est faible, $Q_{gate}$ se rapproche de $Q^+$, encourageant un comportement de recherche de récompense.
• Risque élevé : Lorsque $\hat{\rho}$ est élevé, $Q_{gate}$ se déplace vers $Q^-$, décourageant les actions aux retours incertains ou potentiellement dangereux.

2.4 Sélection de la politique et entraînement

Au moment de la décision, le contrôleur applique un filtre d'admissibilité strict basé sur un seuil de risque spécifié par l'utilisateur $R_{max}$ :

1. Construire l'ensemble des actions sûres : $A_{safe}(o_t) = \{a \in \mathcal{A} : \hat{\rho}(o_t, a) \leq R_{max}\}$.
2. Si $A_{safe}$ n'est pas vide, sélectionner l'action maximisant $Q_{gate}$.
3. Si $A_{safe}$ est vide, revenir à l'action présentant le risque prédit minimum.

Pendant l'entraînement, le prédicteur de risque et l'ensemble des critiques sont mis à jour conjointement. Le signal de récompense pour les critiques est façonné pour inclure une pénalité de risque ($\tilde{r}_t = r_t - \lambda_{risk}\hat{\rho}_t(a_t)$), garantissant que la fonction de valeur reflète à la fois la performance de la tâche et la charge de sécurité.

3. Contributions clés

L'article apporte trois contributions principales :

1. Un cadre novateur : Un cadre de contrôle critique pour la sécurité des POMDP qui remplace les mises à jour explicites des croyances par un état proxy dépendant de l'historique compact et une estimation de danger à court terme conditionnée à l'action.
2. Évaluation des actions filtrée par le risque : Une règle de décision qui utilise le danger prédit pour interpoler entre les estimations de valeur d'ensemble optimistes et conservatrices, permettant au contrôleur d'adapter dynamiquement son conservatisme en fonction du risque spécifique de chaque action candidate.
3. Validation empirique : Démonstration dans deux domaines distincts (régulation de la glycémie et navigation) que cette conception atteint un équilibre favorable entre performance de la tâche, sécurité et efficacité computationnelle par rapport à la planification basée sur les croyances et aux bases de référence RL sûres standard.

4. Résultats expérimentaux

La méthode a été évaluée dans deux domaines partiellement observables critiques pour la sécurité :

4.1 Régulation automatisée de la glycémie (Simulateur UVa/Padova)

• Configuration : Testé sur des cohortes d'adultes et d'adolescents avec une observabilité partielle concernant l'absorption des repas et les dynamiques de l'insuline.
• Performance : La méthode proposée (RiskGated) a atteint le Temps dans la Plage (TIR) le plus élevé pour les deux cohortes (82,0 % pour les adultes, 71,6 % pour les adolescents), surpassant PPO, Safe-PPO et les bases de référence POMDP.
• Sécurité : Elle a maintenu des métriques compétitives d'hypoglycémie et d'hyperglycémie, évitant les compromis observés dans d'autres méthodes (par exemple, Safe-PPO réduisant l'hypoglycémie mais augmentant l'hyperglycémie).
• Efficacité : Elle a considérablement réduit le temps d'exécution computationnel par rapport à la planification POMDP (par exemple, réduisant le temps d'exécution total d'environ 1351 s à environ 144 s pour les adultes) et la latence par étape d'environ 62 ms à environ 4,4 ms.

4.2 Navigation Safety-Gym

• Configuration : Évalué sur les benchmarks SafetyPointGoal1 et SafetyPointCircle1.
• Performance : RiskGated a atteint le meilleur ratio récompense/coût parmi toutes les méthodes.
• Compromis : Elle a réduit significativement les coûts de sécurité moyens par rapport au PPO non contraint (par exemple, 36,93 contre 109,87 sur Goal1) tout en maintenant une récompense non triviale, évitant l'« effondrement de la récompense » observé dans certaines méthodes RL sûres contraintes.

4.4 Ablation et analyse

• Prédiction du risque : Le prédicteur appris a montré une forte corrélation avec le risque réalisé a posteriori (corrélation 0,9982) et un fort accord sur le franchissement du seuil (98,12 %).
• Sensibilité : La méthode était stable face aux variations de la longueur de la fenêtre proxy ($W$) et de la taille de l'ensemble ($M$). Le seuil de risque ($R_{max}$) agissait comme un bouton réglable pour le compromis sécurité-performance.

5. Importance et affirmations

L'article affirme que le risque à court terme conditionné à l'action peut servir de signal local efficace pour un contrôle approximatif sensible au risque lorsque la planification complète dans l'espace des croyances est impraticable.

• Alternative pratique : L'approche offre un « juste milieu léger » entre la planification POMDP classique (qui est coûteuse en calcul et dépendante du modèle) et le RL sûr standard (qui suppose souvent une observabilité complète de l'état).
• Approximation orientée décision : Plutôt que d'essayer de reconstruire la distribution a posteriori complète sur les états latents, la méthode se concentre sur la quantité spécifique pertinente pour la sécurité immédiate : la probabilité d'une violation à court terme pour une action spécifique.
• Évolutivité : En évitant les mises à jour récursives des croyances, la méthode s'adapte à des domaines où la planification dans l'espace des croyances est intraitable, tout en fournissant toujours des garanties de sécurité grâce au mécanisme de filtrage par le risque.

Les auteurs concluent que, bien que la représentation proxy et les caractéristiques de danger restent partiellement spécifiques au domaine, le cadre démontre que le maintien explicite des croyances n'est pas strictement nécessaire pour un contrôle efficace critique pour la sécurité si le contrôleur peut estimer avec précision les dangers à court terme conditionnés à l'action à partir de l'historique récent.