Résumé technique : Blindage robuste pour un apprentissage par renforcement sûr

Énoncé du problème

Les agents d'apprentissage par renforcement (RL) opérant dans des environnements inconnus, modélisés comme des processus de décision de Markov (MDP), sont confrontés à un défi de sécurité critique : les algorithmes standards explorent les actions sans restriction, sélectionnant inévitablement des actions potentiellement dangereuses. Bien que des mécanismes de « blindage » (shielding) existent pour garantir formellement la sécurité en restreignant les actions de l'agent, les techniques existantes nécessitent généralement une connaissance exacte de la dynamique des transitions pertinentes pour la sécurité. Dans les scénarios de RL pratiques, ces dynamiques sont inconnues.

Les approches actuelles pour gérer les dynamiques inconnues reposent souvent sur l'apprentissage d'estimations ponctuelles (par exemple, l'estimation du maximum de vraisemblance) des probabilités de transition. Cependant, cela introduit des erreurs statistiques qui compromettent les garanties de sécurité formelles. Alternativement, l'apprentissage d'ensembles d'incertitude autour des probabilités de transition (par exemple, en utilisant des bornes de type "Probably Approximately Correct" ou PAC) est une stratégie viable, mais les cadres de blindage existants sont incompatibles avec de tels ensembles, car ils sont conçus pour des modèles avec des probabilités exactes. Cet article comble la lacune consistant à fournir un cadre de blindage qui garantit la sécurité des agents de RL opérant dans des MDP inconnus en exploitant les MDP robustes (RMDP).

Méthodologie

Les auteurs proposent un nouveau cadre de blindage pour les RMDP, où les probabilités de transition sont représentées sous forme d'ensembles (ensembles d'incertitude) plutôt que de valeurs uniques. La méthodologie se déroule en deux étapes principales :

1. Cadre formel pour les MDP robustes (RMDP)

L'article définit un RMDP comme un jeu entre un agent (choisissant des actions) et un adversaire (choisissant des probabilités de transition à partir d'ensembles d'incertitude). La sécurité est définie via des formules de logique temporelle linéaire (LTL), en se concentrant spécifiquement sur les fragments de sécurité où un "préfixe mauvais" mène à une violation.

• Définition du blindage : Un blindage est défini comme une paire $(D, \Gamma)$, où $D$ est un moniteur contrôlable (étendant les moniteurs standards avec des actions auxiliaires) et $\Gamma$ associe les états d'observation et les états du moniteur à un ensemble de distributions de probabilité autorisées sur les actions.
• Construction : Le blindage est construit sur une abstraction de sécurité finie du RMDP. Il utilise une fonction de valeur inductive $\beta$ qui sert de borne supérieure robuste sur la probabilité d'atteindre un état "mauvais" (violation de la formule LTL). Le blindage restreint l'agent aux actions pour lesquelles le pire cas de l'espérance du prochain "budget de violation" reste dans le budget actuel.
• Garanties théoriques : Les auteurs prouvent que pour un RMDP donné, le blindage construit est :
  • Sûr (Sound) : Toute politique admissible par le blindage satisfait la spécification de sécurité sous l'adversaire le plus défavorable.
  • Optimal (Approximatif) : Toute politique sûre du RMDP est admissible par le blindage (à une erreur $\epsilon$ près, dépendant de l'approximation de la fonction de valeur). Si la fonction de valeur est exacte, le blindage est exactement optimal.

2. Blindage de MDP inconnus via l'apprentissage

Le cadre est instancié pour les MDP inconnus via un pipeline d'apprentissage :

1. Apprentissage des RMDP : Les probabilités de transition sont apprises à partir de transitions échantillonnées en utilisant des intervalles de confiance de Clopper-Pearson pour construire des ensembles d'incertitude PAC. Cela produit un RMDP appris $\hat{M}$ qui "contient" le véritable MDP $M$ avec une haute confiance ($1 - \delta$).
2. Synthèse du blindage : Un blindage est calculé sur le RMDP appris $\hat{M}$ en utilisant la méthode d'itération de valeur robuste décrite précédemment.
3. Déploiement : Le blindage est déployé sur le véritable MDP (inconnu). L'agent interagit avec l'environnement, mais ses choix d'actions sont contraints par le blindage dérivé de $\hat{M}$.

L'article établit que si le RMDP appris contient le véritable MDP avec une haute confiance, le blindage construit sur le RMDP garantit la sécurité du véritable MDP avec cette même confiance. De plus, à mesure que le nombre d'échantillons augmente, les ensembles d'incertitude se resserrent, et le conservatisme du blindage diminue, permettant à l'agent de se rapprocher du rendement optimal du véritable MDP.

Contributions clés

1. Nouveau cadre de blindage pour les RMDP : L'article introduit le premier cadre de blindage spécifiquement conçu pour les RMDP (MDP avec des ensembles de probabilités de transition), répondant à la limitation des méthodes existantes qui nécessitent des dynamiques exactes.
2. Preuves de sûreté et d'optimalité : Les auteurs fournissent des preuves rigoureuses démontrant que leur blindage est sûr (garantit la sécurité sous des dynamiques extrêmes) et approximativement optimal (permet des récompenses proches de l'optimalité) pour les RMDP.
3. Intégration avec l'apprentissage PAC : Le travail combine le blindage robuste avec des méthodes d'échantillonnage existantes pour apprendre les probabilités de transition avec des garanties PAC. Cela permet la construction de blindages pour des MDP inconnus qui fournissent des garanties de sécurité à haute confiance.
4. Validation empirique : L'approche est évaluée sur plusieurs environnements (Media Streaming, Color Bomb Gridworld, Pacman) en comparant la méthode proposée à des bases de référence utilisant des MDP exacts et l'estimation du maximum de vraisemblance (MLE).

Résultats

Les résultats expérimentaux démontrent le compromis entre la disponibilité des données et le conservatisme du blindage :

• Garanties de sécurité : Les blindages robustes proposés (paramètres Kno et Unk) respectent systématiquement la probabilité de spécification de sécurité requise ($1-p$) à travers diverses tailles d'échantillons, tandis que le blindage basé sur le MLE viole fréquemment les seuils de sécurité, particulièrement avec des tailles d'échantillons faibles à modérées.
• Récupération de performance : À mesure que le nombre d'échantillons augmente, les ensembles d'incertitude dans le RMDP appris deviennent plus serrés. Par conséquent, les blindages robustes deviennent moins restrictifs, et le rendement attendu de l'agent protégé converge vers la performance d'un agent opérant avec une connaissance complète du MDP (la base de référence MDP).
• Gestion des graphes inconnus : Le cadre gère avec succès les cas où la structure du graphe du MDP est inconnue (paramètre Unk), à condition qu'une probabilité de transition minimale soit supposée, bien que cela nécessite un nombre d'échantillons minimum plus élevé pour apprendre la structure du graphe de manière fiable.

Signification et affirmations

L'article affirme fournir une solution formelle au problème de l'exploration sûre en RL lorsque les dynamiques de transition sont inconnues. En passant des estimations ponctuelles aux ensembles d'incertitude (RMDP), les auteurs soutiennent qu'il est possible de construire des blindages qui offrent des garanties de sécurité formelles et à haute confiance sans nécessiter une connaissance parfaite de l'environnement.

La signification réside dans le pont jeté entre les méthodes formelles (qui supposent généralement des modèles connus) et l'apprentissage par renforcement piloté par les données (qui opère sur des modèles inconnus). Les auteurs soulignent que, bien que les méthodes robustes puissent être conservatrices avec des données limitées, ce conservatisme est un compromis nécessaire pour assurer la sécurité. À mesure que les données s'accumulent, la méthode se relâche naturellement, permettant à l'agent d'atteindre des rendements attendus élevés tout en maintenant la sécurité. Cela contraste avec les approches de pointe utilisant des estimations ponctuelles, qui, comme le démontre l'article, peuvent conduire à un comportement dangereux en raison d'une incertitude statistique non modélisée.

Ce travail se positionne comme une étape vers l'autonomie sûre dans des scénarios critiques pour la sécurité où l'incertitude du modèle est inhérente, offrant une alternative théoriquement fondée aux contraintes de sécurité heuristiques ou aux méthodes dépourvues de garanties en échantillon fini.