🤖 machine learning

A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety

Cette enquête technique offre un aperçu mathématiquement rigoureux de l'apprentissage par renforcement sûr et de l'apprentissage par renforcement sûr multi-agents fondés sur des MDP contraints, en passant en revue les fondements théoriques et les algorithmes de l'état de l'art tout en proposant cinq problèmes de recherche ouverts pour orienter les avancées futures.

Auteurs originaux : Ankita Kushwaha, Kiran Ravish, Preeti Lamba, Pawan Kumar

Publié 2026-04-30

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ankita Kushwaha, Kiran Ravish, Preeti Lamba, Pawan Kumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Apprendre à un Robot à Conduire Sans Accidenter

Imaginez que vous apprenez à un robot à conduire une voiture. Vous voulez qu'il arrive au magasin d'alimentation le plus vite possible (c'est la Récompense). Mais vous avez aussi une règle stricte : Il ne doit jamais heurter un piéton.

Dans l'Apprentissage par Renforcement (RL) standard, le robot apprend par essais et erreurs. Il pourrait essayer de traverser une foule pour voir s'il peut arriver plus vite, heurter accidentellement un piéton, puis apprendre : « D'accord, ne fais pas ça ». Dans le monde réel, ce moment de « oups » pourrait être catastrophique.

L'Apprentissage par Renforcement Sécurisé (SafeRL) est le domaine dédié à s'assurer que le robot ne jamais apprend en accidentant. C'est comme apprendre au robot à conduire tout en portant une ceinture de sécurité, ayant un copilote et suivant un code de la route strict, tous en même temps.

Ce document est une immense « carte » ou « enquête » pour les chercheurs. Il organise toutes les différentes façons dont les scientifiques tentent de résoudre ce problème, en se concentrant sur deux domaines principaux :

Agent Unique : Un seul robot apprenant seul.
Multi-Agents (SafeMARL) : Toute une équipe de robots (comme un essaim de drones ou une flotte de voitures autonomes) apprenant à travailler ensemble sans accidenter les uns les autres.

Partie 1 : Le Code de la Route (Processus de Décision de Markov Contraints)

Le document explique que la meilleure façon de parler mathématiquement de la sécurité est d'utiliser quelque chose appelé un Processus de Décision de Markov Contraint (CMDP).

Imaginez un problème d'apprentissage standard comme un jeu vidéo où vous voulez simplement le score le plus élevé. Un CMDP est le même jeu, mais avec une « barre de vie » et une « limite de vies ».

L'Objectif : Obtenir le score le plus élevé (Récompense).
La Contrainte : Vous ne pouvez pas perdre plus de 3 cœurs (Coût). Si vous en perdez 4, le jeu se termine et vous avez échoué.

Le document décompose les différents types de « barres de vie » (Contraintes de Sécurité) que les chercheurs utilisent :

Contraintes Instantanées : « Vous ne pouvez pas toucher le mur maintenant. » (Comme un bras robotique qui ne peut pas se plier trop loin).
Contraintes Cumulatives : « Vous pouvez toucher le mur quelques fois, mais vos dégâts totaux sur tout le trajet doivent rester faibles. » (Comme un budget pour le carburant).
Contraintes de Probabilité : « Vous avez 99 % de chances de ne pas tomber d'une falaise. » (Accepter un tout petit risque, mais pas un gros).
Mesures de Risque : « Même si le risque moyen est faible, nous ne pouvons pas avoir de scénario où le robot est détruit. » (Se concentrer sur le pire scénario).

Partie 2 : Les Outils (Comment Enseigner au Robot)

Le document passe en revue les « outils » que les chercheurs utilisent pour garder le robot en sécurité pendant qu'il apprend. Ils se divisent en trois catégories principales :

1. La Méthode de l'« Étiquette de Prix » (Optimisation Lagrangienne)

Imaginez que le robot a un portefeuille. Chaque fois qu'il fait quelque chose d'insécurisé, il doit payer une amende.

Comment ça marche : Le robot essaie de maximiser son score moins les amendes.
Le Problème : Si le robot continue de briser les règles, l'« amende » (l'étiquette de prix) devient de plus en plus élevée jusqu'à ce que le robot soit terrifié à l'idée de briser la règle à nouveau.
L'Opinion du Document : C'est une méthode populaire, mais elle est délicate. Si l'amende est trop faible, le robot accidente. Si elle est trop élevée, le robot a peur et arrête complètement de bouger.

2. Le « Bouclier de Sécurité » (Correction d'Action)

Imaginez que le robot conduit, mais qu'il y a un officier de sécurité humain assis sur le siège passager.

Comment ça marche : Le robot décide de tourner à gauche vers un mur. L'officier de sécurité voit cela, attrape le volant et tourne à droite à la place. Le robot ne touche jamais réellement le mur.
L'Opinion du Document : C'est le seul moyen de garantir zéro accident pendant l'entraînement. Il utilise les mathématiques (comme des « filtres de sécurité ») pour bloquer tout mouvement qui semble dangereux avant même que le robot ne tente de l'exécuter.

3. La « Région de Confiance » (CPO)

Imaginez que le robot fait des pas. L'apprentissage standard dit : « Faites un grand bond pour apprendre plus vite ! » L'apprentissage sécurisé dit : « Faites de petits pas prudents. »

Comment ça marche : Le robot n'est autorisé à changer son comportement que d'une infime quantité à la fois. Il vérifie ses mathématiques pour s'assurer que même avec ce tout petit changement, il ne brisera pas accidentellement les règles de sécurité.
L'Opinion du Document : C'est très sûr, mais lourd en calculs (cela demande beaucoup de puissance cérébrale pour calculer chaque tout petit pas).

Partie 3 : Le Sport d'Équipe (Apprentissage Sécurisé Multi-Agents)

Le document consacre beaucoup de temps au SafeMARL (Multi-Agents). C'est quand vous avez 100 drones volant ensemble.

Le Problème : Dans une équipe, l'Agent A peut être sûr, et l'Agent B peut être sûr, mais s'ils bougent tous les deux en même temps, ils entrent en collision.

Approche Centralisée : Un seul « Cerveau » contrôle les 100 drones. Il voit tout et s'assure que personne ne s'écrase.
- Avantages : Très sûr.
- Inconvénients : Si le Cerveau est submergé ou si Internet coupe, toute l'équipe échoue.
Approche Décentralisée : Chaque drone ne voit que ses voisins. Ils doivent se parler pour éviter les collisions.
- Avantages : S'étend facilement (vous pouvez ajouter 1 000 drones).
- Inconvénients : Difficile de prouver qu'ils ne s'écraseront pas. Si le Drone A ne sait pas ce que fait le Drone B, ils pourraient entrer en collision.

Le document souligne que bien que nous ayons de bonnes méthodes pour un seul robot, enseigner à toute une équipe d'être sûre reste un immense puzzle non résolu.

Partie 4 : Les Cinq Grands Mystères (Problèmes de Recherche Ouverts)

Les auteurs concluent en énumérant cinq problèmes « Saint Graal » que les chercheurs doivent résoudre ensuite. Imaginez-les comme les « Chefs de Niveau » du SafeRL :

L'Objectif « Zéro Violation » : Peut-on apprendre à un robot à apprendre sans jamais briser une règle de sécurité, même une seule fois ? Actuellement, la plupart des robots brisent quelques règles en apprenant. Nous avons besoin d'un moyen de garantir zéro erreur dès le premier jour.
Le Robot « Bandeau sur les Yeux » : Que faire si le robot ne peut pas tout voir ? (Par exemple, une voiture qui ne peut pas voir autour d'un coin). Comment le garder en sécurité quand il devine ce qui se passe ?
L'Équipe « Sans Patron » : Comment faire en sorte qu'une équipe de robots soit sûre sans contrôleur central ? (Sécurité décentralisée).
L'Équipe « Rivale » : Que faire si les autres agents ne sont pas des amis ? (Contextes compétitifs). Comment rester en sécurité quand l'autre équipe essaie de vous battre, et qu'ils pourraient faire des choses dangereuses ?
La « Cible Mobile » : Que faire si les règles changent pendant que le robot apprend ? (Non-stationnarité). Si la disposition de la route change ou si de nouveaux types de voitures apparaissent, le robot peut-il s'adapter instantanément sans accidenter ?

Résumé

Ce document est un guide pour les chercheurs. Il dit :

Nous avons de bonnes mathématiques (CMDPs) pour décrire la sécurité.
Nous avons de bons outils (Boucliers, Étiquettes de Prix, Régions de Confiance) pour garder les robots individuels en sécurité.
Mais nous commençons à peine à comprendre comment garder des équipes de robots en sécurité, surtout lorsqu'elles sont en compétition ou lorsqu'elles ne peuvent pas tout voir.

L'objectif ultime est de faire passer l'IA de « apprendre en accidentant » à « apprendre en étant prudent », afin que nous puissions faire confiance aux robots dans nos hôpitaux, sur nos routes et dans nos usines.

1. Définition du problème

Le papier aborde le défi critique du déploiement d'agents d'apprentissage par renforcement (RL) dans des applications réelles critiques pour la sécurité (par exemple, la conduite autonome, la santé, la robotique, les réseaux électriques). Le RL standard optimise la récompense cumulative mais ignore souvent les contraintes de sécurité, entraînant des défaillances catastrophiques durant l'entraînement ou le déploiement.

Le problème central est formalisé comme l'Apprentissage par Renforcement Sécurisé (SafeRL) : maximiser les performances (récompense cumulative) tout en satisfaisant strictement les contraintes de sécurité à la fois durant le processus d'apprentissage et le déploiement final. Le papier se concentre principalement sur le cadre des Processus de Décision de Markov Contraints (CMDP), où la sécurité est modélisée par des contraintes sur les coûts cumulés attendus (ou d'autres mesures de risque) plutôt que par la simple maximisation de la récompense. Il étend également cela au SafeRL Multi-Agents (SafeMARL), où plusieurs agents doivent apprendre et interagir tout en respectant des contraintes de sécurité individuelles ou globales.

2. Méthodologie et fondements théoriques

La synthèse fournit un aperçu mathématique rigoureux du SafeRL, structuré autour du cadre CMDP et de ses extensions.

A. Fondements théoriques (CMDP)

Formulation : Un CMDP est défini comme un tuple MDP $(S, A, P, r, \{c^{(i)}\}, \gamma)$ où $c^{(i)}$ sont des fonctions de coût. L'objectif est de maximiser $J(\pi)$ sous la contrainte $J_c^{(i)}(\pi) \leq d_i$ .
Types de contraintes : Le papier catégorise les spécifications de sécurité en :
- Coûts cumulés attendus : La formulation CMDP standard (la plus courante).
- Contraintes instantanées : Limites strictes à chaque pas de temps (par exemple, limites de couple, évitement de collisions).
- Probabilité de défaillance : Contraintes sur la probabilité d'entrer dans un état de défaillance (par exemple, $Pr[\text{accident}] \leq \delta$ ).
- Mesures de risque : Contraintes sur des statistiques d'ordre supérieur comme la variance ou la Value-at-Risk conditionnelle (CVaR).
- Logique temporelle : Sécurité définie via des formules de logique temporelle linéaire (LTL).
Approches d'optimisation :
- Dualité de Lagrange : Transformation du problème contraint en un problème non contraint à l'aide de multiplicateurs de Lagrange ( $\lambda$ ). La fonction duale est minimisée pour trouver les multiplicateurs optimaux, tandis que le primal (politique) est maximisé.
- Programmation linéaire (PL) : Pour les espaces d'états finis, les CMDP peuvent être résolus exactement via la PL en utilisant des mesures d'occupation.
- Garanties théoriques : Le papier cite Altman [1999] prouvant l'existence de politiques optimales stationnaires et une dualité forte sous des conditions de régularité. Il examine également les bornes de performance (Achiam et al., 2017) qui justifient les méthodes de région de confiance.

B. Algorithmes de l'état de l'art (Agent unique)

La synthèse classe les méthodes actuelles en quatre catégories principales :

Optimisation de politique basée sur Lagrange :
- Acteur-Critique Lagrangien : Met à jour la politique et les multiplicateurs de Lagrange simultanément (par exemple, Tessler et al., 2019). Simple mais peut violer les contraintes durant l'entraînement.
- Optimisation de politique contrainte (CPO) : Une méthode de région de confiance emblématique (Achiam et al., 2017) qui résout un sous-problème contraint à chaque étape pour garantir une satisfaction quasi-contrainte.
- CPO projeté (PCPO) : Projette les mises à jour de la politique sur l'ensemble réalisable pour assurer la sécurité.
Boucliers de sécurité et correction d'actions :
- Couches externes (par exemple, couches de sécurité, filtres basés sur la programmation quadratique) qui remplacent les actions non sûres proposées par l'agent RL.
- Bouclage formel : Utilise la vérification de modèles et la logique temporelle pour pré-calculer des ensembles d'actions sûres.
Méthodes sensibles au risque et distributionnelles :
- Optimisation directe pour des mesures de risque (par exemple, CVaR) plutôt que l'utilisation de contraintes strictes.
- RL distributionnel pour modéliser la distribution complète du retour et contrôler les risques de queue.
SafeRL Multi-Agents (SafeMARL) :
- Centralisé : Traitement du système multi-agents comme un agent conjoint unique (par exemple, MACPO).
- Décentralisé : Les agents optimisent des objectifs locaux avec une communication limitée (par exemple, voisinages à $\kappa$ sauts) pour approximer la sécurité globale.
- Théorie des jeux : Recherche d'équilibres de Nash contraints dans des contextes compétitifs.

3. Contributions clés

Taxonomie complète : Le papier fournit une taxonomie structurée des méthodes SafeRL, distinguant les approches agent unique et multi-agents, et catégorisant les algorithmes par leur mécanisme sous-jacent (Lagrange, Bouclage, Sensible au risque).
Rigueur mathématique : Il offre une dérivation détaillée de la théorie CMDP, incluant la dualité de Lagrange, les formulations de programmation linéaire et les bornes de gradient de politique, servant de référence technique pour les chercheurs.
Focus sur SafeMARL : Contrairement aux synthèses précédentes qui se concentraient fortement sur le RL agent unique, ce papier consacre une attention significative au domaine émergent du SafeMARL, analysant les défis dans les contextes coopératifs, compétitifs et décentralisés.
Identification des problèmes ouverts : Les auteurs proposent cinq problèmes de recherche spécifiques pour guider les travaux futurs :
- P1 : Exploration sûre à violation zéro : Garantir qu'aucune violation de contrainte ne se produit durant tout le processus d'entraînement (pas seulement asymptotiquement).
- P2 : Sécurité sous observabilité partielle : Gérer la sécurité dans les POMDP où l'état réel est inconnu.
- P3 : SafeMARL décentralisé : Atteindre une sécurité globale sans contrôleur central ni observabilité complète de l'état.
- P4 : SafeMARL compétitif : Trouver des équilibres sûrs (par exemple, Nash contraint) dans des jeux non coopératifs à somme générale.
- P5 : Sécurité multi-agents non stationnaire : Assurer la sécurité lorsque l'environnement ou la population d'agents change au fil du temps.
Compilation de ressources : Le papier inclut une liste curated de bibliothèques open-source (par exemple, OmniSafe, SafePO) et d'environnements de référence (par exemple, Safety Gymnasium, SMARTS) pour faciliter la reproductibilité.

4. Résultats et constatations

Maturité de l'agent unique : Le domaine du SafeRL agent unique est relativement mature, avec des algorithmes comme CPO et les méthodes Lagrangiennes offrant de solides garanties théoriques et un succès empirique sur des références comme Safety Gym.
Défis multi-agents : Le SafeMARL est identifié comme un domaine naissant. Bien que les approches centralisées (comme MACPO) montrent des promesses, les solutions décentralisées évolutives et les méthodes robustes pour les contextes compétitifs restent largement non résolues.
Compromis : La synthèse met en évidence un compromis fondamental entre les garanties de sécurité et l'efficacité des échantillons. Les méthodes avec de fortes garanties théoriques (comme CPO) sont souvent coûteuses en calcul, tandis que les méthodes basées sur des pénalités plus simples sont efficaces mais peuvent violer les contraintes durant l'entraînement.
Importance des types de contraintes : Le choix de la formulation de la contrainte (instantanée vs cumulative, sensible au risque vs attendue) impacte considérablement la conception de l'algorithme et son applicabilité à des domaines spécifiques (par exemple, la robotique nécessite des contraintes instantanées, tandis que la finance peut préférer le CVaR).

5. Signification

Cette synthèse est significative pour plusieurs raisons :

Unification : Elle comble le fossé entre la théorie du contrôle théorique (CMDP) et le RL profond moderne, fournissant un langage unifié pour la sécurité.
Feuille de route pour le déploiement : En identifiant des problèmes ouverts tels que l'apprentissage « à violation zéro » et la « sécurité décentralisée », elle trace le chemin nécessaire pour passer du SafeRL de la simulation au déploiement réel dans des domaines à haut risque.
Ressource communautaire : La compilation de bibliothèques et de références sert d'outil vital pour les chercheurs afin de comparer les algorithmes et de reproduire les résultats, accélérant les progrès dans le domaine.
Direction future : Les problèmes de recherche proposés (P1–P5) établissent un agenda clair pour la prochaine génération de recherches en SafeRL, mettant l'accent sur la nécessité de robustesse face à l'observabilité partielle, à la décentralisation et aux environnements dynamiques.

En conclusion, le papier établit que si le SafeRL a fait des progrès significatifs, particulièrement dans les contextes agent unique, la transition vers des scénarios complexes, multi-agents et réels nécessite de résoudre des défis fondamentaux en matière d'exploration, de décentralisation et de calcul d'équilibre.