Learning to maintain safety through expert demonstrations in settings with unknown constraints: A Q-learning perspective

Cet article propose l'algorithme SafeQIL, une approche d'apprentissage par renforcement inverse sous contraintes qui utilise une perspective Q-learning pour déduire des politiques sûres à partir de démonstrations d'experts dans des environnements aux contraintes inconnues, en optimisant le compromis entre la sécurité et la probabilité d'obtenir des trajectoires à haute récompense.

L'essentiel

🚗 Le Dilemme du Chauffeur : Comment apprendre à conduire sans se faire tuer ?

Imaginez que vous voulez apprendre à conduire une voiture autonome. Vous avez deux options :

1. L'approche classique : Vous donnez à la voiture une carte des routes et une liste de règles strictes ("Ne dépassez jamais 50 km/h", "Évitez les nids-de-poule"). Le problème ? Parfois, les règles sont trop compliquées à écrire, ou le monde est trop imprévisible.
2. L'approche par démonstration : Vous montrez à la voiture comment vous conduisez vous-même (les "expertes"). Elle regarde vos trajets et essaie de copier.

Le gros problème de la deuxième approche, c'est que la voiture ne sait pas pourquoi vous avez freiné brusquement. Elle voit que vous avez évité un obstacle, mais elle ne sait pas si c'était parce qu'il y avait un mur invisible, un trou, ou juste parce que vous aviez peur. Si elle essaie de faire un peu mieux que vous (pour aller plus vite), elle risque de foncer dans un mur parce qu'elle ne connaît pas les règles cachées de la sécurité.

🛡️ La Solution : SafeQIL (Le "Gardien de la Promesse")

Les auteurs de cet article, George Papadopoulos et George A. Vouros, proposent une nouvelle méthode appelée SafeQIL. Pour comprendre comment ça marche, utilisons une analogie avec un jeu de cartes et un gardien de sécurité.

1. Le Concept de "Promesse" (La Carte Q)

Dans le monde de l'intelligence artificielle, on utilise souvent une valeur appelée "Q" pour dire : "Si je fais cette action ici, quelle est la récompense future que je vais obtenir ?".

• Le problème : Si la voiture voit une action qui rapporte beaucoup de points (comme aller très vite), elle a tendance à la faire, même si c'est dangereux.
• La solution SafeQIL : Ils mélangent deux choses dans cette valeur "Q" :
  1. La récompense (aller vite, gagner des points).
  2. La sécurité (est-ce que cette action est sûre ?).

Imaginez que chaque action a une "carte de promesse". Si l'action est sûre, la carte brille. Si elle est dangereuse, la carte devient rouge et sombre. L'objectif est de choisir les actions qui ont les cartes les plus brillantes, mais sans jamais choisir une carte rouge.

2. Le Gardien de Sécurité (Le Discriminateur)

Comment la voiture sait-elle si une action est sûre si elle n'a pas de règles écrites ?
Elle utilise un Gardien de Sécurité (un petit programme appelé "discriminateur").

• Ce gardien a vu des milliers de photos de vos trajets sûrs.
• Quand la voiture veut faire une nouvelle action, elle demande au gardien : "Est-ce que cette action ressemble à celles que l'expert a faites ?"
• Si le gardien dit "Oui, ça ressemble", la voiture peut avancer.
• Si le gardien dit "Non, c'est étrange, je ne connais pas ça", la voiture devient très prudente.

3. La Règle d'Or : "Ne soyez pas trop confiant"

C'est le cœur de la méthode.

• Si la voiture est dans une zone qu'elle connaît bien (là où l'expert est allé), elle peut essayer d'être intelligente et optimiser sa route.
• Mais si elle arrive dans une zone inconnue (un endroit où l'expert n'est jamais allé), le système lui dit : "Attends ! Ne pense pas que tu vas gagner des points ici. Considère que c'est dangereux."

C'est comme si vous appreniez à cuisiner en regardant un chef.

• Si vous essayez une recette que le chef a faite, vous pouvez ajouter un peu de sel pour améliorer le goût.
• Mais si vous essayez d'ajouter un ingrédient bizarre que le chef n'a jamais utilisé, la méthode SafeQIL vous dit : "Non, ne le fais pas. Reste sur ce que tu connais, même si ça semble moins bon, car tu risques de faire exploser la cuisine."

🏆 Pourquoi c'est génial ? (Les Résultats)

Les auteurs ont testé leur méthode sur des jeux vidéo complexes où il faut naviguer sans toucher d'obstacles (comme des voitures ou des robots).

• Les autres méthodes : Soit elles étaient trop prudentes (la voiture ne bougeait plus de peur de faire une erreur), soit elles étaient trop audacieuses (la voiture fonçait dans les murs pour aller plus vite).
• SafeQIL : Elle a trouvé le juste milieu. Elle a appris à être sûre (elle touche beaucoup moins d'obstacles que les autres) tout en restant efficace (elle arrive toujours à destination).

En résumé

Imaginez que vous apprenez à un enfant à traverser la rue.

• L'approche traditionnelle : Vous lui donnez un manuel de 500 pages sur le code de la route.
• L'approche "Copie pure" : Vous lui dites "Regarde-moi traverser, fais pareil". S'il essaie de courir plus vite que vous, il risque de se faire renverser.
• L'approche SafeQIL : Vous lui montrez comment traverser. Ensuite, vous lui mettez un "harnais invisible". Si l'enfant essaie de faire quelque chose qui ressemble à ce que vous avez fait, le harnais se relâche et il peut jouer. Mais s'il essaie de faire quelque chose de nouveau et d'inconnu, le harnais se resserre immédiatement pour le protéger, l'empêchant de faire une bêtise, même s'il pense que c'est une bonne idée.

C'est une façon intelligente d'apprendre aux robots à être audacieux là où c'est sûr, et paranoïaques là où c'est inconnu, le tout sans avoir besoin de connaître toutes les règles du monde à l'avance.

Résumé technique

---

1. Problématique et Contexte

L'article aborde le problème de l'apprentissage de politiques sûres dans des Processus de Décision Markoviens Contraints (CMDP) où les contraintes sont inconnues et les coûts associés non observables. Le seul signal disponible est un ensemble de trajectoires démontrées par un expert, exécutant la tâche de manière sûre sous des récompenses observables.

Les défis majeurs identifiés sont :

• L'incertitude des contraintes : Contrairement aux approches classiques d'apprentissage par renforcement contraint (CRL) qui supposent des contraintes connues, ici, l'agent doit inférer la sécurité uniquement à partir des démonstrations.
• Le compromis Conservatisme vs Performance :
  • Une approche trop conservatrice (imitation stricte) limite l'agent aux états vus lors des démonstrations, empêchant toute récupération de sécurité ou exploration de zones à haute récompense.
  • Une approche trop optimiste (maximisation de la récompense sans contraintes explicites) peut conduire l'agent à traverser des états incertains (hors distribution) avec un risque élevé de violation de sécurité.
• Limites des méthodes existantes : Les approches d'Apprentissage par Renforcement Contraint Inverse (ICRL) tentent souvent de reconstruire explicitement les fonctions de coût ou les ensembles de contraintes. Cela peut être instable, mener à des contraintes trop restrictives (échec de la tâche) ou trop lâches (insécurité), surtout lorsque les démonstrations sont bruitées ou partielles.

2. Méthodologie : SafeQIL

Les auteurs proposent SafeQIL (Safe Q-Inverse Constrained Reinforcement Learning), un algorithme qui reformule le problème d'apprentissage inverse non pas comme une inférence de contraintes, mais comme un problème d'apprentissage de valeurs (Q-learning) intégrant la sécurité.

Concepts Clés

• Fonction Q Hybride : La fonction de valeur $Q(s, a)$ est définie pour maximiser une combinaison d'attentes de récompenses de tâche ($r_d$) et de récompenses de sécurité ($r_s$).
  • Si un état $s$ est dans le support des démonstrations (sûr), la récompense est $r_d$.
  • Si un état $s$ est hors support (potentiellement dangereux), la récompense est $r_s$ (une pénalité négative).
• Discriminateur de Sécurité : Un discriminateur $\phi_\omega$ est entraîné pour estimer la probabilité qu'un état appartienne à la distribution des démonstrations. Cela permet de calculer la récompense de sécurité : $r_s(s) = \log(\phi_\omega(s))$.
• Contrainte de Majoration Locale (Upper Bound) : C'est le cœur de l'innovation. Pour tout état-action $(s, a)$ hors du support des démonstrations ($s \notin \text{supp}_E$), la valeur Q est contrainte à ne pas dépasser la valeur minimale observée dans les démonstrations les plus proches.
  • Mathématiquement : $Q(s, a) \preceq \min_{(s', a') \in \text{supp}_E} \{Q(s', a')\}$.
  • Cela empêche l'agent d'être "trop optimiste" sur des états non vus, forçant une attitude pessimiste (conservatrice) hors distribution tout en permettant l'amélioration sur les états connus.

Algorithme (SafeQIL)

L'algorithme s'appuie sur l'architecture Soft Actor-Critic (SAC) (max-entropy) modifiée :

1. Réplay Buffer ($B$) et Buffer de Démonstrations ($D$) : L'agent apprend à la fois en ligne et à partir des démonstrations.
2. Mise à jour des Critiques :
   • Pour les états hors distribution, la perte inclut un terme de contrainte qui force $Q(s, a)$ à rester inférieur à une cible basée sur la démonstration la plus proche (retrouvée par similarité cosinus).
   • Pour les états dans la distribution, la mise à jour suit la logique standard de SAC pour maximiser la récompense et l'entropie.
3. Discriminateur : Mis à jour via une perte logistique (comme en GAIL) pour distinguer les états sûrs des états non sûrs, guidant ainsi la pénalité de sécurité.

3. Contributions Principales

1. Formulation du problème via Q-values : Au lieu d'inférer des fonctions de coût explicites, l'article propose de régulariser directement la fonction de valeur. Cela permet de mélanger les attentes de récompense et de sécurité au niveau de chaque paire état-action.
2. L'algorithme SafeQIL : Une méthode sans modèle (model-free) qui intègre une contrainte de pessimisme local basée sur les démonstrations. Elle permet à l'agent de "récupérer" la sécurité même s'il s'écarte légèrement des trajectoires démontrées, tant qu'il revient vers des états sûrs.
3. Évaluation Rigoureuse : Comparaison sur quatre tâches complexes de l'environnement Safety-Gymnasium (navigation et manipulation) contre des états de l'art (ICRL, VICRL, SAC-GAIL, SAC standard).

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre tâches : SafetyPointGoal1, SafetyPointCircle2, SafetyCarButton1, et SafetyCarPush2.

• Performance Globale : SafeQIL surpasse systématiquement les méthodes d'inférence de contraintes (ICRL, VICRL) en termes de compromis entre récompense et coût de sécurité.
  • Sur SafetyPointGoal1, SafeQIL réduit le coût de sécurité de 30,4 % par rapport au SAC non contraint, tandis que ICRL et VICRL augmentent le coût ou échouent.
  • Sur SafetyPointCircle2, SafeQIL atteint une réduction de coût de 92 %, se rapprochant de la performance de VICRL (98 %) mais avec une récompense de tâche beaucoup plus élevée (46 % de la récompense de base contre une chute drastique pour VICRL).
• Robustesse : Contrairement à VICRL qui tend à sur-contraindre la politique (échec de la tâche dans les environnements de manipulation complexes comme SafetyCarButton1), SafeQIL maintient une politique fonctionnelle tout en assurant la sécurité.
• Analyse de Sensibilité (Ablation) :
  • La suppression du terme de contrainte (upper bound) entraîne une variance élevée des coûts, prouvant son importance pour la sécurité.
  • L'utilisation de la similarité cosinus pour trouver les démonstrations de référence est cruciale pour la stabilité.
• Impact de la taille du jeu de données : Une analyse sur la taille des données (de 1x à 8x) révèle un phénomène contre-intuitif : l'augmentation des données de démonstrations (souvent hétérogènes et bruitées) dégrade parfois les performances des méthodes d'inférence de contraintes (ICRL/VICRL) en raison de conflits de modes. SafeQIL reste plus robuste, bien que sa performance se dégrade légèrement à très grande échelle en raison de l'incertitude accrue sur les états hors distribution.

5. Signification et Conclusion

SafeQIL représente une avancée significative dans le domaine de l'apprentissage par renforcement sûr (Safe RL) avec des contraintes inconnues.

• Changement de paradigme : L'article démontre qu'il n'est pas nécessaire de reconstruire explicitement les contraintes pour apprendre une politique sûre. En régularisant directement les valeurs Q pour être pessimistes hors distribution, on obtient une sécurité robuste.
• Équilibre Sécurité-Performance : La méthode réussit à éviter le piège du "conservatisme excessif" (qui empêche l'agent d'agir) et de l'"optimisme dangereux" (qui mène à des accidents). Elle permet une récupération de sécurité dynamique.
• Limites et Perspectives : La méthode dépend de la qualité et de la couverture des démonstrations. Les auteurs suggèrent comme travail futur l'intégration de réseaux récurrents (RNN) pour mieux gérer les états ambigus (aliasing) dans les démonstrations multiples et l'exploration de méthodes basées sur des modèles pour la planification de récupération.

En résumé, SafeQIL offre une solution pratique et efficace pour déployer des agents autonomes dans des environnements réels où les règles de sécurité sont implicites et difficiles à formuler mathématiquement.