Learning Safe Behaviour via Justified Human Preferences and Hypothetical Queries

Résumé Technique : Apprentissage de Comportements Sûrs via des Préférences Humaines Justifiées et des Requêtes Hypothétiques

Énoncé du Problème
L'apprentissage par renforcement (RL) traditionnel repose sur l'exploration par essais et erreurs, ce qui est souvent irréalisable dans des domaines réels critiques pour la sécurité (par exemple, la robotique, la conduite autonome) où une seule action non sécurisée peut entraîner un échec catastrophique. Bien que le RL sûr (Safe RL) tente de remédier à cela en incorporant des contraintes, il est confronté au problème de l'« exploration sûre » : les agents ne peuvent pas explorer naïvement pour apprendre sans risquer de causer des dommages. De plus, le RL traditionnel souffre souvent d'une inefficacité d'échantillonnage et du « problème de spécification de la récompense », où les fonctions de récompense conçues ne s'alignent pas avec l'intention humaine.

Les approches impliquant l'humain dans la boucle (human-in-the-loop) offrent une solution en exploitant le feedback humain pour guider l'apprentissage. Cependant, les méthodes existantes qui reposent uniquement sur les préférences humaines (par exemple, choisir entre deux actions) imposent souvent une charge cognitive élevée à l'humain et peuvent tout de même échouer à cartographier efficacement les régions dangereuses de l'espace d'états. Le défi central abordé dans ce travail est de savoir comment apprendre une politique sûre avec un minimum d'événements dangereux (morts d'entraînement) tout en minimisant le temps et la charge cognitive imposés au formateur humain.

Méthodologie : JPAL-HA
Les auteurs proposent JPAL-HA (Justified Human Preferences for Active Learning with Hypothetical Actions), un modèle qui s'appuie sur l'approche « Parenting » [11]. Dans ce paradigme, un agent non entraîné (l'enfant) interroge un formateur humain (le parent) pour obtenir des conseils avant de prendre des actions. JPAL-HA introduit deux mécanismes novateurs pour améliorer la sécurité et l'efficacité :

1. Préférences Justifiées :
   Au lieu de simplement demander à l'humain de préférer une action par rapport à une autre ($P$), l'agent demande également une justification binaire ($J_P$). L'humain indique si la préférence est accompagnée d'un « avertissement » (une action est dangereuse/catastrophique) ou d'« aucun avertissement » (les deux actions sont sûres).

   • Mécanisme : Ce signal binaire permet à l'agent de mapper la préférence et la justification vers une étiquette de préférence raffinée ($\mu \in \{0, 0.25, 0.5, 0.75, 1\}$). Un signal d'« avertissement » augmente considérablement la pression d'apprentissage sur le modèle de politique pour éviter l'action catastrophique, même si la magnitude de la préférence est faible.
   • Bénéfice : Cela fournit des signaux de sécurité explicites qui aident l'agent à distinguer plus efficacement les actions « sûres mais sous-optimales » des actions « catastrophiques » par rapport à la simple préférence.

2. Actions Hypothétiques (HAs) :
   Lorsqu'une justification indique un « avertissement » (c'est-à-dire qu'au moins une action échantillonnée est catastrophique), l'agent déclenche une boucle d'Actions Hypothétiques.

   • Mécanisme : Plutôt que de s'arrêter ou de rééchantillonner immédiatement, l'agent génère un ensemble d'actions hypothétiques ($a_{new}$) qui auraient pu être entreprises à partir de l'état actuel. Il interroge l'humain pour une justification unique ($J_{anew}$ : sûre ou avertissement) concernant ces actions hypothétiques.
   • Inférence : Sur la base du statut de sécurité de la nouvelle action hypothétique, l'agent peut automatiquement inférer la sécurité relative des combinaisons entre la nouvelle action et les actions précédemment identifiées comme sûres ou catastrophiques, les ajoutant ainsi au jeu de données d'entraînement sans requêtes de préférence humaines supplémentaires.
   • Motifs Mortels : L'agent identifie et stocke également les « motifs mortels » (combinaisons de mouvements menant à la catastrophe) pour les éviter dans les états futurs sans réinterroger l'humain.
   • Bénéfice : Cela permet à l'agent de cartographier rapidement les régions dangereuses de l'espace d'états avec une seule salve de requêtes, réduisant ainsi le besoin d'interruptions répétées au même état.

Le processus d'apprentissage utilise l'apprentissage supervisé (minimisation de la perte d'entropie croisée basée sur le modèle de Bradley-Terry) sur un jeu de données de préférences et de justifications humaines. L'algorithme emploie également des « Requêtes Après-Coup » (ATFQs - After-The-Fact Queries) pour explorer des actions potentiellement bonnes qui n'avaient pas été initialement échantillonnées, agissant comme un mécanisme d'exploration sûre.

Contributions Clés

1. Nouveaux Paradigmes d'Apprentissage : L'introduction des Justifications (avertissements de sécurité binaires accompagnant les préférences) et des Actions Hypothétiques (requêtes proactives d'actions non tentées lors de la détection d'un danger) comme concepts généralisables pour l'apprentissage sûr à partir de préférences humaines.
2. Algorithme JPAL-HA : Un algorithme unifié qui intègre ces caractéristiques, démontrant qu'il améliore significativement la sécurité pendant l'entraînement par rapport aux méthodes de préférence existantes (Parenting, JPAL) et atteint une meilleure efficacité d'échantillonnage que les autres algorithmes de RL humain-dans-la-boucle sûrs.
3. Compromis Sécurité-Charge Humaine : Le document fournit un hyperparamètre réglable ($p_{BTFQ}$) qui permet aux utilisateurs de doser la sécurité (nombre de requêtes) par rapport à la charge humaine. Il démontre que JPAL-HA peut atteindre un nombre de morts d'entraînement proche de zéro tout en maintenant des temps d'entraînement raisonnables.
4. Validation dans le Monde Réel : La méthode a été évaluée non seulement en simulation (environnement Island Navigation) mais aussi avec un groupe diversifié de participants humains entraînant un robot mobile physique Thymio.

Résultats

• Expériences de Simulation :

  • Sécurité : JPAL-HA a considérablement réduit les morts d'entraînement par rapport au Q-learning (qui a subi environ 16,5 morts en moyenne) et à l'approche de référence Parenting. Dans des configurations conservatrices, JPAL-HA a atteint une moyenne de 0,02 décès par essai, avec 98 % des essais présentant zéro décès.
  • Efficacité : JPAL-HA a trouvé la politique optimale en moins d'épisodes (moyenne de 3) par rapport au Q-learning (22,9).
  • Charge Humaine : Bien que l'ajout de justifications augmente initialement le nombre de requêtes par rapport à Parenting, l'ajout d'Actions Hypothétiques dans JPAL-HA réduit le nombre total de requêtes de préférence et d'étapes globales, compensant efficacement la charge cognitive supplémentaire des justifications.
  • Signification Statistique : Des tests non paramétriques ont confirmé des différences significatives en termes de sécurité et d'efficacité entre JPAL-HA et les méthodes de référence.

• Expériences avec Robot Réel :

  • Temps d'Entraînement : Un groupe diversifié de 40 participants (incluant des personnes issues de milieux non informatiques) a réussi à entraîner le robot. Avec une pratique initiale, les temps d'entraînement pour JPAL et JPAL-HA étaient légèrement plus longs que pour Parenting (30 % de plus), mais ont convergé vers des niveaux similaires (4 minutes) après que les participants se soient adaptés à l'interface.
  • Faisabilité : L'étude a démontré qu'un groupe diversifié de personnes pouvait terminer l'entraînement en quelques minutes, et que le mécanisme d'action hypothétique n'augmentait pas de manière significative le temps d'entraînement total par rapport aux méthodes plus simples, le maintenant à des niveaux admissibles.

Signification et Revendications
L'article affirme que JPAL-HA offre une solution pratique pour l'apprentissage sûr dans des environnements critiques où le RL traditionnel échoue en raison du risque d'exploration catastrophique. En augmentant les préférences humaines par de simples justifications binaires et en utilisant des requêtes hypothétiques pour cartographier proactivement le danger, la méthode atteint un compromis supérieur entre sécurité et effort humain.

Les auteurs notent modestement que bien que la méthode soit conçue pour des espaces d'actions discrets, les idées centrales pourraient être étendues. Ils reconnaissent également que dans des domaines hautement complexes (par exemple, le vol d'hélicoptère), la dépendance aux formateurs humains suppose la disponibilité de connaissances expertes, et dans les domaines continus en temps réel (par exemple, la conduite autonome), des mécanismes de sécurité de secours complémentaires pourraient être nécessaires aux côtés de cette méthode. La contribution principale est la démonstration que les préférences justifiées et les requêtes hypothétiques permettent aux agents d'apprendre des comportements sûrs de manière nettement plus rapide et plus sûre que les approches actuelles de l'humain dans la boucle, sans imposer de coûts de temps prohibitifs aux formateurs humains.