Safe-Support Q-Learning: Learning without Unsafe Exploration

1. Énoncé du problème

Les agents d'apprentissage par renforcement (RL) découvrent généralement des politiques optimales par exploration, ce qui implique intrinsèquement de visiter des paires état-action pouvant mener à des issues dangereuses ou catastrophiques. Bien que les méthodes existantes de « RL sûr » tentent d'atténuer les risques grâce à des contraintes, des pénalités ou des objectifs sensibles au risque (par exemple, la Value-at-Risk conditionnelle), elles n'éliminent généralement pas la visite d'états dangereux durant l'entraînement. Elles reposent souvent sur des bornes probabilistes ou des contraintes basées sur l'espérance, ce qui signifie que des violations de sécurité peuvent toujours survenir.

Les auteurs abordent une exigence de sécurité plus stricte : le processus d'apprentissage ne doit jamais produire de trajectoires visitant des états dangereux. Le défi central consiste à permettre une exploration suffisante et une amélioration de la politique au sein d'un « ensemble sûr » ($S_{safe}$) restreint, sans dépendre d'un comportement quasi-optimal ni risquer des transitions dangereuses.

2. Méthodologie : Safe-Support Q-Learning

Le cadre proposé est une approche basée sur le Q-learning qui restreint tous les composants d'apprentissage au support d'un ensemble sûr. Elle opère sous l'hypothèse qu'une politique de comportement ($\pi_b$) existe, entièrement supportée sur $S_{safe}$ (c'est-à-dire qu'elle ne visite jamais d'états dangereux). Cette politique n'a pas besoin d'être optimale, mais elle doit être stochastique pour permettre l'exploration au sein de la région sûre.

Le cadre se compose de trois principaux composants :

A. Construction de la politique de comportement

La méthode utilise une politique de comportement $\pi_b$ supportée sur $S_{safe}$. Deux stratégies d'instanciation sont proposées :

1. HC Safe (Hand-Crafted / Conçu à la main) : Utilise des règles ou des contrôleurs performants (par exemple, PID, MPC) convertis en politiques stochastiques. Dans les espaces continus, cela est mis en œuvre via des paramétrisations Mean-Noise (politique déterministe + bruit gaussien) ou Distributional (Gaussienne dépendante de l'état).
2. DS Safe (Dataset-Based / Basé sur les données) : Entraîne une politique par estimation du maximum de vraisemblance sur un ensemble de données pré-collecté ne contenant que des transitions sûres. Cela agit comme une configuration de RL hors ligne où la politique est contrainte au support de l'ensemble de données.

B. Cible Bellman régularisée par KL

Pour empêcher la fonction Q d'attribuer des valeurs élevées aux actions hors distribution (OOD) ou dangereuses, les auteurs modifient la cible Bellman standard. Au lieu d'utiliser une prior uniforme (comme dans le Soft Q-Learning) ou un opérateur max, ils introduisent un terme de régularisation par divergence KL qui aligne la fonction Q sur la politique de comportement $\pi_b$.

La valeur cible sûre $y_k^{safe}$ pour les actions discrètes est définie comme suit :
$$y_k^{safe} = r_{k+1} + \mathbb{1}(s_{k+1})\gamma \lambda \ln \left( \sum_{a \in A} \tilde{\pi}_b(a|s_{k+1}) \exp\left(\frac{Q(s_{k+1}, a)}{\lambda}\right) \right)$$
Où :

• $\tilde{\pi}_b$ est une version lissée de la politique de comportement pour garantir des probabilités strictement positives.
• $\lambda$ est un paramètre de température.
• Cette formulation pénalise efficacement les écarts par rapport à la distribution de comportement sûre, assurant que la fonction Q reste dans le support des actions sûres.

Garantie théorique : Les auteurs prouvent que l'opérateur Bellman résultant est une application contractante, garantissant un point fixe unique ($Q^*_\lambda$). La politique optimale induite par cette fonction Q est un softmax régularisé par KL sur la politique de comportement :
$$\pi^*_\lambda(a|s) = \frac{\tilde{\pi}_b(a|s) \exp(Q^*_\lambda(s, a)/\lambda)}{\sum_{a'} \tilde{\pi}_b(a'|s) \exp(Q^*_\lambda(s, a')/\lambda)}$$

C. Extraction de la politique

• Espaces d'actions discrets : La politique optimale est dérivée directement en utilisant l'expression fermée du softmax ci-dessus.
• Espaces d'actions continus : Comme l'intégrale au dénominateur est ingérable, les auteurs proposent une politique de substitution ($\pi_\phi$) paramétrée comme une Gaussienne. Cette substitution est entraînée en minimisant la divergence KL entre elle-même et la politique optimale théorique, en utilisant l'échantillonnage de Monte Carlo pour approximer l'espérance.

Le cadre est unifié et adaptable aux configurations en ligne et hors ligne, ainsi qu'aux espaces d'actions discrets et continus.

3. Contributions clés

1. Garantie de sécurité stricte : Contrairement aux méthodes de RL sûr antérieures qui bornent le risque, cette approche impose la sécurité au niveau du support des trajectoires, garantissant qu'aucun état dangereux n'est visité durant l'entraînement.
2. Q-Learning régularisé par KL : Introduction d'une nouvelle cible Bellman qui contraint la fonction Q au support d'une politique de comportement sûre via la divergence KL, remplaçant la régularisation d'entropie standard.
3. Cadre en deux étapes : Une séparation entre l'entraînement de la fonction Q et l'extraction de la politique, permettant un apprentissage stable même lorsque la politique de comportement est sous-optimale mais sûre.
4. Variantes unifiées : La méthode fournit un cadre unique adaptable à divers scénarios (actions discrètes/continues, politiques de comportement conçues à la main/basées sur des données).

4. Résultats expérimentaux

Les auteurs ont évalué la méthode sur les environnements FrozenLake et CartPole, en la comparant au Q-learning standard et à des références de pointe (CQL, BCQ, IQL, TD3+BC, BEAR).

• Stabilité et convergence : La méthode proposée a démontré une convergence plus rapide et une variance inférieure par rapport aux références, en particulier dans les configurations discrètes où d'autres méthodes ont souvent échoué à apprendre des politiques efficaces.
• Calibration des valeurs : Les valeurs Q apprises par la méthode proposée étaient bien calibrées, correspondant étroitement aux retours de Monte Carlo. En revanche, les références présentaient des problèmes tels que l'effondrement des valeurs, la surestimation (divergence au-dessus de la diagonale) ou un conservatisme excessif.
• Sécurité vs Performance :
  • Dans l'environnement CartPole, la méthode proposée a atteint un comportement plus sûr (angles de pôle maximaux plus faibles) pour des niveaux de retour comparables par rapport aux références.
  • Bien que certaines références aient atteint des retours élevés, elles l'ont souvent fait avec une variance plus élevée ou des trajectoires dangereuses.
  • La méthode a montré un compromis : lorsque la politique de comportement était imparfaite (par exemple, dans des configurations très restreintes), les performances étaient limitées, mais la sécurité était strictement maintenue.

5. Importance

Ce travail représente un changement significatif dans le RL sûr, passant de l'atténuation du risque (autorisant une certaine exploration dangereuse) à l'élimination du risque (interdisant strictement l'exploration dangereuse). En tirant parti d'une politique de comportement supportée sur un ensemble sûr et en régularisant l'objectif du Q-learning, la méthode offre une manière fondée de apprendre des politiques optimales dans des environnements à haut risque (par exemple, robotique, conduite autonome) où même une seule interaction dangereuse est inacceptable. La garantie théorique d'un point fixe unique et le succès pratique dans le maintien d'estimations de valeurs bien calibrées en font un cadre robuste pour les applications critiques en matière de sécurité.