Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty

1. Énoncé du problème

L'apprentissage par renforcement (RL) fait face à un défi critique : l'exploration sûre durant l'entraînement. L'apprentissage direct sur du matériel physique est souvent peu pratique en raison du risque de défaillances catastrophiques. Les approches existantes se divisent généralement en deux catégories présentant des limitations significatives :

• Contraintes douces (par exemple, MDP contraints) : Elles garantissent la sécurité uniquement en espérance, n'offrant aucune garantie stricte contre les défaillances individuelles.
• Filtres de sécurité issus de la théorie du contrôle : Des méthodes comme les fonctions barrières de contrôle (CBF) ou la faisabilité de Hamilton-Jacobi fournissent des garanties de sécurité strictes mais exigent une connaissance approfondie du domaine (par exemple, dynamique connue, ensembles invariants) et peinent à s'adapter aux systèmes de haute dimension.
• Filtres basés sur l'apprentissage : Les tentatives récentes d'apprendre des filtres de sécurité via le RL reposent souvent sur des simulateurs ou échouent à s'adapter efficacement à des environnements complexes et de haute dimension avec des dynamiques inconnues.

Le problème central consiste à développer une méthode évolutive et axée sur les données qui apprend simultanément un filtre de sécurité et une politique de contrôle, en exigeant un minimum de connaissances du domaine (seulement une définition de la "défaillance" et des données initiales), tout en garantissant la sécurité durant le processus d'entraînement.

2. Méthodologie : Dyna-SAuR

Les auteurs proposent Dyna-SAuR (Dyna-style Safety Augmented Reinforcement Learning), un cadre de RL basé sur un modèle (MBRL) qui apprend itérativement une politique de contrôle et un filtre de sécurité en utilisant un modèle de dynamique conscient de l'incertitude.

Architecture de base

L'algorithme fonctionne selon une boucle itérative (Algorithme 1) composée de trois phases principales :

1. Apprentissage du modèle : Un modèle de dynamique probabiliste ensembliste ($\hat{p}$) est entraîné sur les données collectées. Ce modèle capture l'incertitude épistémique (incertitude due au manque de données) en utilisant le désaccord de l'ensemble.
2. Apprentissage du filtre de sécurité : Une politique de filtre ($\mu$) est entraînée exclusivement sur le modèle appris. Le filtre projette les actions de la politique de contrôle dans un ensemble "viable" pour éviter les défaillances et les régions de forte incertitude du modèle.
3. Apprentissage de la politique de contrôle : La politique de contrôle ($\pi$) est entraînée en utilisant à la fois les interactions réelles avec l'environnement et les simulations basées sur le modèle, filtrées par le filtre de sécurité $\mu$ actuel. De nouvelles données sont collectées pour affiner le modèle de dynamique, élargissant la région de sécurité "certaine" pour l'itération suivante.

Innovations techniques clés

A. Viabilité dans les modèles conscients de l'incertitude
Le papier étend le concept de Théorie de la Viabilité au MBRL. Au lieu d'éviter simplement les états de défaillance ($S_F$), le système doit éviter les états où le modèle est incertain.

• Ensemble sûr certain ($SS(E)$) : L'ensemble des paires état-action où l'état est sûr et où l'entropie prédictive du modèle est inférieure à un seuil ($\lambda_1$).
• Noyau de viabilité certain ($S_V(E)$) : L'ensemble des états à partir desquels une politique existe qui maintient le système dans $SS(E)$ sur un horizon fini avec une forte probabilité.
• Le filtre est entraîné pour projeter les actions dans l'ensemble des politiques qui restent à l'intérieur de ce noyau.

B. Formulation efficace de l'espace d'action du filtre
Une contribution majeure est la re-paramétrisation du filtre de sécurité. Les méthodes précédentes apprenaient directement les paramètres d'un hyperplan ($w, b$), conduisant à un espace de recherche non borné et sur-paramétré.

• Espace d'action d'hyperboule unité ($U$) : La politique de filtre $\mu$ sort un vecteur $u$ dans une hyperboule unité ($0 < \|u\|_2 \leq 1$).
• Transformation bijective ($h$) : Une fonction déterministe mappe $u$ vers les paramètres de l'hyperplan $(w, b)$ :
  • $w = u / \|u\|_2$ (Direction du vecteur normal)
  • $b = (2\|u\|_2 - 1)\|w\|_1$ (Décalage)
• Signification : Cela garantit que l'hyperplan intersecte toujours l'espace d'action borné $A = [-1, 1]^{n_A}$. La norme $\|u\|_2$ agit comme un bouton de "restrictivité" : des valeurs proches de 0 sont permissives, tandis que des valeurs proches de 1 sont restrictives. Cela crée un espace de recherche compact et borné pour l'agent RL.

C. Façonnage de la récompense et distribution des données
Pour entraîner efficacement le filtre sans défaillances réelles :

• Fonction de récompense : Le filtre reçoit une récompense de $+1$ si l'état suivant reste dans $SS(E)$, et une forte pénalité négative ($-1/(1-\gamma)$) s'il en sort, encodant efficacement le "temps jusqu'à la défaillance".
• Objectif : Maximiser le temps espéré jusqu'à la défaillance tout en minimisant la norme de l'action du filtre ($\|u\|_2$) pour éviter un comportement trop conservateur.
• Façonnage des données : La distribution des états de départ pour l'entraînement du filtre est un mélange de :
  1. Données environnementales initiales.
  2. États proches des régions de défaillance (pour apprendre à récupérer/éviter).
  3. États avec des retours de contrôle élevés (pour garantir que le filtre ne bloque pas la performance optimale).

3. Contributions clés

1. Algorithme novateur : Dyna-SAuR est la première approche évolutive pour apprendre des filtres de sécurité basés sur la viabilité pour des systèmes divers et de haute dimension en utilisant un minimum de connaissances du domaine (seulement un ensemble de défaillance et des données initiales).
2. Formulation RL compacte : Il formule l'apprentissage du filtre de sécurité comme un problème RL standard avec une nouvelle paramétrisation d'espace d'action bijective qui résout les problèmes d'évolutivité des méthodes précédentes d'apprentissage d'hyperplans.
3. Viabilité consciente de l'incertitude : Il intègre directement l'incertitude du modèle dans le noyau de viabilité, permettant au système d'explorer en toute sécurité et d'étendre sa connaissance de l'environnement.
4. Amélioration itérative : Le cadre crée une boucle de rétroaction positive où de meilleurs modèles réduisent l'incertitude, permettant au filtre de sécurité de devenir moins conservateur et d'engendrer de meilleures politiques de contrôle.

4. Résultats expérimentaux

La méthode a été évaluée sur deux tâches :

• CartPole vers un objectif : Une tâche de faible dimension avec des contraintes de position et d'angle.
• MuJoCo Walker : Une tâche de marche bipède de haute dimension (17 états, 6 actions) avec des contraintes de torse.

Métriques de performance :

• Sécurité : Dyna-SAuR a réduit les défaillances durant l'entraînement de 2 ordres de grandeur (100 fois) par rapport aux méthodes de RL sûr de pointe (PPO-Lagrangian, DH-RL).
• Performance de contrôle : Elle a égalé ou dépassé la performance de contrôle (retour) des méthodes de RL sûr existantes.
• Évolutivité : La méthode a réussi à s'adapter à l'environnement Walker de haute dimension, là où d'autres méthodes d'apprentissage de filtres ont lutté.
• Études d'ablation : La suppression de la nouvelle formulation de l'espace d'action ou des heuristiques de façonnage des données a conduit à une dégradation significative des performances ou à l'échec de l'apprentissage d'un filtre valide, validant les choix de conception.

5. Signification

Dyna-SAuR représente une avancée significative vers un RL pratique et sûr pour la robotique réelle.

• Combler le fossé : Il comble le fossé entre la théorie du contrôle rigoureuse (viabilité) et l'apprentissage axé sur les données, éliminant le besoin de modèles conçus à la main ou d'une expertise approfondie du domaine.
• Applicabilité matérielle : En réduisant les défaillances durant l'entraînement de plusieurs ordres de grandeur, il rend beaucoup plus réalisable la perspective d'entraîner des agents RL directement sur du matériel physique (ou avec un transfert simulation-réel minimal).
• Évolutivité : La paramétrisation d'espace d'action proposée et l'approche consciente de l'incertitude fournissent un modèle pour mettre à l'échelle le RL sûr vers des systèmes complexes et de haute dimension où les méthodes traditionnelles échouent.

En résumé, Dyna-SAuR offre un cadre robuste et axé sur les données qui apprend à "rester en sécurité" en apprenant ce qu'il ne sait pas (incertitude) et ce qu'il ne peut pas faire (défaillance), élargissant dynamiquement l'enveloppe de fonctionnement sûre au fur et à mesure de son apprentissage.