Résumé Technique : SHAPO - Optimisation de Politique Sensible à la Netteté pour une Exploration Sûre

Énoncé du Problème

Le déploiement d'agents d'apprentissage par renforcement (RL) dans des domaines critiques pour la sécurité nécessite une exploration sûre, un processus où les agents collectent une expérience informative tout en évitant les défaillances catastrophiques. Un défi fondamental surgit lors des premières phases d'entraînement, lorsque les agents visitent des états présentant une forte incertitude épistémique (incertitude sur les paramètres du modèle due à la rareté des données on-policy). Dans ces régions, les prédictions de la politique sont peu fiables, et les actions exploratoires peuvent mener à des résultats dangereux.

Bien que les travaux antérieurs aient largement traité l'incertitude du côté du critique (par exemple, en utilisant des ensembles, le dropout ou des méthodes distributionnelles) pour quantifier la variabilité du rendement, il existe une lacune dans les méthodes de mises à jour de politique qui tiennent explicitement compte de l'incertitude des paramètres de l'acteur. Maintenir une distribution postérieure explicite sur les paramètres de la politique est souvent irréalisable pour le RL on-policy profond, rendant difficile la mise en œuvre d'une aversion au risque côté acteur. Par conséquent, les mises à jour de politique standard reposent souvent sur des estimations ponctuelles de gradients, qui peuvent être trop optimistes dans les régions de haute incertitude.

Méthodologie : SHAPO (Sharpness-Aware Policy Optimization)

Les auteurs proposent SHAPO, une règle de mise à jour de politique qui adapte le cadre de la Minimisation Sensible à la Netteté (Sharpness-Aware Minimization - SAM) (Foret et al., 2020) au contexte de l'exploration sûre. Au lieu d'optimiser directement le rendement attendu, SHAPO recherche une politique qui maximise le pire cas du rendement attendu dans un voisinage local des paramètres de la politique actuelle.

Mécanisme Central

SHAPO modifie la mise à jour standard du gradient de politique en évaluant les gradients à un paramètre perturbé plutôt qu'aux paramètres actuels. Le processus de mise à jour comprend deux étapes :

1. Minimisation Interne (Perturbation Pessimiste) : L'algorithme trouve une perturbation $\epsilon_{Down}$ au sein d'une région de confiance (définie par la Matrice d'Information de Fisher) qui minimise l'objectif lagrangien $L_\lambda^{\pi_0}$. Cela identifie une politique « pire cas » $\tilde{\pi}$ dans le voisinage local qui performe moins bien que la politique actuelle $\pi_0$.
2. Maximisation Externe (Mise à jour) : La politique est mise à jour en utilisant le gradient de l'objectif évalué au paramètre perturbé $\theta_0 + \epsilon_{Down}$, plutôt qu'en $\theta_0$.

Interprétation Théorique : Pessimisme via l'Incertitude Épistémique

Le papier réinterprète cet ajustement de netteté à travers le prisme de l'incertitude épistémique :

• Modélisation de l'Incertitude : Les paramètres de la politique actuelle $\theta_0$ sont modélisés comme une variable aléatoire suivant une distribution normale multivariée $N(\theta_0, \frac{1}{n}F^{-1})$, où $F$ est la Matrice d'Information de Fisher et $n$ représente la taille d'échantillon effective.
• Biais Pessimiste : La perturbation $\epsilon_{Down}$ correspond à la valeur de paramètre la plus probable qui se situe dans la queue inférieure (par exemple, le quantile $\alpha$) de la distribution du rendement attendu. En optimisant sur la base du gradient à ce point pessimiste, SHAPO repondère implicitement les gradients de la politique.
• Repondération des Gradients : Des résultats analytiques sur une politique gaussienne simplifiée montrent que SHAPO amplifie l'amplitude du gradient pour les actions rares et dangereuses (avantage négatif) tout en tempérant le gradient pour les actions rares et sûres (avantage positif). Cela biaise l'apprentissage vers un comportement conservateur dans les régions sous-explorées, pénalisant efficacement les actions qui pourraient mener à des issues catastrophiques si l'estimation de la politique actuelle était légèrement erronée.

Implémentation

SHAPO est conçu pour être compatible avec divers algorithmes on-policy (ex: TRPO, PPO, CPO, CRPO). Il utilise la Matrice d'Information de Fisher pour définir le voisinage des politiques, garantissant que la perturbation respecte la géométrie de la variété de la politique. La méthode introduit un hyperparamètre $\delta_{Down}$ pour contrôler le niveau de pessimisme, qui peut être maintenu constant ou programmé en fonction du nombre d'échantillons collectés.

Contributions Clés

1. Nouvelle Règle de Mise à Jour : Introduction de SHAPO, qui intègre l'optimisation sensible à la netteté dans la mise à jour de la politique de l'acteur pour gérer explicitement l'incertitude épistémique.
2. Aperçu Théorique : Une démonstration formelle que l'ajustement du gradient de SHAPO est équivalent à l'optimisation d'un objectif pessimiste sous un modèle d'incertitude de paramètres, menant à une repondération systématique des gradients qui priorise la sécurité dans les régions incertaines.
3. Validation Empirique : Expérimentations étendues montrant que SHAPO élargit la frontière de Pareto sécurité-efficacité par rapport à plusieurs bases de référence (TRPO, CPO, PIDLag, CRPO, SauteRL) et environnements (Safety Gym, MuJoCo).
4. Études d'Ablation : Preuves que :
   • Les perturbations définies dans la métrique de Fisher surpassent les contreparties euclidiennes.
   • Appliquer l'optimisation sensible à la netteté à l'acteur est plus critique pour l'exploration sûre que de l'appliquer au critique.
   • SHAPO réduit la fréquence des distributions de coûts épisodiques à queue lourde (défaillances catastrophiques).

Résultats Expérimentaux

Les auteurs ont évalué SHAPO sur les environnements Safety Gym (PointGoal1, PointButton1) et MuJoCo (Ant-v4, Walker2d-v4).

• Sécurité et Efficacité : Sur tous les benchmarks, SHAPO a systématiquement amélioré soit la sécurité (coûts/taux d'échec plus faibles), soit la performance de la tâche (rendement plus élevé), ou les deux, élargissant significativement les frontières de Pareto des algorithmes de base.
• Réduction du Risque de Queue : SHAPO a considérablement supprimé les queues lourdes des distributions de coûts épisodiques (par exemple, en réduisant le 95e percentile des coûts dans Ant-v4), indiquant une réduction des échecs catastrophiques rares.
• Robustesse : La méthode a démontré une robustesse aux choix d'hyperparamètres, particulièrement lorsque $\delta_{Down}$ était traité comme une constante ajustable plutôt que comme une valeur programmée dynamiquement basée sur les estimations de la taille d'échantillon incertaine.
• RL Non-Contraint : Dans les environnements non contraints avec des conditions de terminaison (Ant, Walker2d), SHAPO a réduit les terminaisons prématurées, améliorant l'efficacité de l'échantillonnage. Dans les environnements sans tels risques de queue (HalfCheetah), les bénéfices étaient limités, confirmant que la méthode cible spécifiquement les scénarios de risque de queue.

Signification et Revendications

Le papier affirme que SHAPO comble une lacune critique de l'exploration sûre en déplaçant l'attention du simple respect des contraintes sur la politique finale vers le façonnage des mises à jour elles-mêmes pour respecter l'incertitude. En traitant la « netteté » de la fonction de substitution de la politique (sa sensibilité aux perturbations de paramètres) comme un proxy de l'incertitude épistémique, SHAP muchait une boucle fermée :

1. Des mises à jour plus sûres mènent à des trajectoires plus sûres.
2. Des trajectoires plus sûres génèrent des données plus propres dans les régions risquées.
3. Des données plus propres réduisent l'incertitude épistémique.
4. La réduction de l'incertitude relâche naturellement le conservatisme à mesure que l'apprentissage progresse.

Les auteurs positionnent SHAPO non pas comme un remplacement des algorithmes de RL sûr existants, mais comme une amélioration modulaire et orthogonale qui renforce la sécurité et la fiabilité des mises à jour on-policy standards sans nécessiter d'inférence bayésienne complexe ou de modules explicites de quantification de l'incertitude.