Résumé Technique : Algorithmes de Gradient de Politique Bayésien et Actor-Critic

1. Énoncé du Problème

Les méthodes de Gradient de Politique (PG) sont une pierre angulaire de l'Apprentissage par Renforcement (RL), optimisant une politique paramétrée en suivant une estimation du gradient de performance. Cependant, les méthodes PG conventionnelles reposent fortement sur des techniques Monte-Carlo (MC) pour estimer ces gradients.

• Variance Élevée : Les estimateurs MC sont non biaisés mais souffrent d'une variance élevée, nécessitant un grand nombre d'échantillons pour obtenir des estimations précises, ce qui entraîne une convergence lente.
• Inefficacité Échantillonnale : La dépendance aux estimations ponctuelles fréquentistes ignore l'incertitude inhérente aux données, échouant à exploiter efficacement les connaissances a priori ou la structure de la distribution des données.
• Limites des Solutions Existantes : Bien que les lignes de base et les gradients naturels (utilisant la matrice d'information de Fisher) soient utiles, ils ne résolvent pas fondamentalement le problème de la variance ni l'absence de quantification de l'incertitude dans l'estimation du gradient elle-même.

L'article répond au besoin d'un cadre plus efficace en termes d'échantillonnage, robuste et conscient de l'incertitude pour l'estimation du gradient de politique et l'apprentissage actor-critic.

2. Méthodologie

Les auteurs proposent un cadre bayésien qui remplace l'estimation MC fréquentiste par une Quadrature Bayésienne (BQ). L'idée centrale est de modéliser le gradient du retour attendu comme un Processus Gaussien (GP).

A. Gradient de Politique Bayésien (BPG)

L'approche BPG traite l'intégrale du gradient $\nabla \eta(\theta) = \int \bar{R}(\xi) \nabla \log P(\xi; \theta) d\xi$ comme l'intégrale d'une fonction aléatoire.

• Modélisation : L'intégrande est divisé en une partie déterministe (liée à la probabilité de la politique) et une partie stochastique (le retour). La partie stochastique est modélisée comme un GP.
• Deux Modèles :
  1. Modèle 1 (GP à valeurs vectorielles) : Modélise directement les composantes du gradient comme un GP à valeurs vectorielles. Il utilise un noyau de Fisher quadratique.
  2. Modèle 2 (GP à valeurs scalaires) : Modélise le retour comme un GP scalaire et l'intègre par rapport au gradient de la probabilité de la politique. Il utilise un noyau de Fisher standard.
• Mécanisme Clé : En observant des trajectoires, l'algorithme calcule la distribution a posteriori du gradient. Cela fournit non seulement une estimation ponctuelle (la moyenne) mais aussi une matrice de covariance représentant l'incertitude de l'estimation du gradient.
• Choix du Noyau : L'utilisation de noyaux de Fisher (basés sur la matrice d'information de Fisher) est cruciale. Elle permet de dériver des expressions analytiques fermées pour les moments a posteriori du gradient, rendant le calcul traitable.
• Applicabilité : Puisque le BPG traite les trajectoires complètes du système comme unité de base, il ne nécessite pas la propriété de Markov, le rendant naturellement extensible aux MDP partiellement observables (POMDP).

B. Actor-Critic Bayésien (BAC)

Pour pallier la limitation selon laquelle le BPG ne peut exploiter la propriété de Markov (entraînant une variance plus élevée dans les systèmes markoviens), les auteurs introduisent un algorithme Actor-Critic Bayésien.

• Critic : Utilise l'apprentissage Gaussian Process Temporal Difference (GPTD). La fonction valeur-action $Q(z)$ est modélisée comme un GP.
• Actor : Met à jour les paramètres de la politique en utilisant les moments a posteriori du gradient dérivés du GP du critic.
• Intégration : En choisissant un noyau de covariance a priori spécifique pour le GP (somme d'un noyau d'état et du noyau de Fisher), les auteurs dérivent des expressions analytiques fermées pour la moyenne et la covariance a posteriori du gradient de politique.
• Avantage : Le BAC utilise les transitions individuelles état-action-récompense comme unité observable. Cela lui permet d'exploiter la propriété de Markov, réduisant considérablement la variance par rapport au BPG basé sur les trajectoires, en particulier dans les problèmes à horizon long.

C. Élagage en Ligne (Online Sparsification)

Le BPG et le BAC impliquent des matrices de noyaux qui croissent avec le nombre d'échantillons (complexité $O(M^3)$). L'article intègre un élagage en ligne (basé sur Engel et al., 2002) pour maintenir un "dictionnaire" d'échantillons représentatifs. Cela garantit que les algorithmes restent efficaces en temps et en mémoire tout en contrôlant l'erreur d'approximation via un paramètre de seuil.

3. Contributions Clés

1. Cadre de Gradient de Politique Bayésien : Une formulation novatrice des méthodes PG utilisant la Quadrature Bayésienne et les Processus Gaussiens, fournissant une distribution a posteriori complète sur le gradient plutôt qu'une simple estimation ponctuelle.
2. Solutions Analytiques Fermées : La dérivation d'expressions analytiques pour la moyenne et la covariance a posteriori du gradient en utilisant des noyaux de Fisher, évitant le besoin d'intégration numérique ou d'échantillonnage pour l'estimation du gradient elle-même.
3. Quantification de l'Incertitude : La capacité de calculer la covariance du gradient à un coût supplémentaire minime. Cela permet des mises à jour de politique sensibles au risque (par exemple, utiliser la covariance pour adapter les tailles de pas).
4. Actor-Critic Bayésien (BAC) : Un nouvel algorithme AC qui combine des critics GPTD avec des mises à jour de politique bayésiennes, exploitant la propriété de Markov pour une variance inférieure à celle du BPG.
5. Extension aux POMDP : Démontrant que l'approche BPG basée sur les trajectoires gère naturellement les systèmes non markoviens sans modification.
6. Évaluation Complète : Des comparaisons expérimentales étendues contre des méthodes PG et Actor-Critic classiques basées sur MC à travers divers domaines.

4. Résultats Expérimentaux

Les auteurs ont évalué leurs méthodes sur plusieurs benchmarks :

• Problème de Bandit et Régulateur Linéaire Quadratique (LQR) :
  • Les estimations du gradient par BQ (Quadrature Bayésienne) ont montré une variance inférieure de plusieurs ordres de grandeur et une précision supérieure par rapport aux estimations MC, en particulier avec de petits échantillons.
  • Le BPG (utilisant des gradients naturels) a surpassé le MCPG (PG Monte-Carlo) dans le LQR, convergeant plus rapidement et atteignant de meilleurs retours finaux, en particulier avec des tailles d'échantillons modérées ($M=10, 20, 40$).
  • Une variante utilisant la covariance du gradient pour ajuster les tailles de pas (BPG-var) a montré les meilleures performances.
• Marche Aléatoire (10 états) :
  • Le BAC a nettement surpassé à la fois le BPG et le MCPG. Le BAC a appris plus vite et a été plus robuste aux changements de taux d'apprentissage.
  • Le BPG a eu des difficultés lorsque les longueurs de trajectoire variaient, tandis que le BAC (utilisant des transitions état-action) est resté stable.
• Voiture de Montagne (État Continu / Action Discrète) :
  • Le BAC a constamment surpassé le MCPG, trouvant de bonnes politiques avec très peu d'échantillons ($M=5$) et maintenant une faible variance. Le MCPG nécessitait des tailles d'échantillons plus importantes pour égaler les performances du BAC.
• Pilotage de Navire (État Continu / Action Continue) :
  • Dans ce domaine complexe et de haute dimension, le BAC a de nouveau démontré une vitesse de convergence et des taux de réussite supérieurs par rapport au MCPG, avec une variance de performance inférieure.

5. Signification et Impact

• Efficacité Échantillonnale : La signification principale est la réduction drastique du nombre d'échantillons nécessaires pour apprendre une politique efficace. En modélisant le gradient comme un GP, l'algorithme "apprend" la forme de la fonction de gradient, lui permettant de généraliser à partir de moins de points de données que les méthodes MC.
• Apprentissage Conscient de l'Incertitude : La fourniture de la covariance du gradient permet des mises à jour de politique sensibles au risque. L'algorithme peut prendre des pas plus grands lorsque l'incertitude est faible et des pas plus petits et plus sûrs lorsque l'incertitude est élevée, une fonctionnalité absente des méthodes PG standard.
• Rigueur Théorique : L'article fournit des preuves rigoureuses pour les solutions analytiques fermées des moments a posteriori, comblant le fossé entre les méthodes bayésiennes non paramétriques et le RL.
• Versatilité : Le cadre unifie la gestion des problèmes markoviens (via BAC) et non markoviens/POMDP (via BPG) sous un même parapluie bayésien.

En conclusion, ce travail établit une base théorique et empirique solide pour l'Apprentissage par Renforcement Bayésien, démontrant que le traitement des gradients de politique comme des variables aléatoires modélisées par des Processus Gaussiens conduit à des algorithmes d'apprentissage plus efficaces, stables et robustes par rapport aux approches fréquentistes traditionnelles.