Résumé technique : Stabiliser les méthodes de gradient de politique via le profilage de récompense

Énoncé du problème

Les méthodes de gradient de politique (PG) constituent une pierre angulaire de l'apprentissage par renforcement (RL), offrant un cadre direct pour optimiser des politiques paramétrées dans des contextes de contrôle continu et de haute dimension. Cependant, ces méthodes souffrent fréquemment d'une variance élevée dans les estimations de gradient. De petites fluctuations stochastiques dans les récompenses des premiers épisodes peuvent se propager à travers les estimateurs de Monte Carlo (par exemple, dans REINFORCE), entraînant des mises à jour erratiques, une convergence lente et des effondrements de performance catastrophiques occasionnels.

Les techniques de réduction de la variance existantes introduisent souvent des inconvénients importants :

• Réglage spécifique à l'algorithme : Les méthodes comme les bases (baselines) ou la normalisation de l'avantage nécessitent des ajustements propres à chaque problème.
• Surcharge de calcul : Les méthodes de région de confiance (comme TRPO) reposent sur des solveurs de second ordre coûteux ou des calculs de Hessienne.
• Complexité : Les algorithmes acteur-critique hors politique (comme DDPG, TD3) nécessitent souvent une régularisation minutieuse pour éviter les mises à jour divergentes ou les estimations de valeur Q instables.

Les auteurs posent une question centrale : Est-il possible de réduire la variance des PG et de stabiliser l'apprentissage de n'importe quelle méthode de gradient de politique sans dépendre de réglages spécialisés ou de lourdes machineries de second ordre ?

Méthodologie : Le cadre de profilage de récompense

Le papier propose un cadre universel de profilage de récompense qui agit comme un « wrapper » autour de n'importe quel algorithme de PG existant. La philosophie centrale est simple : mettre à jour la politique de manière sélective uniquement si la version mise à jour implique une meilleure performance.

Puisque la véritable fonction de valeur $J(\theta)$ est inconnue, le cadre s'appuie sur des comparaisons à haute confiance utilisant des estimations de rendement empiriques. Le cadre opère en échantillonnant un petit nombre de passages supplémentaires ($E$) pour évaluer les politiques candidates avant de valider une mise à jour. Il introduit trois variantes spécifiques :

1. Lookback (LB) :

   • Compare la politique actuelle $\pi_{old}$ avec la nouvelle politique proposée $\pi_{new}$.
   • Met à jour la politique uniquement si le rendement empirique $\hat{J}(\pi_{new}) \geq \hat{J}(\pi_{old})$.
   • Sinon, la mise à jour est rejetée, et l'agent conserve l'ancienne politique. Cela agit comme une recherche linéaire par recul (backtracking line search) dans l'espace des politiques.

2. Mix-up (MU) :

   • Aborde le risque de rester bloqué en raison d'estimations bruitées masquant de réelles améliorations.
   • Introduit une politique intermédiaire $\pi_{mix}$ définie par une combinaison convexe de paramètres : $\theta_{mix} = \lambda \theta_{new} + (1-\lambda) \theta_{old}$.
   • Sélectionne la meilleure politique entre $\pi_{old}$ et $\pi_{mix}$. Cela fonctionne comme une « région de confiance peu coûteuse » sans nécessiter de calculs de Hessienne ou de contraintes KL.

3. Three-Points (TP) :

   • Unifie les approches précédentes en évaluant trois candidats : $\theta_{old}$, $\theta_{new}$, et $\theta_{mix}$.
   • Sélectionne l'ensemble de paramètres produisant le rendement empirique le plus élevé.
   • Est conçu pour accélérer la convergence tout en maintenant la stabilité et en laissant de la place à l'exploration.

Intégration algorithmique :
Le cadre (Algorithme 1) enveloppe n'importe quelle méthode de PG de premier ordre. Il nécessite $O(\epsilon^{-2} \ln(T/\delta))$ passages supplémentaires par itération pour garantir des comparaisons à haute confiance, mais ne modifie pas la logique de mise à jour centrale de l'optimiseur sous-jacent (ex: DDPG, TRPO, PPO).

Contributions théoriques

Les auteurs fournissent des garanties théoriques concernant la convergence et la stabilité du cadre :

• Monotonicité : Sous la règle Lookback, avec un nombre suffisant d'échantillons d'évaluation ($E$), le cadre garantit que les mises à jour acceptées produisent de réelles améliorations de performance avec une probabilité élevée ($1-\delta$). Spécifiquement, $J(\pi_{t+1}) \geq J(\pi_t) - 2\epsilon$.
• Taux de convergence : Appliqué à REINFORCE, le cadre converge vers une politique quasi-optimale à un taux de $O(T^{-1/4})$. Ce taux est comparable aux algorithmes d'acteur-critique stochastiques, démontant que la surcharge de profilage ne ralentit pas significativement la convergence.
• Optimalité globale : Sous des hypothèses de lissage standard et de propriétés de dominance de gradient, le cadre converge vers un point stationnaire, impliquant l'optimalité globale pour la politique apprise.
• Gestion du biais : L'analyse s'étend aux cas biaisés (communs dans les méthodes acteur-critique où les critiques sont approximés), montrant une convergence tant que le biais dans l'estimation de la valeur est borné et diminue suffisamment au fil du temps.

Résultats empiriques

Le cadre a été évalué sur huit benchmarks de contrôle continu (suites Box2D et MuJoCo/PyBullet) en utilisant trois algorithmes représentatifs : DDPG, TRPO et PPO.

• Vitesse de convergence : L'approche de profilage a permis d'obtenir jusqu'à 1,5× une convergence plus rapide vers des rendements quasi-optimaux dans plusieurs configurations.
• Réduction de la variance : Elle a obtenu jusqu'à 1,75× une réduction de la variance du rendement sur des configurations spécifiques, stabilisant considérablement les courbes d'apprentissage.
• Performance par environnement spécifique :
  • CarRacing : A transformé des échecs catastrophiques (rendements négatifs dus aux collisions) en politiques viables avec des rendements positifs pour TRPO et PPO.
  • BipedalWalker : A amélioré la performance de DDPG de $-116,1$à$-47,0$ (rendement moyen).
  • Ant : La variante Mix-up de DDPG a montré une convergence plus précoce, tandis que la variante Three-Points a réduit la variance de 11 %.
  • Unity ML-Agents (Reacher) : Dans une tâche multi-robots avec 20 bras parallèles, la variante Three-Points a démontré un apprentissage nettement plus stable et une convergence plus rapide par rapport au DDPG classique, validant l'approche dans une simulation complexe et réaliste.

Signification et affirmations

Le papier affirme que le profilage de récompense offre une voie générale et théoriquement fondée pour un apprentissage de politique plus fiable et efficace. Sa principale importance réside dans :

1. Universalité : C'est un wrapper plug-in applicable à n'importe quelle méthode de PG (on-policy ou off-policy) sans nécessiter de bases spécifiques au problème ou de réglage d'hyperparamètres.
2. Simplicité vs Stabilité : Il atteint une stabilité comparable aux méthodes complexes de région de confiance (comme TRPO), mais n'utilise que des mises à jour de premier ordre et une surcharge de calcul minimale (en réutilisant les échantillons pour l'évaluation).
3. Robustesse : Il atténue efficacement l'« effondrement catastrophique » souvent observé avec les méthodes PG classiques, particulièrement dans les environnements de haute dimension ou à récompenses éparses.

Les auteurs concluent que bien que le cadre induise un coût de calcul modeste (environ 20 % d'augmentation du temps de calcul réel dans leurs expériences), l'échange est favorable pour obtenir des améliorations monotones et stables, ce qui le rend adapté au déploiement physique où un comportement d'apprentissage prévisible est critique.