Résumé Technique : Gradient de Politique Déterministe Doux avec Lissage Gaussien

Énoncé du Problème

Le Gradient de Politique Déterministe (DPG) et son implémentation par apprentissage profond, le Gradient de Politique Déterministe Profond (DDPG), sont largement utilisés pour les tâches de contrôle continu. Cependant, ces méthodes reposent sur une hypothèse critique : la fonction valeur-action (critique) doit être différentiable par rapport à l'action. Dans les problèmes de contrôle pratiques impliquant des récompenses clairsemées ou discrètes, les fonctions Q résultantes sont souvent non lisses ou non différentiables. Dans ces conditions, les gradients d'action requis pour les mises à jour DPG deviennent mal définis ou hautement instables, entraînant une dégradation des performances d'apprentissage. Les auteurs identifient que l'apprentissage Temporel Différentiel (TD) standard ne contraint pas explicitement la régularité des gradients d'action du critique, rendant le DPG sensible aux paysages de récompenses irréguliers courants en robotique et dans la conduite autonome.

Méthodologie

L'article propose le Gradient de Politique Déterministe Doux (Soft-DPG), un cadre qui remplace la mise à jour de Bellman standard par une équation de Bellman lissée par $\sigma$ formulée via un Lissage Gaussien (GS).

Cadre Théorique Central

1. Équation de Bellman $\sigma$-Lissée : Au lieu d'apprendre la fonction Q standard $Q^\pi(s, a)$, la méthode apprend une fonction valeur-action lissée $Q^\pi_\sigma(s, a)$. Celle-ci est définie comme le point fixe d'un nouvel opérateur $T^\pi_\sigma$ :
   $$Q^\pi_\sigma(s, a) = R(s, a) + \gamma \mathbb{E}_{s' \sim P(\cdot|s,a), w \sim \mathcal{N}(0, I)} [Q^\pi_\sigma(s', \pi(s') + \sigma w)]$$
   Crucialement, le lissage est appliqué directement à l'opérateur de mise à jour de Bellman, garantissant que la fonction valeur résultante est cohérente avec la dynamique lissée plutôt que d'être un lissage a posteriori d'un critique appris.

2. Théorème Soft-DPG : En exploitant les propriétés du lissage gaussien, les auteurs dérivent un nouveau théorème du gradient de politique. Contrairement au DPG standard, qui nécessite $\nabla_a Q(s, a)$, le gradient Soft-DPG dépend uniquement des évaluations de fonction du critique lissé sur des actions perturbées :
   $$\nabla_\theta J_\sigma = \mathbb{E}_{s \sim \rho_{\nu_\theta}, \tilde{a} \sim \nu_\theta} \left[ \frac{1}{\sigma^2} \nabla_\theta \pi_\theta(s) (\tilde{a} - \pi_\theta(s)) Q^{\pi_\theta}_\sigma(s, \tilde{a}) \right]$$
   où $\tilde{a} = \pi_\theta(s) + \sigma w$. Cette formulation élimine la dépendance explicite au gradient d'action du critique, assurant que le gradient reste bien défini même si la fonction Q sous-jacente est non lisse.

3. Garanties Théoriques : L'article fournit des bornes rigoureuses sur les erreurs d'approximation introduites par le paramètre de lissage $\sigma$. Il établit que la différence entre la fonction valeur originale et la version lissée est bornée et contrôlable, à condition que la récompense et les dynamiques de transition satisfont des conditions de continuité Lipschitzienne.

Instantiation Algorithmique : Soft DDPG

Les auteurs implémentent ce cadre dans un algorithme d'apprentissage par renforcement profond appelé Soft DDPG. L'algorithme suit l'architecture DDPG standard (acteur-critique avec mémoires de replay et réseaux cibles) mais modifie les règles de mise à jour :

• Mise à jour du Critique : La valeur cible est calculée en utilisant une action cible perturbée par un bruit gaussien ($\tilde{a}' = \bar{\pi}(s') + \sigma w$), entraînant efficacement le critique à approximer le point fixe de l'opérateur de Bellman lissé.
• Mise à jour de l'Acteur : La politique est mise à jour en échantillonnant des actions perturbées par un bruit gaussien et en évaluant le critique lissé, évitant ainsi le calcul de $\nabla_a Q$.

Contributions Clés

L'article énonce trois contributions principales :

1. Cadre Soft-DPG : L'introduction d'un cadre principiel qui surmonte les limitations de différentiabilité du DPG standard en intégrant le lissage gaussien directement dans l'opérateur de Bellman.
2. Analyse Théorique : La dérivation de bornes supérieures analytiques pour les erreurs d'approximation dans les fonctions valeur-action et valeur d'état entre l'MDP original et l'MDP lissé, fournissant des garanties formelles sur le biais introduit par le paramètre de lissage.
3. Algorithme Soft DDPG : L'implémentation d'un algorithme d'RL profond pratique démontrant une stabilité et des performances compétitives, en particulier dans des environnements avec des surfaces de récompenses irrégulières.

Résultats Expérimentaux

Les auteurs ont évalué Soft DDPG sur des benchmarks standards de contrôle continu MuJoCo (OpenAI Gym) et leurs variantes à récompenses discrétisées.

• Environnements à Récompenses Continues : Dans des paramètres de récompenses denses standards (par exemple, HalfCheetah, Hopper), le DDPG classique atteint généralement de meilleures performances. Les auteurs notent que cela est théoriquement attendu, car le lissage gaussien introduit un biais d'approximation lorsque la fonction valeur sous-jacente est déjà lisse. Cependant, Soft DDPG reste compétitif dans ces paramètres.
• Environnements à Récompenses Discrètes : Dans des environnements où les récompenses sont clairsemées, discrètes ou non lisses, Soft DDPG démontre des gains clairs et cohérents par rapport au DDPG standard. Dans des tâches telles que Ant, Hopper et Inverted Double Pendulum avec des récompenses discrétisées, le DDPG standard souffre d'un apprentissage instable en raison de gradients mal définis, tandis que Soft DDPG maintient des mises à jour de politique stables et atteint des retours finaux plus élevés.
• Benchmarks Supplémentaires : D'autres expériences sur des environnements comme BipedalWalker et MountainCar avec des récompenses discrètes ont confirmé que Soft DDPG surpasse la ligne de base dans la plupart des scénarios non lisses.

Signification et Revendications

L'article revendique que Soft-DPG offre une solution principielle à l'instabilité des gradients de politique déterministe dans les environnements non lisses. En éliminant la dépendance aux gradients d'action du critique, la méthode garantit que les mises à jour de politique restent bien définies même lorsque la fonction Q est non différentiable.

Les auteurs positionnent Soft DDPG comme une alternative robuste pour les tâches de contrôle impliquant des paysages de récompenses irréguliers, tels que ceux rencontrés en robotique et dans la conduite autonome où des récompenses clairsemées ou discrètes sont courantes. Ils reconnaissent des limites, notant que la méthode introduit un paramètre de lissage $\sigma$ qui nécessite un réglage et, comme les autres méthodes basées sur DDPG, hérite d'une sensibilité aux hyperparamètres sans garanties de convergence dans le cadre de l'RL profond. Le travail ne prétend pas remplacer DDPG dans tous les scénarios, mais plutôt étendre son applicabilité à une classe plus large de problèmes où les hypothèses standard échouent.