Résumé technique : Gradients de politique de tentative (Retry Policy Gradients) dans les espaces d'actions continus

Énoncé du problème

L'exploration demeure un défi central en apprentissage par renforcement (RL), particulièrement dans le contrôle continu. Les approches standards reposent généralement sur des politiques stochastiques combinées à une régularisation d'entropie explicite (ex: Soft Actor-Critic, SAC) ou à l'injection de bruit. Bien qu'efficaces, ces méthodes introduisent un bonus d'entropie auxiliaire qui biaise la politique optimale vers une entropie plus élevée, ce qui peut empêcher la convergence vers l'optimum déterministe réel.

Récemment, les objectifs basés sur la « tentative » (retry-based) (ex: pass@K, max@K) ont montré des promesses dans les espaces d'actions discrets et le post-entraînement des grands modèles de langage (LLM). Ces objectifs optimisent le rendement maximum obtenu à partir de $M$ trajectoires échantillonnées plutôt que le rendement attendu. Les travaux antérieurs (ReMax) ont démontré que, dans les espaces discrets, cet objectif encourage naturellement l'exploration en s'adaptant à l'incertitude du rendement, même sans bonus d'entropie explicite. Cependant, les propriétés théoriques de ReMax dans les espaces d'actions continus restaient inexplorées, et les estimateurs de gradient existants pour les espaces discrets ne s'étendent pas aux domaines continus.

Méthodologie

Cadre théorique

Les auteurs étendent l'objectif ReMax aux espaces d'actions continus en utilisant un estimateur de dérivée par chemin (pathwise derivative estimator).

• Objectif : Étant donné une fonction Q $Q(s, a)$ et un budget de tentative $M$, l'objectif est défini par :
  $$J^M(\pi, Q) := \mathbb{E}_{s \sim p_0} \left[ \mathbb{E}_{a_{1:M} \sim \pi(\cdot|s)} \left[ \max_{m=1:M} Q(s, a_m) \right] \right]$$
  Contrairement aux objectifs régularisés par l'entropie, cette formulation préserve la politique optimale déterministe ($\pi^*$) comme étant l'optimum global, évitant ainsi le biais vers la stochasticité inhérent aux bonus d'entropie.

• Estimation du gradient : Puisque le calcul exact est infaisable dans les espaces continus, les auteurs emploient un estimateur de gradient par reparamétrage (RP). Les actions sont échantillonnées via $a_i = \mu + \sigma \epsilon_i$ (où $\epsilon_i \sim \mathcal{N}(0, I)$). L'objectif est approximé en échantillonnant $B$ actions, en triant leurs valeurs Q, et en calculant une somme pondérée des $M$ meilleures valeurs. Cela permet la rétropropagation à travers le réseau Q et les paramètres de la politique.

Analyse théorique de la dynamique des gradients

Le papier fournit une analyse détaillée de la manière dont le gradient ReMax remodèle le paysage d'optimisation pour une politique gaussienne $\mathcal{N}(\mu, \sigma^2)$ avec un rendement quadratique $r(a) = -a^2$. Deux mécanismes clés sont identifiés lorsque $M > 1$ :

1. Augmentation de l'entropie (Effet directionnel) : Lorsque la moyenne de la politique est éloignée de l'optimum et que l'échelle $\sigma$ est petite, le gradient pointe naturellement vers une augmentation de $\sigma$. Cela se produit car l'opérateur "max" sur $M$ échantillons crée une espérance de fluctuation ascendante positive du rendement (ou descendante pour le coût) qui n'est accessible qu'en augmentant l'échelle de la politique. Cela favorise l'exploration stochastique sans bonus explicite.
2. Amortissement du gradient (Effet de magnitude) : À mesure que la politique approche de l'optimum, la norme du gradient diminue. La sélection du meilleur parmi $M$ échantillons réduit l'écart par rapport à l'optimum, « pardonnant » efficacement les échantillons sous-optimaux et ralentissant la convergence. Cet effet d'amortissement aide à maintenir une entropie plus élevée plus longtemps pendant l'entraînement.

Les auteurs analysent également l'interaction avec l'optimiseur Adam. Ils montrent que la normalisation adaptative d'Adam (spécifiquement le paramètre de stabilisation $\epsilon$) peut contrebalancer l'effet d'amortissement du gradient. Un $\epsilon$ petit (par défaut $10^{-8}$) normalise les gradients, ce qui peut accélérer la convergence et réduire l'effet de maintien de l'entropie, tandis qu'un $\epsilon$ plus grand restaure le comportement d'amortissement.

Algorithme : ReMAC

Les auteurs instancient ces résultats dans ReMAC (ReMax Actor-Critic), un algorithme acteur-critique off-policy.

• Critique : Entraîné via une régression par différence temporelle standard avec un double Q-learning tronqué (utilisant deux critiques pour réduire la surestimation).
• Acteur : Optimisé en utilisant la dérivée par chemin de l'objectif ReMax.
• Implémentation : ReMAC est présenté comme une modification minimale de SAC, supprimant le bonus d'entropie de la cible du critique et du réglage de la température, et remplaçant la perte de l'acteur par la perte ReMax.

Résultats clés

Résultats théoriques

• Analyse du champ de vecteurs : Les visualisations du champ de vecteurs de gradient pour des politiques gaussiennes 1D confirment que pour $M > 1$, les gradients poussent la politique vers une entropie plus élevée lorsqu'elle est loin de l'optimum, alors que le RL standard ($M=1$) pousse toujours vers une entropie plus faible.
• Propriétés de convergence : ReMax converge vers l'optimum déterministe ($\mu=0, \sigma=0$), tandis que la régularisation d'entropie converge vers un optimum stochastique ($\mu=0, \sigma>0$).
• Interaction avec Adam : L'analyse théorique et empirique d'un problème test démontre que l'effet d'amortissement est sensible au paramètre $\epsilon$ d'Adam.

Évaluation empirique

Des expériences ont été menées sur six tâches de contrôle continu issues de la suite Brax (Ant, HalfCheetah, Hopper, Reacher, Swimmer, Walker2d) sur 3 millions d'étapes.

• Performance : ReMAC avec $M > 1$ a obtenu des performances comparables à SAC et a généralement surpassé PPO. Dans plusieurs environnements (Ant, Reacher, Swimmer, Walker2d), des budgets de tentative plus larges ($M=4, 8$) ont produit des rendements moyens plus élevés que $M=1$.
• Dynamique de l'entropie : Conformément aux prédictions théoriques, ReMAC avec $M > 1$ a maintenu une entropie de politique plus élevée que $M=1$ (RL standard) tout au long de l'entraînement. L'entropie augmente généralement avec $M$, particulièrement dans les environnements Ant et Swimmer.
• Comparaison avec SAC : Bien que ReMAC ait atteint une entropie plus élevée que le RL standard ($M=1$), son entropie est restée inférieure à celle de SAC, ce qui est attendu étant donné la maximisation explicite de l'entropie de SAC.

Signification et affirmations

Le papier positionne ses contributions comme suit :

1. Extension théorique : Il s'agit du premier travail étendant ReMax aux espaces d'actions continus et fournissant une explication théorique rigoureuse de ses propriétés de promotion de l'exploration via les dérivées par chemin.
2. Exploration intrinsèque : Il démontre que les objectifs basés sur la tentative peuvent induire une exploration stochastique grâce à la géométrie du paysage de gradient (direction et magnitude) plutôt que par des bonus d'entropie explicites. Cela évite le biais de déplacer la politique optimale loin de la solution déterministe.
3. Viabilité pratique : L'introduction de ReMAC montre que ces propriétés théoriques se traduisent par des applications concrètes de deep RL, atteignant des performances de niveau SAC avec des modifications architecturales minimales.
4. Aperçu de l'optimisation : Le travail met en lumière le rôle critique des hyperparamètres de l'optimiseur (spécifiquement le $\epsilon$ d'Adam) dans la modulation du compromis exploration-exploitation des objectifs basés sur la tentative.

Les auteurs restent modestes quant à la portée de l'étude, notant que leur analyse théorique suppose la lissité et la forte convexité, ce qui peut ne pas être le cas dans tous les environnements de deep RL pratiques. Ils présentent ReMAC comme une preuve de concept pour l'exploration stochastique et suggèrent que des travaux futurs pourraient intégrer ReMax avec l'échantillonnage de la distribution postérieure sur les fonctions Q pour permettre une « exploration profonde » dans les contextes de récompenses éparses.