Résumé Technique : Stabilisation du champ de gradient Q pour la lissité des politiques dans les méthodes Actor–Critic

1. Énoncé du Problème

Les politiques de contrôle continu apprises via des méthodes actor-critic (ex: SAC, TD3) présentent souvent des oscillations erratiques à haute fréquence (« saccadées »). Bien que ces politiques puissent atteindre des rendements élevés en simulation, leur instabilité les rend inadaptées à un déploiement physique en raison de l'augmentation de la consommation d'énergie, de l'usure des actionneurs et des risques de sécurité.

Les paradigmes dominants actuels traitent ce problème en appliquant une régularisation du côté de la politique, qui contraint explicitement le réseau acteur (par exemple, via des contraintes de Lipschitz ou des pénalités de lissage temporel). Les auteurs soutiennent que ces méthodes traitent le symptôme plutôt que la cause. Ils affirment que si la fonction Q (le critique) possède un paysage bruyant ou géométriquement instable, les gradients de la politique entraîneront intrinsèquement l'acteur dans des directions erratiques. Forcer l'acteur à être lisse alors que le signal d'apprentissage reste volatil crée un conflit d'optimisation, forçant souvent la politique à diverger de la variété maximisant le rendement pour satisfaire aux contraintes de lissité, ce qui compromet la performance de la tâche.

2. Analyse Théorique : La Géométrie de la Sensibilité de la Politique

Le papier postule que la non-lissité de la politique est fondamentalement régie par la géométrie différentielle du critique. En appliquant la différenciation implicite à l'objectif actor-critic, les auteurs dérivent la sensibilité de la politique optimale $a^*(s) = \arg\max_a Q_\theta(s, a)$ par rapport aux perturbations de l'état.

Dérivation Théorique Clé

En utilisant le théorème de la fonction implicite (IFT), les auteurs prouvent que le Jacobien de la politique $J_\pi(s) = \nabla_s a^*(s)$ est analytiquement donné par :
$$J_\pi(s) = -\left[\nabla^2_{aa}Q_\theta(s, a^*(s))\right]^{-1} \nabla^2_{sa}Q_\theta(s, a^*(s))$$

Cette équation révèle que la sensibilité de la politique est le produit de deux propriétés géométriques de la fonction Q :

1. Dérivée Mixte Partielle ($\nabla^2_{sa}Q$) : Représente la « sensibilité au bruit » ou la rapidité avec laquelle la direction de la plus forte ascension pivote lors de petites variations d'état.
2. Hessienne d'Action ($\nabla^2_{aa}Q$) : Représente la « distinction du signal » ou la courbure du sommet.

Les auteurs établissent une borne de continuité de Lipschitz pour la politique :
$$L \leq \frac{M}{\mu}$$
Où $M$ borne la norme spectrale des dérivées partielles mixtes ($\|\nabla^2_{sa}Q\|_2$) et $\mu$ borne la concavité stricte de la Hessienne d'action ($\lambda_{\max}(\nabla^2_{aa}Q) \leq -\mu < 0$).

Insight Critique : Minimiser simplement la variance du gradient (réduire $M$) est insuffisant si la courbure $\mu$ s'annule (c'est-à-dire si le paysage Q devient plat). Un paysage plat provoque l'explosion de l'inverse de la Hessienne, rendant la politique hypersensible. Par conséquent, la régularisation doit simultanément minimiser la sensibilité au bruit ($M$) tout en préservant la courbure du signal ($\mu$).

3. Méthodologie : PAVE (Policy-Aware Value-field Equalization)

Pour valider cette théorie, les auteurs introduisent PAVE, un cadre de régularisation centré sur le critique. Au lieu de modifier l'acteur, PAVE stabilise le champ de gradient Q en traitant le critique comme un champ scalaire sur la variété état-action. Le cadre minimise la borne de Lipschitz $L \leq M/\mu$ via trois objectifs synergiques appliqués à la fonction de perte du critique :

3.1. Régularisation des Partielles Mixtes (MPR)

• Objectif : Minimiser $M$ (sensibilité au bruit).
• Mécanisme : Utilise une approximation par différences finies pour pénaliser les changements dans le gradient d'action $\nabla_a Q$ induits par de petites perturbations d'état $\epsilon$.
• Perte : $\mathcal{L}_{MPR} = \mathbb{E}[\|\nabla_a Q_\theta(s+\epsilon, a) - \nabla_a Q_\theta(s, a)\|_2^2]$.
• Justification : Cela comprime la norme spectrale de la Hessienne mixte, imposant l'invariance locale du champ de vecteurs.

3.2. Cohérence du Champ de Vecteurs (VFC)

• Objectif : Assurer la cohérence temporelle le long des trajectoires.
• Mécanisme : Inspiré du Score Matching, cela minimise la distance euclidienne entre les gradients de Q à des pas de temps consécutifs ($t$ et $t+1$).
• Perte : $\mathcal{L}_{VFC} = \mathbb{E}[\|\nabla_a Q_\theta(s_t, a_t) - \nabla_a Q_\theta(s_{t+1}, a_t)\|_2^2]$.
• Justification : Cela aligne le signal d'apprentissage le long de la dynamique de l'environnement, atténuant le « chattering » causé par des gradients conflictuels à des pas de temps adjacents.

3.3. Préservation de la Courbure (Curv)

• Objectif : Empêcher $\mu \to 0$ (éviter l'effondrement par sur-lissage).
• Mécanisme : Pénalise la trace de la Hessienne d'action si elle ne maintient pas une concavité suffisante.
• Perte : $\mathcal{L}_{Curv} = \mathbb{E}[\max(0, v^\top \nabla^2_{aa}Q_\theta(s, a)v + \delta)]$, où $v$ sont des vecteurs de Rademacher aléatoires (estimateur de Hutchinson).
• Justification : Cela garantit que le paysage Q reste bien conditionné (sommets acérés), empêchant l'explosion de l'inverse de la Hessienne.

Note d'implémentation : La méthode nécessite une continuité $C^2$ pour le calcul de la Hessienne, obtenue en utilisant des fonctions d'activation SiLU dans le réseau du critique. Le réseau de l'acteur reste inchangé.

4. Résultats Expérimentaux

Les auteurs ont évalué PAVE sur le benchmark Gymnasium (LunarLander, Pendulum, Reacher, Ant, Hopper, Walker2d) en utilisant des architectures TD3 et SAC, comparant avec des bases de comparaison du côté de la politique (CAPS, GRAD-CAPS, ASAP).

Métriques de Performance

• Score de lissité (sm) : Une métrique spectrale dérivée par FFT (plus bas est mieux).
• Rendement cumulé (re) : Performance de la tâche (plus élevé est mieux).

Principaux Résultats

1. Lissité : PAVE a obtenu les meilleurs scores de lissité ou des scores proches de l'optimum sur tous les environnements.
   • TD3 : Sur Hopper, la lissité est passée de 2.715 (Base) à 0.950 (une réduction de 2.9$\times$). Sur Pendulum, elle est passée de 1.590 à 0.351 (une réduction de 4.5$\times$).
   • SAC : PAVE a obtenu la meilleure lissité sur LunarLander et Pendulum. Dans la locomotion de haute dimension (Walker, Hopper), il a considérablement réduit les oscillations tout en maintenant ou en améliorant les rendements, alors que certaines bases (ex: ASAP) ont obtenu de la lissité au prix d'une dégradation significative des rendements.
2. Performance de la Tâche : Contrairement aux méthodes du côté de la politique qui sacrifient souvent la performance pour la lissité, PAVE a maintenu des rendements compétitifs ou supérieurs dans 5 des 6 environnements TD3.
3. Validation Géométrique :
   • Visualisation : Les graphiques 3D de la norme de la Hessienne partielle mixte $\|\nabla^2_{sa}Q\|_2$ ont montré que les bases produisaient des paysages « dentelés », tandis que PAVE produisait un champ plat et cohérent.
   • Validation par Proxy : Le proxy par différences finies utilisé dans MPR a été validé comme étant fortement corrélé (ratio 0.67–1.14) avec la norme exacte de la Hessienne analytique.
   • Confirmation Théorique : Les données empiriques ont confirmé que PAVE supprime simultanément $M_{sup}$ (le numérateur) et maintient une concavité stricte (le dénominateur), validant la borne $L \leq M/\mu$.

5. Signification et Revendications

Le papier revendique un changement fondamental de perspective : la lissité de la politique doit être induite via un signal d'apprentissage stable plutôt qu'imposée via des contraintes de l'acteur.

• Identification de la cause racine : Les auteurs prouvent rigoureusement que la sensibilité de la politique est gouvernée par la géométrie différentielle du critique (partielles mixtes et courbure d'action), et non par l'architecture de l'acteur.
• Solution centrée sur le Critique : En régularisant la géométrie de la fonction Q, PAVE résout le conflit d'optimisation entre lissage et performance. Il permet à l'acteur de converger naturellement vers une politique lisse car le champ de gradient qu'il suit est stable.
• Impact Pratique : PAVE atteint une lissité comparable ou supérieure aux méthodes de pointe du côté de la politique sans modifier le réseau de l'acteur, ce qui en fait un remplacement direct (drop-in replacement) pour le critique dans les pipelines actor-critic standards.

Les auteurs concluent que « paver le paysage de valeur » est une stratégie plus efficace pour le déploiement physique que de contraindre le réseau de la politique, car elle s'attaque à la source de l'instabilité plutôt qu'à sa manifestation.