Résumé Technique : Optimisation de Politique dans des Espaces d'Action Hybrides Discrètes-Continues via des Gradients Mixtes

Énoncé du Problème

L'article aborde une limitation fondamentale de l'Apprentissage par Renforcement (RL) pour les problèmes à grande échelle : le problème d'attribution du crédit dans les espaces d'action de haute dimension. Les méthodes standard de gradient de politique sans modèle, telles que REINFORCE et l'Optimisation de Politique Proximale (PPO), reposent sur des estimateurs de fonction de score (SF). Ces méthodes estiment les gradients en corrélant les perturbations de la politique avec les récompenses cumulées. Dans des contextes de haute dimension, cette approche souffre d'une dégradation sévère du rapport signal/bruit, car un retour scalaire unique doit être attribué à des milliers de composantes d'action imbriquées avec une randomité exogène.

Bien que la simulation différentiable (gradients de trajectoire ou PW) offre une solution en rétropropageant à travers le simulateur pour obtenir une attribution du crédit plus précise, elle nécessite traditionnellement des dynamiques entièrement lisses. De nombreux problèmes pratiques en robotique, en contrôle et en recherche opérationnelle impliquent des espaces d'action hybrides discrètes-continues (par exemple, sélectionner un régime discret et optimiser un contrôle continu à l'intérieur de celui-ci) ou des dynamiques lisses par morceaux avec des discontinuités. Dans ces contextes, les gradients PW standards deviennent biaisés ou non informatifs, contraignant les praticiens à revenir à des méthodes basées sur SF moins efficaces et à rejeter les informations structurelles disponibles.

Le défi central est de développer un cadre d'optimisation de politique qui exploite la régularité des composantes continues via la rétropropagation tout en gérant correctement les décisions discrètes et les discontinuités sans introduire de biais.

Méthodologie : Optimisation de Politique Hybride (HPO)

Les auteurs proposent l'Optimisation de Politique Hybride (HPO), un cadre conçu pour les MDP exogènes où un simulateur a accès à la réalisation complète de la randomité exogène (par exemple, la demande, la météo) pendant l'entraînement, permettant une évaluation contre-factuelle de la politique sur la même trajectoire.

1. Représentation de la Politique

La politique $\pi$ est factorisée en deux composantes :

• Composante Discrète ($\pi^X_\phi$) : Une politique stochastique qui sélectionne une action discrète $x_t$ (par exemple, un régime ou un mode) dans un ensemble fini $\mathcal{X}$.
• Composante Continue ($\pi^B_\kappa$) : Un contrôleur déterministe qui produit une action continue candidate $b_t$ pour chaque action discrète possible $j \in \mathcal{X}$. L'action exécutée est $b_t = \pi^B_\kappa(s_t)[x_t]$.

Cette structure en « tour » permet au contrôleur continu d'être lisse par rapport à ses paramètres $\kappa$, conditionnellement à l'action discrète.

2. L'Estimateur de Gradient Mixte

La contribution théorique centrale est un estimateur de gradient mixte non biaisé qui combine des termes de trajectoire (PW) et de fonction de score (SF). Pour une politique paramétrée par $\theta = (\phi, \kappa)$, les gradients sont :

• Gradient Discrét ($\nabla_\phi J$) : Calculé à l'aide de l'estimateur SF standard :
  $$\nabla_\phi J(\theta) = \mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\phi \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]$$
• Gradient Continu ($\nabla_\kappa J$) : Calculé comme la somme d'un terme de trajectoire et d'un terme croisé :
  $$\nabla_\kappa J(\theta) = \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa c(s_t(\kappa), (x_t, b_t(\kappa)), \xi_t) \right]}_{\text{Terme de Gradient PW}} + \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]}_{\text{Terme Croisé}}$$

Mécanisme Clé :

• Le terme PW rétropropage à travers le simulateur pour les actions continues, en maintenant les actions discrètes fixes. Cela isole l'effet direct des actions continues sur les coûts, améliorant considérablement l'attribution du crédit.
• Le terme croisé capture comment les changements dans les paramètres continus $\kappa$ modifient la trajectoire d'état $s_t(\kappa)$, ce qui déplace à son tour la distribution de probabilité de la politique discrète $\pi^X_\phi$.
• L'estimateur est implémenté en utilisant des opérations stop_grad (détachement) dans les frameworks de différenciation automatique (par exemple, PyTorch) pour garantir que l'échantillonnage discret est traité comme fixe pour le terme PW, tandis que le terme croisé conserve la dépendance du logarithme de probabilité discret par rapport à l'état.

3. Gestion des Discontinuités

L'article démontre que les problèmes avec des discontinuités d'action (MDP lisses par morceaux) peuvent être reformulés comme des MDP hybrides. En introduisant une action discrète pour sélectionner la « région lisse » de l'espace d'action et une action continue pour spécifier le contrôle à l'intérieur de cette région, le cadre préserve l'absence de biais tout en exploitant la régularité locale.

Contributions Clés

1. Cadre HPO : Un cadre d'optimisation de politique pour les espaces d'action hybrides discrètes-continues qui produit un estimateur de gradient mixte non biaisé. Il exploite les gradients PW partout où la structure du problème le permet, évitant la fragilité des méthodes PW pures et la variance élevée des méthodes SF pures.
2. Caractérisation Théorique du Terme Croisé : Les auteurs prouvent que le terme croisé s'annule lorsque la politique discrète approche une meilleure réponse (Théorème 2). Plus précisément, l'amplitude du terme croisé est bornée par la sous-optimalité de la politique discrète ($\epsilon$) et la sensibilité de l'état aux paramètres continus. Ce résultat implique qu'à proximité de l'optimalité, le couplage entre les composantes discrètes et continues s'affaiblit, permettant des mises à jour décentralisées approximatives.
3. Validation Empirique : Des expériences extensives sur les Problèmes de Réapprovisionnement Conjoints (JRP) et les Régulateurs Linéaires Quadratiques Commutés (S-LQR) démontrent que HPO surpasse nettement la PPO, en particulier à mesure que la dimension de l'action continue augmente.
   • Mise à l'échelle : L'écart de performance de HPO par rapport à la PPO s'élargit considérablement avec la dimension de l'espace d'action continu ($p$). Par exemple, dans le S-LQR, la PPO échoue à converger pour $p > 24$, tandis que HPO converge de manière fiable jusqu'à $p=48$.
   • Qualité du Gradient : L'analyse montre que l'estimateur mixte maintient une forte alignement et un faible RMSE en haute dimension, alors que les estimateurs SF purs (utilisés par la PPO) s'effondrent vers un alignement proche de zéro à mesure que la dimensionalité augmente.
4. Stratégie de Réduction de Variance : L'article montre que supprimer le terme croisé (HPONoCross) peut être bénéfique près de l'optimalité. Puisque l'espérance du terme croisé s'annule tandis que sa variance augmente à mesure que la politique discrète s'améliore, son élimination réduit le bruit sans introduire de biais significatif dans les étapes finales de l'entraînement.

Résultats et Signification

L'article affirme que HPO représente une avancée significative vers l'application des méthodes de gradient de politique à des problèmes réalistes et à grande échelle où des simulateurs différentiables sont disponibles, mais où les décisions discrètes ont historiquement limité la portée des méthodes de trajectoire.

• Performance : Dans les benchmarks JRP et S-LQR, HPO atteint systématiquement des pertes de test plus faibles et nécessite moins de mises à jour de politique pour atteindre des écarts de performance cibles par rapport à la PPO. L'avantage est plus prononcé dans les espaces continus de haute dimension ($p \ge 40$).
• Efficacité du Gradient : Le gradient mixte fournit un signal nettement meilleur que les gradients SF purs. En haute dimension, l'alignement de l'estimateur SF avec la direction du vrai gradient chute à près de zéro, tandis que l'estimateur mixte maintient un alignement supérieur à 0,8.
• Potentiel de Décentralisation : Le résultat théorique concernant l'annulation du terme croisé suggère une voie vers un entraînement semi-décentralisé, où les composantes discrètes et continues peuvent être optimisées séparément une fois que la politique discrète est suffisamment proche d'une meilleure réponse.

Les auteurs positionnent ce travail comme un pont entre le RL sans modèle et la simulation différentiable, étendant l'applicabilité de cette dernière aux espaces d'action hybrides sans sacrifier l'absence de biais requise pour la convergence. Le code et les ressources sont mis à disposition pour faciliter la recherche future dans cette direction.