Résumé technique : Optimisation de politique pilotée par modèle dans des simulateurs différentiables via exploration stochastique

1. Énoncé du problème

La planification différentiable permet l'optimisation basée sur le gradient des problèmes de prise de décision en exploitant des modèles différentiables de la dynamique du système. Bien que efficace dans des environnements déterministes, cette approche fait face à des défis majeurs lorsqu'elle est appliquée à des domaines hautement non linéaires et hybrides discrets–continus.

Le problème central réside dans le paysage d'optimisation. Pour permettre la propagation du gradient dans les domaines hybrides, les structures discrètes ou logiques doivent être approximées par des relaxations lisses (par exemple, des t-normes). Cela crée un compromis fondamental :

• Relaxations à haute fidélité : Elles approximent étroitement le problème original mais entraînent des paysages mal conditionnés caractérisés par des régions plates, des transitions abruptes et des discontinuités. Dans ces régions, les gradients sont soit indéfinis, soit non informatifs, ce qui piège les optimiseurs dans des minima locaux médiocres.
• Lissage agressif : Il améliore le comportement du gradient et la faisabilité de l'optimisation, mais déforme la géométrie sous-jacente du problème, conduisant potentiellement à des solutions sous-optimales ou non réalisables sous la vraie dynamique.

Par conséquent, la planification différentiable déterministe standard lutte souvent contre une convergence lente, une sensibilité à l'initialisation et l'incapacité à échapper aux mauvais optima locaux, même lorsque le modèle sous-jacent est précis. Les méthodes existantes d'apprentissage par renforcement (RL) sans modèle, bien qu'incorporant une exploration, échouent à exploiter explicitement la structure connue du système, entraînant une faible efficacité d'échantillonnage dans les domaines où des modèles sont disponibles.

2. Méthodologie : Optimisation de politique pilotée par modèle (MDPO)

Les auteurs proposent l'Optimisation de politique pilotée par modèle (MDPO), un cadre qui intègre l'exploration stochastique directement dans le processus de planification différentiable. Contrairement au RL standard qui explore via le bruit des paramètres de la politique ou l'interaction avec l'environnement, MDPO injecte du bruit dans l'espace d'action lors de l'optimisation des paramètres de la politique.

2.1 Perturbation stochastique de l'action

Au lieu d'exécuter des actions de manière déterministe ($a_t = \pi_\theta(s_t)$), MDPO définit une politique stochastique :
$$\tilde{a}_t = \pi_\theta(s_t) + \epsilon_t, \quad \epsilon_t \sim \mathcal{N}(0, \Sigma_t)$$
Le système évolue selon la dynamique $s_{t+1} = f(s_t, \tilde{a}_t, \xi_t)$. L'objectif d'optimisation devient la récompense cumulative attendue sous cette politique perturbée. En utilisant l'astuce de reparamétrisation, le bruit $\epsilon_t$ est découplé des paramètres de la politique $\theta$, permettant le calcul des gradients via la rétropropagation standard à travers le graphe de calcul stochastique. Cela permet à l'optimiseur de sonder des régions du paysage objectif inaccessibles aux gradients déterministes, en particulier dans les régions plates ou saturées.

2.2 Mise à l'échelle adaptative du bruit

Une innovation clé de MDPO est la mise à l'échelle adaptative et pilotée par modèle de l'amplitude du bruit. Puisque le modèle de planification est entièrement disponible, la méthode exploite la sensibilité dérivée du gradient pour construire un profil d'exploration dépendant du temps $\{\sigma_t\}_{t=0}^{H-1}$.

Le processus fonctionne selon une procédure à deux passages par itération :

1. Déroulement d'analyse : Une trajectoire est générée en utilisant la politique actuelle sans bruit d'action. La sensibilité de l'objectif par rapport aux actions à chaque pas de temps est estimée via l'amplitude du gradient : $g_t = \nabla_{a_t} \sum r(s_k, a_k)$. Un score de sensibilité scalaire $s_t = \|g_t\|^2$ est calculé.
2. Construction du profil de bruit : Les scores de sensibilité sont normalisés et mappés vers une échelle de bruit $\sigma_t$ en utilisant une fonction telle que :
   $$\sigma_t = \sigma_{\max} + (\sigma_{\min} - \sigma_{\max})(1 - \hat{s}_t)^\alpha$$
   Cette affectation attribue un bruit plus important aux pas de temps à haute sensibilité (où les actions ont un impact plus grand sur l'objectif de la trajectoire) et un bruit plus faible aux régions insensibles.
3. Déroulement de mise à jour : Un second déroulement est effectué en utilisant le profil de bruit dérivé pour mettre à jour les paramètres de la politique.

Cette approche garantit que l'exploration est consciente de la structure, respectant la dynamique du système et ciblant les régions de haute sensibilité de l'objectif, plutôt que d'appliquer un bruit isotrope aveuglément.

3. Contributions clés

1. Identification des pathologies d'optimisation : L'article identifie et analyse formellement la nature mal conditionnée des paysages d'optimisation dans la planification différentiable, mettant spécifiquement en évidence le compromis entre la fidélité de la relaxation et la faisabilité du gradient dans les domaines hybrides.
2. Mécanisme d'exploration stochastique : La proposition de MDPO, qui introduit une stochasticité structurée et pilotée par modèle dans l'espace d'action. Contrairement à l'optimisation stochastique standard, les perturbations sont appliquées au niveau de la trajectoire au sein du modèle de planification.
3. Mise à l'échelle adaptative du bruit : Le développement d'un mécanisme pour ajuster dynamiquement l'amplitude du bruit en fonction de la sensibilité locale de la trajectoire, permettant un profil d'exploration dépendant du temps qui s'adapte à la fois au paysage d'optimisation et au pas de temps spécifique au sein de l'horizon.
4. Validation empirique : Démonstration d'améliorations substantielles de la qualité de la solution et de la vitesse de convergence sur des problèmes de référence par rapport aux variantes déterministes et aux bases de référence de l'état de l'art.

4. Résultats expérimentaux

La méthode a été évaluée sur trois domaines de référence issus du Concours International de Planification (IPC) 2023 : PowerGen (engagement d'unités), HVAC (contrôle non linéaire) et Contrôle de réservoir. Ces domaines présentent des dynamiques non linéaires et hybrides discrètes–continues.

Bases de référence :

• Planification différentiable déterministe : La variante sans bruit de MDPO.
• JaxPlan : Une implémentation de l'état de l'art de la planification différentiable utilisant des dynamiques hybrides relaxées.
• MDPO à bruit constant : Variantes avec un bruit gaussien fixe ($\sigma \in \{1, 3\}$).
• PPO (Proximal Policy Optimization) : Une base de référence RL sans modèle.

Constats :

• Performance : MDPO avec bruit adaptatif a systématiquement surpassé toutes les bases de référence sur toutes les instances. Il a atteint une qualité de solution significativement supérieure (coûts plus faibles / récompenses plus élevées) par rapport à la planification déterministe, JaxPlan et aux variantes à bruit constant.
• Convergence : Alors que les méthodes déterministes et JaxPlan ont rapidement plafonné dans de mauvais optima locaux, et que PPO a montré une amélioration minimale en raison de l'absence de modèle, le MDPO adaptatif a démontré une amélioration soutenue et une convergence plus rapide.
• Variance : MDPO a présenté une faible variance sur les graines aléatoires, maintenant une haute qualité de solution.
• Comportement adaptatif : L'analyse des profils de bruit a révélé que le mécanisme adaptatif alloue dynamiquement l'exploration. Par exemple, dans le domaine du réservoir, le bruit était concentré sur les premiers pas de temps, tandis que dans HVAC, il variait de manière non monotone, reflétant la structure de sensibilité spécifique de chaque problème.

5. Importance et affirmations

L'article postule que la limitation principale de la planification différentiable dans les domaines complexes n'est pas simplement la modélisation ou la technique de relaxation, mais les dynamiques d'optimisation utilisées pour résoudre les problèmes résultants.

• Dynamiques d'optimisation : Les auteurs soutiennent que les mises à jour de gradient déterministes sont insuffisantes pour naviguer dans les paysages mal conditionnés des domaines hybrides. En introduisant une exploration stochastique, MDPO permet à l'optimiseur d'échapper aux mauvais minima locaux et de traverser des transitions abruptes.
• Piloté par modèle vs sans modèle : Le travail met en évidence que lorsque des modèles sont disponibles, ils ne doivent pas seulement être utilisés pour la simulation, mais aussi pour guider le processus d'exploration. MDPO comble le fossé entre l'optimisation par gradient basée sur modèle et l'apprentissage piloté par l'exploration en utilisant le modèle pour dériver des signaux d'exploration informatifs.
• Approche générale : L'article affirme que MDPO fournit une approche simple et générale pour résoudre les pathologies d'optimisation dans la planification basée sur modèle sans nécessiter de modifications au modèle sous-jacent ou à sa relaxation. Il suggère que l'adaptation de l'exploration à la structure locale du paysage d'optimisation est cruciale pour une prise de décision robuste dans des contextes non linéaires et hybrides.