Résumé technique : Apprentissage Actor-Critic pour le Contrôle de Champ Moyen Étendu avec des Politiques Déterministes

Formulation du problème

Cet article traite des problèmes de contrôle de champ moyen (MFC) étendu en temps continu. Dans ce cadre, un planificateur central optimise le comportement collectif d'une large population d'agents homogènes et interagissants. L'état contrôlé d'un agent représentatif suit une équation différentielle stochastique (EDS) de type McKean-Vlasov :
$$dX^\alpha_s = b(s, X^\alpha_s, \alpha_s, \mathcal{P}(X^\alpha_s, \alpha_s))ds + \sigma(s, X^\alpha_s, \alpha_s, \mathcal{P}(X^\alpha_s, \alpha_s))dW_s$$
De manière cruciale, contrairement au MFC standard où les coefficients dépendent uniquement de la distribution de l'état, le MFC étendu permet aux coefficients de dérive $b$, de diffusion $\sigma$ et aux fonctions de récompense de dépendre de la distribution jointe de l'état et du contrôle, notée $\mathcal{P}(X^\alpha_s, \alpha_s)$.

L'objectif est de maximiser une fonctionnelle de récompense sur des processus de contrôle admissibles. Un défi majeur dans ce domaine est la nature infiniment dimensionnelle du problème, où la fonction de valeur dépend du temps, de l'état individuel et de la distribution de l'état. De plus, les approches d'apprentissage par renforcement (RL) existantes pour le MFC en temps continu reposent souvent sur des politiques stochastiques (exploratoires). Les auteurs soutiennent que les politiques stochastiques font face à des obstacles algorithmiques importants dans le MFC étendu : la randomisation des actions modifie la distribution du contrôle, brisant la linéarité du générateur par rapport à la politique et compliquant la dérivation des dynamiques auxiliaires. De plus, les politiques stochastiques nécessitent un échantillonnage à haute fréquence et des approximations de Monte Carlo sur des espaces d'actions continus, ce qui entraîne une inefficacité computationnelle et une instabilité.

Méthodologie

L'article propose un cadre Actor-Critic sans modèle (model-free) utilisant des politiques de rétroaction déterministes. Au lieu d'optimiser sur des noyaux stochastiques, la méthode optimise une famille paramétrée de politiques déterministes $\phi_\theta(t, x, \mu)$, qui associent directement le temps actuel, l'état et la loi de l'état à une action.

1. Fondements théoriques

Le cœur de la méthodologie est la dérivation d'une formule de gradient de politique déterministe (DPG) pour le MFC étendu en temps continu.

• Sensibilité sans modèle : Les auteurs établissent d'abord une formule de sensibilité sans modèle pour les dynamiques de McKean-Vlasov paramétrées. Ils dérivent une formule de gradient pour la fonction de valeur par rapport aux paramètres de la politique $\theta$ sans nécessiter la connaissance explicite des coefficients de dérive ou de diffusion.
• Fonction de taux d'avantage : Le gradient est exprimé sous la forme d'une intégrale impliquant la dérivée d'une fonction de taux d'avantage le long du flot des distributions d'états.
• Décomposition locale (Théorème 3.2) : Un raffinement théorique clé consiste à décomposer les fonctions de valeur et de taux d'avantage "élevées" (lifted) en fonctions locales de l'état, de l'action et de la distribution conjointe état-action. Cette décomposition produit un gradient de politique contenant :
  1. Une dérivée par rapport à l'action locale.
  2. Un terme de dérivée de mesure par rapport à la distribution du contrôle.
• Caractérisation par martingale : Les auteurs établissent une condition de martingale pour ces représentations locales. Cela permet d'apprendre les fonctions de valeur et d'avantage directement à partir de trajectoires observées d'états et de contrôles, évitant ainsi de devoir apprendre uniquement à partir du flot des lois d'état.

2. Algorithme : CT-DDPG

Sur la base des résultats théoriques, l'article propose l'algorithme Continuous-Time Deep Deterministic Policy Gradient (CT-DDPG).

• Architecture : L'algorithme utilise des réseaux de neurones dépendants de la mesure. Les fonctions de valeur $V_\phi$ et de taux d'avantage $q_\psi$ sont approximées par des réseaux de neurones qui prennent en entrée non seulement l'état et le temps, mais aussi des plongements (embeddings) de dimension finie de la distribution de l'état (par exemple, des moments ou des cartes de caractéristiques apprenables).
• Mise à jour du Critic : Les critiques sont entraînés à l'aide d'un schéma d'apprentissage par différence temporelle (TD) dérivé de la caractérisation par martingale. La fonction de perte impose les contraintes de type Bellman et les conditions terminales.
• Mise à jour de l'Actor : La politique est mise à jour via une ascension de gradient utilisant la formule DPG dérivée (Eq. 3.22), qui utilise la fonction de taux d'avantage locale et ses dérivées.
• Exploration : Puisque la politique est déterministe, l'exploration est introduite de manière externe via deux mécanismes :
  1. Exploration de l'espace des actions : Ajout de bruit aux actions sélectionnées par la politique.
  2. Exploration de l'espace des paramètres : Perturbation des paramètres du réseau de la politique.
• Simulation : La dynamique de McKean-Vlasov est simulée par une approximation particulaire (discrétisation d'Euler-Maruyama) avec $M$ agents pour estimer les distributions empiriques.

Contributions clés

1. Cadre de politique déterministe pour le MFC étendu : L'article introduit un cadre de RL sans modèle spécifiquement conçu pour le MFC étendu en temps continu, qui évite les limites des approches de politique stochastique (telles que la perte de linéarité du générateur et le coût de calcul élevé).
2. Nouvelle formule de gradient de politique : Il dérive une formule de gradient de politique déterministe qui rend compte explicitement de la dépendance à la distribution jointe état-action. Cela inclut un nouveau terme de dérivée de mesure par rapport à la distribution du contrôle, essentiel pour les problèmes de MFC étendu.
3. Représentation locale de l'avantage : En décomposant les fonctions de valeur et d'avantage en composantes locales, les auteurs permettent d'obtenir des signaux d'apprentissage plus informatifs dérivés de trajectoires individuelles plutôt que de simplement le flot agrégé des états.
4. Implémentation algorithmique : L'article présente l'algorithme CT-DDPG, intégrant des approximations particulaires, des réseaux de neurones dépendants de la mesure et l'apprentissage TD pour résoudre ces problèmes de contrôle de haute dimension et de dimension infinie.

Résultats numériques

La méthode proposée est évaluée sur deux problèmes de référence :

1. Contrôle de consensus de Cucker-Smale stochastique :

   • Cas Linéaire-Quadratique (LQ) ($\gamma=0$) : CT-DDPG converge plus rapidement vers la valeur optimale que les bases existantes avec modèle (Actor-Critic et Q-Learning), bien qu'il n'exploite pas la structure LQ connue.
   • Cas Non-LQ ($\gamma=1$) : La méthode démontre sa robustesse et son efficacité. Les variantes utilisant des cartes de caractéristiques apprenables pour l'embedding de la distribution sont comparables à celles utilisant des noyaux pré-conçés, validant la nature agnostique au modèle de l'approche.
   • Exploration : L'exploration de l'espace des actions s'avère plus robuste à l'ajustement de l'échelle du bruit que l'exploration de l'espace des paramètres, bien que les deux puissent atteindre des performances comparables avec un réglage minutieux.

2. Liquidation optimale avec encombrement du marché (Trade Crowding) :

   • Ce problème dépend explicitement de la distribution du contrôle (impact de marché permanent).
   • CT-DDPG présente une vitesse de convergence et une stabilité supérieures par rapport aux modèles de base.
   • Dans ce contexte spécifique, l'exploration de l'espace des paramètres a montré des avantages potentiels par rapport à l'exploration de l'espace des actions, car le bruit de l'espace des actions ne perturbait pas suffisamment la dynamique du processus de prix.

Signification et affirmations

L'article affirme que l'approche de politique déterministe proposée offre des avantages computationnels significatifs par rapport aux méthodes de politique stochastique dans les contextes de MFC étendu en temps continu. En évitant l'optimisation sur des noyaux stochastiques et en utilisant directement la structure de poussée en avant (push-forward) des politiques déterministes, la méthode atteint :

• Une meilleure stabilité : La nature déterministe de la politique réduit la variance associée à l'échantillonnage d'actions stochastiques.
• Une convergence plus rapide : Le principe d'apprentissage basé sur la martingale et les représentations locales de l'avantage fournissent des gradients plus informatifs.
• Une capacité sans modèle : L'algorithme fonctionne sans connaissance des dynamiques du système ($b, \sigma$) ou des fonctions de récompense, ce qui le rend applicable à des scénarios réels complexes où ces modèles sont inconnus ou intraitables.

Les auteurs soulignent que leur approche lève les hypothèses restrictives trouvées dans les travaux antérieurs (par exemple, les structures séparables ou la dépendance explicite connue vis-à-vis des contrôles) et fournit un cadre unifié pour l'apprentissage dans les problèmes de MFC étendu où la distribution du contrôle joue un rôle critique.