Technische Samenvatting: Actor-Critic Leren voor Uitgebreide Mean Field Control met Deterministische Policies

Probleemformulering

Dit artikel behandelt continue-tijd uitgebreide Mean Field Control (MFC) problemen. In deze setting optimaliseert een centrale planner het collectieve gedrag van een grote populatie homogene, interagerende agenten. De gecontroleerde toestand van een representatieve agent volgt een McKean-Vlasov stochastische differentiaalvergelijking (SDE):
$$dX^\alpha_s = b(s, X^\alpha_s, \alpha_s, \mathcal{P}(X^\alpha_s, \alpha_s))ds + \sigma(s, X^\alpha_s, \alpha_s, \mathcal{P}(X^\alpha_s, \alpha_s))dW_s$$
Cruciaal is dat, in tegenstelling tot standaard MFC waar coëfficiënten alleen afhangen van de toestandsverdeling, uitgebreide MFC toestaat dat de drift $b$, diffusie $\sigma$ en beloningsfuncties afhankelijk zijn van de gezamenlijke verdeling van de toestand en de controle, aangeduid als $\mathcal{P}(X^\alpha_s, \alpha_s)$.

Het doel is om een beloningsfunctional te maximaliseren over toegestane controleprocessen. Een primaire uitdaging in dit domein is het oneindig-dimensionale karakter van het probleem, waarbij de waardefunctie afhangt van de tijd, de individuele toestand en de toestandsverdeling. Bovendien leunen bestaande Reinforcement Learning (RL) benaderingen voor continue-tijd MFC vaak op stochastische (exploratieve) policies. De auteurs stellen dat stochastische policies aanzienlijke algoritmische hindernissen vormen in uitgebreide MFC: het randomiseren van acties verandert de controledistributie, wat de lineariteit van de generator ten opzichte van de policy doorbreekt en de afleiding van hulpdynamica bemoeilijkt. Daarnaast vereisen stochastische policies hoogfrequente sampling en Monte Carlo-approximaties over continue actieruimtes, wat leidt tot computationele inefficiëntie en instabiliteit.

Methodologie

Het artikel stelt een model-vrij Actor-Critic framework voor dat gebruikmaakt van deterministische feedback policies. In plaats van te optimaliseren over stochastische kernels, optimaliseert de methode over een geparametriseerde familie van deterministische policies $\phi_\theta(t, x, \mu)$, die de huidige tijd, toestand en toestandswet direct mappen naar een actie.

1. Theoretische Fundamenten

De kern van de methodologie is de afleiding van een deterministische policy gradient (DPG) formule voor continue-tijd uitgebreide MFC.

• Model-vrije Sensitiviteit: De auteurs stellen eerst een model-vrije sensitiviteitsformule vast voor geparametriseerde McKean-Vlasov dynamica. Ze leiden een gradiëntformule af voor de waardefunctie met betrekking tot de policy-parameters $\theta$ zonder expliciete kennis van de drift- of diffusiecoëfficiënten te vereisen.
• Advantage-Rate Functie: De gradiënt wordt uitgedrukt als een integraal met betrekking tot de afgeleide van een advantage-rate functie langs de flow van toestandsverdelingen.
• Lokale Decompositie (Theorem 3.2): Een belangrijke theoretische verfijning betreft het decomponeren van de gelifte waarde- en advantage-rate functies in lokale functies van de toestand, actie en de gezamenlijke staat-actie verdeling. Deze decompositie levert een policy gradient op die bestaat uit:
  1. Een afgeleide met betrekking tot de lokale actie.
  2. Een measure-derivative term met betrekking tot de controledistributie.
• Martingaal Karakterisering: De auteurs stellen een martingaalconditie vast voor deze lokale representaties. Dit maakt het mogelijk om de waarde- en advantage-functies direct te leren uit geobserveerde toestand- en controle-trajecten, waardoor het leren van enkel uit de flow van toestandswetten wordt omzeild.

2. Algoritme: CT-DDPG

Op basis van de theoretische resultaten stelt het artikel het Continuous-Time Deep Deterministic Policy Gradient (CT-DDPG) algoritme voor.

• Architectuur: Het algoritme maakt gebruik van measure-dependent neurale netwerken. De waardefunctie $V_\phi$ en de advantage-rate functie $q_\psi$ worden benaderd met neurale netwerken die niet alleen de toestand en tijd als input nemen, maar ook eind-dimensionale embeddings van de toestandsverdeling (bijv. momenten of leerbare feature maps).
• Critic Update: De critics worden getraind met een temporal-difference (TD) leerregime afgeleid van de martingaalkarakterisering. De verliesfunctie dwingt de Bellman-achtige restricties en terminale condities af.
• Actor Update: De policy wordt bijgewerkt via gradiëntascens met behulp van de afgeleide DPG-formule (Eq. 3.22), die de lokale advantage-rate functie en de bijbehorende afgeleiden gebruikt.
• Exploratie: Omdat de policy deterministisch is, wordt exploratie extern geïntroduceerd via twee mechanismen:
  1. Actieruimte-exploratie: Het toevoegen van ruis aan de door de policy geselecteerde acties.
  2. Parameterrruimte-exploratie: Het verstoren van de policy-netwerkparameters.
• Simulatie: De McKean-Vlasov dynamica wordt gesimuleerd met een deeltjesbenadering (Euler-Maruyama discretisatie) met $M$ agenten om de empirische verdelingen te schatten.

Belangrijkste Bijdragen

1. Deterministisch Policy Framework voor Uitgebreide MFC: Het artikel introduceert een model-vrij RL-framework specifal voor continue-tijd uitgebreide MFC dat de beperkingen van stochastische policy-benaderingen (zoals het verlies van lineariteit in de generator en hoge computationele kosten) vermijdt.
2. Nieuwe Policy Gradient Formule: Het leidt een deterministische policy gradient formule af die expliciet rekening houdt met de afhankelijkheid van de gezamenlijke toestand-actie verdeling. Dit omvat een nieuwe measure-derivative term met betrekking tot de controledistributie, wat essentieel is voor uitgebreide MFC-problemen.
3. Lokale Advantage Representatie: Door de waarde- en advantage-functies te decomponeren in lokale componenten, maken de auteurs meer informatieve leer-signalen mogelijk die afgeleid zijn van individuele trajecten in plaats van enkel de geaggregeerde toestandsflow.
4. Algoritmische Implementatie: Het artikel presenteert het CT-DDPG algoritme, waarbij deeltjesbenaderingen, measure-dependent neurale netwerken en TD-leren worden geïntegreerd om deze hoog-dimensionale, oneindig-dimensionale controleproblemen op te lossen.

Numerieke Resultaten

De voorgestelde methode wordt geëvalueerd op twee benchmark-problemen:

1. Stochastische Cucker-Smale Consensus Controle:

   • Lineair-Kwadratisch (LQ) Geval ($\gamma=0$): CT-DDPG convergeert sneller naar de optimale waarde dan bestaande model-bewuste baselines (Actor-Critic en Q-Learning), ondanks het feit dat het de bekende LQ-structuur niet exploiteert.
   • Niet-LQ Geval ($\gamma=1$): De methode vertoont robuustheid en efficiëntie. Varianten die gebruikmaken van leerbare feature maps voor distributie-embedding presteren vergelijkbaar met die welke handmatige kernel-features gebruiken, wat de model-agnostische aard van de aanpak valideert.
   • Exploratie: Actieruimte-exploratie blijkt robuuster tegen de schaling van ruis dan parameterrruimte-exploratie, hoewel beide een vergelijkbare prestatie kunnen leveren met zorgvuldige afstemming.

2. Optimale Liquidatie met Trade Crowding:

   • Dit probleem is expliciet afhankelijk van de controledistributie (permanente marktimpact).
   • CT-DDPG vertoont een superieure convergentiesnelheid en stabiliteit vergeleken met baselines.
   • In deze specifieke setting toonde parameterrruimte-exploratie potentieel voordelen boven actieruimte-exploratie wanneer correct afgestemd, aangezien actieruimte-ruis de prijsproces-dynamiek niet voldoende verstoorde.

Betekenis en Claims

Het artikel claimt dat de voorgestelde deterministische policy aanpak significante computationele voordelen biedt ten opzichte van stochastische policy-methoden in continue-tijd uitgebreide MFC-settings. Door het optimaliseren over stochastische kernels te vermijden en direct gebruik te maken van de push-forward structuur van deterministische policies, bereikt de methode:

• Verbeterde Stabiliteit: Het deterministische karakter van de policy vermindert de variantie geassocieerd met stochastische actie-sampling.
• Snellere Convergentie: Het martingaal-gebaseerde leerprincipe en lokale advantage-representaties zorgen voor meer informatieve gradiënten.
• Model-vrije Capaciteit: Het algoritme opereert zonder kennis van de systeemdynamica ($b, \sigma$) of beloningsfuncties, wat het toepasbaar maakt voor complexe, real-world scenario's waar dergelijke modellen onbekend of onhandelbaar zijn.

De auteurs benadrukken dat hun aanpak de restrictieve aannames weghaalt die in eerdere werken werden gevonden (zoals scheidbare structuren of bekende expliciete afhankelijkheid van controles) en een verenigd framework biedt voor leren in uitgebreide MFC-problemen waar de controledistributie een cruciale rol speelt.