Technische Samenvatting: Mean-Field PhiBE: Continuous-Time Mean-Field Reinforcement Learning van Discrete-Time Data

1. Probleemformulering

Dit artikel behandelt de uitdaging van model-vrije continuous-time mean-field controle (ook wel bekend als McKean-Vlasov of MKV-controle) in scenario's waar de onderliggende populatiedynamiek continu evolueert, maar data alleen beschikbaar is op discrete observatietijden.

• De Setting: Een sociale planner streeft naar het optimaliseren van de collectieve prestaties van een grote populatie coöperatieve agenten. De toestand van de populatie wordt beschreven door een kansmaat $\mu_t \in \mathcal{P}_2(\mathbb{R}^d)$ die evolueert volgens een gecontroleerde McKean-Vlasov stochastische differentiaalvergelijking (SDE).
• Het Doel: Een oneindig-horizon, gedisconteerd, entropie-geregulariseerd optimaal controlesprobleem. De lopende beloning bevat een entropie-term om exploratie aan te moedigen, wat leidt tot gerandomiseerde feedback-policies.
• De Kernproblematiek:
  • Model-gebaseerd Perspectief: Als de drift- en diffusiecoëfficiënten van de MKV-dynamiek bekend zouden zijn, zou de policy-evaluatie worden beschreven door een stationaire Hamilton-Jacobi-Bellman (HJB) vergelijking op de Wasserstein-ruimte $\mathcal{P}_2(\mathbb{R}^d)$. Echter, deze vergelijking steunt op infinitesimale generatoren (drift en diffusie) die niet identificeerbaar zijn uit louter discrete-time transitie-data alleen.
  • Model-vrij Perspectief: Een directe reductie naar een discrete-time Markov Decision Process (MDP) vermijdt het identificeerbaarheidsprobleem, maar verwerpt de continue-time differentiële structuur. Dit introduceert een discretisatiefout die aanwezig blijft, zelfs met oneindige hoeveelheden samples, waardoor de geleerde policy afwijkt van de ware continuous-time optimum.

Het doel van dit artikel is om deze twee perspectieven te overbruggen: het gebruikmaken van discrete-time data om de continuous-time HJB-structuur te benaderen zonder terug te vallen op een puur discrete-time Bellman-formulering.

2. Methodologie

2.1. Model-gebaseerde Fundamenten

De auteurs vestigen eerst het theoretische kader voor de model-gebaseerde setting:

• Stationaire HJB: Zij bewijzen de welbepaaldheid van de stationaire lineaire HJB-vergelijking op $\mathcal{P}_2(\mathbb{R}^d)$ voor een vaste gerandomiseerde policy. De waarde-functionaal $V_\pi$ is de unieke klassieke oplossing binnen een klasse met polynomiale groei.
• Policy Gradient Theorem: Zij leiden een policy gradient theorem af voor oneindig-horizon entropie-geregulariseerde MKV-controle. Cruciaal is dat de gradiënt wordt uitgedrukt in termen van een actie-specifieke infinitesimale advantage en de scorefunctie van de policy. In tegen tegenstelling tot eerdere werken die vereisen dat gemiddelde drift/diffusie-coëfficiënten worden gedifferentieerd ten opzichte van de policy-parameters (wat moeilijk is in model-vrije settings), rust deze formulering op puntgewijze grootheden die direct geschat kunnen worden.

2.2. De Mean-Field PhiBE (MF-PhiBE)

Om het gebrek aan bekende coëfficiënten op te lossen, introduceren de auteurs de Mean-Field Physics-Informed Bellman Equation (MF-PhiBE).

• Concept: In plaats van het continuous-time probleem te vervangen door een discrete-time recursie, behoudt de MF-PhiBE de continuous-time PDE-structuur op de Wasserstein-ruimte.
• Mechanisme: De onbekende infinitesimale drift $b$ en diffusie $\Sigma$ in de HJB-generator worden vervangen door one-step estimators berekend uit discrete-time transitie-data $(s, \mu, a, s', r)$.
  • $\hat{b}(s, \mu, a) \approx \mathbb{E}[(s_{\Delta t} - s)/\Delta t]$
  • $\hat{\Sigma}(s, \mu, a) \approx \mathbb{E}[(s_{\Delta t} - s)(s_{\Delta t} - s)^\top/\Delta t]$
• Resultaat: De resulterende vergelijking, $(\mathcal{L}^{\pi}_{\hat{b}, \hat{\Sigma}} - \beta)\hat{V}_\pi + r^\pi_\lambda = 0$, dient als een surrogaat voor de ware HJB-vergelijking, waarbij de gladheidstructuur van het fysieke systeem behouden blijft terwijl deze berekenbaar is vanuit data.

2.3. Model-vrije Actor-Critic Algoritme

Het artikel stelt een model-vrij actor-critic algoritme voor op basis van de MF-PhiBE:

• Critic Stap: Benadert de waarde-functionaal $\hat{V}_\pi$ door de empirische MF-PhiBE residu op te lossen met behulp van een Galerkin-projectie (bijv. lineaire functie-approximatie of neurale netwerken) op gesamplede wetten.
• Actor Stap: Update de policy-parameters met behulp van het policy gradient theorem. De instantane advantage wordt geschat met behulp van de geleerde critic en de one-step estimators. Dit voorkomt de noodzaak om onbekende geaggregeerde coëfficiënten te differentiëren.

3. Belangrijkste Bijdragen en Resultaten

3.1. Theoretische Garanties

• Eerste-orde Consistentie: De auteurs bewijzen dat de waarde geïnduceerd door een optimale MF-PhiBE policy de optimale continuous-time waarde benadert met een fout van orde $\mathcal{O}(\Delta t)$. Dit geldt voor algemene niet-lineaire dynamica onder aannames van regulariteit.
• Tweede-orde Nauwkeurigheid in LQR: In het specifieke geval van de Lineair-Quadratische (LQ) mean-field controle, bereikt de benadering een tweede-orde nauwkeurigheid ($\mathcal{O}(\Delta t^2)$) voor de waarde-functie. Bovendien komen in het ongekortelde deterministische geval de gemiddelde feedback-middelen van de MF-PhiBE policy en de exacte optimale policy exact overeen.
• Resolutie van Niet-Identificeerbaarheid: Het artikel laat zien dat hoewel continuous-time matrices (A, B) over het algemeen niet identificeerbaar zijn uit one-step transitie-gemiddelden vanwege aliasing (matrix-exponentieel niet-injectiviteit), de MF-PhiBE formulering erin slaagt de optimale feedback-wet te herstellen door direct met de estimators $\hat{A}, \hat{B}$ te werken in plaats van te proberen de onderliggende continue parameters te herstellen.

3.2. Numerieke Validatie

• LQR Benchmark: Experimenten op een systemisch risico LQR-probleem tonen aan dat de empirische MF-PhiBE critic de quadratische waarde-structuur herstelt en dat de actor-parameters convergeren naar de optimale feedback-coëfficiënten afgeleid van Riccati-vergelijkingen.
• Vergelijking met Discrete-Time Bellman: Het artikel vergelijkt de MF-PhiBE aanpak met een standaard tijd-discrete Bellman-formulering (MDP). De resultaten wijzen uit dat de MF-PhiBE policy, voor dezelfde tijdstap-informatie, een aanzienlijk betere benadering biedt van de optimale continuous-time waarde-functie dan de discrete-time policy, vooral wanneer de tijdstap $\Delta t$ varieert.
• Crowd Aversion: Een niet-lineair 2D voorbeeld met betrekking tot crowd aversion en target transport demonstreert het vermogen van het framework om niet-kwadratische beloningen en complexe populatie-interacties aan te kunnen, waarbij het erin slaagt een populatie te transporteren terwijl hoog-densiteitsgebieden worden vermeden.

4. Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het aantonen dat discrete-time observaties geen noodzaak inhouden voor een discrete-time controle-formulering.

• Behoud van Structuur: Door discrete-time transitie-informatie te integreren in een continuous-time PDE (de MF-PhiBE), behoudt de methode de differentiële vergelijkingstructuur van de onderliggende dynamiek. Dit voorkomt de inherente discretisatiefout die directe MDP-reducties teistert, zelfs in het limiet van oneindige data.
• Model-vrije Haalbaarheid: De aanpak biedt een rigoureus pad naar model-vrije continuous-time mean-field leren. Het omzeilt de noodzaak om de MKV-coëfficiënten te kennen of om de policy-gemiddelde drift/diffusie-termen te differentiëren, wat vaak onhandelbaar is in data-gestuurde settings.
• Theoretisch vs. Praktisch: Het werk stelt vast dat de "physics-informed" aanpak (het gebruik van discrete data om continuous-time PDEs te informeren) superieure benaderingseigenschappen oplevert vergeleken met standaard discrete-time reinforcement learning voor continuous-time controleproblemen, specifiek in de context van mean-field interacties.

De auteurs positioneren dit werk als een brug tussen de theoretische elegantie van continuous-time MKV-controle en de praktische realiteit van discrete-time data-beschikbaarheid, door een model-vrij actor-critic algoritme aan te bieden dat de continue aard van het systeem respecteert.