Deep Neural Networks for Mean-Field Stochastic Optimal Control with Applications to Mean Variance Optimization

Technische Samenvatting: Diepe Neurale Netwerken voor Mean-Field Stochastische Optimale Controle

Probleemstelling
Dit onderzoek richt zich op hoogdimensionale optimale controleproblemen die worden beheerst door mean-field stochastische differentiaalvergelijkingen (SDE's). In tegenstelling tot klassieke stochastische controle, waarbij coëfficiënten uitsluitend afhangen van het toestandsproces, bevatten mean-field modellen afhankelijkheden van de waarschijnlijkheidsverdeling (of verwachting) van de toestand. Het specifieke probleem dat wordt geformuleerd, is de minimalisatie van een kostenfunctional van de vorm:
$$\inf_{u \in U} \mathbb{E} \left[ \int_0^T h(t, x_t, \mathbb{E}[\phi(x_t)], u_t) dt + g(x_T, \mathbb{E}[\chi(x_T)]) \right]$$
onderworpen aan een mean-field SDE waarbij de drift- en diffusiecoëfficiënten afhangen van de toestand $x_t$ en de verwachting $\mathbb{E}[\psi(x_t)]$. De auteurs merken op dat dergelijke mean-field afhankelijkheden tijdsinconsistentie en niet-lineaire prestatiecriteria introduceren, wat hen onderscheidt van klassieke lineaire verwachtingsgebaseerde problemen.

Een primaire uitdaging die wordt geïdentificeerd is de "vloek van dimensionaliteit", die traditionele numerieke methoden (bijv. eindige differentie- of Monte Carlo-methoden gebaseerd op roosterdiscretisatie) onpraktisch maakt voor hoogdimensionale instellingen vanwege de exponentiële groei in computationele complexiteit.

Methodologie
De auteurs maken gebruik van het Stochastisch Maximumprincipe (SMP) om het oorspronkelijke controleprobleem te transformeren naar een equivalent variatieprobleem. Door het SMP toe te passen, leiden zij een uitgebreid Hamiltonian-systeem af, uitgedrukt als een gekoppelde Forward-Backward Stochastische Differentiaalvergelijking (FBSDE) gekoppeld aan een minimalisatievoorwaarde op de Hamiltonian.

De kern van de methodologische innovatie is de herformulering van de optimaliteitsvoorwaarden naar een nieuw controleprobleem waarbij het doel is om een kwadratische eindkosten te minimaliseren:
$$\inf_{\hat{p}_0, \{\hat{q}_t\}} \mathbb{E} \left[ | \hat{p}_T - g_x(\hat{x}_T, \mathbb{E}[\chi(\hat{x}_T)]) - \mathbb{E}[g_y(\hat{x}_T, \mathbb{E}[\chi(\hat{x}_T)])]\chi_x(\hat{x}_T) |^2 \right]$$
onderworpen aan de dynamica van de toestand $\hat{x}$ en het adjointproces $\hat{p}$. Als deze eindkosten naar nul convergeert, komt de oplossing overeen met de optimale controle van het oorspronkelijke probleem.

Om deze hoogdimensionale FBSDE numeriek op te lossen, stelt het artikel drie verschillende op Deep Neural Networks (DNN) gebaseerde algoritmen voor:

1. Algoritme 1 (Enkele DNN met Numerieke Optimalisatie):

   • Een enkele DNN benadert het controleproces $\hat{q}_t$.
   • De optimale controle $\hat{u}_t$ wordt op elk tijdstap bepaald door numeriek de minimalisatievoorwaarde $\arg\min_v H(\cdot)$ op te lossen met behulp van optimalisatietechnieken zoals L-BFGS of SLSQP.
   • Deze aanpak behandelt de minimalisatievoorwaarde als een externe optimalisatiestap binnen de trainingslus.

2. Algoritme 2 (Enkele DNN met Expliciete Controle):

   • Toepasbaar wanneer de functie $\bar{H}$ (de geminimaliseerde Hamiltonian) en de optimale controle $\hat{u}_t$ een expliciete analytische representatie toestaan.
   • Een enkele DNN benadert $\hat{q}_t$.
   • Het systeem wordt opgelost als een standaard FBSDE zonder de noodzaak voor iteratieve numerieke minimalisatie bij elke stap, wat de computationele kosten aanzienlijk vermindert.

3. Algoritme 3 (Dual DNN met Strafterm):

   • Ontworpen voor gevallen waarin een expliciete expressie voor de optimale controle niet beschikbaar is.
   • Twee DNN's worden gelijktijdig ingezet: één om $\hat{q}_t$ te benaderen en een andere om $\hat{u}_t$ te benaderen.
   • De eerste-orde optimaliteitsvoorwaarde ($H_u = 0$) wordt afgedwongen door direct een strafterm $\lambda \int_0^T |H_u|^2 dt$ toe te voegen aan de verliesfunctie. Dit stelt het netwerk in staat om de optimale controle te leren zonder dat een gesloten vorm vereist is.

Belangrijkste Bijdragen

• Herformulering: Het artikel herformuleert mean-field stochastische optimale controleproblemen succesvol naar een hanteerbaar variatieprobleem dat geschikt is voor deep learning, door gebruik te maken van het Stochastisch Maximumprincipe.
• Algoritmische Diversiteit: Het introduceert drie specifieke algoritmen die zijn afgestemd op verschillende niveaus van beschikbare informatie over de optimale controle (van volledig expliciet tot volledig impliciet).
• Afhandeling van Mean-Field Termen: De methodologie houdt expliciet rekening met het mean-field karakter van het probleem, waarbij coëfficiënten afhangen van de verwachting van het toestandsproces, waardoor de toepassing van deep learning wordt uitgebreid voorbij standaard SDE's.
• Strafgebaseerde Constraint: Algoritme 3 introduceert een innovatieve aanpak voor het afhandelen van de maximumprincipe-constraint in hoge dimensies door de eerste-orde voorwaarde direct in de verliesfunctie in te bedden, waardoor de noodzaak voor een expliciete controleformule wordt vermeden.

Resultaten
De voorgestelde methoden werden geëvalueerd met behulp van het Mean-Variance Portfolio Selection probleem, een klassieke toepassing in de financiële wiskunde. De simulaties omvatten een markt met een risicovrij en een risicovol actief, met parameters ingesteld op standaardwaarden (bijv. risicovrije rente 0,05, volatiliteit 0,20).

• Convergentie: Alle drie de algoritmen vertoonden convergentie naar de analytische optimale waarde van de kostenfunctional.
• Nauwkeurigheid:
  • Algoritme 2 behaalde de hoogste nauwkeurigheid en de kleinste relatieve fout, toegeschreven aan de vereenvoudiging door de expliciete optimale controle.
  • Algoritme 3 leverde zeer nauwkeurige resultaten die nauw aansloten bij de analytische oplossing, ondanks het feit dat er geen expliciete controleformule nodig was. De inclusie van de strafterm werd toegeschreven aan het sturen van de training naar oplossingen die de optimaliteitsvoorwaarden robuuster voldoen.
  • Algoritme 1 vertoonde de laagste nauwkeurigheid van de drie, met grotere afwijkingen van het analytische optimum, grotendeels door de computationele overhead en potentiële fouten die worden geïntroduceerd door de iteratieve numerieke minimalisatie bij elke stap.
• Efficiëntie: De studie benadrukt dat hoewel Algoritme 2 het meest efficiënt is wanneer expliciete controles bestaan, Algoritme 3 een robuust en flexibel alternatief biedt voor algemene hoogdimensionale problemen waar expliciete oplossingen niet beschikbaar zijn.

Betekenis en Claims
Het artikel claimt dat het voorgestelde deep learning-framework effectief de vloek van dimensionaliteit overwint in mean-field stochastische optimale controle. Het stelt dat de herformulering naar een kwadratisch eindkostenprobleem een "meer hanteerbaar kader" biedt voor het verifiëren van optimaliteit.

De auteurs positioneren Algoritme 3 als de meest algemene en significante bijdrage, aangezien het de oplossing van hoogdimensionale stochastische controleproblemen mogelijk maakt zonder te vertrouwen op het bestaan van expliciete analytische expressies voor de optimale controle. Zij concluderen dat deze methoden "goede nauwkeurigheid en computationele efficiëntie in hoge dimensies" vertonen, wat ze levensvatbaar maakt voor complexe toepassingen zoals de mean-variance portfolio optimalisatie waar traditionele methoden falen. Het werk overbrugt de kloof tussen theoretische stochastische controle (via het SMP) en moderne computationele technieken (via DNN's), en biedt een praktisch instrumentarium voor hoogdimensionale mean-field problemen.