Continuous-time Risk-sensitive Reinforcement Learning via Quadratic Variation Penalty

Probleemstelling

Dit paper onderzoekt risicogevoelige Reinforcement Learning (RL) in een continu-tijd omgeving. Traditionele RL-methoden focussen vaak op het maximaliseren van de verwachte som van tijd-geaccumuleerde beloningen (risico-neutraal). Dit is echter ontoereikend voor toepassingen waar agents rekening moeten houden met de volledige verdeling van de uitkomsten, zoals in financieel beheer of robuuste besturing onder modelonzekerheid.

De auteur behandelt het probleem vanuit een modelvrije (data-gedreven) perspectief, waarbij de agent geen kennis heeft van de onderliggende dynamica (drift en diffusie) of de exacte vorm van de beloningsfuncties. Het doel is om een stochastisch beleid te vinden dat een exponentieel risicogevoelig doel maximaliseert, gecombineerd met entropie-regulatie om exploratie te bevorderen.

Het specifieke doelwit is:
$$\frac{1}{\epsilon} \log \mathbb{E} \left[ \exp\left( \epsilon \int_0^T (r(s, X_s, a_s) - \lambda \log \pi(a_s|s, X_s)) ds + h(X_T) \right) \right]$$
waarbij $\epsilon$ de risicosensitiviteit parameter is en $\lambda$ de temperatuurparameter voor exploratie.

Methodologie

De kern van de methodologie ligt in het vertalen van het complexe risicogevoelige probleem naar een hanteerbaar martingaal-probleem, gebaseerd op de theorie van Jia en Zhou (2023).

1. Quadratische Variatie (QV) Penalty:
   In plaats van te werken met niet-lineaire recursieve relaties (zoals de "exponentiële Bellman-vergelijking" in discrete tijd), toont de auteur aan dat het risicogevoelige probleem in continu tijd equivalent is aan een standaard RL-probleem, maar dan aangevuld met een strafterm gebaseerd op de kwadratische variatie (QV) van het waardeproces.

   • De exponentiële vorm wordt geëlimineerd.
   • De optimaliteitsvoorwaarde wordt een lineair martingaal-probleem voor de q-functie, hoewel de waardefunctie zelf nog steeds niet-lineair afhankelijk is van de QV-term.

2. Risicogevoelige q-Learning:
   De auteur definieert een q-functie voor risicogevoelige RL. In tegenstelling tot discrete tijd, waar de q-functie vaak niet-lineair is, is de martingaal-voorwaarde voor de q-functie in continu tijd lineair. Dit maakt het mogelijk om bestaande q-learning algoritmen aan te passen door simpelweg de gerealiseerde variantie van het waardeproces toe te voegen aan de tijdsverschil (TD) fout.

3. Verschil met Policy Gradient:
   Een cruciale theoretische bevinding is dat de relatie tussen q-learning en policy gradient (zoals in niet-risicogevoelige RL) niet langer geldt voor risicogevoelige problemen. Door de niet-lineariteit van de QV-term in de waardefunctie, wordt de afgeleide van de waardefunctie (die nodig is voor policy gradient) onberekenbaar zonder extra, niet-berekenbare termen. Dit onderstreept de superioriteit van q-learning in deze context.

4. Algoritmen:
   Er worden specifieke algoritmen ontwikkeld voor zowel episodische taken (finite horizon) als ergodische taken (infinite horizon). Deze gebruiken stochastische approximatie om de parameters van de q-functie en de waardefunctie te leren, gebaseerd op martingaal-voorwaarden.

Belangrijkste Bijdragen

• Theoretische Kaderstelling: Het paper vestigt de theorie voor q-learning in continu tijd voor risicogevoelige RL. Het toont aan dat het probleem kan worden vereenvoudigd tot een lineair martingaal-probleem voor de q-functie door gebruik te maken van een QV-penalty.
• Onverenigbaarheid van Policy Gradient: Het wordt bewezen dat de standaard policy gradient-representatie faalt voor risicogevoelige RL vanwege de niet-lineariteit, terwijl q-learning een robuust alternatief biedt.
• Convergentieanalyse voor Merton's Probleem: Voor het Merton-investeringsprobleem (met power utility) wordt de convergentie van het voorgestelde algoritme bewezen. De auteur analyseert de rol van de temperatuurparameter ($\lambda$) en toont aan dat deze fungeert als een "effectieve leersnelheid" die een afweging maakt tussen exploratie (hoge $\lambda$) en exploitatie (lage $\lambda$).
• Finite-Sample Analyse: In een lineair-kwadratisch (LQ) besturingsprobleem wordt aangetoond dat risicogevoelige RL betere prestaties levert bij beperkte steekproefgroottes (finite samples) dan risiconeutrale RL, vanwege de inherente robuustheid tegen modelonzekerheid.

Resultaten

De paper presenteert zowel theoretische bewijzen als numerieke experimenten:

1. Merton's Investeringsprobleem:

   • Het algoritme convergeert bijna zeker naar de optimale oplossing.
   • De Mean Squared Error (MSE) van de geleerde parameters convergeert met een snelheid van $\tilde{O}(1/n)$ (waarbij $n$ het aantal episodes is), wat overeenkomt met de state-of-the-art.
   • De Equivalent Relative Wealth Loss (ERWL) (regret) wordt geanalyseerd. Het blijkt dat bij een stochastisch beleid de temperatuurparameter moet afnemen om de regret te minimaliseren, terwijl bij een deterministisch beleid een constante temperatuur kan volstaan.

2. Off-policy Lineair-Kwadratisch (LQ) Controle:

   • Simulaties tonen aan dat bij kleine steekproefgroottes het kiezen van een negatieve risicosensitiviteit parameter ($\epsilon < 0$) leidt tot een lagere MSE dan het risiconeutrale geval ($\epsilon = 0$).
   • Er is een delicate relatie tussen de steekproefgrootte en de optimale keuze van $\epsilon$: hoe kleiner de dataset, hoe sterker de risicogevoeligheid moet zijn om de onzekerheid te compenseren.
   • Een lagere temperatuurparameter ($\lambda$) resulteert in lagere schattingsfouten in een off-policy setting, omdat exploratie in een vast dataset minder nuttig is en juist ruis introduceert.

Significantie

Deze paper is significant omdat het een brug slaat tussen continu-tijd stochastische besturing en data-gedreven RL in risicogevoelige contexten.

• Vereenvoudiging: Het lost het probleem op van de complexe niet-lineaire recursies die typisch zijn voor risicogevoelige RL in discrete tijd, door gebruik te maken van de wiskundige eigenschappen van continu-tijd diffusieprocessen (normale benadering).
• Praktische Toepasbaarheid: Het biedt een modelvrije methode voor complexe financiële problemen (zoals portefeuilleoptimalisatie) waar modelonzekerheid een grote rol speelt.
• Inzicht in Hyperparameters: Het geeft een diepgaand theoretisch en empirisch inzicht in hoe de temperatuurparameter en de leersnelheid samenwerken, wat vaak een "black box" was in eerdere literatuur.

Kortom, het paper introduceert een robuust, wiskundig onderbouwd raamwerk voor het leren van optimale beleidslijnen in onzekere, continu-tijd omgevingen, waarbij de variabiliteit van de uitkomsten expliciet wordt gestraft om risico-aversie te modelleren.