💰 quantitative finance

Data-Driven Merton's Strategies via Policy Randomization

Deze paper introduceert een datagedreven aanpak voor Merton's optimalisatieprobleem in een onvolledige markt met onbekende parameters, waarbij gebruik wordt gemaakt van policy randomization en actor-critic reinforcement learning-algoritmen om de optimale strategie te vinden zonder de onderliggende modelprimitieven te hoeven schatten.

Oorspronkelijke auteurs: Min Dai, Yuchao Dong, Yanwei Jia, Xun Yu Zhou

Gepubliceerd 2026-02-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Min Dai, Yuchao Dong, Yanwei Jia, Xun Yu Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kapitein bent van een schip dat door een onbekende oceaan vaart. Je doel is om zoveel mogelijk goud (geld) te verzamelen aan het einde van de reis, maar je moet dit doen zonder te zinken (risico). Dit is in feite het beroemde "Merton-probleem" uit de financiële wereld: hoe investeer je het beste in een onzekere markt?

Traditionele economen doen dit op een heel specifieke manier, die ze de "Plug-in-methode" noemen.
Stel je voor dat je eerst een enorme kaarttekent (een wiskundig model) van de oceaan. Je meet de golven, de wind en de stromingen, en probeert precies te voorspellen hoe ze zich gedragen. Pas als je die kaart perfect hebt, begin je te varen.
Het probleem? De oceaan verandert voortdurend. Soms is de wind stil, soms is er een orkaan. Als je kaart niet 100% klopt (en dat is bijna altijd zo), dan vaar je in de verkeerde richting. Je kaart is te gevoelig voor kleine fouten in je metingen.

De auteurs van dit paper, Dai, Dong, Jia en Zhou, zeggen: "Waarom proberen we die perfecte kaart te tekenen? Laten we gewoon leren door te doen." Ze gebruiken een moderne techniek uit de kunstmatige intelligentie genaamd Versterkend Leren (Reinforcement Learning of RL).

Hier is hoe hun idee werkt, vertaald naar alledaagse taal:

1. Het geheim: "Gokken" om te leren (Policy Randomization)

In het traditionele denken is een goede kapitein iemand die altijd de meest logische route kiest. Maar in deze nieuwe aanpak laten ze de kapitein soms willekeurig sturen.
Stel je voor dat je een nieuwe stad probeert te verkennen. Als je altijd de kortste, logische route neemt, leer je nooit of er een snellere weg is die je niet kende. Je moet soms een afslag nemen die er raar uitziet, gewoon om te zien wat er gebeurt.

In dit paper laten ze de computer "gokken" met zijn investeringen. In plaats van te zeggen "Ik investeer 50% in aandelen", zegt de computer: "Ik ga investeren in een willekeurig bedrag rond de 50%."

De verrassing: Je zou denken dat willekeur slecht is voor je portemonnee. Maar de auteurs bewijzen wiskundig dat als je deze willekeurige gokken slim gebruikt om te leren, het gemiddelde resultaat uiteindelijk precies hetzelfde is als de perfecte, logische route die je nooit had kunnen vinden zonder die gokken.
De metafoor: Het is alsof je een blinddoek opzet en met je handen voelt hoe de muur eruitziet. Je voelt je een beetje onzeker (willekeur), maar op het einde heb je een veel beter beeld van de kamer dan iemand die alleen maar naar een oude, onnauwkeurige tekening kijkt.

2. Waarom is dit beter dan de oude manier?

De oude manier (de "Plug-in-methode") is als een kok die een recept volgt, maar de ingrediënten (de marktparameters) moet afwegen op een schaal die altijd een beetje trilt. Als je de suiker net iets te veel afweegt, is je taart een ramp.
De nieuwe RL-methode is als een kok die proeft terwijl hij kookt.

Hij maakt een hapje, proeft, en past het zout direct aan.
Hij maakt geen perfect recept op papier; hij leert het recept door te experimenteren.
Als de markt verandert (bijvoorbeeld tijdens een crisis), past deze "kok" zich direct aan. De oude methode blijft vastzitten aan het oude recept dat niet meer werkt.

3. Wat hebben ze bewezen?

De auteurs hebben twee dingen gedaan:

Wiskundig bewijs: Ze hebben bewezen dat deze "willekeurige" manier van leren in feite een slimme truc is om het perfecte antwoord te vinden, zelfs als je de onderliggende wetten van de markt niet kent.
Testen in de praktijk: Ze hebben hun methode getest met twee dingen:
- Simulaties: Ze lieten computers jarenlang "varen" in een virtuele markt. Hun methode verdiende meer geld en maakte minder fouten dan de traditionele methoden.
- Echte data: Ze keken naar de echte S&P 500 (de Amerikaanse beurs) van de afgelopen decennia. Hun algoritme deed het veel beter dan de traditionele methoden, vooral tijdens moeilijke tijden (zoals de financiële crisis). Het herstelde zich sneller van dalingen en nam minder risico.

De grote les

Het belangrijkste punt van dit paper is een ommekeer in hoe we naar intelligentie kijken.

Oude gedachte: Willekeur (gokken) is alleen nodig om dingen te ontdekken die je niet kent (exploratie).
Nieuwe gedachte: Willekeur is een technisch hulpmiddel. Zelfs als je alles zou kunnen weten, helpt het om "willekeurig" te denken om de beste oplossing te vinden die je anders nooit zou zien.

Kortom: In plaats van te proberen de markt te voorspellen met een onvolmaakte kaart, laten ze de computer "proberen, vallen en opstaan" totdat hij de perfecte route heeft gevonden. En het beste deel? Deze methode werkt zelfs als de markt chaotisch en onvoorspelbaar is.

Titel: Data-gedreven Merton-strategieën via Policy Randomisatie

Auteurs: Min Dai, Yuchao Dong, Yanwei Jia, en Xun Yu Zhou.

1. Probleemstelling

Het artikel adresseert het klassieke probleem van Merton (1969) voor het maximaliseren van de verwachte nuttigheid van het eindvermogen in een onvolledige markt.

Context: De markt wordt gekenmerkt door een aandelenprijsproces en een extra factorproces (bijv. stochastische volatiliteit). De functionele vormen van de modelprimitieven (verwachte rendement $\mu$ , volatiliteit $\sigma$ , drift van de factor) zijn onbekend.
Beperkingen: De agent is een prijsnemer met toegang tot de waarnemingen van aandelenprijzen, factorwaarden en de instantane volatiliteit, maar kent de onderliggende stochastische differentiaalvergelijkingen (SDE's) niet.
Uitdaging: De traditionele aanpak ("plug-in" methode) schat eerst parameters uit historische data en lost vervolgens het optimalisatieprobleem op. Dit faalt vaak omdat:
1. Schattingsfouten (vooral voor het verwachte rendement) extreem gevoelig zijn en zich vermenigvuldigen in de optimalisatiestap.
2. Financiële markten vaak niet-stationair zijn.
3. De optimale strategie kan sterk afhankelijk zijn van parameters die in de schatting onrealistische waarden aannemen, wat leidt tot infeasible strategieën (bijv. oneindige hefboomwerking).

Het doel is een modelvrije, data-gedreven oplossing te vinden die direct leert van data zonder de modelprimitieven expliciet te hoeven schatten.

2. Methodologie

De auteurs introduceren een nieuwe benadering die gebruikmaakt van Continue Tijd Reinforcement Learning (RL) en Policy Randomisatie.

A. Het Hulpvraagstuk met Randomisatie

In plaats van een deterministische strategie te zoeken, formuleren de auteurs een hulpvraagstuk waarbij de agent keuzes maakt volgens een Gaussische verdeling (een randomisatie van het beleid).

Randomized Policy: Op elk tijdstip $t$ $t$ kiest de agent een portefeuille $a_t$ $a_{t}$ getrokken uit een verdeling $\pi_t \sim \mathcal{N}(u_t, \frac{\lambda}{\gamma \sigma_t^2})$ $π_{t} \sim N (u_{t}, \frac{λ}{γ σ _{t}^{2}})$ .
- $u_t$ : Het gemiddelde (de te leren deterministische strategie).
- $\lambda$ : Een "temperatuur"-parameter die de mate van randomisatie controleert.
- $\gamma$ : Risicoaversie.
Waarom randomisatie? In tegenstelling tot de gebruikelijke RL-toepassing (exploratie om de omgeving te leren), is randomisatie hier een technisch hulpmiddel. Voor een kleine investeerder is de markt exogeen; er is geen informatievoordeel in het "uitproberen" van portefeuilles. Echter, randomisatie is noodzakelijk om de martingaal-orthogonaliteitsvoorwaarden te laten werken die nodig zijn voor het afleiden van de update-regels in een modelvrije setting. Zonder randomisatie ( $\lambda=0$ ) worden de gradiëntsignalen voor het leren van de strategie triviaal en onbruikbaar.

B. Theoretische Fundamenten

Theorema 1: Bewijst dat het gemiddelde van de optimale Gaussische strategie in het hulpvraagstuk exact overeenkomt met de optimale deterministische strategie van het oorspronkelijke Merton-probleem.
Actor-Critic Architectuur: Het artikel ontwikkelt een actor-critic algoritme:
- Critic: Schat de waardefunctie $V(t, w, x)$ (of een transformatie daarvan, $\phi$ ).
- Actor: Update het beleid $u(t, x)$ om de waarde te maximaliseren.
Martingaal-methode: Gebaseerd op werk van Jia en Zhou (2022, 2023), worden de parameters van de actor en critic bijgewerkt door voorwaarden te stellen dat bepaalde stochastische processen martingalen zijn. Dit leidt tot modelvrije schattingsvergelijkingen die alleen observable data (vermogen, volatiliteit) vereisen.

C. Algoritmen

Er worden zowel online als offline algoritmen ontwikkeld:

Offline: Leren van een vast dataset (bijv. historische data).
Online: Leren tijdens het interactieproces met de markt.
De algoritmen benutten de homothetische eigenschappen van de CRRA-nutfunctie om stabiliteit te waarborgen (normalisatie van het vermogenseffect).

3. Belangrijkste Bijdragen

Technische Rol van Randomisatie: Het artikel toont aan dat policy randomisatie in RL niet alleen dient voor exploratie, maar een noodzakelijke technische voorwaarde is om deterministische optimalisatieproblemen op te lossen in een modelvrije setting. Het maakt het mogelijk om de optimale strategie te "ontmaskeren" via het gemiddelde van een randomisatie.
Modelvrije Oplossing voor Onvolledige Markten: Voor het eerst wordt een systematische, data-gedreven methode gepresenteerd voor het Merton-probleem in een onvolledige markt zonder kennis van de modelprimitieven.
Convergentie en Bias-Variance Trade-off: De auteurs analyseren de impact van de temperatuurparameter $\lambda$ $λ$ .
- Een te kleine $\lambda$ verkleint de bias maar vergroot de variantie van het leersignaal (instabiliteit).
- Een te grote $\lambda$ verkleint de variantie maar introduceert een grote bias (kosten van randomisatie).
- Er wordt bewezen dat het algoritme convergeert met een optimale rate van $O(n^{-1} \log n)$ .
Robuustheid tegen Schattingsfouten: In tegenstelling tot de "plug-in" methode, die faalt als geschatte parameters de voorwaarden voor de analytische oplossing schenden (bijv. leidende tot blow-up in stochastische volatiliteitmodellen), leert de RL-methode direct de strategie en is daarom inherent robuust.

4. Resultaten

De auteurs testen hun methoden via simulaties met synthetische data en een empirische studie met echte marktdata (S&P 500 en VIX).

A. Simulatie (Synthetische Data)

Setup: Een "3/2" stochastisch volatiliteitsmodel. Vergelijking tussen:
- Omniscient: De ware oplossing (alle parameters bekend).
- Est-SV: Traditionele plug-in methode (parameters geschat via Maximum Likelihood, dan opgelost).
- RL: De voorgestelde actor-critic algoritmen (met specifieke parametrisatie en met Neuronale Netwerken).
- ERM: Empirical Risk Minimization (direct leren van deterministische strategie).
Resultaten:
- De RL-methode met specifieke parametrisatie presteert het beste (97% van de optimale nuttigheid), zelfs met beperkte data.
- De plug-in methode (Est-SV) presteert slecht bij verontreinigde data (ruis in volatiliteit) of kleine datasets, omdat schattingsfouten leiden tot infeasible strategieën.
- ERM presteert slecht bij kleine datasets en convergeert pas bij zeer grote datasets.
- RL is aanzienlijk robuuster tegenover ruis in de volatiliteitwaarneming.

B. Empirische Studie (Real Market Data)

Setup: Toewijzing tussen S&P 500 en een risicovrije rekening (1990-2025). Gebruik van VIX als proxy voor volatiliteit.
Vergelijking: RL (specifiek & NN) vs. Buy-and-Hold (B-H), Est-SV, en ERM.
Resultaten:
- RL met Neuronale Netwerken presteert overtuigend het best op bijna alle metrieken (Sharpe ratio, Sortino ratio, Calmar ratio).
- Maximale Drawdown: RL-portefeuilles hadden aanzienlijk lagere maximale drawdowns (33,9% vs 56,8% voor B-H) tijdens marktdalingen.
- Hersteltijd: RL herstelde veel sneller na crashes (bijv. 2008) dan traditionele methoden.
- Adaptatie: RL paste zich dynamisch aan aan veranderende marktomstandigheden (bijv. tijdens de dot-com bubbel en de financiële crisis), terwijl de plug-in methode traag reageerde door te vertrouwen op verouderde parameter-schattingen.

5. Betekenis en Conclusie

Dit artikel oplost een langdurige vraag in de financiële literatuur: Is Reinforcement Learning noodzakelijk voor portfolio-selectie als de investeerder geen invloed heeft op de markt (geen exploratie-exploitatie trade-off)?

Antwoord: Ja, maar niet om de markt te "leren", maar omdat randomisatie een technisch hulpmiddel is om het optimalisatieprobleem op te lossen in een modelvrije omgeving.
Impact: De studie demonstreert dat RL-methoden superieur zijn aan traditionele econometrische benaderingen in onzekere en niet-stationaire markten. Ze vermijden de valkuil van het "pluggen-in" van onnauwkeurige parameters en leveren direct robuuste, data-gedreven strategieën op.
Toekomst: De methode opent de deur voor toepassing in complexe, onvolledige markten waar traditionele analytische oplossingen niet beschikbaar of te gevoelig zijn.

Kortom, het artikel positioneert RL niet alleen als een leermiddel voor exploratie, maar als een fundamenteel nieuwe wiskundige aanpak voor stochastische optimalisatie onder onzekerheid.