💰 quantitative finance

Overparametrized models with posterior drift

Dit artikel toont aan dat achterwaartse drift de out-of-sample voorspellingsnauwkeurigheid van overparametriserde machine learning-modellen aanzienlijk verslechtert, met name in financiële markten waar regimeveranderingen optreden, en adviseert uiteindelijk voorzichtigheid bij het gebruik van grote lineaire modellen voor aandelenmarktvoorspellingen vanwege hun gevoeligheid voor parameterkeuzes en subperiodes.

Oorspronkelijke auteurs: Guillaume Coqueret, Martial Laguerre

Gepubliceerd 2026-05-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guillaume Coqueret, Martial Laguerre

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Zeer Zekere Chef"

Stel je voor dat je een chef bent die probeert een geheim recept voor de perfecte soep te leren (het voorspellen van beursrendementen).

In de wereld van modern machine learning is er een populair idee genaamd "Double Descent". Het suggereert dat als je je recept ongelooflijk complex maakt – met honderden kruiden, kruiden en geheime ingrediënten (parameters) – je soep misschien zelfs beter smaakt dan een simpele, zelfs als je niet genoeg ingrediënten hebt om rond te komen. Dit heet overparametrization.

Een beroemde studie (Kelly et al., 2024) beweerde dat voor het voorspellen van de beurs "meer meer is". Ze zeiden dat het gebruik van enorme, complexe modellen met duizenden variabelen de sleutel was om de markt te verslaan.

Dit paper zegt: "Wacht even. Dat werkt alleen als de wereld hetzelfde blijft."

De auteurs stellen dat in de echte wereld het "recept" voor de beurs voortdurend verandert. Ze noemen dit Posterior Drift. Het is alsof de chef het recept in januari leert, maar tegen juli zijn de ingrediënten veranderd, is het weer anders en zijn de smaken van de klanten verschoven. Als je blijft koken met het oude, complexe recept, zal je soep vreselijk smaken.

Kernconcept 1: De "Drift" (Het Bewegende Doel)

In de statistiek zijn er twee manieren waarop een model kan falen:

Covariate Shift: De ingrediënten die je krijgt veranderen (bijvoorbeeld: je kreeg vroeger tomaten, nu krijg je aardappelen).
Posterior Drift: De relatie tussen de ingrediënten en het eindgerecht verandert.

De Focus van het Paper: De auteurs richten zich op Posterior Drift.

Analogie: Stel je voor dat je leert dat "zout toevoegen soep zout maakt". Dat is een stabiele regel. Maar op de beurs kan de regel zijn: "In 2010 betekende hoge rente dat aandelen zouden stijgen. In 2020 betekende hoge rente dat aandelen zouden dalen."
De "loadings" (de regels of coëfficiënten die het model leert) zijn aan het drijven. Het model leert de regels van het verleden, maar de toekomst speelt volgens andere regels.

Kernconcept 2: De "Complexiteitsval"

Het paper onderzoekt wat er gebeurt als je een super-complex model gebruikt (een met meer parameters dan datapunten) in een wereld waar deze regels aan het drijven zijn.

De Bevinding: Wanneer de regels veranderen (drift), worden complexe modellen extreem fragiel.
De Analogie: Denk aan een complex model als een high-performance raceauto met 1.000 op maat gemaakte onderdelen. Hij wint gemakkelijk op een gladde, voorspelbare baan (een stabiele markt). Maar als de baan plotseling verandert in een modderig veld met verschuivende rotsen (posterior drift), crasht die raceauto spectaculair. Een simpele, robuuste vrachtwagen (een simpel model) is misschien niet zo snel, maar hij komt veel beter door de modder.

De auteurs ontdekten dat de prestaties van deze complexe modellen volledig afhankelijk zijn van wanneer je ze test.

In één periode van 15 jaar kan het complexe model je rijk maken (een maandelijks rendement van 7%).
In een andere periode van 15 jaar kan het je bijna alles kosten (een rendement van -50%).
Het "gemiddelde" rendement verbergt deze angstaanjagende volatiliteit.

Kernconcept 3: Het "Signaal-Ruis" Probleem

Het paper legt uit dat financiële data "ruis" bevat. Het ware signaal (de echte reden waarom aandelen bewegen) is zeer zwak.

De Analogie: Stel je voor dat je probeert een fluistering (het signaal) te horen in een druk stadion (de ruis).
Als het stadion stil is (stabiele regels), kan een complex model de ruis filteren en het fluisteren horen.
Als de stadionregels veranderen (drift), raakt het complexe model in de war. Het begint de ruis en de verkeerde fluisteringen te versterken. De auteurs tonen aan dat in deze gevallen een complex model eigenlijk slechter kan presteren dan gewoon gokken of de data volledig negeren.

Het "Bandbreedte"-Dilemma

De onderzoekers testten een specifiek hulpmiddel genaamd Random Fourier Features (RFFs), wat een manier is om simpele data complex te laten lijken. Ze moesten een "bandbreedte"-parameter kiezen (denk hierbij aan het "zoomniveau" of de "gevoeligheid" van het model).

Lage Bandbreedte (Hoge Gevoeligheid): Het model is zeer gevoelig voor kleine veranderingen. Het vond enorme rendementen in sommige periodes, maar crashte in andere. Het was een achtbaan.
Hoge Bandbreedte (Lage Gevoeligheid): Het model gladde de ruis uit. Het was consistenter, maar de rendementen waren zo laag (dicht bij nul) dat het het risico niet waard was.

De Conclusie: Er is geen "sweet spot". Je kunt niet zomaar een instelling kiezen die voor altijd werkt.

De "15-Jarige Belegger" Realiteitscheck

De auteurs keken wat er gebeurt als een gemiddelde belegger een strategie 15 jaar vasthoudt (een typisch pensioenhorizon).

Het Resultaat: De rendementen waren enorm verschillend, afhankelijk van welke 15 jaar je koos.
- Als je 2005–2019 koos, leek de complexe strategie op een genie.
- Als je 1975–1989 koos, leek het op een ramp.
De Les: Je kunt niet vertrouwen op één enkele "backtest" (een test van prestaties uit het verleden) om je te vertellen of een complex model in de toekomst zal werken. Het model is te gevoelig voor het specifieke tijdperk waarin het is getraind.

Samenvatting van het Advies van de Auteurs

Het paper sluit af met een waarschuwing voor iedereen die probeert de beurs te voorspellen met chique, enorme AI-modellen:

Wees Voorzichtig: Alleen omdat een model complex en "slim" is, betekent niet dat het zal werken wanneer de economie verandert.
Houd de Drift in de Gaten: De grootste vijand is niet een gebrek aan data; het is het feit dat de relatie tussen economische indicatoren en aandelenprijzen in de loop van de tijd verandert.
Eenvoud Wint (Soms): Hoewel complexe modellen kunnen werken, zijn ze vaak te riskant voor de gemiddelde belegger omdat hun prestaties zo onstabiel zijn. Een eenvoudigere, robuustere aanpak kan veiliger zijn, zelfs als je hierdoor wat potentieel voordeel mist.

Kortom: Het paper betoogt dat de "magie" van overparametrized modellen in elkaar stort wanneer de wereld verandert. Op de beurs verandert de wereld altijd. Daarom is het vertrouwen op deze complexe modellen voor langetermijnbeleggen een gok met zeer hoge inzet en onvoorspelbare uitkomsten.

Technische Samenvatting: Overgeparametriseerde Modellen met Posterior Drift

Probleemstelling

Dit artikel onderzoekt de impact van posterior drift (ook bekend als concept drift) op de out-of-sample voorspellingsnauwkeurigheid van overgeparametriseerde lineaire modellen (modellen waarbij het aantal parameters $p$ het aantal observaties $n$ overschrijdt). Hoewel recente literatuur, met name Kelly et al. (2024), heeft gesuggereerd dat het verhogen van de modelcomplexiteit (de verhouding tussen parameters en observaties) gunstig kan zijn voor de voorspelling van het aandelenpremie, berusten deze bevindingen vaak op de aanname dat het data-genererende proces (DGP) invariant blijft tussen trainings- en testfasen.

De auteurs betogen dat in financiële markten deze invariantie zelden geldt vanwege regimeveranderingen. Zij onderscheiden specifiek twee soorten distributieve verschuivingen:

Covariatenverschuiving: Veranderingen in de verdeling van predictoren ( $P_X$ ).
Posterior drift: Veranderingen in de conditionele relatie tussen predictoren en de doelvariabele ( $P_{y|X}$ ), wat betekent dat de regressiecoëfficiënten (ladingen) in de loop van de tijd veranderen.

Het centrale probleem is het kwantificeren van hoe posterior drift de prestaties van complexe, overgeparametriseerde modellen verslechtert, met name in de context van markttimingstrategieën.

Methodologie

Het artikel maakt gebruik van een combinatie van asymptotische theorie voor hoge dimensies, Monte-Carlo-simulaties en empirische analyse op historische financiële data.

Theoretisch Kader

De auteurs breiden de resultaten van "misspecified isotropic" van Hastie et al. (2022) uit naar een setting met niet-i.i.d. data en posterior drift.

Data-genererend proces (DGP): Het model gaat uit van een lineair verband $y_i = x_i'\beta + w_i'\theta + e_i$ , waarbij $x_i$ waargenomen kenmerken zijn en $w_i$ onwaargenomen kenmerken. Het model is "misspecified" omdat de agent alleen $x_i$ observeert.
Driftmechanisme: De auteurs modelleren expliciet een verandering in de ware parameters tussen de trainingsperiode (in-sample) en de testperiode (out-of-sample). Laat $(\beta_{is}, \theta_{is})$ de parameters zijn tijdens het trainen en $(\beta_{oos}, \theta_{oos})$ de parameters tijdens het testen.
Asymptotisch Regime: De analyse vindt plaats in het proportionele regime waarbij $n, p, q \to \infty$ zodanig dat $p/n \to c_\phi$ en $(p+q)/n \to c$ .
Schatters: De studie richt zich op Ridge-schatters (met regularisatieparameter $z$ ) en hun limiet als $z \to 0$ (ridgeless).

Empirisch Protocol

Data: De auteurs gebruiken dezelfde dataset als Kelly et al. (2024), afgeleid van Goyal et al. (2024), bestaande uit 14 macro-economische indicatoren en vertraagde rendementen.
Feature-expansie: Om een overgeparametriseerde setting te creëren, maken zij gebruik van Random Fourier Features (RFF's) om de 14 predictoren uit te breiden tot $p=600$ kenmerken, wat resulteert in een complexiteitsverhouding $c=50$ (met $n=12$ maanden rollende data).
Validatie: Zij testen de strategie over verschillende 15-jarige subperiodes en over een reeks bandbreedteparameters ( $\gamma$ ) die de nonlineariteit van de RFF's controleren.
Detectie van verandepunten: Om empirisch de aanwezigheid van posterior drift te valideren, passen zij een multivariaat niet-parametrisch algoritme voor het detecteren van verandepunten toe (Londschien et al., 2023) op de tijdreeks van geschatte betas.

Belangrijkste Bijdragen

1. Theoretische Uitbreiding naar Posterior Drift

Het artikel leidt analytische uitdrukkingen af voor het verwachte rendement en de variantie van een markttimingstrategie onder posterior drift.

Verwacht rendement: Het limiet-out-of-sample verwachte rendement blijkt evenredig te zijn met het scalair product van de in-sample en out-of-sample ladingvectoren: $E[r] \propto \langle \beta_{is}, \beta_{oos} \rangle$ .
Prestatieverslechtering: De auteurs bewijzen dat als de in-sample en out-of-sample ladingen niet op elkaar zijn afgestemd (specifiek, als $\langle \beta_{oos} - \beta_{is}, \beta_{is} \rangle < 0$ ), het verwachte rendement van de strategie verslechtert. In het slechtste geval (orthogonale ladingen) daalt het verwachte rendement tot nul.
Risicogecorrigeerde rendementen: De Sharpe-ratio blijkt zeer gevoelig te zijn voor het signaal-ruisverhouding. In regimes met zwakke signalen (typisch voor financiële data) veroorzaakt posterior drift een significante ineenstorting van de Sharpe-ratio, met name voor modellen met lage regularisatie (hoge complexiteit).

2. Simulatieverificatie

Via Monte-Carlo-simulaties verifiëren de auteurs dat de theoretische limieten die zijn afgeleid voor de eerste en tweede momenten van het rendement van de strategie, waar zijn. Zij tonen aan dat:

Het verwachte rendement lineair is in het scalair product $\langle \beta_{is}, \beta_{oos} \rangle$ .
Hogere regularisatie (grotere $z$ ) de volatiliteit verlaagt, maar ook het verwachte rendement verlaagt, waardoor een afweging ontstaat.
Het fenomeen van "double descent" (waarbij prestaties verbeteren naarmate de complexiteit toeneemt boven het interpolatiedrempel) nog steeds geldt in aanwezigheid van drift, maar dat de piekprestatie aanzienlijk lager is dan in driftvrije scenario's.

3. Empirisch Bewijs van Instabiliteit

De empirische analyse onthult dat de prestaties van overgeparametriseerde modellen zeer gevoelig zijn voor zowel de tijdsperiode als de bandbreedteparameter:

Periodengevoeligheid: Een strategie die in de periode 2005–2019 een maandrendement van 7,24% opleverde, stortte in de periode 1975–1989 in tot 0,52% onder dezelfde bandbreedte-instellingen.
Bandbreedtegevoeligheid: De optimale bandbreedte is niet statisch; deze varieert tussen verschillende economische regimes.
Verandepunten: Het algoritme voor het detecteren van verandepunten identificeert significante structurele breuken in de tijdreeks van betas (bijvoorbeeld in 1982, 1963 en 2002), wat bevestigt dat het DGP niet stabiel is.

Resultaten

Verlies van prestaties: Theoretische resultaten geven aan dat het verlies in financiële prestaties direct gekoppeld is aan de misalignering tussen trainings- en testladingen. Wanneer het signaal zwak is (lage $R^2$ ), is de impact van posterior drift ernstig, waardoor complexe modellen vaak slechter presteren dan eenvoudige benchmarks.
Risicogecorrigeerde rendementen: Hoewel complexe modellen in specifieke gunstige subperiodes hoge ruwe rendementen kunnen genereren, zijn hun risicogecorrigeerde rendementen (Sharpe-ratio's) vaak onredelijk laag of negatief wanneer volatiliteit wordt meegewogen. Het artikel merkt op dat een maandrendement van 0,03 impliceert dat de geannualiseerde volatiliteit meer dan 100% bedraagt, wat onaanvaardbaar hoog is.
Regularisatie-afweging: Het verhogen van de regularisatieparameter (bandbreedte) vermindert de onzekerheid en variantie van de rendementen van de strategie, maar drijft tegelijkertijd het gemiddelde rendement naar nul, waardoor de complexiteit vanuit risicogecorrigeerd oogpunt minder aantrekkelijk wordt.
Contrfactuele analyse: Wanneer de auteurs "contrfactuele" rendementen genereren onder de aanname van geen posterior drift (d.w.z. ladingen blijven constant), presteert de strategie aanzienlijk beter. Deze kloof kwantificeert de specifieke kosten van regimeveranderingen.

Betekenis en Claims

Het artikel concludeert dat hoewel verfijning in voorspellingsmodellen waarde kan toevoegen, overgeparametriseerde modellen niet onvoorwaardelijk gunstig zijn. De auteurs claimen:

Gevoeligheid voor Regimeveranderingen: De effectiviteit van complexe lineaire modellen bij het voorspellen van de aandelenpremie wordt ernstig in gevaar gebracht door veranderende economische omgevingen. De "deugd van complexiteit" die in eerdere literatuur wordt gerapporteerd (bijvoorbeeld Kelly et al., 2024), kan een artefact zijn van specifieke, stabiele subperiodes of een onderschatting van de impact van posterior drift.
Voorzichtigheid voor Beoefenaars: Analisten die vertrouwen op overgeparametriseerde modellen moeten bijzondere aandacht besteden aan de stabiliteit en gevoeligheid van prestaties in backtests. De resultaten suggereren dat houdingsperiodes van 15 jaar zeer heterogene rendementen kunnen genereren, afhankelijk van het specifieke regime en de gekozen bandbreedte.
Aanbeveling: De bevindingen raden voorzichtigheid aan bij het recoursen op grote lineaire modellen voor voorspellingen van de aandelenmarkt. De auteurs suggereren dat de voordelen van complexiteit vaak worden opgewogen door de risico's van posterior drift, vooral in financiële markten waar signalen zwak zijn en regimeveranderingen frequent voorkomen.

Samenvattend biedt het artikel een theoretische en empirische verklaring voor de ambiguïteit rondom de rol van overparametrization in de financiën, en schrijft het de instabiliteit van complexe modellen toe aan de niet-stationariteit van het onderliggende data-genererende proces.