Same Error, Different Function: The Optimizer as an Implicit Prior in Financial Time Series

Each language version is independently generated for its own context, not a direct translation.

De Grootte van de Fout is niet alles: Waarom de "Bestuurder" van je AI belangrijker is dan de Auto

Stel je voor dat je twee auto's hebt die precies even snel rijden en even goed parkeren. Ze hebben beide dezelfde tijd op de stopwatch en dezelfde score op de parkeerparcours. Normaal gesproken zou je zeggen: "Ze zijn identiek, het maakt niet uit welke ik kies."

Maar wat als ik je vertel dat de ene auto zachtjes en stabiel door de bochten rijdt, terwijl de andere schokkerig en wild door de bochten stuurt? Ze komen op hetzelfde punt aan, maar de rit is totaal anders. De ene auto verslijt je banden (en je portemonnee) veel sneller dan de andere.

Dit is precies wat deze wetenschappers hebben ontdekt in de wereld van financiële AI.

1. Het Probleem: De "Onzichtbare" Gelijkheid

In de financiële wereld (zoals het voorspellen van de schommelingen van de beurs) is het heel moeilijk om goede voorspellingen te doen. Het is als proberen de richting van een veerwind te voorspellen terwijl je in een storm zit.

Wetenschappers hebben geprobeerd verschillende soorten "hersenen" (AI-modellen) te bouwen om dit te doen. Ze gebruikten verschillende methoden om deze hersenen te trainen (de zogenaamde optimizers).
Het verrassende resultaat? Alle modellen maakten precies evenveel fouten. Op papier waren ze allemaal even goed. Ze hadden dezelfde "score" op het testexamen.

Tot nu toe dachten mensen: "Oké, als ze even goed zijn, maakt het niet uit welke we gebruiken. Laten we gewoon de makkelijkste kiezen."

2. De Ontdekking: Dezelfde Score, Een Totaal Andere Reis

De onderzoekers (van MIT en Princeton) keken verder dan alleen de score. Ze keken naar hoe de modellen hun voorspellingen maakten.

Ze ontdekten dat, hoewel de fouten hetzelfde waren, de manier waarop de modellen naar de data keken, totaal verschillend was.

Model A (getraind met methode X) keek naar de laatste paar dagen en reageerde heel snel op elke kleine verandering. Het was als een nerveuze bestuurder die bij elke steen in de weg het stuur hard omgooit.
Model B (getraind met methode Y) keek naar een langere periode en reageerde rustiger. Het was als een kalme bestuurder die de weg vooruit kijkt en niet overal op reageert.

Beide modellen voorspelden de volgende dag's prijs even goed, maar ze hadden totaal verschillende ideeën over waarom de prijs zou bewegen.

3. De Analogie: De Chef-kok en de Ingrediënten

Stel je voor dat je twee koks hebt die een soep maken.

Kok A gebruikt een snelle, krachtige mixer (een bepaalde AI-optimalisator).
Kok B gebruikt een langzame, traditionele lepel (een andere optimalisator).

Beide koks maken een soep die precies even lekker smaakt (dezelfde foutmarge). Maar:

De soep van Kok A is heel dun en wordt snel koud.
De soep van Kok B is dik en houdt de warmte lang vast.

Als je de soep nu serveert aan een klant die gevoelig is voor kou (een belegger die kosten wil vermijden), maakt het enorm uit welke soep je kiest, ook al smaakt ze even goed.

In de financiële wereld betekent dit:

De "snelle mixer" (zoals de populaire Adam-optimalisator) zorgt ervoor dat het model heel vaak van mening verandert. Dit leidt tot veel handelen (kopen en verkopen), wat transactiekosten met zich meebrengt.
De "traditionele lepel" (zoals SGD) zorgt voor een rustigere voorspelling. Je handelt minder vaak, wat geld bespaart.

4. Waarom is dit belangrijk?

Vroeger keken beleggers alleen naar de "score" (hoe goed voorspelt het model?). Maar dit onderzoek zegt: Kijk ook naar het gedrag.

Als je twee modellen hebt die even goed voorspellen, maar het ene model zorgt ervoor dat je elke dag je portefeuille moet herschikken (en dus veel kosten betaalt), terwijl het andere model rustig blijft, dan is het rustige model veel beter voor je portemonnee, zelfs als de voorspellingsscore hetzelfde is.

De Grote Les

Deze wetenschappers zeggen: "De manier waarop je een AI traint, is net zo belangrijk als de AI zelf."

Het is alsof je een auto koopt. Het maakt niet uit of de auto 200 of 210 km/u kan rijden (de voorspellingsscore), als de ene auto een slechte ophanging heeft en je rijdend door de stad je rug breekt (hoge kosten door veel handelen), en de andere auto soepel rijdt.

Conclusie voor de leek:
In de wereld van geld en AI is "even goed" niet altijd "even goed". De keuze van de trainingsmethode (de "bestuurder" van de AI) bepaalt of je strategie rustig en winstgevend is, of chaotisch en duur. Kies niet alleen op basis van de cijfers, maar op basis van hoe de machine zich gedraagt in de echte wereld.

Each language version is independently generated for its own context, not a direct translation.

Titel: De Optimizer als Impliciete Prior in Financiële Tijdreeksen

Auteurs: Federico Cortesi et al. (MIT, Princeton)

1. Het Probleem: Onderspecificatie in Financiële Voorspelling

In het veld van machine learning voor financiële tijdreeksen (zoals het voorspellen van volatiliteit) heerst een regime van onderspecificatie. Dit betekent dat er vele verschillende modellen bestaan die statistisch ononderscheidbare prestaties leveren op standaard foutmetrieken (zoals NMSE of $R^2$ ).

Het fenomeen: Zowel complexe diepe neurale netwerken (DNN's) als simpele lineaire econometrische modellen (zoals OLS of LASSO) bereiken vaak identieke out-of-sample fouten.
De huidige praktijk: Omdat de "leaderboard" (de ranglijst op basis van fouten) een gelijkspel laat zien, wordt de keuze voor een model vaak willekeurig gemaakt of gebaseerd op de kleinste variaties in de trainingsfout. Optimizers (zoals Adam vs. SGD) worden vaak beschouwd als louter technische implementatie-details die alleen de trainingssnelheid beïnvloeden, niet de uiteindelijke leerfunctie.
De kernvraag: Als twee modellen dezelfde fout hebben, zijn ze dan uitwisselbaar? En heeft de keuze van de optimizer (bijvoorbeeld Adam, SGD, Muon) invloed op de kwalitatieve aard van de geleerde functie, zelfs als de numerieke fout gelijk blijft?

2. Methodologie

De auteurs hebben een rigoureuze experimentele opzet ontworpen om de rol van de optimizer te isoleren van de architectuur en de data.

Taak: Voorspelling van gerealiseerde volatiliteit (realized variance) voor S&P 500-aandelen (2000–2024) met behulp van de Garman-Klass schatter.
Architecturen: Vier verschillende netwerken met verschillende inductieve biases:
- MLP (Multilayer Perceptron)
- CNN (Convolutional Neural Network)
- LSTM (Long Short-Term Memory)
- Transformer
Optimizers: Drie methoden met verschillende update-geometrieën:
- SGD (Stochastic Gradient Descent)
- Adam (Adaptive Moment Estimation)
- Muon (een recente matrix-bewuste optimizer)
Experimenteel Grid: 12 systemen (4 architecturen × 3 optimizers), elk getraind met 13 verschillende random seeds en geoptimaliseerd voor hyperparameters (learning rate, weight decay) om "slechte tuning" als oorzaak voor gelijkspel uit te sluiten.
Diagnostische Tools (beyond Loss): Omdat de foutmetrieken gelijk zijn, gebruiken de auteurs geavanceerde diagnostiek om de functie te analyseren:
- Impulsresponsie-analyse: Hoe reageert het model op een schok in een specifieke tijdsvertraging (lag)?
- Functionele Verschiloppervlakken: $D(x) = \hat{y}_{Muon}(x) - \hat{y}_{Adam}(x)$ . Als dit oppervlak niet vlak is, leren de modellen fundamenteel verschillende mappingen.
- SHAP-waarden: Analyse van welke tijdsvertragingen (lags) het model belangrijk vindt.
- Ensembling: Kijken of een ensemble van verschillende optimizers de fout verder verlaagt (wat zou betekenen dat de fouten niet gecorreleerd zijn).
- Edge of Stability (EoS) Analyse: Meting van de kromming (Hessian eigenwaarden) om te zien waar de optimizer convergeert.

3. Belangrijkste Bijdragen en Resultaten

A. Voorspellende Equivalentie vs. Functionele Divergentie

Resultaat: Alle architectuur-optimizer paren behalen statistisch identieke NMSE-waarden (Net als lineaire baselines).
Conclusie: "Gelijke fout" betekent niet "gelijke functie". De keuze van de optimizer bepaalt welke oplossing binnen de "Rashomon-set" (de verzameling van alle modellen met gelijke fout) wordt geselecteerd.
Vorm van de functie:
- SGD neigt naar simplere, lineairere oplossingen met een "vlakker" responsoppervlak.
- Adaptive methoden (Adam, Muon) leren complexere, niet-lineaire responsen (bijv. sigmoïde vormen die extreme schokken dempen).
- De verschiloppervlakken tussen optimizers zijn hoogst gestructureerd en niet-willekeurig, wat aantoont dat het een systematisch effect is van de optimizer, niet van random noise.

B. Optimizer als Mechanisme voor Tijdsafhankelijkheid

De optimizer bepaalt welke tijdsvertragingen (lags) als belangrijk worden beschouwd.
SGD focust bijna uitsluitend op zeer recente data (kortetermijn dynamiek).
Muon (en in mindere mate Adam) activeert het vermogen van recurrente architecturen (zoals LSTM) om langetermijngeheugen te benutten (bijv. kwartaalcycli).
Dit betekent dat de optimizer impliciet kiest voor een economisch verhaal: is volatiliteit een kortetermijnfenomeen of een langetermijndynamiek?

C. Mechanisme: Edge of Stability (EoS) en Kromming

De auteurs tonen aan dat financiële neurale netwerken gedrag vertonen aan de Edge of Stability.
SGD convergeert naar vlakke minima (flatter minima) met lagere kromming (kleinere Hessian eigenwaarden). Dit leidt tot stabielere, minder complexe functies.
Adaptive methoden kunnen convergeren naar scherpe minima (sharper minima) met hoge kromming. Dit staat in verband met de complexere, niet-lineaire functies die ze leren.
Interventie-experimenten (wisselen van optimizer halverwege de training) tonen aan dat de optimizer de "attractor" bepaalt: als je van Adam naar SGD wisselt, stort de complexe functie in tot een simpele vorm, en vice versa.

D. Ensembling en Orthogonaliteit

Een heterogeen ensemble van modellen getraind met verschillende optimizers presteert strikt beter dan de individuele modellen.
Dit bewijst dat de fouten van de modellen niet perfect gecorreleerd zijn; ze vangen verschillende, complementaire componenten van het signaal op. Ze zijn dus niet redundant.

E. Economische Impact: De Sharpe-Turnover Frontier

Dit is de meest cruciale bevinding voor de praktijk. De auteurs vertalen de voorspellingen naar handelsstrategieën (portefeuilles gesorteerd op volatiliteit).

Gelijke Sharpe-ratio: Alle modellen leveren een vergelijkbaar risicogewijzigd rendement op.
Verschil in Turnover (Handelsfrequentie):
- Modellen getraind met SGD genereren een lage turnover (stabiele rangschikkingen, minder handelsacties).
- Modellen getraind met Adam/Muon genereren een hoge turnover (tot 3x zo hoog), omdat hun complexe, niet-lineaire responsen leiden tot frequente omkeringen in de rangschikking van activa bij kleine veranderingen in de input.
Conclusie: In een realistische omgeving met transactiekosten zou de "hoge turnover" strategie van Adam/Muon aanzienlijk minder winst opleveren dan de SGD-strategie, ondanks identieke voorspellende nauwkeurigheid.

4. Betekenis en Conclusie

Het artikel concludeert dat in ondergespecificeerde regimes (zoals financiële tijdreeksen met een laag signaal-ruisverhouding):

Modelselectie is Functieselectie: Wanneer de leaderboard een gelijkspel laat zien, moet de keuze niet gebaseerd zijn op een kleine variatie in de fout, maar op de inductieve bias die de optimizer oplegt.
De Optimizer is een Model: De optimizer is geen louter engineering-tool; hij is een integraal onderdeel van het model dat bepaalt welke economische relaties worden geleerd (bijv. stabiliteit vs. reactiviteit).
Nieuwe Benchmarking: Evaluatie in finance moet uitbreiden beyond scalar loss (MSE/NMSE). Men moet kijken naar functionele stabiliteit, interpreteerbaarheid (welke lags worden gebruikt) en beslissingsniveau-impact (zoals turnover en transactiekosten).

Kernboodschap: "In ondergespecificeerde tijdreeksen, als de leaderboard een gelijkspel is, kies dan de functie die past bij je economische doelstelling – of de optimizer kiest het voor je." Voor financiële toepassingen waar stabiliteit en lage transactiekosten cruciaal zijn, kan de keuze voor SGD (of een optimizer die vlakke minima zoekt) superieur zijn, zelfs als Adam een iets complexere (maar economisch minder bruikbare) functie leert.