💰 quantitative finance

A Controlled Comparison of Deep Learning Architectures for Multi-Horizon Financial Forecasting: Evidence from 918 Experiments

Deze studie vergelijkt negen deep learning-architecturen via 918 gecontroleerde experimenten en concludeert dat ModernTCN en PatchTST de beste prestaties leveren voor meerhorizon financiële voorspelling, waarbij de architectuur de belangrijkste prestatiebepalende factor is terwijl de modellen geen richtingsspecifieke vaardigheid vertonen.

Oorspronkelijke auteurs: Nabeel Ahmad Saidd

Gepubliceerd 2026-03-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nabeel Ahmad Saidd

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een grote race organiseert voor negen verschillende auto's (deze zijn de "deep learning" modellen) om te voorspellen hoe de prijs van geld, aandelen en crypto's in de toekomst zal verlopen.

Deze paper is het verslag van die race. De onderzoekers wilden niet zomaar een paar auto's laten racen; ze wilden een eerlijke, wetenschappelijke wedstrijd houden om te zien welke technologie echt de beste is voor financieel voorspellen.

Hier is de samenvatting in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: Te veel ruis, te weinig regels

In de wereld van AI voor financiën is er een groot probleem: er zijn honderden nieuwe "modellen" (de auto's) gepubliceerd, maar niemand weet zeker welke het beste werkt.

De oude manier: Veel studies lieten auto's racen met verschillende brandstoftanks (ongelijke instellingen), met slechts één bestuurder (één keer proberen), en op één type weg (alleen crypto of alleen aandelen). Dat is niet eerlijk.
De nieuwe manier (deze studie): Ze hebben een strikt protocol bedacht. Alle negen auto's kregen exact dezelfde brandstof, dezelfde banden, en moesten op drie verschillende soorten wegen rijden (crypto, valuta, aandelen) op twee verschillende tijdsafstanden (4 uur en 24 uur vooruit). Ze hebben 918 keer gereden om zeker te zijn van de resultaten.

2. De Deelnemers: De Negen Auto's

Ze testten negen verschillende soorten "motoren" (architecturen):

De klassiekers: Oude modellen zoals LSTM (zoals een oude, betrouwbare maar trage dieselauto).
De moderne sportwagens: Transformers (moderne, snelle auto's met veel sensoren) en CNN's (auto's die goed kijken naar patronen in de weg).
De simpele fietsen: Simpele lineaire modellen (zoals een fiets: weinig onderdelen, maar soms verrassend snel).

3. De Uitslag: Wie wint er?

Na alle 918 races bleek er een duidelijke ranglijst te zijn, verdeeld in drie groepen:

🏆 De Winnaars (De Top 2):
- ModernTCN: Deze wint bijna altijd (in 75% van de races). Denk hierbij aan een hightech rallyauto met grote wielen die perfect over elk terrein (crypto, forex, aandelen) rijdt. Hij gebruikt "grote convolutionele lagen" (grote wielen) om patronen op de weg te zien die anderen missen.
- PatchTST: De tweede plek. Dit is een sportwagen die stukken van de weg (patches) in één keer bekijkt in plaats van één voor één. Hij is heel snel en nauwkeurig.
🥈 De Middenmoters:
- Modellen zoals iTransformer en DLinear rijden redelijk, maar zijn niet de snelste. DLinear is interessant: het is een simpele fiets die verrassend goed doet, maar wint niet van de rallyauto's.
🥉 De Achterblijvers:
- De oude LSTM (de diesel) en sommige andere moderne modellen bleken te traag of te onnauwkeurig. De oude diesel had zelfs fouten die 7 tot 33 keer groter waren dan die van de winnaar!

4. De Grote Verassingen (De "Aha!"-momenten)

Het is niet hoeveel onderdelen je hebt: Je zou denken dat een auto met meer onderdelen (meer parameters) beter is. Nee! De simpele fiets (DLinear) deed het vaak beter dan de zware, ingewikkelde sportwagens. Het gaat erom hoe je de onderdelen gebruikt (de "inductieve bias"), niet hoeveel je er hebt.
De bestuurder maakt niet uit: Ze hebben elke race drie keer gedaan met verschillende bestuurders (willekeurige startinstellingen). Het bleek dat het verschil tussen de auto's (het model) 99,9% van het resultaat bepaalt. De bestuurder (de willekeurige start) maakt nauwelijks uit. Je hoeft dus niet 100 keer te proberen met dezelfde auto om een goed resultaat te krijgen; 3 keer is genoeg.
Voorspellen is makkelijker dan "richting" voorspellen: Alle modellen waren goed in het voorspellen van de prijs (bijv. "het wordt 100 euro"). Maar als je vraagt: "Gaat het omhoog of omlaag?", deden ze het net zo goed als een muntje opgooien (50/50 kans). Zelfs de winnaars konden niet zeker zeggen of de markt morgen stijgt of daalt. Ze voorspellen de "golfhoogte", maar niet of de golf nu naar boven of beneden gaat.

5. Wat betekent dit voor jou?

Als je een algoritme kiest: Kies ModernTCN als je een algemene, sterke oplossing wilt. Het werkt overal goed. Als je liever een Transformer-model wilt, kies dan PatchTST.
Voor crypto's: Voor specifieke, wilde crypto's (altcoins) werkt N-HiTS soms beter, omdat die goed is in het zien van verschillende snelheden in de markt.
Wees voorzichtig met "richting": Als je denkt dat deze modellen je kunnen vertellen of je morgen winst maakt door te kopen of verkopen, dan heb je het mis. Ze zijn goed in het schatten van de prijs, maar slecht in het voorspellen van de richting. Je kunt ze niet blindelings gebruiken voor daghandel zonder extra regels.

Kortom: De onderzoekers hebben bewezen dat er een duidelijke winnaar is (ModernTCN), dat je niet per se de duurste, zwaarste modellen nodig hebt, en dat het voorspellen van de richting van de markt op dit moment nog steeds net zo moeilijk is als het raden van een muntworp.

Titel: Een Gecontroleerde Vergelijking van Deep Learning Architecturen voor Multi-Horizon Financiële Voorspelling

Auteur: Nabeel Ahmad Saidd (AKTU)
Kernonderwerp: Benchmarking van 9 deep learning-modellen op 918 experimenten voor het voorspellen van financiële tijdreeksen op verschillende tijdsintervallen.

1. Het Probleem

Multi-horizon prijsvoorspelling (het voorspellen van toekomstige prijzen op verschillende tijdsafstanden) is essentieel voor portefeuillebeheer, risicomanagement en algoritmisch handelen. Echter, de snelle proliferatie van nieuwe deep-learning architecturen (zoals Transformers, CNN's en MLP's) heeft niet gepaard gegaan met rigoureuze, eerlijke vergelijkingen op financiële data.

Bestaande benchmarks lijden onder vijf fundamentele methodologische tekortkomingen:

Ongecontroleerde hyperparameter-budgetten: Verschillende modellen krijgen ongelijke aandacht bij het tunen van parameters.
Evaluatie met één seed: Resultaten worden vaak gebaseerd op één willekeurige initialisatie, wat toeval verwarren met architecturale superioriteit.
Enkel-horizon analyse: De meeste studies testen slechts één voorspellingstijdsbestek, waardoor het gedrag bij langere termijnen onbekend blijft.
Afwezigheid van statistische correctie: Pairs-wise statistische tests (om te bepalen of verschillen significant zijn) worden vaak niet toegepast.
Beperkte asset-class dekking: Vergelijkingen zijn vaak beperkt tot één type activum (bijv. alleen crypto of alleen aandelen).

2. Methodologie

De auteur introduceert een strikt gecontroleerd, vijf-staps protocol om deze gaten te dichten. Het onderzoek omvat 918 experimenten (270 hyperparameter-optimalisaties + 648 definitieve trainingen).

Modellen (9 Architecturen): Er worden modellen uit vier families vergeleken:
- Transformer: Autoformer, PatchTST, iTransformer, TimeXer.
- MLP/Lineair: DLinear, N-HiTS.
- Convolutioneel (CNN): TimesNet, ModernTCN.
- Recurrent (RNN): LSTM.
Data: 12 financiële instrumenten verdeeld over drie klassen:
- Cryptocurrency (BTC, ETH, BNB, ADA).
- Forex (EUR/USD, USD/JPY, etc.).
- Aandelenindexen (Dow Jones, S&P 500, etc.).
- Frequentie: Uurlijkse (H1) OHLCV-data (Open, High, Low, Close, Volume).
Voorspellingstijdsbestekken (Horizons):
- Korte termijn: $h=4$ uur (met een terugkijkvenster van 24 uur).
- Lange termijn: $h=24$ uur (met een terugkijkvenster van 96 uur).
Het Vijf-Staps Protocol:
1. Fixed-Seed Hyperparameter Optimalisatie (HPO): Gebruik van Optuna (TPE) met een vast seed (42) en een beperkt budget (5 trials) op representatieve assets per klasse om eerlijkheid te garanderen.
2. Configuratie Bevriezing: De beste configuratie per model/klasse wordt "bevroren" en toegepast op alle assets binnen die klasse om overfitting te voorkomen.
3. Multi-Seed Training: Definitieve training wordt uitgevoerd met 3 onafhankelijke seeds (123, 456, 789) om variatie door initialisatie te kwantificeren.
4. Metric Aggregatie: Berekening van RMSE, MAE en Directional Accuracy (DA) op de testset, gemiddeld over de seeds.
5. Statistische Validatie: Toepassing van Friedman-Iman-Davenport tests, Holm-Wilcoxon paarwise tests, en variantie-decompositie.

3. Belangrijkste Bijdragen

Protocol-gestuurde eerlijke vergelijking: De eerste studie die alle vijf de genoemde methodologische gaten gelijktijdig adresseert.
Kwantificering van Seed-Robuustheid: Bewijs dat de keuze van het model 99,90% van de variantie in voorspellingsfout verklaart, terwijl de random seed slechts 0,01% bijdraagt.
Cross-Horizon Generalisatie: Analyse van hoe modellen presteren bij het uitbreiden van het voorspellingstijdsbestek (van 4 naar 24 uur).
Asset-Class Specifieke Richtlijnen: Gedetailleerde aanbevelingen per activumtype (crypto, forex, aandelen).
Open Benchmarking Framework: De volledige code, data, getrainde modellen en evaluatie-output zijn openbaar beschikbaar voor reproduceerbaarheid.

4. Resultaten

A. Prestatie Rankings (Global Leaderboard)

Er ontstaat een duidelijke drie-tier structuur:

Top Tier: ModernTCN (gemiddelde rang 1.33, 75% winstpercentage) en PatchTST (rang 2.00). Deze twee modellen presteren consistent beter dan de rest.
Midden Tier: iTransformer, TimeXer, DLinear, N-HiTS.
Bodem Tier: TimesNet, Autoformer, en LSTM (de slechtste presteerder, met fouten 7 tot 33 keer zo groot als de beste modellen).

ModernTCN (gebaseerd op grote-kern dieptewijze convoluties) wint op 18 van de 24 evaluatiepunten, vooral op forex en aandelenindexen.
PatchTST (patch-based Transformer) volgt op de tweede plaats.
N-HiTS toont een niche-voordeel op minder liquide crypto-assets (zoals ETH en ADA).

B. Statistische Validatie

Variance Decomposition: Architectuurkeuze verklaart 99,90% van de totale variantie in de RMSE (op ruwe schaal). De variatie door random seeds is verwaarloosbaar (<0,04%). Dit bevestigt dat drie seeds voldoende zijn voor robuuste conclusies.
Cross-Horizon Stabiliteit: De rankings blijven stabiel wanneer het voorspellingstijdsbestek wordt vergroot van 4 naar 24 uur, hoewel de absolute fouten met een factor 2-2,5 toenemen. Top-modellen behouden hun superioriteit.
Directional Accuracy (DA): Alle modellen hebben een directionele nauwkeurigheid van ongeveer 50% (een muntopgooi). Dit betekent dat modellen, getraind op MSE (Middelpunt Kwadratische Fout), geen vaardigheid hebben om de richting van de prijsbeweging correct te voorspellen op uurlijkse schaal.

C. Complexiteit vs. Prestatie

Er is geen monotone relatie tussen het aantal parameters en de prestaties.

DLinear (slechts ~1.000 parameters) presteert beter dan veel complexere modellen.
ModernTCN en PatchTST bereiken de beste resultaten met een gemiddeld parameterbudget.
Conclusie: De inductieve bias (hoe het model tijdstructuren ziet) is belangrijker dan de pure rekenkracht of het aantal parameters.

5. Betekenis en Conclusies

Praktische Aanbevelingen:

Standaardkeuze: Gebruik ModernTCN voor de beste alround prestaties, vooral op forex en aandelen.
Alternatief: PatchTST is een sterke tweede keuze, vooral als Transformer-architecturen de voorkeur hebben.
Crypto Specifiek: Voor kleinere crypto-assets (altcoins) kan N-HiTS beter presteren.
Resource Beperkt: DLinear is uitstekend voor omgevingen met beperkte rekenkracht.
Niet aanbevelen: LSTM is verouderd en presteert significant slechter dan moderne architecturen.

Economische Implicatie:
Hoewel de modellen nauwkeurige punten voorspellingen geven (lage RMSE), zijn ze niet in staat om de richting van de markt te voorspellen (50% DA). Voor handelsstrategieën die op richting gebaseerd zijn, is een herontwerp van de verliesfunctie (loss function) noodzakelijk; MSE-training alleen is onvoldoende voor directioneel handelen.

Wetenschappelijke Impact:
Dit paper stelt een nieuwe standaard voor voor het benchmarken van financiële tijdreeksmodellen. Het demonstreert dat strenge controle van experimentele variabelen (zoals seeds en hyperparameters) essentieel is om echte architecturale vooruitgang te onderscheiden van toeval, en dat moderne convolutie- en patch-gebaseerde modellen de traditionele recurrente netwerken (RNN/LSTM) volledig hebben ingehaald in dit domein.