🤖 machine learning

FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting

Dit artikel introduceert FinTSB, een uitgebreid en praktisch benchmark voor het voorspellen van financiële tijdreeksen dat is ontworpen om bestaande evaluatiebeperkingen te overwinnen door data-diversiteitsgaten aan te pakken, beoordelingsprotocollen te standaardiseren en realistische marktbeperkingen op te nemen om een betrouwbaardere modelvergelijking en -selectie mogelijk te maken.

Oorspronkelijke auteurs: Yifan Hu, Yuante Li, Peiyuan Liu, Yuxia Zhu, Naiqi Li, Tao Dai, Shu-tao Xia, Dawei Cheng, Changjun Jiang

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifan Hu, Yuante Li, Peiyuan Liu, Yuxia Zhu, Naiqi Li, Tao Dai, Shu-tao Xia, Dawei Cheng, Changjun Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren hoe hij een succesvolle aandelenhandelaar kan worden. Je wilt zien of de robot kan voorspellen welke aandelen morgen stijgen of dalen.

Al geruime tijd bouwen onderzoekers verschillende "hersenen" (algoritmen) voor deze robots, variërend van simpele wiskundige formules tot complexe Kunstmatige Intelligentie. Er was echter een groot probleem: niemand was het eens over hoe ze ze moesten testen.

Het was alsof je een heleboel verschillende auto's (de AI-modellen) had en ze testte op verschillende circuits (datasets) met verschillende regels. Het ene team testte zijn auto op een gladde snelweg, een ander op een hobbelige zandweg, en ze beweerden allemaal dat hun auto de "snelste" was. Omdat de tests verschillend waren, kon je niet echt zeggen welke auto eigenlijk de beste was.

Dit artikel introduceert FinTSB, een nieuwe, super- eerlijke "Rijschool" en "Testcircuit" specifiek voor het voorspellen van financiële tijdreeksen. Hier is hoe het werkt, met eenvoudige analogieën:

1. Het Probleem: De "Drie Lekken" in de Oude Tests

De auteurs zeggen dat oude testmethoden drie grote gaten (lekken) hadden waardoor slechte resultaten doorheen glippen:

Het Diversiteitsgat (Het "Eén-Weer" Probleem): Oude tests gebruikten vaak alleen data uit een paar jaar of slechts één type markt (zoals een kalme, zonnige dag). Maar echte markten hebben stormen, orkanen en plotselinge sneeuwstormen. Als je je robot alleen traint op zonnige dagen, zal hij crashten wanneer een storm toeslaat.
Het Standaardisatie-tekort (Het "Verschillende Linialen" Probleem): Iedereen gebruikte verschillende meetinstrumenten. Het ene team mat snelheid in mijl per uur, een ander in kilometers, en een ander aan de hand van hoeveel benzine ze bespaarden. Je kon de resultaten niet eerlijk vergelijken.
Het Reële Wereld-tekort (Het "Videospel" Probleem): Veel tests negeerden regels uit het echte leven. Ze vergaten transactiekosten (zoals benzinegeld), handelslimieten (zoals snelheidsdrempels), of het feit dat je niet altijd direct een aandeel kunt verkopen. Het was alsof je een videospel speelde waar je nooit brandstof opmaakt of tegen een muur rijdt, waardoor de robot perfect leek terwijl hij in de echte wereld eigenlijk zou falen.

2. De Oplossing: Het FinTSB "Super-Circuit"

Om dit op te lossen, bouwden de auteurs FinTSB, een uitgebreide benchmark. Denk hierbij aan een enorm, multifunctioneel rijcircuit.

De Vier "Weer"-zones: In plaats van slechts één circuit, verdeelt FinTSB de markt in vier verschillende "weerpatronen" gebaseerd op hoe aandelen bewegen:
1. Stijgende trends: De markt gaat omhoog (een gladde snelweg).
2. Dalende trends: De markt gaat omlaag (een steile afdaling).
3. Volatileit: De markt springt wild omhoog en omlaag (een hobbelige zandweg).
4. Zwanen-incidenten: Plotselinge, extreme crashes of pieken (een tornado).
  De onderzoekers namen 15 jaar aan echte aandelendata, hakten het in stukken en sorteerden het in deze vier categorieën om ervoor te zorgen dat de robots op alles worden getest, niet alleen op het makkelijke werk.
Het Unieke "Regelboek": FinTSB dwingt elke robot om precies volgens dezelfde regels te spelen.
- De Pijplijn: Ze bouwden een "lichtgewicht" systeem (zoals een gestandaardiseerde assemblagelijn) waar je gewoon je robot inplugt en het voert automatisch dezelfde tests uit. Geen geknoei meer met verschillende instellingen.
- De Metrieken: Ze meten prestaties op drie manieren:
  1. Ranking: Heeft de robot correct geraden welke aandelen het beste waren?
  2. Portfolio: Als je de aandelen die de robot koos daadwerkelijk had gekocht, zou je dan geld verdienen? (Dit omvat het berekenen van kosten en risico's).
  3. Fout: Hoe dicht lag de gok van de robot bij het werkelijke getal?
De "Reële Wereld"-simulatie: Het systeem voegt weerstand uit de echte wereld toe. Het rekent een kleine kosten per handeling (transactiekosten) en respecteert regels zoals "limiet-up" (waarbij een aandeel niet meer dan een bepaald bedrag per dag kan stijgen). Dit zorgt ervoor dat de robot niet alleen goed is in wiskunde, maar goed is in handelen.

3. De Resultaten: Wie won de race?

De auteurs testten tientallen verschillende "hersenen" (van simpele wiskundige modellen tot enorme AI-modellen) op dit nieuwe circuit.

Geen enkele winnaar: Net als in de sport was er niet één robot die elk enkel evenement won. Sommigen waren geweldig in rustige markten, anderen in volatiele markten.
De AI-verrassing: Ze ontdekten dat de grootste, meest complexe AI-modellen (Grote Taalmodellen) niet automatisch wonnen. Sterker nog, soms werden ze slechter naarmate ze groter werden, totdat ze een bepaalde "kritieke grootte" bereikten waar ze plotseling veel beter werden. Het lijkt erop dat deze enorme modellen veel "hersencapaciteit" nodig hebben om de rommelige ruis van de aandelenmarkt te ontwarren.
De "Zero-Shot"-magie: De meest opwindende bevinding was dat robots die op dit diverse FinTSB-circuit waren getraind, in een hele nieuwe markt (de Chinese aandelenmarkt van 2024) konden worden geplaatst zonder extra training, en ze presteerden nog steeds zeer goed. Dit bewijst dat het circuit hen leerde hoe ze in elk weer moesten rijden, niet alleen in het specifieke weer waarin ze geoefend hadden.

Samenvatting

FinTSB is een nieuwe, eerlijke en realistische testomgeving voor AI die aandelen kiest. Het stopt onderzoekers met het selecteren van makkelijk data, dwingt hen om dezelfde meetlat te gebruiken, en zorgt ervoor dat robots rekening houden met kosten uit de echte wereld zoals kosten en handelslimieten. Het is de eerste keer dat de financiële AI-gemeenschap een standaard "Olympische Spelen" heeft om echt te zien welke modellen klaar zijn voor de echte wereld.

Technische Samenvatting: FinTSB: Een Omvattende en Praktische Benchmark voor Financiële Tijdreeksvoorspelling

1. Probleemstelling

Financiële Tijdreeksvoorspelling (FinTSF) is een kritiek domein binnen de kwantitatieve financiën, maar het veld kampt met drie systemische beperkingen die de betrouwbare evaluatie en praktische implementatie van voorspellingsmodellen belemmeren:

Verschil in Diversiteit: Bestaande evaluatiedatasets slagen er vaak niet in om het volledige spectrum aan aandelenbewegingspatronen (bijv. stijgende trends, dalende trends, volatiliteit en black swan-events) te vangen of bestrijken onvoldoende tijdsperiodes. Dit leidt tot modellen die gebrek hebben aan generalisatievermogen wanneer ze geconfronteerd worden met ongezette marktsituaties. Bovendien richten veel studies zich op enkele markten, waarbij ze fundamentele structurele verschillen tussen markten negeren (bijv. de hoge participatie van retailinvesteerders in Chinese A-aandelen versus de mix van institutionele beleggers in de VS).
Gebrek aan Standaardisatie: Er ontbreekt een uniek beoordelingsprotocol. Verschillen in evaluatiemetrics (ranking versus portefeuille versus fout) en het ontbreken van een gestandaardiseerde, gebruiksvriendelijke pipeline maken cross-studie prestatievergelijkingen ongeldig. Het opnieuw draaien van State-of-the-Art (SOTA) modellen op proprietaire instellingen is vaak arbeidsintensief en vatbaar voor bias.
Mismatch met de Realiteit: Veel evaluaties negeren kritieke marktbeperkingen, zoals transactiekosten, beperkingen op short-selling (bijv. in Chinese A-aandelen) en handelsstoppen (limiet-up). Dit resulteert in opgeblazen prestatiemetrics die niet vertalen naar daadwerkelijke winstgevendheid in live handelsomgevingen.

2. Methodologie: Het FinTSB-kader

Om deze beperkingen aan te pakken, stellen de auteurs FinTSB voor, een omvattende en praktische benchmark die is ontworpen om evaluatie te standaardiseren en af te stemmen op realistische handelscondities.

2.1 Datasetconstructie en Tokenisatie

Data Bron: De benchmark maakt gebruik van 15 jaar historische aandelengegevens uit meerdere financiële markten.
Categorisering van Patronen: Data wordt opgesplitst in niet-overlappende periodes van 250 dagen. Op basis van dagelijkse veranderingen ( $\delta$ $δ$ ) worden aandelen gecategoriseerd in vier distincte bewegingspatronen:
1. Stijgende trends: Hoge frequentie van positieve rendementen.
2. Dalende trends: Hoge frequentie van negatieve rendementen.
3. Volatiliteit: Frequent fluctueren zonder duidelijke directionele trend.
4. Black Swan-events (Extreem): Significante, scherpe prijsschommelingen.
Selectiestrategie: Voor elk patroon worden de top 300 aandelen geselecteerd (op basis van positieve veranderingssnelheid voor stijgende trends, onderste 300 voor dalende trends, en de overige voor volatiliteit). Extreme uitschieters worden apart geclassificeerd.
Preprocessing: Gevoelige informatie wordt getokeniseerd (geanonimiseerd). Normalisatie wordt uitgevoerd op de aandelen-dimensie voor elke handelsdag om lekkage van toekomstige informatie te voorkomen.
Structuur: De uiteindelijke benchmark bestaat uit 20 datasets (5 per patroon), elk met 300 aandelen over 250 dagen, opgesplitst in trainings-/validatie-/testsets (7:1:2).

2.2 Analyse van Sequentiekenmerken

FinTSB evalueert datakwaliteit en intrinsieke eigenschappen aan de hand van vier sequentiekenmerken:

Bewegingspatronen: Gedefinieerd door de frequentie van positieve/negatieve rendementen en de grootte van de fluctuaties.
Niet-stationariteit: Gemeten via de Augmented Dickey-Fuller (ADF) test om de aanwezigheid van eenheidswortels te bevestigen, wat typerend is voor financiële data.
Autocorrelatie: Meet de invloed van vorige prijzen op toekomstig gedrag.
Voorspelbaarheid: Beoordeeld aan de hand van eigenschappen in het frequentiedomein (entropie) om de theoretische voorspelbaarheid van een reeks te bepalen.

2.3 Unificatie van Evaluatiepipeline

FinTSB introduceert een lichtgewicht, gebruiksvriendelijke pipeline bestaande uit vier lagen:

Data Layer: Verwerkt tokenisatie, normalisatie en dynamische dataloading voor specifieke bewegingspatronen.
Training Layer: Integreert modellen van zes backbone-architecturen:
- Klassieke Strategieën (bijv. CSM, BLSW)
- Machine Learning (bijv. XGBoost, LightGBM, ARIMA)
- Deep Learning (bijv. LSTM, Transformer, Mamba, GNNs)
- Reinforcement Learning (bijv. PPO, DDPG)
- Generatieve Modellen (bijv. Diffusion, VAEs)
- LLM-gebaseerde Methoden (bijv. TimeMoe, Chronos)
Backtesting Layer: Simuleert realistische handel met behulp van Top-K-Drop strategieën. Deze strategie behoudt de best presterende aandelen en vervangt alleen onderpresteerders, waardoor de omloopsnelheid wordt verminderd. Cruciaal is dat deze transactiekosten (0,1%) incorporeert en marktbeperkingen respecteert (bijv. geen short-selling in specifieke contexten).
Feedback Layer: Archiveert logs en biedt visualisatietools voor prestatietracking.

2.4 Evaluatiemetrics

De benchmark hanteert 11 metrics over drie dimensies om een holistische beoordeling te waarborgen:

Ranking Metrics: Information Coefficient (IC), IC Information Ratio (ICIR), RankIC en RankICIR. Deze meten de uitlijning tussen voorspelde scores en feitelijke rendementen.
Portefeuille-gebaseerde Metrics: Geannualiseerd Rendement (ARR), Geannualiseerde Volatiliteit (AVol), Maximum Drawdown (MDD), Geannualiseerde Sharpe Ratio (ASR) en Information Ratio (IR). Deze evalueren winstgevendheid en risicogewijzigde rendementen.
Fout Metrics: Mean Squared Error (MSE) en Mean Absolute Error (MAE). De auteurs merken op dat een lagere fout geen winstgevendheid garandeert, maar deze worden opgenomen voor volledigheid.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

Inclusie van Diversiteit: De creatie van FinTSB, die historische data tokeniseert en voorverwerkt om alle belangrijke bewegingspatronen over diverse markten te vangen, waarmee de diversiteitskloof wordt aangepakt.
Consistentie in Standaardisatie: De voorstelling van een unificatie-evaluatiekader dat ranking-, portefeuille- en foutmetrics omvat, waardoor eerlijke en reproduceerbare vergelijkingen mogelijk worden.
Uitlijning met de Realiteit: Het ontwerpen van beleggingsstrategieën die strikt adhere aan marktbeperkingen (kosten, handelsstoppen, short-selling regels), waarmee de kloof tussen theoretische metrics en praktische toepasbaarheid wordt overbrugd.
Diepgaande Evaluatie: Een omvattende evaluatie van een breed scala aan FinTSF-methoden, waardoor kritieke inzichten worden geboden in modelprestaties onder variërende marktomstandigheden.

4. Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op FinTSB met behulp van de unificatie-pipeline:

Heterogeniteit in Prestaties: Geen enkele methode behaalde de beste prestaties over alle drie de metrische dimensies. Er bestaat significante heterogeniteit zelfs binnen dezelfde backbone-categorie, wat suggereert dat het vastleggen van temporele afhankelijkheden en cross-sectionele relaties sterk methode-afhankelijk is.
LLM-prestaties: LLM-gebaseerde methoden vertoonden een "paradoxale" schalingspatroon. De prestaties verslechterden aanvankelijk bij modelschaling, maar toonden een duidelijke verbetering bij grotere schalen (bijv. Chronos-boltBase). Dit suggereert dat financiële tijdreekscapaciteiten mogelijk pas ontstaan boven kritieke parameterdrempels die nodig zijn om complexe marktruis te ontrafelen.
Deep Learning versus Traditioneel: In tegenstelling tot verwachtingen presteerden moderne deep learning-technieken niet universeel beter dan traditionele kwantitatieve strategieën of op bomen gebaseerde modellen (bijv. XGBoost, LightGBM) wat betreft portefeuillerendementen.
Transfer Learning: Modellen die vooraf waren getraind op FinTSB toonden opmerkelijke consistentie bij zero-shot transfer naar de CSI 300-markt van 2024, waarbij ze superieure risicogewijzigde rendementen behaalden. Dit valideert het vermogen van de benchmark om robuuste, generaliseerbare patronen te vangen over verschillende marktsituaties (bull, bear en overgangsperiodes).
Efficiëntie: De studie omvatte een analyse van inferentie-efficiëntie, waarbij ASR-prestaties in evenwicht werden gebracht met computerkosten en geheugenvoetafdruk.

5. Betekenis en Claims

De auteurs beweren dat FinTSB een nieuw en omvattend platform biedt voor het verbeteren en evalueren van FinTSF-methoden. Door de Diversiteitskloof, het Standaardisatie-tekort en de Realiteit-mismatch aan te pakken, streeft de benchmark ernaar:

Een solide fundament te leggen voor modelbeoordeling in de FinTSF-gemeenschap.
Onderzoekers te begeleiden bij het selecteren van geschikte modellen onder variërende marktomstandigheden.
Het veld vooruit te helpen naar meer praktische, in de realiteit toepasbare beleggingsstrategieën.

Het artikel concludeert dat rigoureuze benchmarking essentieel is om voorbij gefragmenteerde resultaten te gaan en dat FinTSB een noodzakelijke stap is om theoretische voorspellingsmodellen af te stemmen op de complexiteiten van de daadwerkelijke financiële markten. De code en dataset zijn publiek beschikbaar gesteld om verder onderzoek te faciliteren.