Dispersion-Matched Forecast Comparison: Separating Skill from Shrinkage in the Evaluation of Financial Prediction Models

In de wereld van de financiële sector is het voorspellen van de toekomstige koers van een aandeel de heilige graal. Beleggers en banken pompen miljarden in geavanceerde computersystemen, in de hoop een patroon te vinden in de chaos van de dagelijkse marktbewegingen. Deze systemen, vaak gebouwd met behulp van deep learning, zijn ontworpen om enorme hoeveelheden informatie te verwerken — historische prijzen en economische rapporten — om te raden of een aandeel morgen zal stijgen of dalen. De standaardmanier om te beoordelen of een van deze systemen daadwerkelijk goed is, is door de voorspellingen ervan te vergelijken met een lijst van andere systemen. Als een nieuw model minder fouten maakt dan de oude, wordt het uitgeroepen tot winnaar, en publiceren de makers de resultaten als een doorbraak. Dit proces rust op een eenvoudige aanname: dat een lagere foutscore betekent dat het model een echt signaal in de data heeft gevonden, een werkelijk vermogen om te zien wat anderen niet kunnen.

Een nieuwe studie daagt echter het fundament uit van de manier waarop deze winnaars worden gekozen. De onderzoekers, werkend met een team van experts in computerwetenschappen en management, ontdekten dat de standaard scoringsmethode bedrogen kan worden. Ze ontdekten dat een computermodel een perfecte score kan behalen, niet omdat het heeft geleerd de markt te voorspellen, maar omdat het heeft geleerd om bijna niets te doen. Wanneer een markt moeilijk te voorspellen is, is de veiligste wiskundige zet om telkens simpelweg de gemiddelde uitkomst te voorspellen. Als een model te voorzichtig is, of als het ontwerp het dwingt te conservatief te zijn, zal het zijn voorspellingen inkrimpen totdat ze bijna vlak zijn. De studie laat zien dat de huidige ranglijsten deze inkrimping verwarren met vaardigheid, waardoor er een klassement ontstaat waar de "beste" modellen eigenlijk de modellen zijn die de strijd hebben opgegeven om überhaupt nog iets te voorspellen.

De onderzoekers zetten zich in om een specifieke, moderne architectuur te testen die is ontworpen voor het voorspellen van dagelijkse aandelenrendementen. Dit systeem, genaamd MFGate-Net, werd gebouwd als een state-of-the-art voorspeller. Het combineerde twee verschillende soorten informatie: technische indicatoren afgeleid van prijsgrafieken en macro-economische gegevens zoals rentestanden en marktvolatiliteit, samen met een mechanisme om deze inputs dynamisch te wegen. Om te zien of het werkte, trainden ze het op zeven jaar aan historische data en testten ze het vervolgens op een nieuwe, ongeziene periode die de jaren 2022 tot en met 2024 besloeg. Deze testperiode werd zorgvuldig gekozen omdat deze verschillende marktomstandighedenen bevatte, waaronder een periode van hoge inflatie en een herstelfase, om ervoor te zorgen dat het model een realistische uitdaging kreeg.

Toen het team de standaardvergelijking uitvoerde, zagen de resultaten eruit als een triomf. Het nieuwe model versloeg elke andere concurrent, inclus\nbij de oudere, eenvoudigere machine learning-methoden en andere complexe deep learning-netwerken. Het had de laagste foutmarge, en statistische tests bevestigden dat het voordeel geen toevalstreffer was. Naar alle gebruikelijke maatstaven zou dit de kop moeten zijn: een nieuwe, superieure manier om de markt te voorspellen. Maar de onderzoekers stopten daar niet. Ze stelden een simpelere, meer fundamentele vraag: versloeg dit model daadwerkelijk de meest basale mogelijke voorspelling? In de financiële wereld is de eenvoudigste voorspelling om aan te nemen dat de prijsverandering van morgen exact nul zal zijn. Dit staat bekend als de onvoorwaardelijke benchmark. Het is de basislijn van het nietsdoen.

Toen ze hun geavanceerde model vergeleken met deze nul-voorspelling, veranderde het verhaal volledig. Het complexe model versloeg de nul-voorspelling niet. Sterker nog, het was statistisch niet te onderscheiden van deze. De voorspellingen van het model waren zo dicht bij nul dat ze geen echt voordeel boden ten opzichte van simpelweg aannemen dat er niets zou gebeuren. Nog opmerkelijker was dat elk ander model op de ranglijst, van de nieuwste deep learning-netwerken tot oudere statistische methoden, ook faalde om de nul-voorspelling te verslaan. Ze waren allemaal slechter dan niets doen. De onderzoekers realiseerden zich dat de rangschikking die ze eerder hadden gezien, niet mat wie de beste voorspeller was, maar wie de meest voorzichtige was. De modellen die hun voorspellingen het meest inkrimpten, het dichtst bij nul, leken de laagste fout te hebben. De rangschikking was een meting van hoeveel de modellen waren ingestort, niet van hoeveel ze hadden geleerd.

Om dit te bewijzen, leidden het team een wiskundige verklaring af voor waarom dit gebeurt. Ze toonden aan dat wanneer een markt bijna onvoorspelbaar is, de foutscore van een model bijna volledig afhangt van hoeveel de voorspellingen van een model variëren ten opzichte van de werkelijke markt. Als een model zeer weinig beweging voorspelt, zal de foutscore er goed uitzien, zelfs als het fout is. De studie demonstreerde dat de schijnbare superioriteit van het ene model boven het andere simpelweg een verschil was in hoeveel ze hun voorspellingen inkrompen. De statistische tests die werden gebruikt om een winnaar te verklaren, maten eigenlijk deze inkrimping, en hoe meer data ze verzamelden, hoe meer ze zeker werden van een valse conclusie. Hoe groter de dataset, hoe sterker de illusie van vaardigheid werd, ook al bestond er geen vaardigheid.

De onderzoekers stelden vervolgens een eenvoudige oplossing voor. Voordat ze modellen vergelijken, pasten ze elke voorspelling aan zodat het bereik van de beweging overeenkomt met het bereik van de werkelijke markt. Dit proces, dat zij "dispersie-matching" noemen, verwijdert de bias naar inkrimping. Zodra ze deze correctie toepasten, verdwenen de dramatische verschillen tussen de modellen. De modellen die voorheen als duidelijke winnaars werden beschouwd, waren nu statistisch gelijk aan de verliezers. De "overweldigende" significantie die op een doorbraak wees, verdween en werd vervangen door een resultaat dat liet zien dat alle modellen in essentie hetzelfde presteerden als een willekeurige gok. In één specifiek geval werd een model dat als het beste was uitgeroepen, gevonden te zijn met een constante nul-voorspelling, met een statistische waarschijnlijkheid van 0,97 dat het verschil door toeval kwam.

De studie onderzocht ook of deze modellen geld konden verdienen. Zelfs als een model de prijs niet perfect kan voorspellen, kan het nog steeds nuttig zijn als het winstgevende transacties kan sturen. De onderzoekers simuleerden handelsstrategieën op basis van de voorspellingen van de modellen, waarbij rekening werd gehouden met de kosten van het kopen en verkopen. De resultaten waren onverbiddelijk. Geen enkel model genereerde een winst die een risicovrije investering kon verslaan, zelfs toen de transactiekosten op nul werden gesteld. Het meest succesvolle model op de foutenlijsten bleek de slechtste presteerder te zijn in termen van geld, omdat de voorzichtige voorspellingen leidden tot een strategie die nauwelijks bewoog, waardoor kleine verliezen ontstonden tegen de kapitaalkosten. Dit bevestigde dat de statistische rangschikking niet alleen misleidend was, maar ook economisch irrelevant.

Misschien wel de meest verontrustende bevinding betrof de instrumenten die worden gebruikt om uit te leggen hoe deze modellen werken. In het vakgebied van kunstmatige intelligentie gebruiken onderzoekers vaak visualisaties om te laten zien naar welke datapunten een model aandacht schenkt, in de hoop te bewijzen dat het systeem betekenisvolle patronen heeft geleerd. Het team testte dit door hun model te trainen op data waarbij de doelvariabele willekeurig was gehusseld, waardoor elke echte relatie tussen de inputs en de output werd vernietigd. Een model getraind op dergelijke ruis kan onmogelijk iets leren. Toch, toen ze deze "defecte" model analyseerden, produceerde het verklaringen die bijna identiek waren aan die van het echte model. De visualisaties lieten dezelfde kenmerken zien die werden benadrukt en dezelfde patronen van aandacht. Dit suggereert dat deze interpreteerbaarheidstools vaak de structuur van de data zelf reflecteren in plaats van de specifieke kennis die het model heeft verworven. Ze kunnen geen onderscheid maken tussen een model dat een geheim heeft geleerd en een model dat niets heeft geleerd.

De onderzoekers concludeerden dat het hele vakgebied van financiële voorspelling moet veranderen in hoe het zijn resultaten rapporteert. Ze bevelen aan dat elke studie een vergelijking moet bevatten met de eenvoudige nul-voorspelling om te bewijzen dat een model überhaupt enige vaardigheid bezit. Ze stellen ook voor om een maatstaf te rapporteren voor hoeveel de voorspellingen van een model variëren, om te garanderen dat een lage foutscore niet slechts het result en is van overmatige voorzichtigheid. Zonder deze controles is de literatuur vol met modellen die lijken vooruit te gaan in de staat van de kunst, maar die in werkelijkheid alleen maar rangschikken hoe goed ze kunnen doen alsoverlijk niets. De studie beweert niet dat het voorspellen van de markt onmogelijk is, noch zegt het dat deep learning nutteloos is. Het laat simpelweg zien dat de huidige manier van succes beoordelen defect is, en dat totdat de regels worden aangepast, de winnaars op de ranglijst mogelijk niet degenen zijn die daadwerkelijk de toekomst kunnen zien.