Decomposing Rank Reversals under Temporal Nonstationarity: Alignment, Aggressiveness, and Instability

In de wereld van financiële voorspellingen is het voorspellen van de toekomst een constante strijd tegen een verschuivend landschap. De data waarop modellen vertrouwen — aandelenkoersen, economische indicatoren, markttrends — blijft niet stilstaan. Het drijft, verandert en valt soms volledig uit elkaar. Dit fenomeen, bekend als niet-stationariteit, betekent dat een model dat getraind is op de data van gisteren morgen kan falen omdat de regels van het spel zijn veranderd. Om hiermee om te gaan, passen voorspellers vaak aan hoeveel geschiedenis ze terugkijken. Ze kunnen een model trainen op slechts de gegevens van de afgelopen maand om wendbaar te blijven, of op de afgelopen tien jaar om stabiele patronen te vinden. De aanname is lang geweest dat meer data over het algemeen beter is, of dat complexe, krachtige modellen altijd eenvoudiger modellen zullen overtreffen als ze maar genoeg informatie krijgen. Maar in de arena met hoge inzet van het voorspellen van aandelenrendementen is de realiteit veel chaotischer. Soms verslaat een simpel model een complex model, en soms is het omgekeerde waar, afhankelijk volledig van hoeveel geschiedenis het model mag zien.

Een team onderzoekers aan de Carnegie Mellon University heeft de mechanische reden ontdekt achter deze verwarrende verschuivingen in prestaties. Ze ontdekten dat de rangschikking van modellen niet willekeurig verandert; deze keert om op een voorspelbare manier, gedreven door drie specifieke krachten: hoe goed het model de juiste richting op wijst, hoe agressief het gokt, en hoe instabiel de antwoorden zijn wanneer de trainingsdata licht verandert. Door de prestaties van veertien verschillende voorspellingssystemen — van eenvoudige lineaire vergelijkingen tot complexe neurale netwerken — te analyseren over enorme datasets van Amerikaanse aandelen en sectoren, hebben de auteurs aangetoond dat de titel van "beste" model niet een vaste titel is. In plaats daarvan hangt de winnaar af van een delicaat evenwicht tussen de lengte van de trainingsgeschiedenis en de complexiteit van het model.

De onderzoekers benaderden dit probleem door een voorspelling niet te behandwerken als een enkel getal, maar als een geometrisch object met drie onderscheidende eigenschappen. De eerste is alignment (afstemming), wat meet of de voorspellingen van het model in dezelfde richting wijzen als de werkelijke toekomstige uitkomsten. De tweede is aggressiveness (agressiviteit), die de omvang of de magnitude van de voorspelling meet ten opzichte van het doel. Ten slotte is er instability (instabiliteit), wat vastlegt hoeveel het antwoord van een model wankelt als je het opnieuw zou trainen op een licht gewijzigd deel van dezelfde data. Het team bewees wiskundig dat het algemene succes van een voorspelling een combinatie is van deze drie factoren: een model scoort punten voor goede afstemming, maar verliest punten als het te agressief of te instabiel is.

Hun analyse onthulde een cruciale trade-off die verklaart waarom de rangschikking van modellen omdraait. Complexe modellen, zoals diepe neurale netwerken of boosted trees, hebben een natuurlijk voordeel in het vastleggen van ingewikkelde patronen, maar dit voordeel gaat met een prijs gepaard. Wanneer de trainingsgeschiedenis kort is, kunnen deze complexe modellen overreageren op de beperkte data, waardoor ze zeer instabiel worden en extreem agressieve gokken doen die de plank misslaan. In deze scenario's met korte vensters winnen eenvoudigere modellen vaak omdat zij stabieler zijn en minder geneigd zijn tot deze wilde uitschieters. Echter, naarmate de trainingsgeschiedenis groter wordt, beginnen de complexe modellen te stabiliseren. Ze gebruiken de extra data om hun patronen te verfijnen. Uiteindelijk, als de geschiedenis lang genoeg is, stelt hun superieure vermogen om complexe relaties te modelleren hen in staat om de eenvoudigere modellen in te halen.

De studie toonde aan dat deze omkering geen mysterie is, maar een berekenbare gebeurtenis. De onderzoekers leidden een specifieke wiskundige grens af die precies voorspelt wanneer een complex model zal beginnen met het overtreffen van een simpel model op basis van de lengte van het trainingsvenster. Ze valideerden deze theorie via gecontroleerde simulaties waarbij ze de snelheid van data-drift en de ruis in het systeem precies konden controleren. In deze simulaties observeerden ze dat naarmate de drift in de data toenam, het optimale trainingsvenster voor complexe modellen kromp, waardoor ze gedwongen werden om meer recente data te gebruiken om niet misleid te worden door verouderde patronen. Omgekeerd, wanneer de data wel ruisig maar stabiel was, konden langere geschiedenissen de complexe modellen laten floreren.

In real-world tests met dagelijkse aandelenrendementen van zeventien verschillende Amerikaanse industrieën, hield de theorie stand. De onderzoekers ontdekten dat wanneer complexe modellen zoals XGBoost of Transformers onderpresteerden ten opzichte van eenvoudigere ridge regression-modellen, dit bijna altijd kwam doordat de complexe modellen leden onder een piek in misgekalibreerde agressiviteit. Ze gokten te hard en hun antwoorden waren te volatiel. Wanneer de onderzoekers de modellen aanpasten om minder agressief te zijn, verdween het prestatieverschil, wat bewees dat het falen niet te wijten was aan een gebrek aan begrip van de onderliggende patronen, maar aan een onvermogen om hun voorspellingen correct te schalen. Bovendien ontdekten ze dat door de voorspellingen van meerdere versies van hetzelfde model te middelen (een techniek genaamd ensembling), ze de instabiliteitsstraf volledig konden elimineren, waardoor een aanzienlijk deel van de verloren gegane prestaties door ruis werd teruggewonnen.

Dit werk daagt de algemene intuïtie uit dat men simpelweg de trainingsvensters moet beperken om veilig te blijven in een veranderende wereld. De auteurs betogen dat het blindelings afkappen van oude data een inadequate strategie is. In plaats daarvan is de sleutel het begrijpen van de specifieke spanning tussen het vermogen van een model om complexe patronen te leren en de kwetsbaarheid voor de instabiliteit veroorzaakt door beperkte data. Voor beoefenaars betekent dit dat de beslissing om een geavanceerd AI-model te gebruiken versus een simpel statistisch instrument niet gebaseerd moet zijn op een algemene voorkeur voor complexiteit. Het moet een berekende keuze zijn op basis van de specifieke lengte van de beschikbare geschiedenis en het huidige niveau van ruis in de markt. Als de geschiedenis kort is en de data volatiel, is een eenvoudiger, stabieler model waarschijnlijk de betere keuze. Als de geschiedenis lang is en de patronen diepgaand, zal het complexe model uiteindelijk winnen, mits het is afgestemd om niet te overreageren op de data.

Uiteindelijk biedt dit onderzoek een diagnostisch kader voor het begrijpen van waarom modellen slagen of falen wanneer de wereld verandert. Het gaat verder dan alleen meten welk model beter is, naar het verklaren van waarom de rangschikking omdraait. Door de specifieke componenten van een voorspelling te isoleren — alignment, aggressiveness en instability — hebben de auteurs aangetoond dat de prestaties van een model geen vast kenmerk zijn, maar een dynamische reactie op de hoeveelheid geschiedenis die het krijgt toegewezen. Dit inzicht stelt voorspellers in staat om te anticiperen wanneer een model zijn voorsprong verliest en om hun strategieën dienovereenkomstig aan te passen, waardoor een chaotisch probleem van modelselectie wordt omgezet in een beheersbare berekening van geheugen en complexiteit.