Aggregate Calibration Can Mask Stress-State Undercoverage: Bounded-Memory Forecast Intervals under Recurrent Financial Stress

In de wereld van de financiën is onzekerheid geen gebrek; het is een kenmerk. Markten bewegen niet in rechte lijnen. Ze schokken, ze pauzeren en ze kunnen soms uitbarsten in perioden van intense volatiliteit die spaargelden kunnen wegvagen of wereldwijde economische verschuivingen kunnen triggeren. Omdat deze gevaarlijke momenten zo consequential zijn, vertrouwen beleggers en instellingen op prognose-intervallen—ranges die voorspellen waar een prijs morgen zal landen. Een goede prognose raadt niet alleen één enkel getal; het biedt een vangnet, een band van waarschijnlijke uitkomsten die breed genoeg is om de meeste keren de waarheid te vangen. De standaard voor het beoordelen van deze vangnetten wordt kalibratie genoemd. Als een prognose beweert 90 procent van de tijd gelijk te hebben, zou deze op de lange termijn de werkelijke prijs 90 procent van de tijd moeten bevatten.

Decennialang hebben statistici aangenomen dat als een systeem aan dit gemiddelde doel voldoet, het zijn werk doet. Financiële markten hebben echter een bijzondere gewoonte: ze zijn niet willekeurig. Ze zijn episodisch. Een kalme periode kan jaren duren, om vervolgens gevolgd te worden door een plotselinge terugkeer van de chaos die een decennium geleden bestond. Dit creëert een verborgen valstrik voor de systemen die hen proberen te voorspellen. Als een computerprogramma alleen de meest recente data onthoudt om zijn beslissingen te nemen, kan het de lessen geleerd tijdens de laatste crisis vergeten. Wanneer dat specifieke type crisis terugkeert, kan het systeem, dat deze in zijn kortetermijngeheugen nooit heeft gezien, vergeten zijn veiligheidsnet te verbreden, waardoor beleggers worden blootgesteld op het moment dat ze bescherming het hardst nodig hebben.

Dit is precies het probleem dat onderzoekers Ruihang Han en Li-Hsiang Lin wilden onderzoeken. Ze bouwden een gecontroleerd laboratorium om te testen hoe verschillende manieren van het opslaan en gebruiken van historische data de betrouwbaarheid van financiële prognoses beïnvloeden. Hun werk richt zich op een specifiek type geheugenbeperking: een systeem dat slechts een beperkte hoeveelheid informatie uit het verleden kan vasthouden. In de echte wereld kunnen computers niet elke dag van de marktgeschiedenis voor altijd opslaan; ze moeten oude data verwijderen om ruimte te maken voor nieuwe data. De standaardaanpak is een "first-in, first-out"-methode, waarbij de oudste data wordt weggegooid zodra het geheugen vol is, ongeacht wat die data vertegenwoordigt. De onderzoekers stelden een eenvoudige maar diepgaande vraag: wanneer een bekend type marktdruk na een lange afwezigheid terugkeert, beschikt een systeem dat zich alleen de recente geschiedenis herinnert dan nog over de juiste instrumenten om hiermee om te gaan?

Om het antwoord te vinden, construeerde het team een prognosesysteem ontworpen om de dagelijkse prijsrange te voorspellen voor een breed scala aan financiële activa, waaronder exchange-traded funds en een vaste set van vijftig grote Amerikaanse aandelen. Ze gebruikten data die loopt van 2005 tot 2025, een periode die meerdere onderscheidende tijdperken van marktkalmte en verschillende scherpe perioden van hoge volatiliteit omvatte. Ze definieerden "stress" met behulp van een bekende maatstaf voor marktvrees, de VIX-index. Wanneer deze index hoog was, bevond de markt zich in een staat van stress; wanneer deze laag was, was de markt kalm. De onderzoekers draaiden vervolgens hun prognosemodel onder verschillende geheugenregels, waarbij ze alles anders exact hetzelfde hielden. Ze vergeleken een standaard systeem dat simpelweg de meest recente 250 dagen aan data bijhield, met een geavanceerder systeem dat niet alleen het recente verleden onthield, maar ook specifieke historische records uit voorgaande perioden van hoge stress.

De resultaten onthulden een opvallende discrepantie tussen de algehele prestaties van het systeem en de prestaties tijdens de momenten die er echt toe doen. Het standaard systeem, dat alleen naar de meest recente data keek, leek perfect te werken wanneer het vanuit een afstand werd bekeken. Over de gehele evaluatieperiode voorspelde het de prijsrange 90 procent van de tijd succesvol, waarmee het zijn doel exact haalde. Echter, toen de onderzoekers inzoomden op de 156 dagen waarop de markt onder hoge stress stond, veranderde het beeld drastisch. Op die specifieke dagen stortte de nauwkeurigheid van het standaard systeem in. Het slaagde er bijna een kwart van de tijd niet in om de werkelijke prijs te bevatten, met een daling naar een dekkingsgraad van ongeveer 76 procent. Het systeem was niet kapot; het was simpelweg blind voor het type gevaar dat het tegemoet ging, omdat dat gevaar niet in zijn kortetermijngeheugen voorkwam.

In contrast hiermee presteerde het systeem dat ontworpen was om specifieke stress-toestanden te onthouden aanzienlijk beter. Door een toegewijd archief van eerdere dagen met hoge volatiliteit bij te houden en deze op te roepen wanneer vergelijkbare omstandigheden terugkeerden, behield dit systeem een veel hoger niveau van nauwkeurigheid tijdens de crisisperioden. Het ving de werkelijke prijsrange ongeveer 85 procent van de tijd tijdens stress, een substantiële verbetering ten opzichte van de standaardaanpak. De onderzoekers ontdekten dat dit voordeel het meest uitgesproken was op het exacte moment dat een stressperiode begon, de exacte tijd waarop het standaard systeem het meest waarschijnlijk zou vergeten wat het verleden had geleerd. Naarmate de stressperiode voortduurde en het standaard systeem begon nieuwe data uit de huidige crisis te verzamelen, kromp de kloof tussen de twee systemen, maar de initiële mislukking van het standaard systeem was significant.

De studie ging verder om te verzekeren dat deze verbetering niet slechts het resultaat was van het hebben van meer data of een andere manier van informatie wegen. Ze creëerden verschillende controlegroepen om specifieke variabelen te testen. Eén groep had dezelfde hoeveelheid geheugen als het verbeterde systeem, maar gebruikte alleen recente data. Een andere groep had toegang tot oude data, maar behandelde alle oude dagen als gelijk, zonder onderscheid te maken tussen kalme en stressvolle perioden. Geen van deze variaties kon de prestaties van het systeem dat specifiek de structuur van eerdere stress onthield, evenaren. Dit bewees dat het voordeel voortkwam uit de specifieke samenstelling van het geheugen—weten welke historische dagen relevant waren voor de huidige situatie—in plaats van simpelweg een grotere database te hebben.

De onderzoekers onderzochten ook hoe lang dit voordeel aanhield. Ze vonden dat het voordeel van het onthouden van eerdere stress geconcentreerd was aan het begin van een crisis. Wanneer een periode van hoge volatiliteit begon, wist het systeem met het gestructureerde geheugen onmiddellijk hoe het zijn veiligheidsnet moest verbreden omdat het dit patroon eerder had gezien. Het standaard systeem moest echter wachten tot er genoeg nieuwe data in zijn kortetermijnbuffer was opgeklommen voordat het kon bijsturen. Tegen de tijd dat het standaard systeem het inhaalde, was de meest gevaarlijke beginfase van de crisis vaak al gepasseerd. Dit tijdsverschil benadrukt een kritieke fout in het vertrouwen op uitsluitend recente geschiedenis: de gevaarlijkste momenten zijn vaak de momenten die de meest onmiddellijke en nauwkeurige reactie vereisen, en toch zijn dit de momenten die het meest waarschijnlijk worden vergeten door een systeem dat slechts enkele maanden terugkijkt.

De implicaties van dit werk reiken verder dan de specifieke cijfers van de studie. Het daagt de aanname uit dat een systeem betrouwbaar is simpelweg omdat het gemiddeld goed functioneert. In velden waar zeldzame maar catastrofale gebeurtenissen zich herhalen, kan gemiddelde prestatie een misleidende metriek zijn. Een systeem kan perfect gekalibreerd zijn voor de 90 procent van de tijd dat de markt kalm en stabiel is, en toch catastrofaal falen tijdens de 10 procent van de tijd dat het er echt toe doet. De onderzoekers toonden aan dat de manier waarop een systeem zijn geschiedenis opslaat net zo belangrijk is als het algoritme dat het gebruikt om voorspellingen te doen. Als een systeem gedwongen wordt om het verleden te vergeten, moet het ontworpen zijn om de juiste dingen te onthouden.

De studie werd uitgevoerd met strikte controles, waarbij hetzelfde voorspellingsmodel en dezelfde marktdata voor elke test werden gebruikt. De resultaten waren consistent over twee verschillende panelen van activa, wat suggereert dat de bevinding robuust is en niet beperkt is tot een specifiek type aandeel of fonds. De onderzoekers testten ook of hun bevindingen standhielden wanneer ze de definitie van stress of de grootte van de geheugenbuffer veranderden, en het kernpatroon bleef hetzelfde: systemen die de specifieke aard van eerdere crises vergeten, zijn minder betrouwbaar wanneer die crises terugkeren. Dit is geen theoretische mogelijkheid, maar een geobserveerde realiteit in de data.

Uiteindelijk betoogt het artikel dat het ontwerp van een voorspellingssysteem een strategie voor geheugen moet bevatten. Het is niet voldoende om simpelweg de meest recente datapunten op te slaan. Voor systemen die opereren in omgevingen waar omstandigheden veranderen en vervolgens terugkeren, is het vermogen om relevante historische bewijslast op te halen een fundamenteel onderdeel van het voorspellingsproces. De onderzoekers toonden aan dat door het geheugen te structureren om bewijs van zeldzame maar terugkerende toestanden te bewaren, we systemen kunnen bouwen die niet alleen gemiddeld accuraat zijn, maar ook betrouwbaar wanneer ze het meest nodig zijn. In een wereld waar financiële stress episodisch en recurrent is, kan de belangrijkste data de oudste data zijn, mits we een manier hebben om die weer terug te vinden.