Perturbation-Specific Reliability of Intrinsic and Post-Hoc Explainable Machine Learning in Volatility Forecasting
Deze studie toont aan dat de betrouwbaarheid van zowel intrinsieke als post-hoc verklaringen in volatiliteitsvoorspelling sterk perturbatiespecifiek is, wat aanzienlijk varieert over verschillende model–representatie–verklaraar-configuraties en een empirische evaluatie noodzaakt onder diverse omstandigheden zoals hertraining, temporele verschuivingen en inputruis.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de financiële sector wordt het voorspellen van de mate waarin een aandelenkoers zal schommelen vaak als gemakkelijker beschouwd dan het raden van de richting waarin de prijs zal bewegen. Deze maatstaf voor beweging, bekend als volatiliteit, is cruciaal voor risicobeheer, maar blijft berucht moeilijk te voorspellen omdat markten chaotisch, onvoorspelbaar en constant veranderlijk zijn. Om deze onzekerheid te navigeren, vertrouwen financiële experts steeds vaker op machine learning, waarbij computerprogramma's leren van historische gegevens om toekomstige voorspellingen te doen. Deze krachtige programma's werken echter vaak als "black boxes", wat betekent dat hun interne logica verborgen en moeilijk begrijpelijk is voor mensen. Dit gebrek aan transparantie creëert een probleem: als een computer een riskante voorspelling doet, moeten toezichthouders en risicomanagers weten waarom. Om dit op te lossen, hebben wetenschappers twee belangrijke manieren ontwikkeld om deze machines zichzelf te laten uitleggen. De eerste benadering bouwt de uitleg direct vanaf het begin in het ontwerp van de machine, waardoor modellen ontstaan die van nature gemakkelijk te lezen zijn. De tweede benadering traint eerst een complex, opaak systeem en gebruikt vervolgens een apart hulpmiddel om naar het voltooide product te kijken en te raden wat het dacht. De grote vraag is altijd geweest welke van deze twee methoden daadwerkelijk betrouwbaarder is.
Een team onderzoekers van de Universitas Ahmad Dahlu in Indonesië zette zich in om deze vraag te beantwoorden door deze twee benaderingen een rigoureuze test te onderwerpen in de hooggestelde omgeving van aandelenmarktvoorspelling. Ze vroegen niet simpelweg welke methode er op papier beter uitzag; in plaats daarvan onderwierpen ze de verklaringen aan een reeks realistische stresstests om te zien hoe goed ze standhielden wanneer de omstandigheden veranderden. De onderzoekers concentreerden zich op het voorspellen van de vijfdaagse volatiliteit van twintig belangrijke aandelen uit de Verenigde Staten, Europa en Japan, gebruikmakend van gegevens die de periode van 2016 tot 2025 beslaan. Ze trainden vijf verschillende soorten machine learning-modellen en koppelden elk aan de uitlegmethode die het best bij hun architectuur paste. Cruciaal was dat ze alleen modellen in hun definitieve analyse opnamen als ze bewezen de volatiliteit beter konden voorspellen dan een eenvoudige, baseline-gok gebaseerd op recente geschiedenis. Dit zorgde ervoor dat ze alleen verklaringen evalueerden voor modellen die daadwerkelijk over echte voorspellende vaardigheid beschikten.
De studie introduceerde een slimme wending om de bron van betrouwbaarheid te isoleren. Voor één specifiek type machine learning-model pasten de onderzoekers zowel de "ingebouwde" uitleg als de "post-training" uitleg toe op exact hetzelfde getrainde netwerk. Dit stelde hen in staat om te zien of het verschil in betrouwbaarheid voortkwam uit het model zelf of uit de methode die werd gebruikt om het uit te leggen. Ze testten deze verklaringen vervolgens onder drie verschillende soorten druk. Eerst voegden ze een kleine hoeveelheid willekeurige ruis toe aan de invoergegevens om te zien of de uitleg stabiel bleef wanneer de cijfers licht wazig waren. Ten tweede verschoven ze het tijdsvenster om te zien of de uitleg standhield terwijl de marktomstandigheden over maanden en jaren veranderden. Ten derde trainden ze het model opnieuw vanaf nul met verschillende willekeurige startpunten om te zien of de uitleg consistent bleef, zelfs wanneer het trainingsproces licht varieerde.
De resultaten onthulden een verrassende waarheid: er is geen enkele "beste" manier om een machine learning-model uit te leggen. De betrouwbaarheid van een uitleg hangt volledig af van de specifieke combinatie van het model, de gegevens die het ziet en het type druk waarmee het wordt geconfronteerd. In een van de meest opvallende bevindingen ontdekten de onderzoekers dat voor hetzelfde machine learning-netwerk de ingebouwde uitleg veel stabieler was wanneer de invoergegevens ruis bevatten, maar dat deze volledig uiteenviel wanneer het model opnieuw werd getraind. Daarentegen was de na de training gegenereerde uitleg minder stabiel tegenover ruis in de gegevens, maar bleef deze veel consistenter wanneer het model vanaf nul werd opgebouwd. Dit betekent dat de keuze voor een uitlegmethode niet gebaseerd moet worden op een algemene regel over of het "ingebouwd" of "later toegevoegd" is, maar op de specifieke taak die voorhanden is. Als een gebruiker een uitleg nodig heeft die bestand is tegen kleine fouten in de gegevens, is de ingebouwde methode superieur. Als men een uitleg nodig heeft die consistent blijft, zelfs wanneer het model wordt bijgewerkt of opnieuw wordt getraind, is de post-training methode de betere keuze.
De studie daagde ook een veelvoorkomend uitgangspunt in het vakgebied uit met betrekking tot hoe we de kwaliteit van deze verklaringen meten. Onderzoekers proberen vaak te verifiëren of een uitleg waarheidsgetrouw is door de belangrijkste kenmerken één voor één te verwijderen om te zien of de voorspelling van het model verslechtert. Het team vond dat deze methode in de context van aandelenvolatiliteit er niet in slaagde om onderscheid te maken tussen een slimme uitleg en een willekeurige gok. Omdat het signaal in financiële gegevens zo zwak is en de ruis zo hoog, veranderde het verwijderen van een kenmerk de uitkomst niet op een betrouwbare manier, waardoor deze standaardtest nutteloos was voor dit specifieke probleem. Bovendien ontdekten de onderzoekers dat een eenvoudig, traditioneel statistisch model, bekend als het Heterogeneous Autoregressive model of Realized Volatility (HAR-RV), de beste mediane voorspellingsnauwkeurigheid in de studie behaalde, waarmee het alle geteste machine learning-modellen beslissend versloeg. Opmerkelijk genoeg presteerde een spline-gebaseerd Generalized Additive Model (GAM), dat intrinsiek interpreteerbaar is, even goed als deze best presterende HAR-RV benchmark, terwijl de complexere neurale netwerken en boomgebaseerde modellen achterbleven. Dit suggereert dat voor deze specifieke taak de toegevoegde complexiteit van deep learning geen extra nauwkeurigheid opleverde, en dat de eenvoudigere, meer transparante modellen even effectief waren.
Uiteindelijk concludeert het onderzoek dat we niet kunnen aannemen dat een uitleg betrouwbaar is enkel omdat deze afkomstig is van een model dat ontworpen is om transparant te zijn. De "ingebouwde" verklaringen, die vaak worden verkocht als de gouden standaard voor interpreteerbaarheid, bleken de minst reproduceerbare te zijn wanneer het model opnieuw werd getraind. Specifiek vertoonde de intrinsieke attention mask van het TabNet-model een bijna nul-reproduceerbaarheid (met een rangovereenkomst van slechts 0,006), wat betekende dat het met een nieuwe set willekeurige startgetallen een totaal ander verhaal vertelde, waardoor het de minst betrouwbare uitleg in de studie was. De studie demonstreert dat betrouwbaarheid geen inherente eigenschap is van een specifiek type uitleg, maar een fragiele eigenschap die voor elke nieuwe situatie empirisch getest moet worden. Voor iedereen die deze instrumenten gebruikt om financiële beslissingen te nemen, is de les duidelijk: u moet verifiëren of de uitleg standhoudt onder de specifieke druk waar uw systeem mee te maken krijgt, in plaats van erop te vertrouwen simpelweg vanwege de manier waarop de machine is gebouwd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.