Forecasting accuracy to portfolio value: Model risk and regime dependence in an emerging equity market
Deze studie analyseert aandelen van de Moskou Börse om aan te tonen dat hoewel CatBoost de beste statistische voorspellingsnauwkeurigheid biedt, PatchTST superieure portefeuilleprestaties levert, en geen enkele modelselectie- of regime-switchstrategie de fundamentele discrepantie tussen voorspellingsprecisie en cross-sectionele rangschikkingscapaciteit in opkomende markten betrouwbaar kan overwinnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Beleggers die grote hoeveelheden geld beheren, worden geconfronteerd met een constante, stille kwestie: ze moeten raden welke aandelen zullen stijgen en welke zullen dalen, maar ze kunnen nooit zeker weten of hun raadmethode de juiste is. Dit is niet louter een kwestie van pech; het is een fundamenteel probleem van onzekerheid. Op één niveau maakt een belegger zich zorgen dat zijn schatting van het toekomstige rendement van een aandeel onjuist is. Op een dieper niveau maken zij zich zorgen of het volledige wiskundige kader dat zij gebruiken om die schatting te maken, wel niet gebrekkig is. In stabiele tijden werken eenvoudige regels vaak goed, maar wanneer het economische klimaat verandert – wanneer de inflatie stijgt, markten volatiel worden of prijzen crashen – kunnen diezelfde regels falen. De vraag is of een complexere, flexibelere methode beter kan inspelen op deze veranderende omstandigheden dan een rechttoe-staande methode, en of een methode die statistisch accuraat is in het voorspellen van getallen, daadwerkelijk leidt tot betere beleggingsresultaten.
Een team van onderzoekers zette zich het doel om deze vragen te testen op de Russische aandelenmarkt, een plek waar de economische omstandigheden de afgelopen tien jaar drastisch zijn verschoven. Zij verzamelden gegevens van bijna driehonderd bedrijven die verhandeld worden op de Moscow Exchange, over een periode van eind 2016 tot 2025. Deze tijdspanne omvatte jaren van gestage inflatie, de wereldwijde schok van de pandemie, en een periode van intense geopolitieke spanning en monetaire verkrapping. De onderzoekers wilden zien of de relatie tussen de kenmerken van een bedrijf en de toekomstige rendementen veranderde afhankelijk van de vraag of de markt kalm of gespannen was. Hiervoor bouwden zij een gecontroleerd experiment waarbij acht verschillende voorspellingsmethoden tegen elkaar streden. Deze methoden varieerden van eenvoudige lineaire vergelijkingen, die uitgaan van een constante relatie tussen factoren en rendementen, tot geavanceerde machine learning-algoritmen die in staat zijn complexe, niet-lineaire patronen te detecteren en zich aan te passen aan nieuwe gegevens.
De onderzoekers voerden alle acht de modellen exact dezelfde informatie: gegevens over de omvang, waarde, momentum en liquiditeit van bedrijven, gecombineerd met indicatoren van marktdruk zoals hoge inflatie en scherpe prijsdalingen. Vervolgens vroegen zij elk model om de rendementen van aandelen over de volgende drie maanden te voorspellen. Cruciaal was dat zij de modellen niet lieten strijden in een vrije strijd; in plaats daarvan dwongen zij elk model om dezelfde regels te gebruiken voor het opbouwen van een portefeuille. Zij selecteerden de top vijfentwintig aandelen met de hoogste voorspelde rendementen, beperkten het bedrag dat in een enkel aandeel werd geïnvesteerd, en beheerden het risico op identieke wijze. Dit zorgde ervoor dat elk verschil in de uiteindelijke resultaten puur voortkwam uit de kwaliteit van de voorspellingen, en niet uit de manier waarop het geld werd gealloceerd.
De resultaten toonden een verrassende discrepantie aan tussen statistische nauwkeurigheid en realistische waarde. Een van de meest geavanceerde machine learning-modellen, bekend als CatBoost, produceerde de kleinste gemiddelde fouten bij het voorspellen van rendementen. Het was het meest precies in het raden van de getallen. Echter, toen de onderzoekers keken naar de vraag of de modellen erin slaagden de beste aandelen correct te rangschikken ten opzichte van de slechtste, presteerden alle acht de methoden zwak. Geen van hen kon de top performers consequent beter identificeren dan door toeval. Deze bevinding suggereert dat zelfs de meest geavanceerde algoritmen moeite hebben met het vinden van een betrouwbaar signaal in de ruis van een opkomende markt, vooral wanneer die markt onderhevende is aan snelle structurele veranderingen.
Nog belangrijker was dat de studie vond dat het model met de beste statistische nauwkeurigheid niet het beste beleggingsportfolio opleverde. Een ander model, gebaseerd op een sequentie-lerende architectuur genaamd PatchTST, had relatief slechte algehele nauwkeurigheid in zijn voorspellingen. Toch leverde het, wanneer de voorspellingen ervan werden gebruikt om een portefeuille op te bouossen, risico-gecorrigeerde rendementen op die concurrerend waren met de best presterende strategieën en minder verliezen leden tijdens marktdalingen. Deze uitkomst benadrukt een cruciale les: een model hoeft niet perfect te zijn in het voorspellen van elk getal om nuttig te zijn voor beleggen. Het hoeft alleen maar goed genoeg te zijn in het identificeren van de specifieke aandelen die goed zullen presteren, zelfs als het de rest van de markt fout heeft.
De onderzoekers testten ook of het mogelijk was om tussen modellen te schakelen afhankelijk van de huidige marktomstandigheden, zoals het gebruik van een model tijdens hoge inflatie en een ander model tijdens beurscrash. Zij creëerden een regel die automatisch het best presterende model zou selecteren op basis van recente resultaten of de huidige staat van de economie. Hoewel deze schakelregel de hoogste nominale rendementen opleverde in hun backtest, was het voordeel niet statistisch betrouwbaar. De resultaten lagen zo dicht bij die van vaste strategieën dat het verschil gemakkelijk door toeval zou kunnen komen. Bovendien kan de regel, omdat deze werd ontworpen nadat de gegevens al bekend waren, niet als een bewezen strategie voor de toekomst worden beschouwd. De studie suggereert dat hoewel het weten dat de markt onder druk staat nuttig is voor het begrijpen van wanneer voorspellingen onbetrouwbaar kunnen zijn, het geen duidelijk, automatisch signaal biedt voor welk wiskundig instrument te gebruiken.
Uiteindelijk concludeert het artikel dat er geen enkel "beste" model bestaat voor het voorspellen van aandelenrendementen in een opkomende markt. De meest flexibele en complexe modellen presteren niet automatisch beter dan eenvoudigere modellen, en het model dat wint in een statistische wedstrijd is niet noodzakelijkerwijs het model dat het meest winstgevende portfolio opbouwt. De onzekerheid waarmee beleggers worden geconfronteerd is tweeledig: zij moeten omgaan met de inherente moeilijkheid van het voorspellen van de toekomst, en zij moeten ook accepteren dat zij niet met zekerheid kunnen weten welke methode van voorspelling op dit moment de juiste is. In deze omgeving is de meest robuuste aanpak wellicht niet het zoeken naar een perfecte voorspellingsmachine, maar het erkennen dat alle modellen risico's met zich meebrengen en dat de waarde van een model niet ligt in de gemiddelde nauwkeurigheid, maar in het vermogen om onder druk zinvolle beleggingsbeslissingen te sturen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.