Ensemble learning for time series forecasting using metaheuristic optimisation

De toekomst voorspellen is een menselijk instinct, maar het voorspellen van de toekomst van getallen is een berucht moeilijk wetenschap. In de wereld van de financiën is tijdreeksvoorspelling de poging om te raden wat de aandelenkoers morgen zal zijn op basis van wat het gisteren, vorige week en vorig jaar was. De data is zelden een rechte lijn; het is grillig, ruisig en constant in beweging, vergelijkbaar met het proberen te voorspellen van het weer tijdens een storm. Omdat de markt zo volatiel en onvoorspelbaar is, is het vertrouwen op één enkele methode om een voorspelling te doen vaak als het proberen te navigeren met een schip dat slechts één kompas heeft. Als die kompas er een klein beetje naast zit, is de hele reis in gevaar. Dit is waarom onderzoekers zich hebben gericht op "ensemble learning", een strategie waarbij meerdere verschillende voorspellingsmodellen worden gebouwd en vervolgens gecombineerd. In plaats van op één expert te vertrouwen, luistert het systeem naar een panel van experts, in de hoop dat hun gecombineerde wijsheid individuele fouten wegcijfert en een helderder pad naar voren onthult.

De uitdaging ligt echter in de vraag hoe je deze experts combineert. Als je simpelweg elke model vraagt een gok te wagen en het gemiddelde neemt, mis je misschien het feit dat één model momenteel briljant presteert terwijl een ander worstelt. De echte truc is om op elk gegeven moment te bepalen welke modellen meer vertrouwen verdienen en welke minder gehoord moeten worden. Dit is het specifieke probleem waar een team onderzoekers uit India zich mee heeft beziggehouden, die een nieuwe manier hebben ontwikkeld om deze groepen voorspellingsmodellen te beheren. Ze creëerden twee onderscheidende systemen, één geïnspireerd door de manier waarop vogels in zwermen vliegen en een andere gebaseerd op een wiskundige benadering voor het omgaan met onzekerheid, om dynamisch te beslissen hoeveel gewicht aan de voorspelling van elk model toe te kennen. Hun doel was om een systeem te bouwen dat in realtime kon aanpassen, door de focus te verleggen naar de meest betrouwbare voorspellers wanneer de marktomstandigheden veranderden.

Om hun ideeën te testen, richtten de onderzoekers zich op de Indiase aandelenmarkt, een enorm en complex financieel ecosysteem dat de afgelopen vijftien jaar drastische verschuivingen heeft gezien, waaronder grote economische hervormingen en een wereldwijde pandemie. Ze verzamelden historische data voor zeven verschillende entiteiten: twee belangrijke marktindices die de algemene gezondheid van de economie volgen, en vijf van de grootste bedrijven die aan de beurs genoteerd staan. Ze vertrouwden niet op slechts één type voorspellingsmotor. In plaats daarvan bouwden ze een "panel" van drie verschillende kunstmatige intelligentiemodellen, elk met zijn eigen sterke punten. Eén model was ontworpen om patronen in statische data te vinden, een ander was gebouwd om langetermijn trends in de loop van de tijd te onthouden, en een derde was een gestroomlijnde versie van dat geheugen-gebaseerde model, ontworend om sneller te zijn. Deze drie modellen werden getraind op de afgelopen vijftien jaar aan data om te leren de sluitingskoers van de volgende dag te voorspellen.

Zodra deze drie modellen klaar waren, pasten de onderzoekers hun twee nieuwe managementsystemen toe om hun voorspellingen te combineren. Het eerste systeem, dat ze Ensemble PSO noemden, werkt door een zwerm deeltjes te simuleren die naar de beste oplossing zoeken. Stel je een groep vogels voor die samen vliegen; elke vogel kent zijn eigen beste positie en de beste positie die door de hele zwerm is gevonden. Ze passen voortdurend hun vliegroute aan om naar de beste plek te bewegen. In dit computersysteem zijn de "vogels" verschillende combinaties van gewichten die aan de drie modellen worden toegewezen. Het systeem voert duizenden simulaties uit en past de mix voortdurend aan totdat het de perfecte balans vindt die de fout tussen de voorspelde prijs en de werkelijke prijs minimaliseert. Het tweede systeem, Ensemble ARO, hanteert een andere aanpak. Het behandelt de onzekerheid van de markt als een variabele die wiskundig beheerd moet worden, waarbij een set gewichten wordt gevonden die robuust blijft, zelfs als de markt onverwacht reageert. Het vraagt in essentie: "Wat is de veiligste manier om deze voorspellingen te combineren zodat we niet door de unexpectedheid worden verrast?"

De onderzoekers vergeleken deze twee nieuwe systemen met de individuele modellen, een eenvoudig gemiddelde van alle drie, en andere geavanceerde voorspellingsmethoden die in het verleden zijn gebruikt. Om een eerlijke vergelijking te maken over alle zeven verschillende datasets, ontwikkelden ze een nieuwe manier om de resultaten te scoren. In plaats van te kijken naar slechts één getal, zoals de gemiddelde afwijking van de voorspelling, keken ze naar vier verschillende mate van nauwkeurigheid en combineerden deze tot één allesomvattende score. Dit stelde hen in staat om de modellen niet alleen op basis van één dataset te rangschikken, maar over de gehele breedte van zeven verschillende aandelen en indices.

De resultaten waren duidelijk en consistent. Het systeem dat gebruikmaakte van zwerm-gebaseerde optimalisatie, Ensemble PSO, presteerde consequent beter dan elke andere methode, inclus[ief] de individuele modellen en de andere ensemble-technieken. Het bewees de meest betrouwbare voorspeller te zijn over de verschillende marktcondities en geteste tijdsperioden. De op één na beste presteerder was het systeem dat gebruikmaakte van de robuuste optimalisatiebenadering, Ensemble ARO, dat ook aanzienlijk beter presteerde dan de standaardmodellen. De studie toonde aan dat hoewel individuele modellen zoals de langetermijngeheugennetwerken goed waren in hun specifieke taken, ze vaak moeite hadden wanneer de markt te volatiel of onvoorspelbaar werd. Door de gewichten dynamisch aan te passen, waren de nieuwe ensemble-systemen in staat om te leunen op het model dat op dat specifieke moment het beste presteerde, waardoor de fouten effectief werden gladgestreken en een nauwkeurigere voorspelling werd geboden.

De onderzoekers concludeerden dat hun aanpak een krachtig instrument biedt voor financiële voorspellingen. Door metaheuristische optimalisatie te gebruiken om de gewichten van verschillende modellen te beheren, creëerden ze een systeem dat aanpasbaarder en nauwkeuriger is dan het vertrouwen op een enkel algoritme of een eenvoudig gemiddelde. De bevindingen suggereren dat in een wereld van ruisige en veranderende data, de beste manier om de toekomst te voorspellen niet is om het enkele perfecte model te vinden, maar om een flexibel team van modellen te bouwen dat door een intelligent systeem kan worden geleid om samen te werken. Dit werk vormt een concrete stap voorwaarts in de manier waarop we kunstmatige intelligentie kunnen gebruiken om de complexiteit van de aandelenmarkt te navigeren, waarbij een methode wordt geboden die zowel schaalbaar als robuust genoeg is om de echte onvoorspelbaarheid van financiële data aan te kunnen.