Sentiment-Aware Stock Price Prediction with Transformer and LLM-Generated Formulaic Alpha

Dit paper introduceert een nieuw raamwerk dat Large Language Models (LLM's) gebruikt om formule-alphas te genereren die, in combinatie met sentimentdata, als ingevoerde features dienen voor Transformer-modellen om de nauwkeurigheid en interpretatie van aandelenkoersvoorspellingen aanzienlijk te verbeteren.

De kern

Stel je voor dat de beurs een enorme, drukke markt is waar miljoenen mensen tegelijk proberen te raden wat de prijs van appels, auto's of banken morgen zal zijn. Traditioneel proberen experts (de "quants") dit te doen door zelf moeilijke formules te bedenken. Ze kijken naar de geschiedenis en zeggen: "Als de prijs gisteren 5% steeg en het weer zonnig was, dan gaat hij vandaag waarschijnlijk omhoog." Maar dit is als het proberen om een nieuwe receptuur voor een taart te bedenken door blind te proefeten. Het kost veel tijd, en als iedereen hetzelfde recept gebruikt, werkt het plotseling niet meer meer. Dit noemen ze "alpha-sterfte": een goede formule wordt snel saai en waardeloos.

De auteurs van dit artikel hebben een slimme oplossing bedacht met behulp van een AI-robot (een Large Language Model of LLM) die fungeert als een super-scherpe kok.

Hier is hoe hun nieuwe systeem werkt, vertaald naar alledaagse taal:

1. De Super-Kok (De LLM)

In plaats van dat mensen urenlang zitten te puzzelen aan formules, geven ze deze AI-robot een opdracht. De robot krijgt een bak vol ingrediënten:

• De basis: De prijs van de aandelen (openen, sluiten, hoog, laag).
• De techniek: Bekende meetinstrumenten zoals "hoe snel gaat de prijs omhoog?" (momentum) of "is het al te duur?" (RSI).
• De stemming: Hoe voelen mensen zich over het bedrijf? En nog belangrijker: hoe voelen ze zich over de buren van dat bedrijf?

De creatieve analogie:
Stel je voor dat je de prijs van Toyota wilt voorspellen. Een mens kijkt alleen naar Toyota. Maar onze AI-kok kijkt ook naar BYD (een concurrent) en Apple (die ook auto's maakt). De AI denkt: "Oh, als mensen enthousiast zijn over de nieuwe elektrische auto's van BYD, betekent dat waarschijnlijk dat er meer vraag is naar batterijen, wat goed is voor Toyota's leveranciers."

De AI schrijft dan een nieuw, slim receptje (een formule) op, bijvoorbeeld: "Neem de snelheid van Toyota, tel daar de blijdschap over BYD bij op, en vermenigvuldig het met de regen in de lucht." De AI doet dit voor vijf verschillende "recepten" per bedrijf.

2. De Proefkeuken (De Transformer)

Nu hebben we deze nieuwe, door de AI bedachte recepten. Maar een recept alleen is nog geen gerecht. Deze recepten worden nu gegeven aan een andere AI, een Transformer.

• De Transformer is als een ervaren proefkok die deze nieuwe ingrediënten proeft en combineert met de oude data.
• De Transformer leert patronen in de tijd: "Als dit recept gisteren werkte, werkt het morgen misschien ook."
• Het doel is simpel: voorspellen wat de sluitingsprijs van morgen is.

3. Waarom werkt dit beter?

De onderzoekers hebben dit getest met vijf grote bedrijven (zoals Apple, Pepsi en Toyota) en vergeleken met andere methoden:

• Menselijke formules: Deze werken vaak niet meer omdat ze verouderd zijn (zoals een oude kookboek dat niemand meer gebruikt).
• Automatische formules (zonder AI): Deze zijn vaak saai en niet te begrijpen (alsof je een taart maakt met alleen suiker en zout, zonder te weten waarom).
• De nieuwe AI-methode: Deze wint het! De AI bedacht formules die niet alleen technisch kloppen, maar ook rekening houden met de "sfeer" (sentiment) van de hele markt en de buren van het bedrijf.

De verrassende ontdekking:
De AI bedacht soms gekke koppelingen. Bijvoorbeeld: "De prijs van Pepsi hangt af van hoe blij mensen zijn met Amazon." Klinkt gek, maar de AI zag een patroon: als mensen blij zijn met Amazon (online winkelen), geven ze misschien minder geld uit aan frisdrank, of juist meer. De AI kan deze verborgen verbanden zien die een mens over het hoofd ziet.

4. Het Resultaat

Toen ze dit systeem testten, bleek dat het veel nauwkeuriger voorspelde dan de oude methoden.

• Het systeem maakt minder fouten (de "MSE" is lager).
• Het is stabieler: zelfs als je het systeem een paar keer laat draaien, blijft het resultaat goed.
• Het is transparant: omdat de AI de formules in gewone taal uitlegt, weten we waarom het een voorspelling doet. We zien niet alleen het antwoord, maar ook de redenering.

Samenvatting in één zin

Dit artikel laat zien dat als je een slimme AI-robot vraagt om slimme recepten te bedenken voor de beurs (die rekening houden met de stemming van de hele markt en niet alleen van één bedrijf), je veel betere voorspellingen krijgt dan wanneer je het zelf probeert of oude recepten blijft gebruiken.

Het is alsof je van een enkele kok overschakelt naar een hele keuken vol met robots die samenwerken, proeven en nieuwe combinaties bedenken die niemand eerder had durven dromen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Sentiment-Aware Stock Price Prediction with Transformer and LLM-Generated Formulaic Alpha" in het Nederlands.

Probleemstelling

Traditionele kwantitatieve analisten en handelaars vertrouwen op handmatig ontworpen "formulaic alphas" (wiskundige expressies die patronen in financiële data identificeren) om voorspellende signalen te genereren. Dit proces is echter tijdrovend, moeilijk schaalbaar en afhankelijk van menselijke intuïtie. Een groot probleem in dit domein is alpha-afname (alpha decay): zodra een alpha bekend wordt en door veel handelaren wordt gebruikt, verliest deze zijn voorspellende kracht.

Daarnaast zijn bestaande deep learning-modellen voor aandelenvoorspelling vaak beperkt door ruis in de ruwe financiële data en het gebrek aan interpretatie. Hoewel modellen zoals Transformers lange-termijn afhankelijkheden kunnen leren, missen ze vaak de contextuele nuance van marktsentiment en de dynamische relatie tussen bedrijven.

Methodologie

Het paper introduceert een nieuw raamwerk dat drie kerncomponenten combineert: Large Language Models (LLM), sentimentanalyse en een Transformer-model.

1. Data Collectie en Sentimentanalyse:

   • Doelbedrijven: Apple, HSBC, Pepsi, Toyota en Tencent.
   • Gerelateerde Bedrijven: Via Named Entity Recognition (NER) op nieuwsartikelen worden bedrijven geïdentificeerd die vaak samen voorkomen met de doelbedrijven (bijv. concurrenten, leveranciers).
   • Sentiment: Dagelijkse nieuwsartikelen worden verwerkt met VADER (een lexicon-gebaseerde sentimenttool) om polariteitsscores te genereren voor zowel de doelbedrijven als hun gerelateerde bedrijven.

2. Generatie van Formulaic Alphas met LLM:

   • In plaats van handmatige formule-ontwikkeling, wordt een prompt-based LLM (DeepSeek-R1-distill-llama-70b) gebruikt.
   • De LLM ontvangt gestructureerde input (historische aandelenkenmerken, technische indicatoren zoals RSI en MACD, en sentiment-scores).
   • De LLM genereert vijf nieuwe, adaptieve formule-alphas per bedrijf. Deze alphas combineren technische indicatoren met sentimentverschillen tussen gerelateerde bedrijven (bijv. Momentum + Amazon_polarity voor Pepsi).
   • Deze gegenereerde alphas fungeren niet als directe handelssignalen, maar als hoogwaardige features voor het voorspellingsmodel.

3. Voorspellingsmodel (Transformer):

   • De gegenereerde alphas worden ingevoerd in een standaard Transformer-model (Encoder-Decoder structuur).
   • Encoder: Verwerkt de vijf gegenereerde alphas over een venster van 5 dagen, gecombineerd met tijdsgebonden embeddings (dag, week, maand).
   • Decoder: Voorspelt de sluitingsprijs van de volgende dag.
   • Het model wordt getraind met MSE (Mean Squared Error) als verliesfunctie.

4. Vergelijkende Modellen:
   Voor validatie worden de resultaten vergeleken met andere modellen: Informer, LSTM, TCN, SVR, Random Forest en XGBoost. Ook worden drie soorten features vergeleken: LLM-generatie, Featuretools (automatische feature engineering) en menselijk gedefinieerde alphas (uit "101 Formulaic Alphas").

Kernbijdragen

• Automatisering van Alpha-ontwikkeling: Het paper toont aan dat LLMs effectief kunnen worden ingezet om complexe, interpreteerbare formule-alphas te genereren die technische data en sentiment combineren, waardoor de cyclus van alpha-ontdekking wordt versneld.
• Integratie van Gerelateerd Sentiment: Een unieke bijdrage is het systematisch opnemen van sentiment van gerelateerde bedrijven (via NER en co-occurrence) in de alpha-formules. Dit erkent dat nieuws over partners of concurrenten de koers van een doelbedrijf beïnvloedt.
• Interpretbaarheid: In tegenstelling tot "black-box" deep learning features, zijn de door de LLM gegenereerde alphas menselijk leesbaar en voorzien van een redenering (reasoning), wat de transparantie van het voorspellingsproces vergroot.
• Robuustheid tegen Alpha Decay: Door de LLM continu nieuwe alphas te laten genereren die reageren op recente marktomstandigheden, wordt het effect van alpha-afname verminderd.

Resultaten

• Voorspellende Nauwkeurigheid: Het Transformer-model, gevoed met LLM-genererde alphas, behaalde de beste resultaten (laagste MSE) voor bijna alle geteste bedrijven, gevolgd door Informer. Traditionele modellen zoals SVR presteerden aanzienlijk slechter.
• Statistische Significantie: De Diebold-Mariano (DM) test bevestigde dat de verbetering van het Transformer-model ten opzichte van LSTM, TCN en ensemble-methoden statistisch significant is (p < 0,01).
• Impact van Sentiment: Experimenten toonden aan dat het toevoegen van sentiment-informatie (van doel- en gerelateerde bedrijven) de voorspellingsnauwkeurigheid verder verhoogde en de variantie tussen verschillende runs verlaagde, wat wijst op een robuuster model.
• Vergelijking met Andere Features:
  • LLM vs. Featuretools: LLM-genererde alphas presteerden beter dan automatisch gegenereerde features van Featuretools, die vaak minder interpreteerbaar en redundanter waren.
  • LLM vs. Menselijke Alphas: Menselijk gedefinieerde alphas (uit bestaande literatuur) presteerden aanzienlijk slechter, wat de dynamische aanpassingscapaciteit van de LLM benadrukt.
• IC vs. MSE: Hoewel de Information Coefficient (IC) voor de gegenereerde alphas laag was (wat wijst op zwakke voorspelling van rendementen), was de voorspelling van de daadwerkelijke aandelenprijs (MSE) zeer sterk. Dit suggereert dat LLMs beter zijn in het voorspellen van prijsniveaus dan in het voorspellen van relatieve veranderingen.

Betekenis en Conclusie

Dit onderzoek demonstreert een paradigmaverschuiving in kwantitatieve financiën: van handmatig feature engineering naar LLM-gestuurde feature creatie. De studie bewijst dat het combineren van de redeneercapaciteiten van LLMs met de sequentiële modellering van Transformers leidt tot superieure voorspellende prestaties.

De belangrijkste implicatie is dat LLMs niet alleen tekst kunnen analyseren, maar ook kunnen fungeren als een "creatieve engine" voor het ontwerpen van wiskundige trading signalen die complexe, niet-lineaire relaties tussen marktsentiment en prijsbewegingen kunnen vastleggen. Dit biedt een schaalbare oplossing voor het probleem van alpha-afname en verhoogt de interpretatie van AI-gedreven financiële beslissingen. Toekomstig werk zou zich kunnen richten op het uitbreiden naar meer bedrijven, het testen van andere LLM-architecturen en het verfijnen van de prompt-engineering voor nog specifiekere alphas.