Impact of LLMs news Sentiment Analysis on Stock Price Movement Prediction

Deze studie toont aan dat het gebruik van LLM-gebaseerde nieuwsgevoelensanalyse, met name met het DeBERTa-model of een ensemble van drie modellen, de nauwkeurigheid van de voorspelling van aandelenkoersbewegingen significant kan verbeteren.

De kern

De Kracht van de Krant: Hoe AI-gevoelens de Beurs voorspellen

Stel je voor dat je een zeer slimme, maar soms wat verwarde, voorspeller bent die probeert te raden of de prijs van een appel (of een aandeel) morgen stijgt of daalt. Je kijkt niet alleen naar het verleden, maar je leest ook elke dag duizenden krantenartikelen over die appel.

Dit is precies wat de auteurs van dit onderzoek hebben gedaan. Ze wilden weten: Helpt het lezen van nieuwsartikelen, en vooral het begrijpen van de gevoelstemming (positief of negatief) in die artikelen, om de beurs beter te voorspellen? En welke "supercomputer" (AI) is het beste in het lezen van die gevoelens?

Hier is de uitleg, vertaald naar alledaags taalgebruik:

1. Het Probleem: De Beurs is een Groot Chaos

De beurs is als een drukke markt waar de prijzen van alles schommelen. Soms gaat het om economie, soms om politiek, en soms gewoon omdat mensen paniek of euforie voelen. Traditionele modellen kijken alleen naar de cijfers van de afgelopen dagen (zoals een auto die alleen naar de achteruitkijkspiegel kijkt). Maar mensen reageren op nieuws! Als er een goed artikel staat over een bedrijf, kopen mensen sneller. Als er slecht nieuws is, verkopen ze.

2. De Oplossing: De "Nieuws-Vertalers" (LLMs)

De onderzoekers hebben drie verschillende soorten AI-modellen (DeBERTa, RoBERTa en FinBERT) ingezet als hun "vertalers". Deze modellen lezen de nieuwsartikelen en zeggen: "Dit artikel klinkt blij!" of "Dit artikel klinkt somber!".

• FinBERT is als een gespecialiseerde beursanalist die alleen financiële taal spreekt.
• RoBERTa en DeBERTa zijn als algemene slimme lezers die ook heel goed zijn in begrijpen wat er bedoeld wordt.

Het verrassende resultaat: De "algemene slimme lezer" (DeBERTa) bleek de beste te zijn! Hij had gelijk in 75% van de gevallen, zelfs beter dan de gespecialiseerde beursanalist.

3. De "Sfeer van de Dag" (Aggregatie)

Stel je voor dat er op één dag 50 artikelen verschijnen. Drie zijn heel positief, dertig zijn neutraal en zeventien zijn negatief. Hoe vertaal je dat naar één getal voor je voorspelling?
De onderzoekers hebben verschillende manieren bedacht:

• De Totaalsom: Tel alle positieve en negatieve gevoelens bij elkaar op.
• De Uitersten: Kijk naar het meest optimistische en het meest pessimistische artikel van de dag.
• De Meerderheid: Wat zegt de meeste mensen?

Ze ontdekten dat het belangrijk is om niet alleen naar één ding te kijken, maar een mix van al deze signalen te gebruiken.

4. De Voorspellers: Wie wint er?

Nu hadden ze de "gevoelens" (de nieuwsdata) en moesten ze die koppelen aan de "cijfers" (de beurskoersen). Ze gebruikten vier verschillende soorten voorspellers (modellen):

1. LSTM: Een klassieke, betrouwbare voorspeller die goed is in het onthouden van patronen in de tijd.
2. PatchTST & TimesNet: De nieuwste, zeer geavanceerde modellen die patronen kunnen zien die andere modellen missen (zoals een detective die subtiele hints ziet).
3. tPatchGNN: Een model dat kijkt naar de relatie tussen verschillende bedrijven (als Apple zakt, wat doet dat met Microsoft?).

De Grote Vraag: Helpt het nieuws de voorspellers?

• Voor de klassieke voorspellers (LSTM): Ja, het nieuws helpt een beetje. Het is alsof je een voorspeller een extra tip geeft; hij maakt minder fouten.
• Voor de moderne modellen (PatchTST en TimesNet): Ja, en dat helpt enorm! Deze modellen zijn als een sportauto die een extra tankje benzine (het nieuws) nodig heeft om zijn maximale snelheid te halen. Zonder nieuws rijden ze prima, maar met nieuws worden ze veel sneller en nauwkeuriger.

5. De "Super-Team" Strategie (Ensemble)

Wat als je de drie AI-vertalers niet alleen laat werken, maar ze samen in een team zet?
Stel je voor dat je drie experts hebt. Als ze het niet eens zijn, stemmen ze. De onderzoekers hebben een "rechter" (een SVM-model) ingezet die kijkt naar wat de drie anderen zeggen en daar een eindoordeel over velt.
Het resultaat: Dit team was nog slimmer! Ze haalden een nauwkeurigheid van ongeveer 80%. Het is alsof je drie slimme vrienden vraagt om een raadsel op te lossen; samen vinden ze het antwoord sneller en beter dan alleen.

Conclusie in het Kort

Dit onderzoek laat zien dat:

1. Nieuws telt: Het lezen van de gevoelstemming in nieuwsartikelen helpt echt bij het voorspellen van de beurs, vooral voor de nieuwste en slimste computermodellen.
2. Samenwerking werkt: Het beste resultaat haal je niet met één slimme AI, maar door meerdere slimme AI's samen te laten werken als een team.
3. De winnaar: De "algemene" AI (DeBERTa) was verrassend goed in het lezen van financiële nieuws, zelfs beter dan de gespecialiseerde versie.

Kortom: Als je wilt weten waar de beurs naartoe gaat, kijk dan niet alleen naar de cijfers, maar lees ook wat er in de krant staat – en laat een team van slimme computers die krant voor je analyseren!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "IMPACT OF LLMS NEWS SENTIMENT ANALYSIS ON STOCK PRICE MOVEMENT PREDICTION", geschreven in het Nederlands.

Probleemstelling

Voorspelling van aandelenkoersen is een complex onderzoeksonderwerp vanwege de sterke fluctuaties veroorzaakt door economische, technische en politieke factoren. Hoewel eerder onderzoek heeft aangetoond dat nieuwsgevoelens (sentiment) correleren met koersbewegingen, ontbreekt er nog steeds een diepgaand begrip van de specifieke voordelen van nieuws-sentiment voor deze taak. Bestaande werken hebben vaak de volgende beperkingen:

1. Ze onderzoeken meestal slechts één LLM (Large Language Model) onafhankelijk zonder vergelijking op dezelfde datasets.
2. Er is een gebrek aan studies die verschillende representaties van sentiment-output (bijv. kansscores vs. discrete labels) en aggregatiemethoden voor dagelijkse data vergelijken.
3. De fusie van sentiment-outputs met tijdreeksdata (time-series) is onderzocht, vooral in combinatie met state-of-the-art architecturen zoals patch-based transformers en temporele grafische neurale netwerken.

Methodologie

De auteurs hebben een uitgebreide evaluatiestudie opgezet om de impact van LLM-based sentimentanalyse op aandelenvoorspelling te meten.

1. Sentimentanalyse Modellen:
Er werden drie basis-LLMs vergeleken voor financiële sentimentclassificatie:

• FinBERT: Een op BERT gebaseerd model, specifiek fijngefineerd op financiële corpora.
• RoBERTa: Een geoptimaliseerde, algemene versie van BERT.
• DeBERTa: Een geavanceerde architectuur die beter presteert op contextuele taken.
  Daarnaast werden drie ensemble-modellen getraind (Logistic Regression, Random Forest, SVM) die de outputs van deze drie LLMs combineren om de voorspellingskracht te verhogen. De modellen werden getest op de SEntFiN dataset.

2. Aandelenvoorspellingsmethoden (Downstream Tasks):
Voor de voorspelling van koersbewegingen werden vier verschillende tijdreeksarchitecturen gebruikt:

• LSTM: Een baseline voor sequentiële modellering.
• PatchTST: Een transformer-architectuur die "patching" gebruikt voor temporele segmentatie.
• TimesNet: Een transformer die temporele variatie in een tweedimensionale ruimte modelleert.
• tPatchGNN: Een hybride model dat temporele patching combineert met grafische neurale netwerken (GNN) om zowel temporele dynamiek als relaties tussen activa te vangen.

3. Data en Aggregatie:

• Datasets: Data van vijf grote bedrijven (MSFT, AMZN, AAPL, NFLX, TSLA) van maart 2022 tot april 2025, gehaald van Yahoo Finance en AlphaVantage (96.000+ nieuwsberichten).
• Aggregatie: Omdat meerdere nieuwsberichten per dag kunnen vallen, werden deze geaggregeerd tot dagelijkse features: som van sentiment-scores, minimum/maximum scores, en meerderheidsstemming (majority vote).
• Taken: De studie omvatte zowel een regressie-taak (voorspellen van de prijsfactor) als een classificatie-taak (voorspellen van stijgende of dalende trends).

4. Experimenteel Opzet:
De data werd temporair gesplitst (70% train, 10% validatie, 20% test) om "look-ahead bias" te voorkomen. De modellen werden 10 keer getraind met verschillende random seeds. Er werd gecontroleerd op data-lekage door nieuws dat gebruikt was voor het trainen van de LLMs uit de dataset te verwijderen.

Belangrijkste Resultaten

1. Prestaties van Sentimentmodellen:

• DeBERTa bleek de beste presterende individuele LLM met een nauwkeurigheid van 75,2%, gevolgd door FinBERT (69,6%) en RoBERTa (58,9%).
• De Venn-diagrammen toonden aan dat de modellen verschillende nieuwsberichten correct voorspellen (complementariteit).
• Ensemble-modellen presteerden beter dan individuele modellen. Een SVM-ensemble bereikte een gemiddelde nauwkeurigheid van ongeveer 79,1% (F1-score 79,3%), wat aantoont dat het combineren van modellen de prestaties significant verbetert.

2. Impact op Aandelenclassificatie (Trendvoorspelling):

• Sentimentfeatures verbeterden de prestaties van bepaalde modellen, maar niet voor alle architecturen even sterk.
• LSTM en PatchTST profijten het meest van sentimentdata. Bijvoorbeeld, bij LSTM met FinBERT steeg de AUC van 0,545 (zonder sentiment) naar 0,562.
• TimesNET en tPatchGNN lieten minder duidelijke verbeteringen zien in de classificatietaken; bij tPatchGNN waren de resultaten zelfs lager dan de baseline in sommige gevallen.
• De beste resultaten voor classificatie werden behaald met LSTM gecombineerd met SVM-ensemble features.

3. Impact op Aandelenregressie (Prijsvoorspelling):

• Hier waren de resultaten heterogener.
• PatchTST en TimesNET lieten aanzienlijke verbeteringen zien in regressie-taken (verlaging van MAE en RSE) wanneer sentimentfeatures werden toegevoegd. Bij TimesNET daalde de MAE van 0,483 naar 0,254 (met RoBERTa).
• LSTM en tPatchGNN toonden juist een minimale gevoeligheid voor sentiment; deze modellen presteerden soms zelfs iets beter zonder sentimentfeatures.

4. Aggregatiemethoden:

• Ablatiestudies op LSTM toonden aan dat het verwijderen van de "count" (aantal nieuwsberichten per label) en "sum" (som van scores) features de prestaties significant verlaagde. De "majority vote" feature had daarentegen een minimaal effect op de prestaties.

Belangrijkste Bijdragen

1. Uitgebreide Vergelijking: Eerste studie die drie verschillende LLM-architecturen (DeBERTa, RoBERTa, FinBERT) en hun ensemble-combinaties systematisch vergelijkt voor financiële sentimentanalyse op dezelfde dataset.
2. Architectuur-Integratie: Evaluatie van de impact van sentiment op een breed scala aan state-of-the-art tijdreeksmodellen (PatchTST, TimesNet, tPatchGNN), wat eerder onderzoek vaak miste.
3. Aggregatie-analyse: Gedetailleerd inzicht in welke methoden voor het samenvoegen van dagelijkse nieuwsberichten (som, min/max, meerderheid) het meest waardevol zijn voor voorspellingsmodellen.
4. Reproduceerbaarheid: De auteurs hebben hun volledige codebase en setup-instructies openbaar gemaakt om toekomstig onderzoek te faciliteren.

Significantie en Conclusie

De studie concludeert dat sentimentanalyse een waardevolle aanvulling is op traditionele financiële tijdreeksmodellen, maar dat de impact sterk afhankelijk is van de gekozen architectuur.

• DeBERTa is de superieure keuze voor de sentimentclassificatie zelf.
• Het gebruik van ensemble-modellen (zoals SVM) voor het combineren van sentiment-outputs levert de meest betrouwbare sentimentvoorspellingen op.
• Voor stock price prediction zijn sentimentfeatures vooral nuttig voor transformer-gebaseerde regressiemodellen (PatchTST, TimesNet) en klassieke LSTM-classificatoren.
• De resultaten suggereren dat er geen "one-size-fits-all" oplossing is; de keuze voor het sentimentmodel en de integratiestrategie moet afgestemd worden op het specifieke voorspellingsmodel en de taak (regressie vs. classificatie).

Dit werk biedt een fundament voor toekomstige financiële AI-systemen die nieuws en marktdata effectiever kunnen fusioneren voor robuustere investeringsstrategieën.