Impact of LLMs news Sentiment Analysis on Stock Price Movement Prediction

Diese Studie zeigt, dass die Kombination von LLM-basierten Nachrichten-Sentiment-Analysen (insbesondere mit DeBERTa und einem Ensemble-Modell) die Vorhersagegenauigkeit von Aktienkursbewegungen signifikant verbessert und verschiedene Klassifikations- sowie Regressionsmodelle unterstützt.

Das Wesentliche

Titel: Wie KI aus Nachrichten die Zukunft der Aktienmärkte „errät"

Stellen Sie sich den Aktienmarkt nicht als trockene Zahlenreihe vor, sondern als ein riesiges, nervöses Tier. Dieses Tier reagiert auf alles: auf politische Entscheidungen, auf technische Daten und vor allem auf Stimmung. Wenn die Leute Angst haben, fällt das Tier; wenn sie euphorisch sind, steigt es.

Die Forscher Walid Siala, Ahmed Khanfir und Mike Papadakis haben sich gefragt: Können wir diese Stimmung mit moderner KI (genannt „Large Language Models" oder LLMs) besser messen und damit vorhersagen, wohin das Tier springt?

Hier ist die Geschichte ihrer Entdeckungen, einfach erklärt:

1. Die Detektive im Nachrichten-Dschungel

Stellen Sie sich vor, Sie müssen jeden Tag Tausende von Zeitungsartikeln lesen, um zu verstehen, ob die Stimmung für eine Firma (wie Apple oder Tesla) gut oder schlecht ist. Kein Mensch schafft das. Also haben die Forscher drei verschiedene „KI-Detektive" eingesetzt:

• FinBERT: Ein Spezialist, der nur Finanznachrichten gelernt hat.
• RoBERTa: Ein Allrounder, der viel gelesen hat.
• DeBERTa: Ein neuerer, sehr cleverer Detektiv.

Das Ergebnis: Der neue Detektiv DeBERTa war der Beste. Er konnte die Stimmung in den Nachrichten zu über 75 % richtig erkennen. Aber die anderen beiden waren auch nicht schlecht.

Die große Erkenntnis: Jeder Detektiv hat seine eigenen Stärken. Manchmal sieht der eine einen Fehler, den der andere übersieht. Wenn man alle drei zusammenarbeiten lässt (ein sogenanntes „Ensemble"), entsteht ein Super-Team, das zu 80 % richtig liegt. Das ist wie ein Gericht, bei dem man drei verschiedene Gewürze mischt, um den perfekten Geschmack zu erzielen.

2. Der Kochtopf: Wie man die Stimmung in den Aktienkurs mixt

Nun hatten die Forscher die Stimmung (die „Gewürze"). Aber wie kocht man daraus einen Vorhersage-Eintopf? Sie haben vier verschiedene „Kochmethoden" (Modelle) getestet, um den zukünftigen Aktienkurs zu berechnen:

• LSTM: Ein Klassiker, der sich an die Vergangenheit erinnert (wie ein guter Chronist).
• PatchTST & TimesNet: Moderne Methoden, die Muster in der Zeit erkennen (wie ein Muster-Detektiv).
• tPatchGNN: Eine komplexe Methode, die Beziehungen zwischen verschiedenen Firmen analysiert.

Die Forscher haben die Nachrichten-Stimmung in diese Modelle gemischt und geschaut: Hilft das?

3. Die Ergebnisse: Nicht jeder Kochtopf braucht Gewürze

Das war das Überraschendste an der Studie:

• Für das „Klassiker-Modell" (LSTM): Die Nachrichten-Stimmung half etwas, aber nicht dramatisch. Es war, als würde man einem erfahrenen Koch eine Prise Salz geben – es wird besser, aber er hätte es auch fast ohne geschafft.
• Für die „modernen Modelle" (PatchTST und TimesNet): Hier war die Wirkung enorm! Wenn man die Nachrichten-Stimmung hinzufügte, wurden diese Modelle deutlich genauer. Es ist, als würde man einem modernen, hochtechnischen Koch nicht nur Salz, sondern auch frische Kräuter geben – das Gericht schmeckt plötzlich viel besser.
• Für die Klassifikation (Steigt oder fällt?): Auch hier halfen die Nachrichten, besonders bei den modernen Modellen, die Richtung besser vorherzusagen.

4. Warum ist das wichtig?

Früher haben Forscher oft nur über die KI gesprochen, die die Nachrichten liest, oder nur über die KI, die die Kurse berechnet. Diese Studie verbindet beide Welten.

Die einfache Botschaft:
Wenn Sie versuchen, die Zukunft der Aktien vorherzusagen, reicht es nicht, nur auf die nackten Zahlen zu schauen. Die Stimmung in den Nachrichten ist wie ein unsichtbarer Wind, der die Segel des Schiffes bewegt.

• Wenn Sie die richtigen KI-Detektive (wie DeBERTa) nutzen, können Sie diesen Wind messen.
• Wenn Sie diese Messung in die richtigen modernen Modelle (wie TimesNet) stecken, können Sie den Kursverlauf viel besser vorhersagen.

Zusammengefasst: Die Studie zeigt, dass eine Kombination aus „KI, die liest" und „KI, die rechnet", besonders wenn man mehrere KI-Modelle zusammenarbeitet, die besten Ergebnisse liefert. Es ist der Beweis dafür, dass im Finanzmarkt nicht nur Zahlen zählen, sondern auch das, was die Menschen fühlen und schreiben.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „IMPACT OF LLMS NEWS SENTIMENT ANALYSIS ON STOCK PRICE MOVEMENT PREDICTION" auf Deutsch:

1. Problemstellung

Die Vorhersage von Aktienkursbewegungen ist aufgrund der komplexen Wechselwirkungen zwischen ökonomischen, technischen und politischen Faktoren eine enorme Herausforderung. Während frühere Arbeiten oft Sentiment-Analyse-Modelle und Vorhersagemethoden für Aktien separat untersuchten, fehlt es an einem tiefgehenden Verständnis darüber, wie sich Nachrichten-Sentiment konkret auf die Vorhersageleistung auswirkt. Zudem gibt es Lücken in der Forschung bezüglich:

• Der direkten Vergleichbarkeit verschiedener Large Language Models (LLMs) auf denselben Finanzdatensätzen.
• Der Untersuchung verschiedener Repräsentationen von Sentiment-Daten (z. B. Wahrscheinlichkeiten vs. diskrete Labels) und deren Aggregation.
• Der Fusion von Sentiment-Daten mit modernen Zeitreihen-Architekturen (wie Patch-basierten Transformern oder Graph Neural Networks).

2. Methodik

Die Autoren führen eine umfassende Evaluierungsstudie durch, die Sentiment-Analyse mit Zeitreihenvorhersage verbindet.

A. Sentiment-Analyse-Modelle (Input-Generierung):

• Basis-LLMs: Es wurden drei Transformer-Architekturen verglichen:
  • FinBERT: Ein domänenspezifisch feinabgestimmtes BERT-Modell für Finanzdaten.
  • RoBERTa & DeBERTa: Generalisierte, optimierte BERT-Varianten.
• Ensemble-Modelle: Auf Basis der Ausgaben der drei LLMs wurden drei Ensemble-Modelle trainiert (Random Forest, Logistic Regression, SVM), um die Vorhersagegenauigkeit zu steigern.
• Datensatz: Die Modelle wurden auf dem SEntFiN 1.0-Datensatz (über 10.700 Nachrichten-Titel mit Sentiment-Labels) evaluiert.

B. Aktienkursvorhersage-Modelle (Downstream Tasks):
Für die eigentliche Vorhersage wurden vier verschiedene Zeitreihen-Architekturen eingesetzt:

• LSTM: Als Baseline für sequenzielle Modellierung.
• PatchTST & TimesNet: Transformer-basierte Architekturen für multivariate Zeitreihen (PatchTST nutzt Patching, TimesNet 2D-Zeitvariation).
• tPatchGNN: Eine Kombination aus temporaler Patching und Graph Neural Networks zur Erfassung von Abhängigkeiten zwischen Vermögenswerten.

C. Daten und Aggregation:

• Zeitraum & Objekte: Tägliches Kurs- und Nachrichtendaten (über 96.000 Nachrichten) für MSFT, AMZN, AAPL, NFLX und TSLA vom 10.03.2022 bis 02.04.2025.
• Sentiment-Features: Da mehrere Nachrichten pro Tag anfallen, wurden diese aggregiert durch: Summe der Scores, Minimum/Maximum, Mehrheitsvotum (Majority Vote) und Zählung der Nachrichten pro Klasse.
• Aufgaben:
  • Klassifikation: Binäre Vorhersage (Kurs steigt oder fällt).
  • Regression: Vorhersage des Preisfaktors (Verhältnis $P_{t+1}/P_t$).

D. Experimentelles Setup:

• Strikte Trennung von Trainings- und Testdaten (70/10/20 Split) zur Vermeidung von Look-Ahead-Bias.
• Verwendung von 10 verschiedenen Random Seeds für Robustheit.
• Vergleich von Modellen mit und ohne Sentiment-Features.

3. Wichtige Ergebnisse

A. Leistung der Sentiment-Modelle:

• DeBERTa schnitt am besten ab mit einer Genauigkeit von 75,2 %, gefolgt von FinBERT (69,6 %) und RoBERTa (58,9 %).
• Ensemble-Lösung: Die Kombination der drei Modelle mittels eines SVM-Ensembles erhöhte die Genauigkeit auf ca. 79,1 %. Dies zeigt, dass die Modelle komplementäre Stärken haben und unterschiedliche Nachrichten korrekt klassifizieren.

B. Einfluss auf die Aktienkursvorhersage (Klassifikation):

• Sentiment-Features führten zu einer leichten Verbesserung bei Klassifikationsaufgaben.
• Die besten Ergebnisse wurden bei LSTM und TimesNet erzielt.
• Bei LSTM erreichte das FinBERT-Feature die höchste AUC (0,562 vs. 0,545 ohne Sentiment).
• Interessanterweise profitierten nicht alle Architekturen gleich stark; tPatchGNN zeigte nur geringe Verbesserungen.

C. Einfluss auf die Aktienkursvorhersage (Regression):

• Hier waren die Effekte deutlicher, insbesondere bei PatchTST und TimesNet.
• PatchTST: Die Integration von Sentiment reduzierte den MAE (Mean Absolute Error) um ca. 0,14–0,18 gegenüber dem Baseline-Modell ohne Sentiment.
• TimesNet: Zeigte die stärksten Gewinne, wobei der MAE um bis zu 0,229 sank und der RSE (Root Squared Error) signifikant verbessert wurde.
• LSTM und tPatchGNN zeigten hingegen kaum Sensitivität gegenüber Sentiment-Features; ihre besten Ergebnisse wurden oft ohne diese erreicht.

D. Aggregationsmethoden:

• Eine Ablationsstudie bei LSTM zeigte, dass die Features „Count" (Anzahl der Nachrichten) und „Sum" (Summe der Scores) entscheidend für die Leistung sind. Das Entfernen des „Majority Vote"-Features hatte hingegen kaum negativen Einfluss.

4. Hauptbeiträge

1. Vergleichsstudie: Systematischer Vergleich von drei führenden LLMs (FinBERT, RoBERTa, DeBERTa) und deren Ensembles für Finanz-Sentiment.
2. Architektur-Integration: Erste umfassende Untersuchung, wie Sentiment-Features mit modernen Zeitreihen-Architekturen (PatchTST, TimesNet, tPatchGNN) fusioniert werden können.
3. Empirische Evidenz: Nachweis, dass Sentiment-Daten die Vorhersagegenauigkeit spezifisch für bestimmte Architekturen (insbesondere Transformer-basierte Regression) verbessern, aber nicht universell für alle Modelle gelten.
4. Reproduzierbarkeit: Bereitstellung des vollständigen Codebases und der Setup-Anleitungen.

5. Bedeutung und Fazit

Die Studie belegt, dass LLM-basierte Sentiment-Analyse ein wertvolles, aber nuanciertes Werkzeug für das quantitative Finance ist.

• DeBERTa erweist sich als überlegenes Modell für die reine Sentiment-Klassifikation im Finanzbereich.
• Die Kombination verschiedener Modelle (Ensemble) maximiert die Informationsgewinnung aus Nachrichten.
• Der größte Nutzen für die Aktienkursvorhersage liegt in der Regression (Preisprognose) bei modernen Transformer-Architekturen (PatchTST, TimesNet).
• Für Klassifikationsaufgaben (Auf/Ab) ist der Gewinn geringer, aber vorhanden.

Das Paper schließt, dass die Fusion von NLP und Zeitreihenanalyse vielversprechend ist, jedoch die Wahl der richtigen Architektur und die Art der Feature-Integration entscheidend für den Erfolg sind. Es wird empfohlen, Sentiment-Features gezielt dort einzusetzen, wo sie nachweislich die Modellleistung steigern, anstatt sie blind in jedes Modell zu integrieren.