Sentiment-Aware Stock Price Prediction with Transformer and LLM-Generated Formulaic Alpha

Diese Arbeit stellt ein neuartiges Framework vor, das einen Large Language Model (LLM) zur automatisierten Generierung interpretierbarer, sentimentbewusster Formel-Alphas nutzt, welche als hochwertige Merkmale in Transformer-Modelle eingespeist werden, um die Vorhersagegenauigkeit von Aktienkursen signifikant zu steigern.

Das Wesentliche

Stell dir vor, der Aktienmarkt ist ein riesiges, lautes Orchester. Jeder Musiker (die verschiedenen Firmen) spielt seine eigene Melodie, aber sie hören auch aufeinander. Wenn der Geiger (eine Tech-Firma) laut spielt, könnte das den Cellisten (eine Bank) beeinflussen, auch wenn sie unterschiedliche Instrumente haben.

Traditionell versuchen Händler, diese Musik vorherzusagen, indem sie stundenlang Notenblätter (Daten) studieren und versuchen, eine Formel zu finden, die sagt: „Wenn die Geige heute so klingt, wird die Cello-Melodie morgen so sein." Das nennt man „Alpha-Faktoren". Das Problem: Diese Formeln werden schnell alt und nutzlos, weil sich die Musik ständig ändert.

Diese neue Studie von Chen und Kawashima schlägt einen völlig neuen Weg vor. Sie nutzen einen KI-Assistenten (ein großes Sprachmodell, LLM), der wie ein super-intelligenter, kreativer Komponist funktioniert.

Hier ist die Erklärung, wie das Ganze funktioniert, ganz einfach erklärt:

1. Der KI-Komponist (Das Sprachmodell)

Statt dass ein Mensch mühsam Formeln bastelt, geben die Forscher dem KI-Modell eine Liste mit Zutaten:

• Die Noten: Die aktuellen Aktienkurse (Hoch, Tief, Schlusskurs).
• Die Technik: Bekannte Messinstrumente wie Durchschnitte oder Schwankungen.
• Die Stimmung: Wie fühlen sich die Leute über die Firma? Und noch wichtiger: Wie fühlen sie sich über die Freunde und Feinde der Firma?

Die KI liest diese Daten und denkt sich dann neue, kreative Formeln aus.

• Ein Beispiel: Die KI könnte sagen: „Wenn Toyota (Auto) gute Nachrichten hat, aber BYD (ein Rivale) schlechte, und gleichzeitig die Stimmung bei Apple (der Lieferant) steigt, dann ist das ein Zeichen für einen steigenden Kurs."
• Das Besondere: Die KI erklärt uns auch, warum sie diese Formel gewählt hat. Es ist kein schwarzes Kasten-Geheimnis mehr, sondern ein verständlicher Gedankengang.

2. Der Dirigent (Das Transformer-Modell)

Die von der KI erdachten Formeln sind wie neue, spannende Notenblätter. Diese werden nun einem Transformer-Modell gegeben.

• Stell dir das Transformer-Modell als einen genialen Dirigenten vor. Er nimmt diese neuen Notenblätter und schaut sich an, wie die Musik in der Vergangenheit verlief.
• Dank seiner Fähigkeit, lange Zusammenhänge zu erkennen (wie eine Melodie, die sich über Stunden erstreckt), kann er viel besser vorhersagen, wie die Musik morgen klingen wird, als alte Methoden.

3. Der Clou: Die „Verwandten" der Firma

Ein wichtiger Teil der Studie ist die Idee der „verwandten Firmen".

• Wenn über Toyota berichtet wird, tauchen oft auch Namen wie Honda, BMW oder sogar Apple auf (als Lieferant).
• Die Forscher haben eine KI genutzt, um aus Tausenden von Nachrichten automatisch herauszufinden: „Wer wird oft zusammen mit Toyota erwähnt?"
• Diese KI hat dann Formeln erstellt, die nicht nur auf Toyota schauen, sondern auch auf die Stimmung bei diesen „Verwandten". Es ist, als würde man nicht nur auf den Solisten hören, sondern auf das ganze Orchester, um zu wissen, wohin die Reise geht.

Was haben sie herausgefunden?

Die Forscher haben ihre Methode mit vielen anderen getestet (von einfachen Computerprogrammen bis zu anderen KI-Modellen).

• Das Ergebnis: Die Kombination aus der KI, die die Formeln erfindet, und dem Transformer, der die Vorhersage trifft, war am besten.
• Sie waren genauer als alle anderen Methoden.
• Besonders wichtig: Die Vorhersagen waren stabiler. Das bedeutet, die KI macht nicht nur zufällig gute Vorhersagen, sondern versteht wirklich die Muster.

Warum ist das so toll?

Bisher mussten Händler stundenlang raten, welche Formeln funktionieren. Jetzt kann eine KI in Sekunden Tausende von Ideen generieren, die auf der aktuellen Stimmung und den Beziehungen zwischen Firmen basieren.

• Gegen das „Veralten": Da die KI ständig neue Formeln basierend auf den neuesten Nachrichten erfindet, werden die Vorhersagen nicht so schnell alt und nutzlos wie die alten menschlichen Formeln.
• Verständlichkeit: Man kann der KI fragen: „Warum hast du diese Formel gewählt?" und sie antwortet in menschlicher Sprache. Das macht die Entscheidung transparenter.

Zusammengefasst: Die Forscher haben einen „KI-Dirigenten" gebaut, der von einem „KI-Komponisten" neue Notenblätter bekommt, die auf der Stimmung der ganzen Musikwelt basieren. Zusammen können sie die Zukunft der Aktienmusik viel besser vorhersagen als jeder einzelne Mensch allein.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Sentiment-Aware Stock Price Prediction with Transformer and LLM-Generated Formulaic Alpha" auf Deutsch:

1. Problemstellung

Die Vorhersage von Aktienkursen ist eine komplexe Herausforderung, da Finanzmärkte von fundamentalen Daten, technischen Mustern, Sentiment und externen Ereignissen beeinflusst werden. Traditionelle quantitative Analysten und Händler entwickeln manuell „formelbasierte Alphas" (mathematische Ausdrücke, die Muster in Finanzdaten identifizieren), um Alpha-Verfall (Alpha Decay) zu bekämpfen. Dieser manuelle Prozess ist jedoch zeitaufwendig, schwer zu skalieren und durch die menschliche Kreativität begrenzt. Zudem neigen traditionelle Modelle (wie Regression oder Bäume) dazu, die nicht-linearen Beziehungen in Finanzzeitreihen schlecht zu erfassen, während reine Deep-Learning-Modelle oft mit verrauschten Rohdaten kämpfen.

Das zentrale Problem, das diese Arbeit adressiert, ist die Automatisierung der Generierung neuer, adaptiver Alpha-Faktoren unter Nutzung von Large Language Models (LLMs), um die Vorhersagegenauigkeit zu steigern und die Interpretierbarkeit der Modelle zu erhöhen.

2. Methodik

Das vorgeschlagene Framework integriert drei Hauptkomponenten: Sentiment-Analyse, LLM-generierte Formel-Alphas und ein Transformer-Modell zur Zeitreihenvorhersage.

A. Datengrundlage und Sentiment-Erfassung

• Aktiendaten: Es wurden Daten von fünf Unternehmen (Apple, HSBC, Pepsi, Toyota, Tencent) vom 1. Mai 2016 bis 8. Mai 2024 verwendet (Open, High, Low, Close, Volume).
• Technische Indikatoren: Berechnet mit pandas-ta (z. B. SMA, EMA, RSI, MACD, Bollinger Bands, OBV).
• Sentiment-Daten: Tägliches Nachrichten-Sentiment für die Zielunternehmen und deren „verbundene Unternehmen" (Related Companies).
  • Verbundene Unternehmen: Werden basierend auf der Ko-Erscheinungshäufigkeit in Nachrichtenartikeln mittels Named Entity Recognition (NER) mit spaCy identifiziert (z. B. Lieferanten, Wettbewerber, Partner).
  • Sentiment-Berechnung: Nutzung von VADER zur Ermittlung von Polaritätswerten.

B. LLM-generierte Formel-Alphas

Anstatt Rohdaten direkt zu verwenden, generiert ein LLM (DeepSeek-R1-Distill-LLaMA-70B) strukturierte, interpretierbare Formeln.

• Prompting: Ein strukturierter Prompt instruiert das LLM, 5 verschiedene Alpha-Formeln pro Unternehmen zu erstellen, die technische Indikatoren, Aktienmerkmale und Sentiment-Differenzen (Zielunternehmen vs. verbundene Unternehmen) kombinieren.
• Beispiel: Ein Alpha könnte die Momentum-Indikatoren mit dem Sentiment-Differenz zwischen einem Wettbewerber und dem Zielunternehmen verknüpfen (z. B. Momentum_3 + Amazon_polarity - Pepsi_polarity).
• Verarbeitung: Die generierten Formeln werden in numerische Werte umgewandelt, normalisiert (MinMax-Skalierung) und als zusätzliche Features in das Vorhersagemodell eingespeist.

C. Vorhersagemodell (Transformer)

Die Features (inklusive der LLM-Alphas) werden in einen Vanilla-Transformer (Encoder-Decoder-Architektur) eingespeist, um den Schlusskurs des nächsten Tages vorherzusagen.

• Encoder: Verarbeitet die 5 Alpha-Formeln über einen 5-Tage-Fenster mittels 1D-Convolutional Embedding und temporaler Embeddings.
• Decoder: Verarbeitet historische Schlusskurse und nutzt die Encoder-Ausgaben zur Vorhersage.
• Training: Minimierung des Mean Squared Error (MSE) mit dem Adam-Optimierer.

D. Vergleichsmodelle

Zur Evaluation wurden folgende Modelle herangezogen: LSTM, TCN, SVR, Random Forest, XGBoost und Informer.

3. Wichtige Beiträge

1. Automatisierte Alpha-Generierung: Einführung eines Frameworks, das LLMs nutzt, um adaptive, interpretierbare Alpha-Faktoren zu generieren, die Alpha-Verfall entgegenwirken.
2. Sentiment-Awareness über Unternehmensgrenzen hinweg: Einbeziehung des Sentiments von verbundenen Unternehmen (nicht nur des Zielunternehmens) als Input für die Alpha-Formeln, was neue makroökonomische oder verhaltensbezogene Zusammenhänge aufdeckt.
3. Interpretierbarkeit: Im Gegensatz zu „Black-Box"-Features in neuronalen Netzen sind die LLM-generierten Alphas als mathematische Formeln mit natürlichsprachlicher Begründung (Reasoning) verfügbar, was die Entscheidungsfindung transparenter macht.
4. Umfassende Evaluation: Statistische Signifikanztests (Diebold-Mariano-Test) und Varianzzerlegung, um die Robustheit der Ergebnisse gegenüber Trainings-Zufälligkeiten zu belegen.

4. Ergebnisse

Die experimentellen Ergebnisse basieren auf dem MSE (Mean Squared Error) und dem Diebold-Mariano-Test:

• Überlegene Leistung des Transformers: Der Transformer-Modell mit LLM-generierten Alphas erzielte konsistent die niedrigsten MSE-Werte über alle fünf Unternehmen hinweg, gefolgt vom Informer-Modell.
• Statistische Signifikanz: Der Diebold-Mariano-Test bestätigte, dass der Transformer signifikant besser ist als LSTM, TCN, SVR und Ensemble-Methoden (p < 0,01). Der Unterschied zu Informer war statistisch nicht signifikant, was auf die Stärke von Attention-Mechanismen hindeutet.
• Einfluss von Sentiment: Der Vergleich von Modellen mit und ohne Sentiment-Daten zeigte, dass die Integration von Sentiment (sowohl Ziel- als auch verbundene Unternehmen) die Vorhersagegenauigkeit (niedrigerer MSE) und die Stabilität (geringere Standardabweichung über 10 Läufe) signifikant verbessert.
• Vergleich der Alpha-Quellen:
  • LLM-generierte Alphas: Erzielten die besten Ergebnisse.
  • Featuretools-generierte Alphas: Zeigten mittlere Leistung, waren jedoch schwerer zu interpretieren und oft redundant.
  • Menschlich definierte Alphas (101 Formulaic Alphas): Erzielten die schlechtesten Ergebnisse, was die Notwendigkeit dynamischer, datengetriebener Anpassungen gegenüber statischen, manuellen Formeln unterstreicht.
• Vorhersage vs. Return: Interessanterweise zeigten die LLM-Alphas eine schwache Korrelation (niedriger Information Coefficient) bei der Vorhersage von Renditen, aber eine starke Leistung bei der Vorhersage von Preisen. Dies deutet darauf hin, dass LLMs besser darin sind, absolute Preisbewegungen aus großen Datenmengen zu lernen, als relative Renditeänderungen zu modellieren.

5. Bedeutung und Fazit

Diese Studie demonstriert erfolgreich, dass Large Language Models nicht nur als Textgeneratoren, sondern als leistungsfähige Werkzeuge für das Feature Engineering im quantitativen Finanzwesen eingesetzt werden können.

• Praktische Relevanz: Das Framework bietet eine skalierbare Lösung gegen Alpha-Verfall, indem es kontinuierlich neue, datengetriebene Signale generiert.
• Transparenz: Die Fähigkeit des LLMs, die Logik hinter den Alphas zu erklären, erhöht das Vertrauen in KI-gestützte Handelsentscheidungen.
• Zukunftsausblick: Obwohl die Studie auf fünf Unternehmen beschränkt ist, legt sie den Grundstein für die Integration von LLMs in robuste, sentimentbewusste Vorhersagesysteme, die über reine technische Indikatoren hinausgehen.

Zusammenfassend zeigt das Paper, dass die Kombination aus LLM-generierten, sentimentbewussten Features und Transformer-Architekturen einen neuen State-of-the-Art für die Aktienkursvorhersage darstellt, der sowohl in der Genauigkeit als auch in der Interpretierbarkeit traditionelle Ansätze übertrifft.