Detecting Lookahead Bias in LLM Forecasts

Technische Zusammenfassung: Detektion von Lookahead-Bias in LLM-Prognosen

Problemstellung
Große Sprachmodelle (LLMs) werden zunehmend in der empirischen Wirtschafts- und Finanzwissenschaft eingesetzt, um firmenbezogene Prognosen aus unstrukturiertem Text zu generieren, wie etwa Nachrichtenüberschriften und Transkripte von Telefonkonferenzen zu Quartalszahlen. Diese Modelle zeigen oft eine Vorhersagekraft für realisierte Ergebnisse (z. B. Aktienrenditen, Investitionsausgaben) vergleichbar mit oder sogar übertreffend gegenüber traditionellen ökonometrischen Benchmarks. Ein kritisches Bedenken besteht jedoch darin, dass diese Vorhersagefähigkeit nicht auf echtem ökonomischem Denken über den Eingabetext beruhen muss, sondern vielmehr auf dem „Gedächtnis“ des Modells bezüglich realisierter Ergebnisse, die während des Pretrainings aufgenommen wurden. Wenn ein Modell auf Daten innerhalb seines Trainingskorpus evaluiert wird, kann das realisierte Ergebnis für ein spezifisches Firmen-Datum-Paar zusammen mit retrospektiven Narrativen absorbiert worden sein, was einen „Lookahead-Bias“ (Vorausschau-Fehler) erzeugt, bei dem das Modell effektiv die Antwort abruft, anstatt durch den Prompt zu schlussfolgern. Bestehende Minderungsstrategien, wie etwa das Maskieren von Entitäten oder die Beschränkung der Evaluation auf Daten nach dem Trainings-Cutoff, sind entweder nur teilweise wirksam (da subtile Mechanismen der Memorierung bestehen bleiben) oder statistisch einschränkend (aufgrund kurzer Out-of-Sample-Zeitfenster). Es mangelt an einem portablen Diagnosewerkzeug, um zu bestimmen, ob eine LLM-Prognose auf Memorierung oder auf logischer Schlussfolgerung basiert.

Methodik
Die Autoren schlagen ein statistisches Verfahren vor, das auf einer Metrik namens Lookahead Propensity (LAP) basiert, bezeichnet als $LAP^{(known)}_{i,t+1}$.

1. Konstruktion von LAP:

   • Die Methode nutzt eine „Date-only Recall Query“ (Abfrage zur Datums-Erinnerung), die nur den Namen der Firma, das Ticker-Symbol und das Zieldatum (oder Quartal) enthält, ohne kontextuelle Informationen (keine Schlagzeilen, Transkripte oder Fundamentaldaten).
   • Das Modell wird aufgefordert, die Richtung des Ergebnisses vorherzusagen (z. B. „up“ oder „down“) oder zu verzichten („unknown“).
   • $LAP^{(known)}$ wird als Summe der First-Token-Wahrscheinlichkeiten der Richtungs-Labels berechnet: $P_{up} + P_{down}$.
   • Ein Wert nahe 1 bedeutet, dass das Modell das Ergebnis „kennt“ (hohe Memorierung), während ein Wert nahe 0 eine Verweigerung anzeigt (kein Abruf).

2. Ökonometrischer Rahmen:

   • Die Autoren modellieren die LLM-Prognose ($\hat{\mu}_t$) als Summe eines wahren bedingten Erwartungswerts und eines Kontaminationsterms: $\hat{\mu}_t = \mu(X_t) + \gamma L_t \epsilon_{t+1}$.
   • Hierbei repräsentiert $L_t$ die Stärke der firmenspezifischen Memorierung pro Zeitraum (proxied durch $LAP^{(known)}$) und $\gamma$ die Neigung des Modells, memorierte Inhalte in textkonditionierte Prognosen einfließen zu lassen.
   • Der Detektionstest umfasst eine Genauigkeitsregression des realisierten Ergebnisses ($Y_{t+1}$) auf die LLM-Prognose ($\hat{\mu}_t$), das LAP-Maß und deren Interaktion:
     $$Y_{t+1} = \beta_1 \hat{\mu}_t + \beta_2 LAP_t + \beta_3 (\hat{\mu}_t \times LAP_t) + \epsilon_{t+1}$$
   • Proposition 1: Unter milden Bedingungen dient ein positiver und signifikanter Interaktionskoeffizient ($\beta_3 > 0$) als einseitiges Diagnoseinstrument für $\gamma > 0$, was darauf hindeutet, dass die Vorhersagekraft des Modells durch memorierte Inhalte verstärkt wird.

3. Validierung und Placebo:

   • Validierung: Die Richtungskomponente der Recall-Abfrage ($(U-D) = P_{up} - P_{down}$) wird gegen die realisierten Ergebnisse getestet. Eine Vorhersagekraft hier bestätigt die Existenz von Memorierung ($L_t > 0$).
   • Placebo: Der Test wird auf einer Stichprobe angewendet, die nach dem Trainings-Cutoff liegt (Daten streng nach dem Wissensstand des Modells). In diesem Fenster sollte $LAP^{(known)}$ gegen Null konvergieren und der Interaktionsterm insignifikant werden, was bestätigt, dass die In-Sample-Verstärkung durch die Exposition während der Trainingszeit getrieben wurde.

Wesentliche empirische Ergebnisse
Die Autoren wenden diesen Rahmen auf zwei Prognoseaufgaben unter Verwendung von Llama-3.3-70B (Trainings-Cutoff: Dezember 2023) an:

1. Aktiennachrichten zur Vorhersage von Renditen:

   • Verwendung von Bloomberg-Schlagzeilen zur Vorhersage der eintägigen Aktienrendite (In-Sample: 2012–2023).
   • Das Basis-LLM-Signal sagt Renditen voraus ($t=12.18$).
   • Der Interaktionsterm ($LLM \times LAP$) ist positiv und hochsignifikant ($t=3.64$). Eine Erhöhung von $LAP^{(known)}$ um eine Standardabweichung steigert den marginalen Effekt des LLM-Signals um etwa 32 %.
   • Die Recall-Abfrage allein (ohsten ohne Schlagzeilen) sagt Renditen mit einem $t$-Statistik von 3,53 voraus, jedoch nur für Firmentage mit hohem $LAP^{(known)}$.
   • Out-of-Sample (2024): Der Mittelwert von $LAP^{(known)}$ sinkt auf nahezu Null, und der Interaktionsterm wird statistisch insignifikant ($t=1.06$), was die Hypothese des Lookahead-Bias validiert.

2. Earnings Calls zur Vorhersage von Investitionsausgaben (Capex):

   • Verwendung von Transkripten zur Vorhersage der Investitionsausgaben zwei Quartale im Voraus (In-Sample: 2006–2020).
   • Das Basis-LLM-Signal sagt zukünftige Capex voraus ($t=16.69$).
   • Der Interaktionsterm ist positiv und signifikant ($t=2.01$). Eine Erhöhung von $LAP^{(known)}$ um eine Standardabweichung steigert den marginalen Effekt um etwa 12 %.
   • Out-of-Sample (2023Q3–2024Q1): Der Interaktionsterm verliert an Signifikanz ($t=1.35$), und der Verstärkungseffekt verschwindet, da die Recall-Daten streng nach dem Trainings-Cutoff liegen.

3. Vergleich mit „Inner Confidence“:

   • Die Autoren testen das $LAP$-Maß gegen die „Inner Confidence“ (die Wahrscheinlichkeit des Modells für seine gewählte Antwort im Hauptprompt).
   • Beide Interaktionsterme ($LLM \times LAP$ und $LLM \times Inner Confidence$) bleiben signifikant, wenn sie gemeinsam inkludiert werden, was zeigt, dass sie unterschiedliche Komponenten der Prognoseleistung erfassen: $LAP$ erfasst die Memorierung, während die „Inner Confidence“ die Gewissheit des Modells in seiner Argumentation misst.

Bedeutung und Ansprüche
Das Paper behauptet, ein portables, kosteneffizientes und modellbasiertes Diagnosewerkzeug zur Bewertung der Validität von LLM-generierten Prognosen bereitzustellen.

• Diagnostischer Nutzen: Es ermöglicht Forschern zu quantifizieren, wie viel der scheinbaren Vorhersagekraft eines LLMs auf Memorierung versus logischer Schlussfolgerung beruht, ohne ein Retraining, Zugriff auf proprietäre Trainingsdaten oder die Konstruktion von „leak-freien“ Modellen zu benötigen.
• Aufgabenspezifische Natur: Die Autoren betonen, dass Lookahead-Bias kein universelles Versagen von LLMs ist, sondern aufgabenspezifisch ist – abhängig vom Eingabebereich, der Zielvariable, dem Modell und dem Prompt.
• Praktische Anwendung: Der Test erfordert lediglich die Fähigkeit, ein Modell abzufragen und die First-Token-Label-Wahrscheinlichkeiten zu lesen. Er ermöglicht es Forschern, Memorierungseffekte „herauszurechnen“, um den wahren ökonomischen Gehalt einer Prognose zu bestimmen.
• Limitierungen: Der Test identifiziert das Vorzeichen der Kontaminationsbelastung ($\gamma > 0$) statt ihrer präzisen Größenordnung. Er legt nicht nahe, LLM-Prognosen zu verwerfen, sondern bietet ein Werkzeug, um deren Zuverlässigkeit in spezifischen Kontexten zu interpretieren.

Das Paper kommt zu dem Schluss, dass ein nicht unerheblicher Teil des prädiktiven Inhalts in LLM-basierten Finanzprognosen auf die Memorierung während der Trainingszeit zurückzuführen ist, und dass der vorgeschlagene $LAP^{(known)}$-Test eine rigorose Methode zur Detektion und Berücksichtigung dieses Bias bietet.