💰 quantitative finance

Leakage-Aware Benchmarking of LLM Forecasting: Real-Time Nowcasts as the Decision-Time Input for Macro Factor Ranking

Dieses Paper führt ein Leakage-bewusstes Benchmarking-Framework für Retrieval-Augmented LLMs im Bereich des Equity Factor Rankings ein und zeigt auf, dass, während Echtzeit-Inflations-Nowcasts und makro-ähnliche Retrieval die mediane Performance auf ein mit Nicht-LLM-Baselines vergleichbares Niveau treiben, LLMs einen marginalen Wert bieten, indem sie die mittleren Renditen sowie die Genauigkeit bei extremen Rankings verbessern, welche für die Bildung von Long-Short-Portfolios essenziell sind.

Ursprüngliche Autoren: Mao Guan, Qian Chen

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mao Guan, Qian Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Finanzcoach, der versucht, die sieben besten Sportteams (die verschiedene Anlagestile repräsentieren) auszuwählen, auf die man im kommenden Monat setzen sollte. Sie wollen dabei fair, genau und vor allem nicht betrügen, indem Sie vor dem Spiel auf das Endergebnis schauen.

Dieses Papier handelt davon, einen „Coach“ zu bauen, der ein „smartes Computergehirn“ (ein Large Language Model, oder LLM) nutzt, um diese Vorhersagen zu treffen, jedoch mit einer sehr strengen Regel: Sie dürfen nur Informationen verwenden, die am Tag, an dem Sie die Wette abschließen mussten, tatsächlich verfügbar waren.

Hier ist die Aufschlüsselung dessen, was sie getan haben und was sie herausgefunden haben, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Zeitreisenden-Betrug“

In vielen Finanzstudien schummeln Forscher versehentlich. Sie verwenden zum Beispiel einen Bericht (wie die monatliche Inflationszahl), der als „Januar“ gekennzeichnet ist, aber in Wirklichkeit erst Mitte Februar veröffentlicht wird. Wenn ein Computermodell diesen Januar-Wert nutzt, um im Januar eine Wette abzugegeben, ist das so, als würde ein Zeitreisender auf ein Pferderennen wetten, nachdem er gesehen hat, wer gewonnen hat.

Die Autoren sagen: „Hört auf damit.“ Sie bauten ein System, in dem der Computer strikt daran gehindert wird, etwas zu sehen, das noch nicht passiert ist.

2. Die Lösung: Der „leckagefreie“ Coach

Um das Betrugsproblem zu lösen, schufen sie ein spezielles Trainingsgelände für ihren KI-Coach:

Die Inputs: Anstatt den offiziellen, verspäteten Inflationsbericht zu verwenden, nutzten sie eine „Prognose“ der Inflation, die am Tag der Entscheidung verfügbar war (wie eine tägliche Wetterprognose eines Meteorologen, bevor der offizielle Sturmbericht veröffentlicht wird).
Das Gedächtnis: Die KI blickt in die Vergangenheit, um Monate zu finden, die sich ähnlich wie heute anfühlen (z. B. „Dieser Monat fühlt sich an wie 1990, als die Arbeitslosigkeit stieg“).
Das Team: Sie verwendeten ein zweiteiliges KI-Team:
- Der Kritiker: Eine kluge KI, die sich die historischen „ähnlichen Monate“ ansieht und eine einfache Regel für den Monat aufschreibt (z. B. „Wenn die Inflation niedrig und die Arbeitsplätze knapp sind, setze auf Team A“).
- Der Akteur: Eine weitere KI, die die heutigen Daten, die „Regel des Kritikers“ und aktuelle Nachrichten-Zusammenfassungen nimmt, um die endgültigen Ergebnisse für die sieben Teams festzulegen.

3. Das Experiment: Der 36-Monate-Test

Sie ließen diesen Coach durch einen 3-jährigen Test (36 Monate) von 2023 bis 2026 laufen. Jeden Monat musste der Coach die sieben Teams von der besten zur schlechtesten Platzierung ordnen.

Die Ergebnisse:

Hat es funktioniert? Ja, aber nicht perfekt. Der Coach brachte die Platzierungen häufiger richtig als ein Zufallstreffer. Wenn man sich die „mittlere“ Leistung (den Median) ansieht, war der Coach ziemlich gut.
War es Magie? Nicht wirklich. Wenn sie den ausgeklügelten KI-Coach mit einer viel einfacheren, nicht-KI-basierten Methode verglichen (einem einfachen mathematischen Modell, das nur auf ähnliche vergangene Monate blickte), kam das einfache Modell bei der richtigen Platzierung der „mittleren“ Werte fast genauso gut zurecht.
Wo glänzte die KI? Die KI war etwas besser an den „Extremen“. Sie war besser darin, selbstbewusst zu sagen: „Dieses Team ist definitiv das beste“ oder „Dieses Team ist definitiv das schlechteste“. Dies ist wichtig, denn beim Investieren möchte man oft sehr stark auf die allerbesten und die aller schlechtesten Optionen setzen.

4. Die große Erkenntnis

Das Papier kommt zu dem Schluss, dass die „Geheimzutat“ nicht das ausgeklügelte KI-Gehirn selbst war, sondern die richtigen Informationen zur richtigen Zeit zu haben.

Der „Nowcast“ ist der Schlüssel: Der größte Schub für die Leistung des Coaches kam durch die Verwendung der Echtzeit-Inflationsprognose (des „Nowcasts“) anstelle der verzögerten offiziellen Zahl. Dies korrigierte den „Zeitreisenden-Betrug“.
Die Rolle der KI: Die KI hat keinen neuen Weg erfunden, die Zukunft vorherzusagen. Stattdessen fungierte sie wie ein geschickter Editor, der eine Menge historischer Fakten und aktueller Nachrichten nehmen, eine klare Strategie formulieren und diese Anwendung auf die aktuelle Situation etwas besser als ein einfacher Taschenrechner – insbesondere bei der Abgabe mutiger Entscheidungen über die Top- und Bottom-Teams.

Zusammenfassung in einem Satz

Die Autoren bauten ein Finanzprognosesystem, das sich weigert, zu betrügen, indem es in die Zukunft schaut. Sie fanden heraus, dass es ein durchaus ordentliches System ist, wenn man einer klugen KI die korrekten Echtzeit-Informationen gibt (und nicht die verzögerten, „perfekten“ Daten). Der Großteil dieses Erfolgs beruht jedoch schlicht auf dem Besitz der richtigen Daten, nicht primär darauf, dass die KI „intelligent“ ist. Der wahre Wert der KI lag darin, stärkere, selbstbewusstere Wetten auf die allerbesten und aller schlechtesten Optionen zu platzieren, anstatt nur den Durchschnitt zu raten.

Technisches Resümee: Leakage-bewusstes Benchmarking der LLM-Prognose

Problemstellung

Aktuelle Benchmarks für Retrieval-Augmented Generation (RAG) in der Finanzprognose leiden häufig unter Informationsleckagen (Information Leakage). In makrogetriebenen Finanzkontexten sind Daten, die mit einem spezifischen Zeitstempel versehen sind (z. B. der Verbraucherpreisindex für Monat $t$ ), zum Zeitpunkt der Systementscheidung (typischerweise Monatsende) oft noch nicht beobachtbar, da die offiziellen Veröffentlichungen zeitlich verzögert erfolgen. Standardmäßige Walk-Forward-Backtests, die diese mit der Zukunft gelabelten Werte aufnehmen, konsumieren unbeabsichtigt „Look-ahead“-Informationen, was die Leistungsmetriken künstlich aufbläht. Dieses Problem ist besonders akut in LLM-Pipelines, bei denen Agenten Makronarrative und Ereigniszusammenfassungen verarbeiten, die möglicherweise die historischen Beobachtbarkeitsbeschränkungen nicht respektieren.

Methodik

Die Autoren konstruieren ein leakage-kontrolliertes, monatliches Walk-Forward-Benchmark, um sieben US-Aktienstilfaktoren (SMB, HML, RMW, CMA, UMD, BAB, QMJ) über einen Zeitraum von 36 Monaten (April 2023 – März 2026) zu ranken.

1. Informationsbeschränkungen zum Entscheidungszeitpunkt:
Um eine strikte Beobachtbarkeit zu gewährleisten, wird das System nur mit Daten gespeist, die zum Entscheidungsdatum $t$ verfügbar sind:

Zeitversetzte Makrovariablen: FRED-Variablen (CPI, Arbeitslosigkeit) sind um einen Kalendermonat verschoben.
Echtzeit-Nowcasts: Unveröffentlichte Inflation des aktuellen Monats wird durch den archivierten täglichen CPI-Nowcast der Cleveland Fed ersetzt, der zum Zeitpunkt $t$ abgefragt wurde.
Ereigniszusammenfassungen: Aktuelle Zusammenfassungen der FOMC- und CPI-Veröffentlichungen sind enthalten.
Historische Analog-Retrieval: Ein Retrieval-Modul wählt historische Zustände aus einem Pool aus, der mindestens 12 Monate vor $t$ liegt (ein striktes Embargo), um Datenkontamination zu verhindern.

2. Modellarchitektur (Actor-Critic RAG):
Die Pipeline nutzt ein 7B-Parameter Open-Source-LLM (Qwen2.5-7B-Instruct, auf 4-Bit quantisiert) in einer zweistufigen Actor-Critic-Konfiguration:

Retrieval: Ein Makro-Analog-Modul ruft die 4 historisch ähnlichsten Monate zum aktuellen Zustand ab (basierend auf einem 4-dimensionalen, z-score-normalisierten Makro-Vektor: Wachstumsimpuls, Inflationsimpuls, Term Spread, VIX-Impuls).
Critic: Ein „Critic“-LLM liest die abgerufenen Analoga und den aktuellen Makrozustand, um eine taktische Regel zu synthetisieren (z. B. „Erhöhe HML um 0,15“).
Actor: Ein „Actor“-LLM bildet den aktuellen Echtzeitzustand, die jüngsten Ereigniszusammenfassungen und einen rollierenden Puffer der letzten 6 taktischen Regeln auf Scores für die sieben Aktienfaktoren ab.

3. Baselines:
Die LLM-Pipeline wird unter Verwendung desselben Informationssatzes zum Entscheidungszeitpunkt mit Nicht-LLM-Baselines verglichen:

kNN Makro-Analog: Ruft dieselben 4 Analoga ab, prognostiziert aber die Faktorrenditen basierend auf dem Mittelwert ihrer realisierten Renditen des Folgemonats (kein LLM).
Ridge-Regression: Lineare Modelle unter Verwendung entweder reiner Nowcast- oder vollständiger Makro-/Nowcast-Vektoren.

Kernergebnisse

1. Leistungsmetriken:

Die vollständige LLM-Pipeline erreicht einen medianen monatlichen Spearman-Rang-IC von +0,154 und einen mittleren IC von +0,131.
Das Signal ist richtungspositiv über drei nicht überlappende 12-Monats-Teilfenster (+0,111, +0,165, +0,117).
Der mittlere IC ist jedoch statistisch unterpowert: Das Bootstrap-95%-Konfidenzintervall schließt Null ein $[-0,02, +0,28]$ , und der Permutations- $p$ -Wert liegt bei 0,11.

2. Ablation und Attribution:

Die Rolle der Nowcasts: Der signifikanteste Sprung im medianen IC (von +0,009 auf +0,154) trat beim Hinzufügen des Cleveland Fed Nowcasts auf, was darauf hindeutet, dass Echtzeit-Inflationsinformationen ein primärer Treiber des Signals sind.
LLM vs. kNN: Die kNN Makro-Analog-Baseline (Nicht-LLM) erreichte einen vergleichbaren medianen IC (+0,161) wie die vollständige LLM-Pipeline (+0,154). Dies deutet darauf hin, dass das Kernsignal primär durch den Abruf makroähnlicher Zustände und die Einbeziehung von Echtzeit-Nowcasts getrieben wird und weniger durch die LLM-Architektur selbst.
Marginaler Beitrag des LLM: Die LLM-Pipeline übertraf die kNN-Baseline im mittleren IC (+0,131 gegenüber +0,070) sowie in einem ökonomischen Stresstest (Long-Top-2/Short-Bottom-2 Portfolio). Die Sharpe-Ratio des LLM betrug +0,71 im Vergleich zu +0,29 für kNN. Die Autoren interpretieren dies so, dass das LLM spezifische Vorteile bei extremen Rankings (Top- und Bottom-Faktoren) bietet, welche die Long-Short-Portfoliobildung steuern, anstatt bei der zentralen Tendenz.

Bedeutung und Ansprüche

Das Paper beansprucht keinen Durchbruch in der Vorhersagekraft oder eine einsetzbare Handelsstrategie. Seine Bedeutung liegt vielmehr in der diagnostischen Strenge:

Leakage-Kontrolle: Es zeigt auf, dass Standard-Benchmarks oft die Modellkapazität mit Informationsleckagen verwechseln. Durch die Durchsetzung strikter Beschränkungen zum Entscheidungszeitpunkt (insbesondere durch den Ersatz des zukünftigen CPI durch Nowcasts) isolieren die Autoren das wahre Informationsset, das einem Entscheidungsträger zur Verfügung steht.
Trennung der Signalquellen: Die Studie verdeutlicht, dass in dieser spezifischen makrokonditionierten Aufgabe Echtzeit-Inflations-Nowcasts und makroähnliche Retrieval-Verfahren den Großteil des medianen Vorhersagesignals ausmachen. Der Beitrag des LLM scheint sich auf die Verfeinerung extremer Rankings zu konzentrieren, anstatt neue Signale de novo zu entdecken.
Reproduzierbarkeit: Die Autoren stellen die vollständige Pipeline zur Verfügung, einschließlich des „eingefrorenen“ Archivs der Eingangsdaten zum Entscheidungszeitpunkt (Cleveland Fed Nowcasts), der Prompt-Templates und der 36 reproduzierbaren Critic-Regeln, was eine rigorose Prüfung des LLM-Verhaltens in der Finanzprognose ohne Datenleckage ermöglicht.

Die Autoren kommen zu dem Schluss, dass das 7B Retrieval-Augmented LLM zwar ein positives Signal erzeugt, die Evidenz jedoch statistisch bescheiden bleibt ( $n=36$ ), und der marginale Wert der LLM-Architektur wahrscheinlich auf die Handhabung nichtlinearer Interaktionen in extremen Marktbedingungen beschränkt ist, anstatt auf eine allgemeine Faktorendition.