📊 statistics

FinBench: Time-Gated Calibration and Uncertainty Benchmarking for Agentic Financial Forecasting

Dieses Paper führt FinBench ein, einen neuartigen Benchmark, der darauf ausgelegt ist, die probabilistische Kalibrierung und die Qualität der Unsicherheit von agentischen Finanzprognosemodellen zu bewerten, indem er striktes Time-Gating erzwingt und angemessene Scoring-Regeln nutzt, um Überkonfidenz und halluzinierte Gewissheit zu bestrafen.

Ursprüngliche Autoren: Rishab Ghosh, Vinay Devarakonda

Veröffentlicht 2026-07-21

📖 6 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Rishab Ghosh, Vinay Devarakonda

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen ein hochriskantes Spiel namens „Wetterraten“, bei dem der Einsatz nicht nur ein Goldstern ist, sondern Ihr gesamtes Erspartes. In diesem Spiel haben Sie einen superintelligenten Roboterfreund, der Millionen von Nachrichtenartikeln lesen und komplexe Diagramme analysieren kann, um vorherzusagen, ob morgen die Sonne scheinen oder es regnen wird. Aber hier ist der Haken: Der Roboter sagt nicht einfach nur „Es wird regnen“. Er muss auch sagen, wie sicher er sich ist. Wenn der Roboter sagt: „Ich bin mir zu 99 % sicher, dass es regnen wird“, und Sie setzen Ihr Haus darauf, werden Sie in großen Schwierigkeiten stecken, wenn es am Ende sonnig wird. Dies ist der Kern des Problems der „Kalibrierung“: Sicherzustellen, dass das Vertrauen des Roboters mit seiner tatsächlichen Fähigkeit übereinstimmt. In der Welt der Finanzen, in der Computer (genannt „Agenten“) beginnen, echte Geldentscheidungen für uns zu treffen, ist ein Roboter, der selbstbewusst falsch liegt, weitaus gefährlicher als ein Roboter, der unsicher ist. Wenn ein Roboter denkt, er sei ein Genie, aber eigentlich nur rät, wird er zu große Einsätze wagen und alles verlieren.

Dies ist genau die Geschichte hinter einem neuen Projekt namens FinBench. Die Forscher Rishab Ghosh und Vinay Devarakonda sind besorgt, dass die superintelligenten KI-Modelle, die wir heute verwenden, zwar gut darin sind, selbstbewusst zu klingen, aber schrecklich darin, zu wissen, wann sie nur raten. Sie haben eine spezielle Teststrecke gebaut, um zu sehen, ob diese KI-Agenten ehrlich zugeben können, wenn sie etwas nicht wissen, anstatt sich einfach nur durchzublunken.

Das Problem: Der überhebliche Spieler

In der Vergangenheit haben wir KI getestet, indem wir ihr einfache Fragen stellten wie „Was ist die Hauptstadt von Frankreich?“ oder „Wird diese Aktie steigen oder fallen?“ und prüften, ob die Antwort richtig oder falsch war. Aber in der realen Finanzwelt reicht es nicht aus, 55 % der Zeit richtig zu liegen, wenn man jedes Mal zu 100 % sicher ist, dass man recht hat. Wenn man nur geringfügig besser als ein Münzwurf ist, sich aber wie ein Gott aufführt, wird man schließlich alles auf eine falsche Vermutung setzen und alles verlieren.

Die Autoren argumentieren, dass die meisten aktuellen Tests dies nicht erfassen. Sie prüfen nicht, ob der „Selbstbewusstheits- ever Meter“ der KI defekt ist. Sie verhindern auch nicht, dass die KI in die Zukunft schaut. Stellen Sie sich vor, Sie würden eine Prüfung ablegen, dürften aber vor dem Schreiben in den Lösungsschlüssel schauen. Das nennt man „Look-ahead Bias“ (Vorausschau-Fehler), und das ist ein riesiges Problem in der Finanzwelt. Wenn eine KI Informationen vom Ende des Tages nutzt, um vorherzusagen, was am Morgen passiert ist, dann schummelt sie.

Die Lösung: FinBench

Um dies zu beheben, hat das Team FinBench entwickelt, eine neue Art von Teststrecke, die speziell darauf ausgelegt ist, „selbstbewusstes, aber fragiles“ KI-Verhalten zu entlarven. Denken Sie an eine Fahrprüfung für selbstfahrende Autos, aber anstatt zu prüfen, ob das Auto an einer roten Ampel anhalten kann, prüfen sie, ob das Auto weiß, wann es zu neblig ist, um sicher zu fahren.

So funktioniert der Test:

Strenge Zeitreise-Regeln: Der KI wird eine spezifische Zeit vorgegeben (wie 9:30 Uhr) und sie muss eine Vorhersage treffen. Es ist ihr strengstens untersagt, Daten zu verwenden, die nach diesem Zeitpunkt liegen. Es ist, als wäre man in einem Raum eingesperrt und hätte nur die Morgenausgabe der Zeitung; man kann die Abendzeitung nicht lesen, um das Wetter zu erraten.
Die zweiteilige Antwort: Die KI muss zwei Dinge liefern:
- Eine prozentuale Wahrscheinlichkeit, dass eine Aktie steigt (z. B. „Ich denke, die Chance liegt bei 60 %“).
- Ein „Sicherheitsnetz“ (ein 80 %-Vorhersageintervall), in dem die tatsächliche Preisänderung wahrscheinlich liegen wird.
Das Bewertungssystem: Der Test verwendet zwei spezielle mathematische Regeln, um die KI zu bewerten:
- Der Brier-Score: Dieser bestraft die KI, wenn sie sagt „99 % sicher“ und dann falsch liegt. Er belohnt die KI für ihre Ehrlichkeit. Wenn die KI „50/50“ sagt, obwohl es tatsächlich ein reiner Münzwurf ist, erhält sie eine gute Bewertung.
- Der Winkler-Score: Dieser überprüft das „Sicherheitsnetz“. Wenn die KI das Netz zu weit spannt (um alles Sicherheit zu haben, falls...), wird sie für ihre Feigheit bestraft. Wenn sie das Netz zu eng macht und den tatsächlichen Preis verfehlt, wird sie für ihre Rücksichtslosigkeit bestraft.

Was sie herausgefunden haben (Der Pilotlauf)

Die Autoren haben einen kleinen „Pilot“-Test durchgeführt, um zu sehen, ob ihr System funktioniert. Es war wie eine Generalprobe vor der großen Show. Sie wählten drei populäre Aktien (Apple, Microsoft und Nvidia) aus und baten sechs verschiedene KI-Modelle, Vorhersagen für nur einen einzigen Handelstag zu treffen.

Hier ist, was dieser kleine Test enthüllte:

Genauigkeit ist nicht alles: Einige Modelle lagen in der Richtung (hoch oder runter) in diesem winzigen Test zu 100 % richtig. Aber als man sich ihre Konfidenzwerte ansah, waren sie völlig chaotisch.
Die Falle „Selbstbewusst, aber falsch“: Zwei Modelle (Llama 3.1 und DeepSeek-V3) lagen bei einer spezifischen Vorhersage falsch. Sie waren nur leicht überzeugt (etwa 55–56 %), aber weil sie falsch lagen, war ihr „Brier-Score“ schrecklich, und sie schnitten tatsächlich schlechter ab als ein einfacher Münzwurf. Dies beweist, dass der Test Modelle erfolgreich entlarvt hat, die bei ihren Fehlern übermäßig selbstbewusst auftraten.
Ehrlichkeit zahlt sich aus: Die Modelle, die besser darin waren, ihr Vertrauen an ihre tatsächliche Leistung anzupassen (wie GPT-4o), erhielten höhere Punktzahlen, obwohl sie nicht unbedingt jede einzelne Vorhersage richtig machten.

Die Forscher fanden heraus, dass Kalibrierung (Ehrlichkeit über die Unsicherheit) und Intervallqualität (wie gut das Sicherheitsnetz ist) zwei unterschiedliche Fähigkeiten sind. Ein Modell kann ein Sicherheitsnetz haben, das den richtigen Preis in 80 % der Fälle einfängt, aber dennoch schreckliche Konfidenzwerte aufweisen. Das bedeutet, dass man nicht nur auf eine Zahl schauen kann, um zu sehen, ob eine KI sicher ist; man muss auf beide schauen.

Das Fazleit

Dieses Paper behauptet nicht, bereits die „perfekte“ KI für die Finanzwelt gefunden zu haben. Tatsächlich sind die Autoren sehr vorsichtig und betonen, dass dies nur ein winziger Test mit nur 33 Vorhersagen war. Sie sagen nicht, dass eine KI die ultimative Gewinnerin ist. Stattdessen sagen sie: „Hey, wir haben ein neues Lineal gebaut, das etwas Wichtiges misst, das andere Lineale übersehen.“

Sie haben gezeigt, dass es möglich ist, einen Test zu bauen, der verhindert, dass die KI schummelt, indem sie in die Zukunft schaut, und die sie dazu zwingt, ehrlich zu sein, wie sicher sie sich sind. Dies ist ein entscheidender Schritt, denn wenn wir in Zukunft KI-Agenten unser Geld verwalten lassen, müssen diese wissen, wann sie sagen müssen: „Ich weiß es nicht“, anstatt alles auf eine bloße Vermutung zu setzen. Das Paper legt nahe, dass wir ohne eine solche „Kalibrierungsprüfung“ Gefahr laufen, unsere Geldbörsen überstolzen Robotern zu übergeben, die dazu bestimmt sind, abzustürzen.

Technisches Resümee: FinBench

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend als agentische Systeme eingesetzt, die in der Lage sind, zu beobachten, zu planen und zu handeln. In Finanzkontexten werden diese Systeme dann entscheidungsrelevant, wenn ihre Ausgaben die Positionsgröße oder die Risikoallokation beeinflussen. Der primäre Fehlermodus ist nicht bloß eine Richtungsungenauigkeit, sondern die Konfidenz–Kompetenz-Lücke: Ein Modell, das nur geringfügig besser als der Zufall ist, aber konsistent übermäßig selbstbewusst auftritt, wird unter Standardregeln der Positionsgrößenbestimmung (z. B. Kelly-Kriterium) langfristig ein negatives Wachstum generieren, indem es Kapital zu falschmäßigen Ansichten überallokiert.

Bestehende Benchmarks konzentrieren sich weitgehend auf semantisches Verständnis oder Punktgenauigkeit. Sie versäumen es jedoch, zwei strukturelle Gefahren zu adressieren, die spezifisch für das Finanzwesen sind:

Nicht-Stationarität: Marktregime ändern sich, was dazu führt, dass memorierte Muster an Wert verlieren.
Look-ahead Bias (Vorausschau-Fehler): Die Vorverarbeitung kann unbeabsichtigt Informationen aus der Zukunft durchsickern lassen (z. B. die Verwendung von End-of-Day-Variablen zur Prognose von Intraday-Ergebnissen), was besonders akut in agentischen Settings ist, in denen sich Fehler über die Zeit akkumulieren.

Entscheidend ist, dass aktuelle Evaluierungen nicht testen, ob die vom Modell angegebenen Wahrscheinlichkeiten die wahre Unsicherheit unter strengen zeitlichen Beschränkungen widerspiegeln.

Methodik: FinBench-Spezifikation

Die Autoren führen FinBench ein, einen Benchmark, der darauf ausgelegt ist, die Kalibrierung und die Qualität der Unsicherheit für Finanzprognosen zu bewerten. Die Kernprinzipien des Designs sind:

1. Strenges Zeit-Gating-Protokoll

Um Look-ahead Bias zu verhindern, erzwingt der Benchmark ein Protokoll, bei dem ein Modell, das eine Prognose für den Zeitpunkt $T$ erstellt, strikt blind gegenüber allen Daten (Preise, Nachrichten, abgeleitete Signale) ist, deren Zeitstempel nach $T$ liegt.

Prognosehorizonte: Definiert als MORNING (09:30 ET), MIDDAY (12:30 ET) und CLOSE (15:30 ET).
Zielzeitpunkt: Eine feste Evaluierungszeit nahe dem Ende des Tages (15:55 ET), die vom Prognosehorizont verschieden ist.
Inputs: Numerische (OHLCV-Bars) und textuelle (Schlagzeilen, Sentiment) Daten werden gefiltert, um sicherzustellen, dass nur Informationen verwendet werden, die zum Zeitpunkt $T$ verfügbar waren.

2. Output-Schema

Für jedes Ticker-Symbol und jeden Horizont muss das Modell ein strukturiertes Objekt ausgeben, das Folgendes enthält:

$\hat{p} \in [0, 1]$ : Die Wahrscheinlichkeit, dass die realisierte Log-Rendite positiv ist ( $Y=1$ ).
$[L, U]$ : Ein 80%-Prädiktionsintervall für die realisierte Log-Rendite $r$ .
(Optional) Eine Begründung in natürlicher Sprache, die jedoch nicht für die Bewertung verwendet wird.

3. Evaluierungsmetriken

FinBench nutzt streng korrekte Scoring-Regeln (strictly proper scoring rules), um ehrliche Berichterstattung über die Unsicherheit zu incentivieren:

Brier Score (BS): Wird für probabilistische Richtprognosen verwendet. Er misst die mittlere quadratische Differenz zwischen der vorhergesagten Wahrscheinlichkeit und dem tatsächlichen binären Ergebnis.
- $BS = \frac{1}{N} \sum (\hat{p}_i - Y_i)^2$
- Brier Skill Score (BSS): Berichtet die Leistung im Verhältnis zu Baselines (Münzwurf, rollende Grundrate, Momentum-Heuristik). Ein positiver BSS zeigt eine Verbesserung an; ein negativer Wert deutet auf eine schlechtere Kalibrierung als die Baseline hin.
Winkler-Score: Wird für die Intervallschätzung verwendet. Er bestraft sowohl „Feigheit“ (zu weite Intervalle) als als auch „Leichtsinn“ (zu enge Intervalle, die die realisierte Rendite verpassen).
- $S_W = (U - L) + \frac{2}{\alpha}(L - r)I(r < L) + \frac{2}{\alpha}(r - U)I(r > U)$ , wobei $\alpha = 0,2$ .

Zentrale Beiträge

Benchmark-Design: FinBench ist der erste Benchmark, der explizit darauf ausgelegt ist, ein striktes Zeit-Gating für agentische Finanzprognosen durchzusetzen und gleichzeitig die streng korrekte probabilistische Bewertung in den Mittelpunkt stellt.
Fokus auf Kalibrierung: Es verschiebt die Evaluierungsmetrik von einfacher Genauigkeit hin zur Kalibrierung und bestraft damit direkt halluzinierte Konfidenz, was für das Risikomanagement entscheidend ist.
Pilot-Implementierung: Das Paper liefert eine Spezifikation und einen kleinen Pilotlauf, um die Mechanik der Pipeline zu validieren.

Pilot-Ergebnisse

Die Autoren führten einen Pilotlauf am 15. Januar 2025 durch, der drei liquide Ticker (AAPL, MSFT, NVDA) über die drei Horizonte abdeckte, was insgesamt 33 Prognosen ergab. Zu den getesteten Modellen gehörten GPT-4o, GPT-4o Mini, Llama 3.1/3.3, Qwen2.5 und DeepSeek-V3.

Direktionale Genauigkeit vs. Kalibrierung: An diesem spezifischen Tag erreichten die meisten Modelle eine hohe direkte Genauigkeit (oft 100 % für den MORNING-Horizont). Kalibrierungssensible Metriken (Brier Score und BSS) zeigten jedoch signifikante Varianzen.
Detektion von Überkonfidenz: Zwei spezifische Fälle (MSFT MORNING), die Llama 3.1 70B und DeepSeek-V3 betrafen, wiesen negative Skill-Scores auf. Diese Modelle gaben moderat konfidente Wahrscheinlichkeiten (0,55 und 0,56) für falsche Ergebnisse ( $Y=0$ ) aus, was zu Brier-Scores > 0,30 und negativen BSS-Werten führte.
Intervallqualität: Während die Intervallabdeckung nahe dem nominalen Bereich von 0,8–0,9 lag, variierten die Winkler-Scores, was den Trade-off zwischen Intervallbreite und Fehlern verdeutlichte.
Kompositleistung: GPT-4o erreichte den höchsten Komposit-Score, gefolgt von GPT-4o Mini und Llama 3.3, während andere Modelle trotz ähnlicher Genauigkeit bei den Kalibrierungsmetriken zurücklagen.

Hinweis: Die Autoren geben explizit an, dass diese Ergebnisse deskriptiv sind und aufgrund der kleinen Stichprobengröße nicht statistisch schlüssig sind.

Bedeutung und Ansprüche

Das Paper behauptet, eine Bedeutung darin zu haben, die spezifischen Bedürfnisse der agentischen Finanzwelt zu adressieren, in der die Unsicherheit das primäre Ergebnis ist, das für sichere Entscheidungen (Positionsgrößenbestimmung, Risikolimits, Eskalation an Menschen) erforderlich ist.

Distinkte Achsen: Die Autoren zeigen, dass Kalibrierung und Intervallqualität zwei unterschiedliche Achsen sind; ein System kann die Zielabdeckung erreichen und dennoch schlecht kalibrierte Wahrscheinlichkeiten melden. Eine einzige Genauigkeitsmetrik verbirgt diese kritischen Risikoverhaltensweisen.
Mismatch zwischen Begründung und Wahrscheinlichkeit: Der Benchmark isoliert ein qualitatives Muster, bei dem Modelle plausible textuelle Erklärungen generieren, aber Wahrscheinlichkeiten ausgeben, die nicht diesen Erklärungen entsprechen. FinBench bewertet nur die probabilistischen Komponenten, um diesen Mismatch zu detektieren.
Sicherheit und Robustheit: Durch die Verwendung streng korrekter Scoring-Regeln richtet FinBench die Anreize der Modelle an einer ehrlichen Berichterstattung über die Unsicherheit aus, was eine Voraussetzung für die Sicherheit in hochsensiblen Finanzanwendungen ist.

Das Paper schließt bescheiden mit dem Hinweis, dass der Pilotlauf zu klein ist, um die Überlegenheit eines Modells oder die Robustheit gegenüber Regimewechseln zu behaupten. Zukünftige Arbeiten zielen darauf ab, das Ticker-Universum zu erweitieren, die Konstruktion der Baselines zu standardisieren und Stress-Slices (z. B. Makro-Ankündigungen) einzuführen, um Verteilungsverschiebungen zu untersuchen.