📊 statistics

FinBench: Time-Gated Calibration and Uncertainty Benchmarking for Agentic Financial Forecasting

Dit artikel introduceert FinBench, een nieuwe benchmark die ontworpen is om de probabilistische kalibratie en de kwaliteit van de onzekerheid van agentische financiële voorspellingsmodellen te evalueren door strikte tijdpoorting af te dwingen en gebruik te maken van passende scoringsregels om overmoed en gehallucineerde zekerheid te bestraffen.

Oorspronkelijke auteurs: Rishab Ghosh, Vinay Devarakonda

Gepubliceerd 2026-07-21

📖 6 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Rishab Ghosh, Vinay Devarakonda

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een hoogwaardig spel speelt van "Raad het Weer", waarbij de prijs niet alleen een gouden ster is, maar je hele levensspaargeld. In dit spel heb je een superintelligente robotvriend die miljoenen nieuwsartikelen kan lezen en complexe grafieken kan bekijken om te voorspellen of de zon morgen zal schijnen of dat het zal regenen. Maar hier komt de adder onder het gras bij: de robot zegt niet alleen "Het gaat regenen." De robot moet ook zeggen hoe zeker hij is. Als de robot zegt: "Ik ben 99% zeker dat het gaat regenen," en je zet je huis op die weddenschap, dan kom je in grote problemen als het vervolgens zonnig blijkt te zijn. Dit is de kern van het probleem van "kalibratie": ervoor zorgen dat je zelfvertrouwen overeenkomt met je werkelijke vaardigheid. In de wereld van de financiën, waar computers (genaamd "agents") beginnen met het nemen van echte geldbeslissingen voor ons, is een robot die zelfverzekerd ongelijk heeft veel gevaarlijker dan een robot die onzeker is. Als een robot denkt dat hij een genie is, maar eigenlijk gewoon aan het gokken is, zal hij te groot inzetten en alles verliezen.

Dit is precies het verhaal achter een nieuw project genaamd FinBench. De onderzoekers, Rishab Ghosh en Vinay Devarakonda, maken zich zorgen dat de superintelligente AI-modellen die we vandaag de dag gebruiken, geweldig zijn in het klinken van zelfverzekerd, maar verschrikkelijk in het weten wanneer ze aan het gokken zijn. Ze hebben een speciaal testcircuit gebouwd om te zien of deze AI-agents eerlijk kunnen toegeven dat ze iets niet weten, in plaats van zich er doorheen te bluffen bij financiële voorspellingen.

Het Probleem: De Overmoedige Gokker

In het verleden testten we AI door eenvoudige vragen te stellen zoals "Wat is de hoofdstad van Frankrijk?" of "Gaat deze aandeel stijgen of dalen?" en te controleren of het antwoord juist of onjuist was. Maar in de echte financiële wereld is het goed hebben van 55% van de keren niet genoeg als je elke keer 100% zeker bent dat je gelijk hebt. Als je slechts iets beter bent dan een muntje, maar handelt alsof je een god bent, zul je uiteindelijk alles inzetten op een slechte gok en alles verliezen.

De auteurs stellen dat de meeste huidige tests dit niet opmerken. Ze controleren niet of de "zelfvertrouwenmeter" van de AI kapot is. Ze stoppen de AI ook niet bij het "kijken in de toekomst". Stel je voor dat je een toets maakt, maar dat je de antwoordenlijst mag inzien voordat je begint met schrijven. Dat wordt "look-ahead bias" genoemd, en dat is een enorm probleem in de financiële wereld. Als een AI informatie gebruikt van het einde van de dag om te voorspellen wat er in de ochtend gebeurde, dan is dat valsspelen.

De Oplossing: FinBench

Om dit op te lossen, heeft het team FinBench gecreëerd, een nieuw soort testcircuit dat specifiek is ontworpen om "zelfverzekerd maar fragiel" AI-gedrag te vangen. Denk aan een rijexamen voor zelfrijdende auto's, maar in plaats van te controleren of de auto kan stoppen voor een rood licht, controleren ze of de auto weet wanneer het te mistig is om veilig te rijden.

Hoe de test werkt:

Strikte Tijdreisregels: De AI krijgt een specifiek tijdstip (zoals 9:30 AM) en moet een voorspelling doen. Het is strikt verboden om enige data te zien die na die tijd plaatsvindt. Het is alsof je opgesloten zit in een kamer met alleen de ochtendkrant; je kunt de avondkrant niet lezen om te helpen raden hoe het weer wordt.
Het Tweeledige Antwoord: De AI moet twee dingen geven:
- Een percentage kans dat een aandeel zal stijgen (bijv. "Ik denk dat er een kans van 60% is").
- Een "veiligheidsnet" (een 80% predictie-interval) waar de werkelijke prijsverandering waarschijnlijk zal landen.
Het Score-systeem: De test gebruikt twee speciale wiskundige regels om de AI te beoordelen:
- De Brier Score: Deze straft de AI als hij zegt "99% zeker" en het fout heeft. Het beloont de AI voor het zijn van eerlijk. Als de AI "50/50" zegt wanneer het eigenlijk een muntje is, krijgt hij een goede score.
- De Winkler Score: Deze controleert het "veiligheidsnet". Als de AI het net te breed maakt (alles afdekt voor de zekerheid), krijgt hij een straf omdat hij een lafaard is. Als hij het net te nauw maakt en de werkelijke prijs mist, krijgt hij een straf voor roekeloosheid.

Wat Ze Vonden (De Pilot Run)

De auteurs voerden een kleine "pilot"-test uit om te zien of hun systeem werkte. Het was als een algemene repetitie voor de grote show. Ze kozen drie populaire aandelen (Apple, Microsoft en Nvidia) en vroegen zes verschillende AI-modellen om voorspellingen te doen voor slechts één handelsdag.

Dit is wat de kleine test onthulde:

Nauwkeurigheid is niet alles: Sommige modellen kregen de richting (omhoog of omlaag) 100% van de tijd goed in deze kleine test. Maar wanneer je naar hun vertrouwensscores keek, waren ze alle kanten op.
De "Zelfverzekerd maar Fout" Valstrik: Twee modellen (Llama 3.1 en DeepSeek-V3) hadden een specifieke voorspelling fout. Ze waren slechts een beetje zelfverzekerd (ongeveer 55-56%), maar omdat ze het fout hadden, was hun "Brier Score" verschrikkelijk, en ze presteerden feitelijk slechter dan simpelweg een muntje opgooien. Dit bewijst dat de test modellen heeft gevangen die overmoedig waren in hun fouten.
Eerlijkheid Betaalt Zich Uit: De modellen die beter waren in het afstemmen van hun vertrouwen op hun werkelijke prestaties (zoals GPT-4o), kregen hogere scores, zelfs als ze niet noodzakelijkerwijs elke enkele voorspelling goed hadden.

De onderzoekers ontdekten dat kalibratie (eerlijkheid over onzekerheid) en intervalkwaliteit (hoe goed het veiligheidsnet is) twee verschillende vaardigheden zijn. Een model kan een veiligheidsnet hebben dat de juiste prijs 80% van de tijd vangt, maar nog steeds verschrikkelijke vertrouwenscijfers hebben. Dit betekent dat je niet naar één getal kunt kijken om te zien of een AI veilig is; je moet naar beide kijken.

De Kern van de Zaak

Dit artikel beweert niet dat het de "perfecte" AI voor de financiële wereld heeft gevonden. Sterker nog, de auteurs zijn zeer voorzichtig in hun opmerking dat dit slechts een kleine test was met slechts 33 voorspellingen. Ze zeggen niet dat één AI de ultieme winnaar is. In plaats daarvan zeggen ze: "Hé, we hebben een nieuwe liniaal gebouwd die iets meet dat andere linials missen."

Ze hebben aangetoond dat het mogelijk is om een test te bouwen die AI ervan weerhoudt om te valsspelen door in de toekomst te kijken en hen dwingt eerlijk te zijn over hoe zeker ze zijn. Dit is een cruciale stap, want als we in de toekomst AI-agents ons geld laten beheren, moeten zij weten wanneer ze moeten zeggen: "Ik weet het niet," in plaats van de hele boerderij in te zetten op een vermoeden. Het artikel suggereert dat zonder dit soort "kalibratiecheck", we misschien onze portemonnees overhandigen aan overmoedige robots die gedoemd zijn om te crashen.

Technische Samenvatting: FinBench

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet als agentische systemen die in staat zijn tot observeren, plannen en handelen. In financiële contexten worden deze systemen relevant voor besluitvorming wanneer hun outputs de omvang van handelsposities of risicoallocatie beïnvloeden. De primaire foutmodus die is geïdentificeerd, is niet louter directionele onnauwkeurigheid, maar de vertrouwens–competentie-kloof (confidence–competence gap): een model dat slechts iets beter is dan toeval maar consistent overmoedig is, zal onder standaard regels voor inzetgrootte (bijv. de Kelly-criterium) een negatieve langetermijngroei genereren door kapitaal te overalloceren aan onjuiste visies.

Bestaande benchmarks richten zich grotendeels op semantisch begrip of puntnauwkeurigheid. Zij adresseren geen twee structurele gevaren die specifiek zijn voor de financiële wereld:

Niet-stationariteit: Marktregimes veranderen, waardoor gememoriseerde patronen vervagen.
Look-ahead bias: Preprocessing kan onbedoeld toekomstige informatie lekken (bijv. het gebruik van end-of-day variabelen om intraday uitkomsten te voorspellen), wat bijzonder acuut is in agentische settings waar fouten zich over de tijd stapelen.

Cruciaal is dat huidige evaluaties niet testen of de door een model opgegeven waarschijnlijkheden een ware onzekerheid reflecteren onder strikte temporele beperkingen.

Methodologie: FinBench Specificatie

De auteurs introduceren FinBench, een benchmark ontworpen om de kalibratie en de kwaliteit van onzekerheid bij financiële voorspellingen te evalueren. De kernprincipes van het ontwerp zijn:

1. Strikt Tijd-gating Protocol

Om look-ahead bias te voorkomen, handhaaft de benchmark een protocol waarbij een model dat een voorspelling doet voor tijd $T$ , strikt blind is voor alle data (prijzen, nieuws, afgeleide signalen) met tijdstempels later dan $T$ .

Forecast Horizons: Gedefinieerd als MORNING (09:30 ET), MIDDAY (12:30 ET) en CLOSE (15:30 ET).
Target Time: Een vaste evaluatietijd nabij het einde van de dag (15:55 ET), onderscheidend van de forecast horizon.
Inputs: Numerieke (OHLCV bars) en tekstuele (headlines, sentiment) data worden gefilterd om te garanderen dat alleen informatie die beschikbaar is op tijdstip $T$ wordt gebruikt.

2. Output Schema

Voor elke ticker en horizon moet een model een gestructureerd object produceren dat het volgende bevat:

$\hat{p} \in [0, 1]$ : De waarschijnlijkheid dat het gerealiseerde log-rendement positief is ( $Y=1$ ).
$[L, U]$ : Een 80% predictie-interval voor het gerealiseerde log-rendement $r$ .
(Optioneel) Een natuurlijke taal rationale, die niet wordt gebruikt voor scoring.

3. Evaluatiemetrieken

FinBench maakt gebruik van strikt passende scoringregels (strictly proper scoring rules) om eerlijke rapportage van onzekerheid te stimuleren:

Brier Score (BS): Gebruikt voor probabilistische richtingvoorspellingen. Het meet het gemiddelde kwadratische verschil tussen de voorspelde waarschijnlijkheid en de werkelijke binaire uitkomst.
- $BS = \frac{1}{N} \sum (\hat{p}_i - Y_i)^2$
- Brier Skill Score (BSS): Rapporteert prestaties ten opzichte van baselines (muntworp, rollende base rate, momentum heuristiek). Een positieve BSS duidt op verbetering; een negatieve waarde duidt op een slechtere kalibratie dan de baseline.
Winkler Score: Gebruikt voor intervalschatting. Het straft zowel "lafheid" (intervallen die te breed zijn) als "roekeloosheid" (intervallen die te nauw zijn en het gerealiseerde rendement missen) af.
- $S_W = (U - L) + \frac{2}{\alpha}(L - r)I(r < L) + \frac{2}{\alpha}(r - U)I(r > U)$ , waarbij $\alpha = 0.2$ .

Belangrijkste Bijdragen

Benchmark Ontwerp: FinBench is de eerste benchmark die expliciet is ontworpen om strikte tijd-gating af te dwingen voor agentische financiële voorspellingen, terwijl het de nadruk legt op strikt passende probabilistische scoring.
Focus op Kalibratie: Het verschuift de evaluatiemetriek van eenvoudige nauwkeurigheid naar kalibratie, wat gehallucineerde zelfverzekerdheid direct bestraft, wat cruciaal is voor risicobeheer.
Pilot Implementatie: Het paper biedt een specificatie en een kleinschalige pilot-run om de pipeline-mechanica te valideren.

Pilot Resultaten

De auteurs hebben een pilot-run uitgevoerd op 15 januari 2025, die drie liquide tickers (AAPL, MSFT, NVDA) besloeg over de drie horizons, wat resulteerde in 33 totale voorspellingen. De geteste modellen omvatten GPT-4o, GPT-4o Mini, Llama 3.1/3.3, Qwen2.5 en DeepSeek-V3.

Directionele Nauwkeurigheid vs. Kalibratie: Op deze specifieke dag bereikten de meeste modellen een hoge directionele nauwkeurigheid (vaak 100% voor de MORNING horizon). Echter, kalibratiegevoelige metrieken (Brier Score en BSS) toonden significante variantie.
Detectie van Overmoed: Twee specifieke gevallen (MSFT MORNING) waarbij Llama 3.1 70B en DeepSeek-V3 betrokken waren, vertoonden negatieve skill scores. Deze modellen gaven matig zelfverzekerde waarschijnlijkheden (0.55 en 0.56) voor onjuiste uitkomsten ( $Y=0$ ), wat resulteerde in Brier scores > 0.30 en negatieve BSS-waarden.
Interval Kwaliteit: Hoewel de interval-dekking rond de nominale 0.8–0.9 schommelde, varieerden de Winkler scores, wat de afweging tussen intervalbreedte en missers illustreert.
Composiet Prestaties: GPT-4o behaalde de hoogste composietscore, gevolgd door GPT-4o Mini en Llama 3.3, terwijl andere modellen achterbleven op kalibratiemetrieken ondanks vergelijkbare nauwkeurigheid.

Noot: De auteurs stellen expliciet dat deze resultaten beschrijvend zijn en niet statistisch conclusief vanwege de kleine steekproefomvang.

Betekenis en Claims

Het paper claimt significant te zijn door in te gaan op de specifieke behoeften van agentische financiën, waar onzekerheid de primaire output is die vereist is voor veilige besluitvorming (positiegrootte, risicolimieten, menselijke escalatie).

Distincte Assen: De auteurs demonstreren dat kalibratie en intervalkwaliteit verschillende assen zijn; een systeem kan de doelstelling voor dekking halen terwijl het nog steeds slecht gekalibreerde waarschijnlijkheden rapporteert. Een enkele nauwkeurigheidsmetriek verbergt deze kritieke risicogedragingen.
Mismatch tussen Rationale en Waarschijnlijkheid: De benchmark isoleert een kwalitatief patroon waarbij modellen plausibele tekstuele verklaringen genereren maar waarschijnlijkheden outputten die niet overeenkomen met die verklaringen. FinBench scoort enkel de probabilistische componenten om deze mismatch te detecteren.
Veiligheid en Robuustheid: Door strikt passende scoringregels te gebruiken, stemt FinBench de prikkels van het model af op eerlijke rapportage van onzekerheid, een vereiste voor veiligheid bij inzet in hoog-risico financiële omgevingen.

Het paper sluit bescheiden af met de opmerking dat de pilot te klein is om de superioriteit of robuustheid van modellen tegen regime-shifts te claimen. Toekomstig werk richt zich op het uitbreiden van het universum aan tickers, het standaardiseren van baseline-constructie en het introduceren van stress-slices (bijv. macro-aankondigingen) om distributieverschuivingen te bestuderen.