FinTradeBench: A Financial Reasoning Benchmark for LLMs

1. Het Probleem

Real-world financiële besluitvorming vereist het integreren van twee complementaire, maar heterogene informatiebronnen:

1. Bedrijfsfundamenten: Accounting-gebaseerde metrics afgeleid van reguliere rapporten (zoals SEC 10-K/10-Q formulieren), zoals winstgevendheid, hefboomwerking en waardering.
2. Handelsignalen (Trading Signals): Dynamische marktgegevens afgeleid van historische prijs- en volumedata, zoals momentum, volatiliteit en trendomkeringen.

Bestaande benchmarks voor Financiële Vraag-Antwoord (QA) systemen (zoals FinQA, TAT-QA) focussen voornamelijk op numeriek redeneren over tekstuele financiële rapporten en tabellen. Ze evalueren zelden het redeneren over handelsignalen of de interactie tussen fundamenten en marktdynamiek. Dit leidt tot een kennislacune: het is onduidelijk of huidige Large Language Models (LLMs) in staat zijn om complexe financiële vragen te beantwoorden die vereisen dat beide bronnen gelijktijdig worden geïntegreerd, vooral wanneer deze bronnen tegenstrijdige signalen geven (bijv. zwakke kwartaalcijfers maar een stijgende aandelenkoers door marktnarratieven).

2. Methodologie: FinTradeBench

De auteurs introduceren FinTradeBench, een nieuw benchmarkframework dat 1.400 vragen bevat, gebaseerd op historische data van de NASDAQ-100 bedrijven over een periode van tien jaar (2015–2025).

A. Data Collectie en Signalen

Het benchmark gebruikt twee primaire datastromen:

• Regulatorische Inzendingen: Extractie van fundamenten (ROA, ROE, Debt-to-Equity, etc.) uit SEC-filings.
• Dagelijkse Handelsdata: Berekening van handelsignalen (Moving Averages, RSI, Momentum, Volatiliteit) uit OHLCV-data (Open, High, Low, Close, Volume).

B. Vraag Taxonomie

De vragen zijn onderverdeeld in drie categorieën om verschillende redeneervermogens te testen:

1. Fundamentals-focused (F): Redeneren puur op basis van accounting-metrics.
2. Trading-signal-focused (T): Redeneren puur op basis van prijsdynamiek en technische indicatoren.
3. Hybrid (FT): Redeneren dat vereist dat beide bronnen worden geïntegreerd om een conclusie te trekken (bijv. "Is de dip een koopkans?").

C. Ontwikkelingsframework: "Calibration-Then-Scaling"

Om de kwaliteit en schaalbaarheid te garanderen, gebruiken de auteurs een drie-fasen pipeline:

1. Seed Constructie: Experts schrijven 150 "seed" vragen (50 per categorie) met gouden antwoorden en cruciale indicatoren.
2. Generatie en Self-Filtering: Meerdere LLMs genereren antwoorden. Elk model selecteert zelf zijn beste antwoord op basis van feitelijke nauwkeurigheid en volledigheid (intra-model self-filtering).
3. Numerieke Audit & Kalibratie: Een onafhankelijke LLM (Claude Sonnet 4.5) fungeert als rechter ("LLM-as-a-Judge") en kalibreert zijn beoordeling op basis van menselijke expert-annotaties. Dit zorgt voor een hoge correlatie tussen menselijke en automatische evaluatie (MAE < 10%).
4. Scaling: De gecalibreerde judge wordt gebruikt om de seed-vragen te schalen naar 1.400 vragen over verschillende bedrijven en tijdperken.

3. Experimenteel Setup

De auteurs evalueerden 14 LLMs (variërend van kleine open-source modellen tot grote proprietary modellen) onder twee omstandigheden:

• Zero-shot (No-RAG): Het model gebruikt alleen zijn interne kennis.
• Retrieval-Augmented Generation (RAG): Het model krijgt toegang tot relevante SEC-documenten en tijdreeks-data via een gespecialiseerde "Dual-Track Retrieval Engine" (één track voor tekst/tabellen, één track voor tijdreeks-data).

4. Belangrijkste Resultaten

A. RAG Werkt Goed voor Fundamenten, Slecht voor Handelsignalen

• Fundamenten (F): RAG leidt tot aanzienlijke verbeteringen (tot +37% nauwkeurigheid). Het helpt modellen om feitelijke gegevens uit lange documenten te halen en hallucinaties te voorkomen.
• Handelsignalen (T): RAG leidt vaak tot prestatiedalingen (tot -19% voor sommige modellen). Modellen hebben moeite om ruwe numerieke tijdreeksdata (tabellen met prijzen) te interpreteren en technische indicatoren te berekenen. De extra data leidt tot afleiding in plaats van ondersteuning.
• Hybrid (FT): RAG verbetert de prestaties aanzienlijk voor hybride vragen (+55% voor sommige modellen), maar alleen bij modellen met sterke redeneercapaciteiten.

B. Het "Aandachtseffect" (Distraction Effect)

Ondanks dat RAG de feitelijke grondslag verbetert, daalt de Redeneerdiepte en de precisie van het extraheren van specifieke "Golden Indicators" (cruciale metrics) onder RAG-omstandigheden.

• Modellen worden overspoeld door de grote hoeveelheid context en produceren vloeiende, maar oppervlakkige samenvattingen in plaats van diepgaande analytische redeneringen.
• De Golden Indicator F1-score daalde met 56,5% onder RAG, wat aangeeft dat modellen de specifieke signalen die experts nodig hebben, over het hoofd zien.

C. Architectuur en Redenering

• Modellen met Latent Chain-of-Thought (zoals DeepSeek-R1 en zijn distillaties) presteerden significant beter op hybride vragen dan standaard instructie-getrainde modellen. Dit suggereert dat inference-time redeneren essentieel is voor het integreren van heterogene signalen.
• Modelfamilie sensitiviteit: Qwen-modellen profiteerden over het algemeen van RAG, terwijl LLaMA-modellen (zelfs de 70B varianten) systematisch degradeerden, waarschijnlijk vanwege hun gevoeligheid voor de complexe mix van jargon en ruwe numerieke tabellen.

5. Bijdragen en Betekenis

Kernbijdragen

1. FinTradeBench: Het eerste benchmark dat expliciet redeneren over zowel bedrijfsfundamenten als handelsignalen evalueert, inclusief hybride vragen.
2. Robuuste Evaluatie: Een nieuw framework voor het schalen van benchmarks met behulp van expert-gestuurde seeds en gecalibreerde LLM-judges.
3. Empirische Inzichten: Het blootleggen van de beperkingen van huidige LLMs in het verwerken van numerieke tijdreeksdata en het gevaar van "informatie-overload" in RAG-systemen voor financiële taken.

Significatie

De studie toont aan dat hoewel LLMs uitstekend zijn in het verwerken van tekstuele financiële informatie, ze fundamenteel worstelen met kwantitatief redeneren over marktdynamiek.

• Voor de AI-gemeenschap: Het benadrukt de noodzaak van nieuwe architecturen die beter kunnen omgaan met numerieke berekeningen en tijdreeksdata, en niet alleen tekstuele retrieval.
• Voor de financiële sector: Het waarschuwt voor het blindelings vertrouwen op RAG-systemen voor handelsbeslissingen, aangezien deze systemen gevoelig kunnen zijn voor afleiding door ruwe data.
• Het benchmark biedt een standaard voor onderzoekers om de voortgang in "FinIntelligence" te meten en te sturen naar modellen die echt kunnen redeneren in plaats van alleen samenvatten.

Samenvattend stelt FinTradeBench dat de volgende stap in financiële AI niet alleen het vinden van meer informatie is, maar het ontwikkelen van modellen die kunnen redeneren over complexe, tegenstrijdige en numerieke data zonder door de hoeveelheid context overweldigd te raken.