FinAbstain: Uncertainty-Calibrated Multimodal RAG for Selective Financial Forecasting

Technische Samenvatting: FinAbstain

Probleemstelling
Financiële forecasting is inherent moeilijk vanwege de asynchrone aankomst van bewijslast en de frequente divergentie van signalen (bijv. kwartaalcijfers versus nieuwssentiment versus technische indicatoren). Hoewel Large Language Models (LLMs) financiële narratieven kunnen synthetiseren, vertonen ze vaak een hoge mate van zelfvertrouwen, zelfs wanneer de bewijslast schaars, verouderd of tegenstrijdig is. In een besluitvormingscontext vertaalt deze overmoed beperkte epistemische kennis naar vermijdbare handelsrisico's. Bestaande Retrieval-Augmented Generation (RAG) en financiële taalmodellen lijden aan drie kritieke tekortkomingen:

1. Temporele Lekken (Temporal Leakage): Standaard RAG garandeert niet dat de opgehaalde documenten op het specifieke moment van de forecast publiek waren, wat leidt tot contaminatie tijdens backtests.
2. Verborgen Onenigheid: Enkele synthetische narratieven laten conflicterende signalen uit fundamentele, nieuws- en marktbronnen vaak samenvallen in één enkele output.
3. Gebrek aan Selectieve Weigering: Betrouwbaarheidsscores zijn zelden gekalibreerd om de operationele optie van weigering (abstention) te ondersteunen wanneer de onzekerheid hoog is.

Methodologie: Het FinAbstain-framework
FinAbstain is een onderzoeksframework voor onzekerheid-gekalibreerde, multimodale RAG met selectieve voorspelling. De architectuur bestaat uit vier kerncomponenten:

1. Point-in-Time Multimodale Retriever:
   Het systeem verwerkt filings (10-K, 10-Q, 8-K), earnings calls, nieuws, prijzen, volume en technische indicatoren. Cruciaal is dat het strikte temporele beperkingen afdwingt: alleen documenten met een publicatietijdstip ($\tau_{pub}$) en een ingestietijdstip ($\tau_{ing}$) voorafgaand aan de forecast-tijd $t$ worden toegelaten. Dit voorkomt lekkage van toekomstige informatie. De retriever gebruikt een hybride dense/BM25-score voor tekst en regime/recentheid-matching voor tijdreeksen, waarbij een top-$k$ budget over modaliteiten wordt verdeeld om te voorkomen dat de hoeveelheid nieuws de filings verdringt.

2. Role-Separated Agent Protocol:
   Bewijslast wordt door onafhankelijke agenten verwerkt voordat aggregatie plaatsvindt:

   • Fundamentele Agent: Analyseert omzet, marges, cashflow en guidance.
   • Nieuws Agent: Schat de polariteit van gebeurtenissen, nieuwheid en brondiversiteit in.
   • Technische Agent: Analyseert trends, momentum en volatiliteit met uitsluitend numerieke kenmerken.
   • Risico Agent: Bouwt tegenargumenten op en identificeert ontbrekend bewijs.
   • Verifier: Controleert claims tegen de opgehaalde tekstfragmenten en detecteert tegenstrijdigheden tussen bronnen.
     Agents opereren onafhankelijk om anchoring te verminderen, en een tweede aggregatie-pass gebruikt betrouwbaarheidsgewichten zonder ongeciteerde feiten te introduceren.

3. Hybride Onzekerheidsformulering:
   Het systeem aggregeert probabilistische beoordelingen van agenten en berekent een samengestelde onzekerheidsscore ($U_{i,t}$). Deze score integreert:

   • Onenigheid: Gemiddelde Jensen–Shannon divergentie tussen agenten.
   • Tegenstrijdigheid: Relevantie-gewogen waarschijnlijkheid van tegenstrijdige claims.
   • Consistentie: Variantie over herhaalde inferentie-samples.
   • Tekort aan Bewijslast: Gebrek aan ondersteunend bewijs.
   • Entropie en Kalibratiekloof: Predictieve entropie en historische kalibratiefouten.
     Deze factoren worden gecombineerd via een logistische functie met validatie-geoptimaliseerde gewichten.

4. Selectieve Controller:
   De controller voorspelt een richting (bullish, bearish, neutraal) alleen als de onzekerheidsscore $U_{i,t}$ onder een gevalideerde drempelwaarde $\theta$ ligt. Indien niet, onthoudt het systeem zich van een voorspelling (abstention). Onthouding wordt behandeld als een beslissing, wat acties triggert zoals het opvragen van meer bewijs, het verkleinen van de positiegrootte of het doorsturen naar menselijke beoordeling. De drempelwaarde wordt geoptimaliseerd op validatiedata om selectief risico te minimaleniseren binnen een minimale dekking-restrictie.

Kernbijdragen
Het artikel schetst vier specifieke bijdragen:

• Een temporele RAG-specificatie die de beschikbaarheid van documenten op het moment van de forecast afdwingt voor filings, nieuws en marktgegevens.
• Een multi-agent bewijsprotocol dat onenigheid, tegenstrijdigheid en citatie-ondersteuning expliciet blootlegt in plaats van deze samen te smelten tot één enkel narratief.
• Een hybride onzekerheidsscore en een formele controller die kalibratie, dekking, selectief risico en positiegrootte koppelen.
• Een reproduceerbare chronologische evaluatieblauwdruk, die expliciet onderscheid maakt tussen gesimuleerde planningwaarden en empirische bevindingen.

Resultaten en Evaluatie
Het artikel presenteert gesimuleerde illustratieve resultaten in plaats van empirische bevindingen van een voltooide backtest. Deze simulaties zijn ontworpen om de rapportagepijplijn en de consistentie van de voorgestelde metrieken te testen.

• Prestaties: In de simulatie bereikt FinAbstain de beste kalibratie (ECE: 0.026) en selectieve nauwkeurigheid (68,8%) bij een dekking van 72% van de gevallen.
• Risico-Dekking Trade-off: De gesimuleerde risico-dekkingcurves laten zien dat FinAbstain bij gelijke dekking een lagere selectieve fout behoudt dan baselines (inclusclusief standaard RAG en ongekalibreerde multi-agent modellen).
• Ablatie: Bij het verwijderen van de temporele filtering resulteert dit in een misleidend hoge nauwkeurigheid (70,4%) in de simulatie, wat de auteurs expliciet als ongeldig labelen vanwege toekomstige contaminatie. Het verwijderen van kalibratie- of onthoudingsmogelijkheden verslechtert de prestaties, wat het belang van het selectieve mechanisme benadrukt.
• Metrieken: Het evaluatiekader omvat nauwkeurigheid, F1, Brier-score, Expected Calibration Error (ECE), Sharpe-ratio, Maximum Drawdown (MDD) en transactiekosten-gecorrigeerde rendementen.

Betekenis en Claims
Het artikel positioneert FinAbstain niet als een bewezen handelsstrategie, maar als een tijdveilige architectuur en een reproduceerbare evaluatieblauwdruk voor bewijs-gegronde selectieve financiële forecasting.

• Kernhypothese: De auteurs stellen voor dat gekalibreerde onthouding (abstention) dekking kan inruilen voor een lagere selectieve fout en een lagere drawdown.
• Bescheidenheid van Claims: De auteurs verklaren expliciet dat de gerapporteerde cijfers "gesimuleerde artefacten" zijn voor het testen van methodologie en lay-out. Zij claimen geen economisch voordeel of empirische validatie.
• Toekomstig Werk: Het artikel roept op tot een vooraf geregistreerde chronologische studie met een bevroren data-manifest, uitvoerbare feature-pipelines en onafhankelijke audits om de gesimuleerde waarden te vervangen door empirische resultaten. Het erkent dat het framework de irreducibele marktonzekerheid of strategische misinformatie niet kan elimineren.

Samenvattend biedt FinAbstain een structurele aanpak voor financiële forecasting die prioriteit geeft aan epistemische bescheidenheid (weten wanneer men niet moet voorspellen) en temporele integriteit (garanderen dat er geen toekomstige lekkage optreedt), wat een rigoureus kader biedt voor het evalueren wanneer LLM's zich moeten onthouden van het nemen van financiële beslissingen.