💰 quantitative finance

Leakage-Aware Benchmarking of LLM Forecasting: Real-Time Nowcasts as the Decision-Time Input for Macro Factor Ranking

Dit artikel introduceert een lekgevoelig benchmarkingsframework voor retrieval-augmented LLM's bij het rangschikken van aandelefactoren, waarbij wordt aangetoond dat hoewel real-time inflatie-nowcasting en macro-gelijke retrieval de mediaanprestaties vergelijkbaar maken met non-LLM baselines, LLM's marginale waarde bieden door het verbeteren van de gemiddelde rendementen en de nauwkeurigheid van extreme rangschikkingen die essentieel zijn voor long-short portefeuilleformatie.

Oorspronkelijke auteurs: Mao Guan, Qian Chen

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mao Guan, Qian Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een financiële coach bent die de beste zeven sportteams (die verschillende beleggingsstijlen vertegenwoordigen) probeert te kiezen om op te wedden voor de komende maand. Je wilt eerlijk, nauwkeurig en, het belangrijkste, je wilt niet valsspelen door de einduitslag te bekijken voordat de wedstrijd begint.

Dit artikel gaat over het bouwen van een "coach" met behulp van een slimme computerhersenen (een Large Language Model, of LLM) om deze voorspellingen te doen, maar met een zeer strikte regel: Je mag alleen informatie gebruiken die op de dag dat je de weddenschap moest plaatsen, daadwerkelijk beschikbaar was.

Hier is de uitsplitsing van wat ze hebben gedaan en wat ze hebben gevonden, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Tijdreiziger-valsspeler"

In veel financiële studies bedriegen onderzoekers zichzelf per ongeluk. Ze gebruiken bijvoorbeeld een rapport (zoals het maandelijkse inflatiecijfer) dat als "januari" wordt gelabeld, maar in werkelijkheid pas halverwege februari wordt gepubliceerd. Als een computermodel dat januari-cijfer gebruikt om in januari een weddenschap te plaatsen, is dat alsof een tijdreiziger op een paardenrace wedt nadat hij heeft gezien wie er gewonnen heeft.

De auteurs zeggen: "Stop daarmee." Ze bouwten een systeem waarbij de computer strikt verboden is om iets te zien dat nog niet is gebeurd.

2. De Oplossing: De "Lekkage-vrije" Coach

Om het probleem van valsspelen op te lossen, creëerden ze een speciale trainingsgrond voor hun AI-coach:

De Inputs: In plaats van het officiële, laat uitgebrachte inflatierapport, gebruikten ze een "voorspelling" van de inflatie die op de dag van de beslissing beschikbaar was (zoals de dagelijkse weersverwachting van een weerman voordat het officiële stormrapport wordt uitgebracht).
Het Geheugen: De AI kijkt terug in de geschiedenis om maanden te vinden die op vandaag lijken (bijv. "Deze maand voelt als 1990, toen de werkloosheid steeg").
Het Team: Ze gebruikten een AI-team uit twee delen:
- De Criticus: Een slimme AI die naar de historische "gelijkaardige maanden" kijkt en één simpele regel voor de maand opschrijft (bijv. "Wanneer de inflatie laag is en banen schaars zijn, wed op Team A").
- De Acteur: Een andere AI die de gegevens van vandaag, de "regel van de Criticus" en recente nieuwsberichten neemt om de definitieve scores voor de zeven teams te kiezen.

3. Het Experiment: De 36-Maanden Test

Ze lieten deze coach een test van 3 jaar (36 maanden) doorlopen van 2023 tot 2026. Elke maand moest de coach de zeven teams rangschikken van best naar slechtst.

De Resultaten:

Werkte het? Ja, maar niet perfect. De coach kreeg de rangschikkingen vaker goed dan een willekeurige gok. Als je naar de "middelste" prestatie kijkt (de mediaan), deed de coach het behoorlijk goed.
Was het magie? Niet echt. Wanneer ze de hippe AI-coach vergeleken met een veel simpelere, niet-AI methode (een basis wiskundig model dat alleen naar vergelijkbare afgelopen maanden keek), deed het simpele model bijna net zo goed in het juist krijgen van de "middelste" rangschikkingen.
Waar scheen de AI? De AI was iets beter in de "extremen". De AI was beter in het zelfverzekerd zeggen van: "Dit team is absoluut de beste" of "Dit team is absoluut de slechtste". Dit is belangrijk omdat je bij beleggen vaak zwaar wilt inzetten op de allerbeste en de aller slechtste opties.

4. De Grote Conclusie

De paper concludeert dat het "geheime ingrediënt" niet de hippe AI-hersenen zelf waren, maar het hebben van de juiste informatie op het juiste moment.

De "Nowcast" is essentieel: De grootste boost aan de prestaties van de coach kwam door het gebruik van de realtime inflatievoorspelling (de "nowcast") in plaats van het vertraagde officiële cijfer. Dit herstelde de "tijdreiziger-valsspeler".
De Rol van de AI: De AI heeft niet op een nieuwe manier de toekomst uitgevonden. In plaats daarvan fungeerde het als een bekwame redacteur die een heleboel historische feiten en recent nieuws kon nemen, een duidelijke strategie kon schrijven en deze iets beter kon toepassen op de huidige situatie dan een simpele rekenmachine kan—vooral bij het maken van gedurfde keuzes voor de top en de bodem van de lijst.

Samenvatting in een Notendop

De auteurs hebben een financieel voorspellingssysteem gebouwd dat weigert te valsspelen door in de toekomst te kijken. Ze kwamen tot de conclusie dat als je een slimme AI de juiste realtime informatie geeft (en niet de vertraagde, "perfecte" data), het behoorlijk goede voorspellingen kan doen. Echter, veel van dat succes komt simpelweg door het hebben van de juiste data, en niet alleen door de AI "slim" te laten zijn. De echte waarde van de AI lag in het maken van sterkere, meer zelfverzekerde weddenschappen op de allerbeste en aller slechtste opties, in plaats van alleen maar het gemiddelde te raden.

Technische Samenvatting: Lekage-bewuste Benchmarking van LLM-voorspellingen

Probleemstelling

Huidige benchmarks voor Retrieval-Augmented Generation (RAG) in financiële voorspellingen lijden vaak aan informatielekkage. In macro-gestuurde financiële contexten is data die gelabeld is met een specifieke tijdstempel (bijv. de Consumentenprijsindex voor maand $t$ ) vaak niet observeerbaar op het moment van besluitvorming door het systeem (meestal eind van de maand), omdat officiële publicaties dagen of weken uitloop hebben. Standaard walk-forward backtests die gegevens met toekomstige labels absorberen, consumeren onbedoeld "look-ahead" informatie, wat de prestatiecijfers opblaast. Dit probleem is bijzonder acuut in Large Language Model (LLM) pijplijnen, waarbij agenten macro-narratieven en gebeurtenis-samenvattingen absorberen die mogelijk geen rekening houden met historische observatiebeperkingen.

Methodologie

De auteurs construeren een lekage-gecontroleerde, maandelijkse walk-forward benchmark om zeven Amerikaanse aandelenstijlfactoren (SMB, HML, RMW, CMA, UMD, BAB, QMJ) te rangschikken over een periode van 36 maanden (april 2023 – maart 2026).

1. Informatiebeperkingen op het moment van besluitvorming:
Om strikte observeerbaarheid te garanderen, wordt het systeem alleen gevoed met gegevens die beschikbaar zijn op de besluitdatum $t$ :

Vertraagde Macro-variabelen: FRED-variabelen (CPI, werkloosheid) zijn verschoven met één kalendermaand.
Real-Time Nowcasts: Onuitgegeven inflatie van de huidige maand wordt vervangen door de gearchiveerde dagelijkse CPI-nowcast van de Cleveland Fed, die op datum $t$ is opgevraagd.
Gebeurtenis-samenvattingen: Recente samenvattingen van FOMC- en CPI-publicaties zijn inbegrepen.
Historische Analoog-retrieval: Een retrieval-module selecteert historische analogen uit een pool die beperkt is tot ten minste 12 maanden vóór $t$ (een strikt embargo) om datacontaminatie te voorkomen.

2. Modelarchitectuur (Actor-Critic RAG):
De pijplijn maakt gebruik van een 7B-parameter open-source LLM (Qwen2.5-7B-Instruct, gekwantiseerd naar 4-bit) in een twee-fasen actor-critic configuratie:

Retrieval: Een macro-analoog module haalt de top-4 historische maanden op die het meest lijken op de huidige staat (gebaseerd op een 4-dimensionale z-gescorede macro-vector: growth pulse, inflation pulse, term spread, VIX pulse).
Critic: Een "critic" LLM leest de opgehaalde analogen en de huidige macro-staat om één tactische regel te synthetiseren (bijv. "Verhoog HML met 0.15").
Actor: Een "actor" LLM brengt de huidige real-time staat, recente gebeurtenis-samenvattingen en een rollend buffer van de laatste 6 tactische regels in kaart naar scores voor de zeven aandelenfactoren.

3. Baselines:
De LLM-pijplijn wordt vergeleken met niet-LLM baselines die exact dezelfde informatieverzameling op het moment van besluitvorming gebruiken:

kNN Macro Analog: Haalt dezelfde 4 analogen op maar voorspelt factorrendementen op basis van het gemiddelde van hun gerealiseerde rendement van de volgende maand (geen LLM).
Ridge Regressie: Lineaire modellen die ofwel de nowcast-alleen of de volledige macro/nowcast vectoren gebruiken.

Belangrijkste Resultaten

1. Prestatiecijfers:

De volledige LLM-pijplijn bereikt een mediane maandelijkse Spearman rank IC van +0.154 en een gemiddelde IC van +0.131.
Het signaal is richtingsgevoelig positief over drie niet-overlappende 12-maands sub-vensters (+0.111, +0.165, +0.117).
Echter, de gemiddelde IC is statistisch onderbezet: het bootstrap 95% betrouwbaarheidsinterval bevat nul $[-0.02, +0.28]$ , en de permutatie $p$ -waarde is 0.11.

2. Ablatie en Attributie:

De Rol van Nowcasts: De meest significante sprong in mediane IC (van +0.009 naar +0.154) vond plaats toen de Cleveland Fed nowcast werd toegevoegd, wat aangeeft dat real-time inflatie-informatie een primaire drijfveer van het signaal is.
LLM vs. kNN: De kNN macro-analog baseline (niet-LLM) bereikte een vergelijkbare mediane IC (+0.161) als de volledige LLM-pijplijn (+0.154). Dit suggereert dat de kern van het "mediane signaal" wordt gedreven door de retrieval van macro-gelijke staten en de inclusie van real-time nowcasts, in plaats van de LLM-architectuur zelf.
Marginale Bijdrage van de LLM: De LLM-pijplijn presteerde beter dan de kNN-baseline in gemiddelde IC (+0.131 vs. +0.070) en in een economische sanity check (Long-Top-2/Short-Bottom-2 portfolio). De Sharpe-ratio van de LLM was +0.71 vergeleken met +0.29 voor kNN. De auteurs interpreteren dit als het feit dat de LLM specifiek voordelen biedt bij extreme rangschikkingen (top en bodem factoren), die de long-short portfolio vorming aansturen, in plaats van bij de centrale tendens.

Betekenis en Claims

Het artikel claimt geen doorbraak in voorspellende kracht of een inzetbare handelsstrategie. In plaats daarvan ligt de betekenis in de diagnostische strengheid:

Lekagecontrole: Het toont aan dat standaard benchmarks vaak modelcapaciteit verwarren met informatielekkage. Door strikte beperkingen op het moment van besluitvorming af te dwingen (met name het vervangen van toekomstige-gelabelde CPI door nowcasts), isoleren de auteurs de werkelijke informatieverzameling die beschikbaar is voor een besluitvormer.
Ontrafelen van Signaalbronnen: De studie onthult dat in deze specifieke macro-geconditioneerde taak, real-time inflatie nowcasts en macro-gelijke retrieval verantwoordelijk zijn voor het merendeel van het mediane voorspellende signaal. De bijdrage van de LLM lijkt geconcentreerd te zijn in het verfijnen van extreme rangschikkingen in plaats van het de novo ontdekken van nieuwe signalen.
Reproduceerbaarheid: De auteurs stellen de volledige pijplijn vrij, inclusief het "bevroren" inputarchief op het moment van besluitvorming (Cleveland Fed nowcasts), prompt templates en de 36 reproduceerbare critic regels, wat een rigoureuze audit van LLM-gedrag in financiële voorspellingen mogelijk maakt zonder datagelekkage.

De auteurs concluderen dat hoewel de 7B retrieval-augmented LLM een positief signaal produceert, het bewijs statistisch bescheiden blijft ( $n=36$ ), en de marginale waarde van de LLM-architectuur waarschijnlijk beperkt is tot het afhandelen van niet-lineaire interacties in extreme marktomstandigheden in plaats van algemene factorvoorspelling.