Detecting Lookahead Bias in LLM Forecasts

Technische Samenvatting: Detectie van Lookahead Bias in LLM-voorspellingen

Probleemstelling
Large Language Models (LLM's) worden steeds vaker ingezet in de empirische economie en financiële sector om bedrijfsspecifieke voorspellingen te genereren op basis van ongestructureerde tekst, zoals nieuwsberichten en transcripten van earnings calls. Deze modellen vertonen vaak een voorspellende kracht voor gerealiseerde uitkomsten (bijv. aandelenrendementen, kapitaaluitgaven) die vergelijkbaar met of zelfs groter dan die van traditionele econometrische benchmarks is. Een kritiek punt van zorg is echter dat deze voorspellende kracht mogelijk niet voortkomt uit werkelijke economische redenering over de inputtekst, maar uit het "geheugen" van de LLM over gerealiseerde uitkomsten die tijdens de pretraining zijn opgenomen. Wanneer een model wordt geëvalueerd op data binnen zijn trainingscorpus, kan de gerealiseerde uitkomst voor een specifieke combinatie van bedrijf en datum zijn opgenomen samen met retrospectieve narratieven, wat een "lookahead bias" creëert waarbij het model effectief het antwoord herroept in plaats van door de prompt te redeneren. Bestaande mitigatiestrategieën, zoals entiteitsmaskering of het beperken van evaluaties tot data na de kennisstop (cutoff), zijn ofwel gedeeltelijk (waardoor subtiele kanalen voor memorisatie intact blijven) of statistisch beperkend (door korte out-of-sample vensters). Er is een gebrek aan een draagbare diagnostisch instrument om te bepalen of een LLM-voorspelling berust op memorisatie of op redenering voor een specifieke taak.

Methodologie
De auteurs stellen een statistische procedure voor die gecentreerd is rond een metriek genaamd Lookahead Propensity (LAP), aangeduid als $LAP^{(known)}_{i,t+1}$.

1. Constructie van LAP:

   • De methode maakt gebruik van een "date-only recall query" die alleen de naam van het bedrijf, de ticker en de doeldatum (of het kwartaal) bevat, zonder contemporaine informatie (geen koppen, transcripten of fundamenten).
   • Het model wordt gevraagd de richting van de uitkomst te voorspellen (bijv. "omhoog" of "omlaag") of te onthouden ("onbekend").
   • $LAP^{(known)}$ wordt berekend als de som van de eerste-token waarschijnlijkheden toegewezen aan de directionele labels: $P_{up} + P_{down}$.
   • Een waarde nabij 1 geeft aan dat het model de uitkomst "kent" (hoge memorisatie), terwijl een waarde nabij 0 duidt op onthouding (geen herinnering).

2. Econometrisch Kader:

   • De auteurs modelleren de LLM-voorspelling ($\hat{\mu}_t$) als de som van een ware conditionele verwachting en een contaminatieterm: $\hat{\mu}_t = \mu(X_t) + \gamma L_t \epsilon_{t+1}$.
   • Hierbij vertegenwoordigt $L_t$ de memorisatiestärke van het bedrijf-periode (geproxied door $LAP^{(known)}$), en $\gamma$ de neiging van het model om gememoriseerde inhoud te lekken naar tekst-geconditioneerde voorspellingen.
   • De detectietest omvat een accuratieregressie van de gerealiseerde uitkomst ($Y_{t+1}$) op de LLM-voorspelling ($\hat{\mu}_t$), de LAP-maatstaf, en hun interactie:
     $$Y_{t+1} = \beta_1 \hat{\mu}_t + \beta_2 LAP_t + \beta_3 (\hat{\mu}_t \times LAP_t) + \epsilon_{t+1}$$
   • Propositie 1: Onder milde voorwaarden dient een positieve en significante interactiecoëfficiënt ($\beta_3 > 0$) als een eenzijdige diagnostiek voor $\gamma > 0$, wat aangeeft dat de voorspellende kracht van het model wordt versterkt door gememoriseerde inhoud.

3. Validatie en Placebo:

   • Validatie: Het directionele component van de recall query ($(U-D) = P_{up} - P_{down}$) wordt getest tegen de gerealiseerde uitkomsten. Voorspellende kracht hier bevestigt het bestaan van memorisatie ($L_t > 0$).
   • Placebo: De test wordt toegepast op een steekproef na de training-cutoff (data strikt na de kennisstop van het model). In dit venster zou $LAP^{(known)}$ naar nul moeten dalen, en de interactieterm zou insignificant moeten worden, wat bevestigt dat de in-sample amplificatie werd gedreven door blootstelling tijdens de trainingstijd.

Belangrijke Empirische Resultaten
De auteurs passen dit kader toe op twee voorspellingstaken met behulp van Llama-3.3-70B (training cutoff: december 2023):

1. Aandelennieuws dat rendementen voorspelt:

   • Gebruikmakend van Bloomberg-koppen om het rendement van de volgende dag te voorspellen (in-sample: 2012–2023).
   • Het baseline LLM-signaal voorspelt rendementen ($t=12.18$).
   • De interactieterm ($LLM \times LAP$) is positief en zeer significant ($t=3.64$). Een toename van één standaarddeviatie in $LAP^{(known)}$ verhoogt het marginale effect van het LLM-signaal met ongeveer 32%.
   • De recall query alleen (zonder koppen) voorspelt rendementen met een $t$-statistiek van 3.53, maar alleen voor bedrijf-dagen met een hoge $LAP^{(known)}$.
   • Out-of-Sample (2024): De gemiddelde $LAP^{(known)}$ daalt naar bijna nul, en de interactieterm wordt statistisch insignificant ($t=1.06$), wat de lookahead-bias hypothese valideert.

2. Earnings Calls die kapitaaluitgaven voorspellen:

   • Gebruikmakend van transcripten om kapitaaluitgaven twee kwartalen vooruit te voorspellen (in-sample: 2006–2020).
   • Het baseline LLM-signaal voorspelt toekomstige capex ($t=16.69$).
   • De interactieterm is positief en significant ($t=2.01$). Een toename van één standaarddeviatie in $LAP^{(known)}$ verhoogt het marginale effect met ongeveer 12%.
   • Out-of-Sample (2023Q3–2024Q1): De interactieterm verliest significantie ($t=1.35$), en het amplificatie-effect verdwijnt naarmate de recall-data strikt na de training-cutoff vallen.

3. Vergelijking met Inner Confidence:

   • De auteurs testen de $LAP$-maatstaf tegen "Inner Confidence" (de waarschijnlijkheid van het model voor zijn gekozen antwoord in de hoofdprompt).
   • Beide interactietermen ($LLM \times LAP$ en $LLM \times Inner Confidence$) blijven significant wanneer ze gezamenlijk worden opgenomen, wat aangeeft dat ze verschillende componenten van voorspellende prestaties vastleggen: $LAP$ vangt memorisatie, terwijl inner confidence de zekerheid van het model in zijn redenering vangt.

Significantie en Claims
Het artikel beweert een draagbaar, kostenefficiënt en model-niveau diagnostisch instrument te bieden voor het beoordelen van de validiteit van door LLM's gegenereerde voorspellingen.

• Diagnostisch Nut: Het stelt onderzoekers in staat om te kwantificeren hoeveel van de schijnbare voorspellende kracht van een LLM wordt gedreven door memorisatie versus redenering, zonder dat her-training, toegang tot propriëtaire trainingsdata of de constructie van lek-vrije modellen vereist is.
• Taakspecifiek Karakter: De auteurs benadrukken dat lookahead bias geen universeel falen van LLM's is, maar taakspecifiek, afhankelijk van het inputdomein, de doelvariabele, het model en de prompt.
• Praktische Toepassing: De test vereist enkel het vermogen om een model te bevragen en de eerste-token label waarschijnlijkheden te lezen. Het stelt onderzoekers in staat om memorisatie-effecten "eruit te filteren" om de werkelijke economische inhoud van een voorspelling te bepalen.
• Beperkingen: De test identificeert het teken van de contaminatie-lading ($\gamma > 0$) in plaats van de exacte grootte ervan. Het suggereert niet om LLM-voorspellingen te verwerpen, maar biedt eerder een instrument om hun betrouwbaarheid in specifieke contexten te interpreteren.

Het artikel concludeert dat een niet-verwaarloosbaar deel van de voorspellende inhoud in LLM-gebaseerde financiële voorspellingen reflecteert dat de training-time memorisatie, en dat de voorgestelde $LAP^{(known)}$-test een rigoureuze methode biedt om deze lookahead bias te detecteren en te verantwoorden.