Detecting Lookahead Bias in LLM Forecasts

Sintesi Tecnica: Rilevare il Lookahead Bias nelle Previsioni degli LLM

Definizione del Problema
I grandi modelli linguistici (LLM) vengono sempre più utilizzati nell'economia empirica e nella finanza per generare previsioni a livello di impresa partendo da testi non strutturati, come titoli di notizie e trascrizioni di chiamate sugli utili (earnings calls). Questi modelli dimostrano spesso una capacità predittiva per i risultati realizzati (ad esempio, rendimenti azionari, spese in conto capitale) comparabile o superiore ai benchmark econometrici tradizionali. Tuttavia, una preoccupazione critica è che tale capacità predittiva possa non derivare da un reale ragionamento economico sul testo in input, bensì dalla "memoria" dei risultati realizzati assorbiti durante il pre-addestramento. Quando un modello viene valutato su date comprese nel suo corpus di addestramento, il risultato realizzato per una specifica coppia azienda-data può essere stato assorbito insieme alle narrazioni retrospettive, creando un "lookahead bias" (distorsione da anticipazione) in cui il modello, di fatto, richiama la risposta anziché ragionare attraverso il prompt. Le strategie di mitigazione esistenti, come il mascheramento delle entità o la restrizione della valutazione a dati post-cutoff, sono parziali (lasciando intatti sottili canali di memorizzazione) o statisticamente limitanti (a causa di finestre fuori campione troppo brevi). Manca uno strumento diagnostico portabile per determinare se la previsione di un LLM si basi sulla memorizzazione o sul ragionamento per un compito specifico.

Metodologia
Gli autori propongono una procedura statistica centrata su una metrica denominata Lookahead Propensity (LAP), indicata come $LAP^{(known)}_{i,t+1}$.

1. Costruzione della LAP:

   • Il metodo utilizza una "query di richiamo basata solo sulla data" (date-only recall query) contenente solo il nome dell'azienda, il ticker e la data target (o il trimestre), senza alcuna informazione contemporanea (niente titoli, trascrizioni o fondamentali).
   • Il modello viene istruito per predire la direzione del risultato (ad esempio, "su" o "giù") o per astenersi ("sconosciuto").
   • $LAP^{(known)}$ è calcolata come la somma delle probabilità del primo token assegnate alle etichette direzionali: $P_{up} + P_{down}$.
   • Un valore vicino a 1 indica che il modello "conosce" il risultato (alta memorizzazione), mentre un valore vicino a 0 indica astensione (nessun richiamo).

2. Framework Econometrico:

   • Gli autori modellano la previsione dell'LLM ($\hat{\mu}_t$) come la somma di una vera aspettativa condizionale e di un termine di contaminazione: $\hat{\mu}_t = \mu(X_t) + \gamma L_t \epsilon_{t+1}$.
   • In questo contesto, $L_t$ rappresenta la forza di memorizzazione della firma-periodo (rappresentata dalla $LAP^{(known)}$), e $\gamma$ rappresenta la propensione del modello a far trapelare contenuti memorizzati nelle previsioni condizionate dal testo.
   • Il test di rilevamento consiste in una regressione dell'accuratezza del risultato realizzato ($Y_{t+1}$) sulla previsione dell'LLM ($\hat{\mu}_t$), sulla misura LAP e sulla loro interazione:
     $$Y_{t+1} = \beta_1 \hat{\mu}_t + \beta_2 LAP_t + \beta_3 (\hat{\mu}_t \times LAP_t) + \epsilon_{t+1}$$
   • Proposizione 1: In condizioni moderate, un coefficiente di interazione positivo e significativo ($\beta_3 > 0$) funge da diagnostica monodirezionale per $\gamma > 0$, indicando che la capacità predittiva del modello è amplificata dal contenuto memorizzato.

3. Validazione e Placebo:

   • Validazione: La componente direzionale della query di richiamo ($(U-D) = P_{up} - P_{down}$) viene testata contro i risultati realizzati. La capacità predittiva qui conferma l'esistenza della memorizzazione ($L_t > 0$).
   • Placebo: Il test viene applicato a un campione post-cutoff di addestramento (date strettamente successive alla data di cutoff del modello). In questa finestra, la $LAP^{(known)}$ dovrebbe collassare verso lo zero, e il termine di interazione dovrebbe diventare insignificante, confermando che l'amplificazione in-sample è stata guidata dall'esposizione durante il periodo di addestramento.

Risultati Empirici Chiave
Gli autori applicano questo framework a due compiti di previsione utilizzando Llama-3.3-70B (cutoff di addestramento: dicembre 2023):

1. Previsione dei Rendimenti tramite News Azionarie:

   • Utilizzando titoli di Bloomberg per predire i rendimenti azionari del giorno successivo (in-sample: 2012–2023).
   • Il segnale base dell'LLM predice i rendimenti ($t=12.18$).
   • Il termine di interazione ($LLM \times LAP$) è positivo e altamente significativo ($t=3.64$). Un aumento di una deviazione standard della $LAP^{(known)}$ aumenta l'effetto marginale del segnale dell'LLM di circa il 32%.
   • La sola query di richiamo (senza titoli) predice i rendimenti con un $t$-statistia di 3.53, ma solo per i giorni-azienda con alta $LAP^{(known)}$.
   • Fuori Campione (2024): La media della $LAP^{(known)}$ collassa vicino allo zero e il termine di interazione diventa statisticamente insignificante ($t=1.06$), validando l'ipotesi del lookahead bias.

2. Previsione delle Spese in Conto Capitale tramite Trascrizioni di Earnings Call:

   • Utilizzando le trascrizioni per predire le spese in conto capitale (capex) due trimestri in avanti (in-sample: 2006–2020).
   • Il segnale base dell'LLM predice la futura capex ($t=16.69$).
   • Il termine di interazione è positivo e significativo ($t=2.01$). Un aumento di una deviazione standard della $LAP^{(known)}$ aumenta l'effetto marginale di circa il 12%.
   • Fuori Campione (2023Q3–2024Q1): L'interazione perde significatività ($t=1.35$) e l'effetto di amplificazione svanisce poiché le date di richiamo cadono strettamente dopo il cutoff di addestramento.

3. Confronto con l'Inner Confidence:

   • Gli autori testano la misura $LAP$ rispetto all' "Inner Confidence" (la probabilità del modello per la sua risposta scelta nel prompt principale).
   • Entrambi i termini di interazione ($LLM \times LAP$ e $LLM \times Inner Confidence$) rimangono significativi quando inclusi congiuntamente, indicando che catturano componenti distinte della performance predittiva: la $LAP$ cattura la memorizzazione, mentre l'inner confidence cattura la certezza del modello nel proprio ragionamento.

Significatività e Rivendicazioni
Il documento sostiene di fornire un diagnostico portabile, efficiente in termini di costi e a livello di modello per valutare la validità delle previsioni generate dagli LLM.

• Utilità Diagnostica: Permette ai ricercatori di quantificare quanto della apparente capacità predittiva di un LLM sia guidata dalla memorizzazione rispetto al ragionamento, senza richiedere il ri-addestramento, l'accesso a dati di addestramento proprietari o la costruzione di modelli privi di fughe (leak-free).
• Natura Specifica per il Compito: Gli autori sottolineano che il lookahead bias non è un fallimento universale degli LLM, ma è specifico per ogni compito, dipendendo dal dominio di input, dalla variabile target, dal modello e dal prompt.
• Applicazione Pratica: Il test richiede solo la capacità di interrogare un modello e leggere le probabilità del primo token della risposta. Consente ai ricercatori di "depurare" gli effetti di memorizzazione per determinare il vero contenuto economico di una previsione.
• Limitazioni: Il test identifica il segno del carico di contaminazione ($\gamma > 0$) piuttosto che la sua entità precisa. Non suggerisce di scartare le previsioni degli LLM, ma fornisce uno strumento per interpretarne l'affidabilità in contesti specifici.

Il documento conclude che una quota non trascurabile del contenuto predittivo nelle previsioni finanziarie basate su LLM riflette la memorizzazione durante l'addestramento, e che il test proposto $LAP^{(known)}$ offre un metodo rigoroso per rilevare e tenere conto di questo bias.