Leakage-Aware Benchmarking of LLM Forecasting: Real-Time Nowcasts as the Decision-Time Input for Macro Factor Ranking

Sintesi Tecnica: Benchmarking del Forecasting di LLM con Consapevolezza della Leakage (Perdita di Informazioni)

Problematica

Gli attuali benchmark per la Generative Augmented Retrieval (RAG) nel forecasting finanziario soffrono frequentemente di leakage di informazioni (information leakage). Nei contesti finanziari guidati da variabili macroeconomiche, i dati etichettati con un timestamp specifico (ad esempio, l'Indice dei Prezzi al Consumo per il mese $t$) spesso non sono osservabili al momento decisionale del sistema (tipicamente a fine mese), poiché i rilasci ufficiali presentano un ritardo di giorni o settimane. I classici backtest walk-forward che ingeriscono questi valori etichettati nel futuro consumano involontariamente informazioni "look-ahead", gonfiando le metriche di performance. Questo problema è particolarmente acuto nelle pipeline di Large Language Models (LLM), dove gli agenti ingeriscono narrazioni macroeconomiche e riassunti di eventi che potrebbero non rispettare i vincoli di osservabilità storica.

Metodologia

Gli autori costruiscono un benchmark walk-forward mensile a controllo di leakage per classificare sette fattori di stile azionario statunitense (SMB, HML, RMW, CMA, UMD, BAB, QMJ) su un periodo di 36 mesi (aprile 2023 – marzo 2026).

1. Vincoli Informativi al Momento Decisionale:
Per garantire una stretta osservabilità, il sistema riceve solo i dati disponibili alla data di decisione $t$:

• Variabili Macro con Shift di Lag: Le variabili FRED (CPI, Disoccupazione) sono traslate di un mese solare.
• Nowcast in Tempo Reale: L'inflazione del mese corrente non ancora pubblicata viene sostituita con il nowcast giornaliero dell'indice CPI dell'archivio della Cleveland Fed, interrogato alla data $t$.
• Riassunti di Eventi: Sono inclusi i riassunti recenti relativi ai rilasci di FOMC e CPI.
• Recupero di Analoghi Storici: Un modulo di retrieval seleziona stati storici da un pool limitato ad almeno 12 mesi prima di $t$ (un embargo rigoroso) per prevenire la contaminazione dei dati.

2. Architettura del Modello (Actor-Critic RAG):
La pipeline utilizza un LLM open-source da 7 miliardi di parametri (Qwen2.5-7B-Instruct, quantizzato a 4-bit) in una configurazione actor-critic a due stadi:

• Retrieval: Un modulo di analogia macroeconomica recupera i 4 mesi storici più simili allo stato attuale (basandosi su un vettore macro a 4 dimensioni con z-score: impulso di crescita, impulso di inflazione, differenziale dei tassi, impulso VIX).
• Critic: Un LLM "critic" legge gli analoghi recuperati e lo stato macro attuale per sintetizzare una regola tattica (es. "Aumenta HML di 0,15").
• Actor: Un LLM "actor" mappa lo stato attuale in tempo reale, i riassunti degli eventi recenti e un buffer rotante delle ultime 6 regole tattiche in punteggi per i sette fattori azionari.

3. Baseline:
La pipeline LLM viene confrontata con baseline non-LLM utilizzando lo stesso set informativo al momento decisionale:

• kNN Macro Analog: Recupera gli stessi 4 analoghi ma predice i rendimenti dei fattori del mese successivo basandosi sulla media dei loro rendimenti realizzati (senza LLM).
• Regressione Ridge: Modelli lineari utilizzando o solo i vettori nowcast o l'intero vettore macro/nowcast.

Risultati Chiave

1. Metriche di Performance:

• La pipeline LLM completa raggiunge un mediano mensile di Spearman rank IC di +0,154 e un mean IC di +0,131.
• Il segnale è direzionalmente positivo attraverso tre sotto-finestre di 12 mesi non sovrapposte (+0,111, +0,165, +0,117).
• Tuttavia, il mean IC è statisticamente debole: l'intervallo di confidenza bootstrap al 95% include lo zero $[-0,02, +0,28]$, e il $p$-value della permutazione è 0,11.

2. Ablazione e Attribuzione:

• Il Ruolo dei Nowcast: Il salto più significativo nel median IC (da +0,009 a +0,154) si è verificato con l'aggiunta del nowcast della Cleveland Fed, indicando che l'informazione sull'inflazione in tempo reale è un driver primario del segnale.
• LLM vs. kNN: La baseline kNN macro-analog (non-LLM) ha raggiunto un median IC comparabile (+0,161) alla pipeline LLM completa (+0,154). Ciò suggerisce che il "segnale mediano" centrale è guidato dal recupero di stati macroeconomici simili e dall'inclusione dei nowcast in tempo reale, piuttosto che dall'architettura LLM stessa.
• Contributo Marginale dell'LLM: La pipeline LLM ha superato la baseline kNN nel mean IC (+0,131 vs. +0,070) e in un controllo di sanità economica (portafoglio Long-Top-2/Short-Bottom-2). Lo Sharpe ratio dell'LLM è stato di +0,71 rispetto allo +0,29 di kNN. Gli autori interpretano questo come il fatto che l'LLM fornisca benefici marginali specificamente nelle classifiche estreme (top e bottom), che guidano la formazione di portafogli long-short, piuttosto che nella tendenza centrale.

Significatività e Claim

Il paper non rivendica una svolta nel potere predittivo o una strategia di trading implementabile. La sua significatività risiede invece nel rigore diagnostico:

1. Controllo della Leakage: Dimostra che i benchmark standard spesso confondono la capacità del modello con la perdita di informazioni. Imponendo rigorosi vincoli al momento decisionale (specificamente sostituendo il CPI con etichette future con i nowcast), gli autori isolano il vero set informativo disponibile per un decisore.
2. Disentanglement delle Fonti del Segnale: Lo studio rivela che, in questo specifico compito condizionato dal macro, i nowcast dell'inflazione in tempo reale e il recupero di analoghi macroeconomici sono responsabili della maggior parte del segnale predittivo mediano. Il contributo dell'LLM sembra concentrarsi nel raffinare le classifiche estreme piuttosto che nel scoprire nuovi segnali de novo.
3. Riproducibilità: Gli autori rilasciano l'intera pipeline, incluso l'archivio di input "congelato" al momento decisionale (nowcast della Cleveland Fed), i template dei prompt e i 36 regole critiche riproducibili, permettendo un audit rigoroso del comportamento dell'LLM nel forecasting finanziario senza leakage di dati.

Gli autori concludono che, sebbene l'LLM con retrieval aumentato da 7B produca un segnale positivo, l'evidenza rimane statisticamente modesta ($n=36$) e il valore marginale dell'architettura LLM è probabilmente limitato alla gestione delle interazioni non lineari in condizioni di mercato estreme piuttosto che alla previsione generale dei fattori.