FinAbstain: Uncertainty-Calibrated Multimodal RAG for Selective Financial Forecasting

Sintesi Tecnica: FinAbstain

Problematica
La previsione finanziaria è intrinsecamente difficile a causa dell'arrivo asincrono delle evidenze e della frequente divergenza dei segnali (ad esempio, i documenti di rendicontazione degli utili rispetto al sentiment delle notizie o agli indicatori tecnici). Sebbene i Large Language Models (LLM) possano sintetizzare le narrazioni finanziarie, spesso esibiscono un'elevata fiducia anche quando le evidenze sono scarse, obsolete o contraddittorie. In un contesto decisionale, questa eccessiva fiducia converte i limiti epistemici in rischi di trading evitabili. I sistemi esistenti di Retrieval-Augmented Generation (RAG) e i modelli linguistici finanziari soffrono di tre lacune critiche:

1. Leakage Temporale: Il RAG standard non garantisce che i documenti recuperati fossero pubblici al momento specifico della previsione, portando alla contaminazione del backtest.
2. Disaccordo Nascosto: Le singole narrazioni di sintesi spesso collassano segnali contrastanti provenienti da fonti fondamentali, news e mercati in un unico output.
3. Mancanza di Rifiuto Selettivo: I punteggi di confidenza sono raramente calibrati per supportare l'opzione operativa di rifiutare una previsione (astensione) quando l'incertezza è elevata.

Metodologia: Il Framework FinAbstain
FinAbstain è un framework di ricerca per la RAG multimodale con incertezza calibrata e predizione selettiva. La sua architettura si compone di quattro componenti principali:

1. Recuperatore Multimodale Point-in-Time:
   Il sistema ingerisce documenti (10-K, 10-Q, 8-K), call sugli utili, news, prezzi, volumi e indicatori tecnici. Fondamentalmente, impone vincoli temporali rigorosi: vengono ammessi solo i documenti con timestamp di pubblicazione ($\tau_{pub}$) e di ingestione ($\tau_{ing}$) precedenti al tempo di previsione $t$. Ciò evita il leakage di informazioni future. Il recuperatore utilizza un punteggio ibrido dense/BM25 per il testo e un matching per regime/recenza per le serie temporali, allocando un budget top-$k$ tra le modalità per evitare che il volume delle news oscuri i documenti ufficiali.

2. Protocollo ad Agenti Separati per Ruolo:
   L'evidenza viene elaborata da agenti indipendenti prima dell'aggregazione:

   • Agente Fondamentale: Analizza ricavi, margini, cash flow e guidance.
   • Agente News: Stima la polarità degli eventi, la novità e la diversità delle fonti.
   • Agente Tecnico: Analizza trend, momentum e volatilità utilizzando solo feature numeriche.
   • Agente del Rischio: Costruisce controargomentazioni e identifica l'assenza di evidenze.
   • Verificatore: Controlla le affermazioni rispetto agli span recuperati e rileva contraddizioni tra le fonti.
     Gli agenti operano in modo indipendente per ridurre l'ancoraggio, e un secondo passaggio di aggregazione utilizza pesi di affidabilità senza introdurre fatti non citati.

3. Formulazione dell'Incertezza Ibrida:
   Il sistema aggrega le valutazioni probabilistiche degli agenti e calcola un punteggio di incertezza composito ($U_{i,t}$). Questo punteggio integra:

   • Disaccordo: Divergenza media di Jensen–Shannon tra gli agenti.
   • Contraddizione: Probabilità pesata sulla rilevanza di affermazioni contraddittorie.
   • Consistenza: Varianza tra campioni di inferenza ripetuti.
   • Deficienza di Recupero: Mancanza di evidenze di supporto.
   • Entropia e Gap di Calibrazione: Entropia predittiva ed errori di calibrazione storici.
     Questi fattori sono combinati tramite una funzione logistica con pesi validati tramite fitting.

4. Controller Selettivo:
   Il controller predice una direzione (bullish, bearish, neutral) solo se il punteggio di incertezza $U_{i,t}$ è inferiore a una soglia validata $\theta$. In caso contrario, il sistema si astiene. L'astensione è trattata come una decisione, innescando azioni quali la richiesta di ulteriori evidenze, la riduzione della dimensione della posizione o l'instradamento verso una revisione umana. La soglia è ottimizzata sui dati di validazione per minimizzare il rischio selettivo soggetto a un vincolo di copertura minima.

Contributi Chiave
Il documento delinea quattro contributi specifici:

• Una specifica RAG temporale che impone la disponibilità dei documenti al timestamp di previsione per filings, news e dati di mercato.
• Un protocollo di evidenza multi-agente che espone esplicitamente disaccordo, contraddizione e supporto delle citazioni invece di collassarli in una singola narrazione.
• Uno score di incertezza ibrido e un controller formale che collegano calibrazione, copertura, rischio selettivo e dimensionamento della posizione.
• Un blueprint di valutazione cronologica riproducibile, che distingue esplicitamente tra valori di pianificazione simulati e risultati empirici.

Risultati e Valutazione
Il documento presenta risultati simulati illustrativi piuttosto che risultati empirici derivanti da un backtest completato. Queste simulazioni sono progettate per testare la pipeline di reporting e la coerenza delle metriche proposte.

• Performance: Nella simulazione, FinAbstain raggiunge la migliore calibrazione (ECE: 0.02 l'errore di calibrazione atteso) e l'accuratezza selettiva (68.8%) coprendo il 72% dei casi.
• Trade-off Rischio-Copertura: Le curve simulate rischio-copertura mostrano che FinAbstain mantiene un errore selettivo inferiore rispetto ai baseline (inclusi RAG standard e modelli multi-agente non calibrati) a parità di livello di copertura.
• Ablazione: Rimuovendo il filtraggio temporale, si ottiene un'accuratezza ingannevolmente alta (70.4%) nella simulazione, che gli autori etichettano esplicitamente come invalida a causa della contaminazione futura. Rimuovere le capacità di calibrazione o di astensione degrada le prestazioni, evidenziando la necessità del meccanismo selettivo.
• Metriche: Il framework di valutazione include accuratezza, F1, B score, Expected Calibration Error (ECE), Sharpe ratio, Maximum Drawdown (MDD) e rendimenti corretti per i costi di transazione.

Significatività e Rivendicazioni
Il documento posiziona FinAbstain non come una strategia di trading provata, ma come un'architettura sicura nel tempo e un blueprint di valutazione riproducibile per la previsione finanziaria selettiva basata su evidenze.

• Ipotesi Centrale: Gli autori propongono che l'astensione calibrata possa scambiare la copertura con un minor errore selettivo e un drawdown ridotto.
• Modestia delle Rivendicazioni: Gli autori dichiarano esplicitamente che i numeri riportati sono "artefatti simulati" per il test della metodologia e del layout. Non rivendicano benefici economici o validazione empirica.
• Lavoro Futuro: Il documento richiama uno studio cronologico preregistrato con un manifesto di dati congelato, pipeline di feature eseguibili e audit indipendenti per sostituire i valori simulati con risultati empirici. Riconosce che il framework non può eliminare l'incertezza di mercato irriducibile o la disinformazione strategica.

In sintesi, FinAbstain offre un approccio strutturale alla previsione finanziaria che privilegia l'umiltà epistemica (sapere quando non prevedere) e l'integrità temporale (garantire l'assenza di leakage futuro), fornendo un framework rigoroso per valutare quando gli LLM debbano astenersi dal prendere decisioni finanziarie.