FinTradeBench: A Financial Reasoning Benchmark for LLMs

1. Il Problema

La decisione finanziaria nel mondo reale richiede la sintesi di due fonti di informazioni complementari ma eterogenee:

• Fondamentali Aziendali: Metriche contabili derivate da documenti normativi (es. filing SEC 10-K/10-Q), come profittabilità, leva finanziaria e rapporti di valutazione.
• Segnali di Trading: Dinamiche di mercato derivate da dati storici di prezzo e volume (es. momentum, volatilità, inversioni di tendenza).

I benchmark esistenti per le Question Answering (QA) finanziarie (come FinQA, TAT-QA) si concentrano prevalentemente sul ragionamento numerico su report contabili e tabelle testuali. Tuttavia, mancano quasi totalmente nella valutazione della capacità dei modelli di ragionare sui segnali di trading derivati dalle serie temporali o nell'integrazione congiunta di fondamentali e dinamiche di mercato.
Il paper evidenzia che i modelli LLM attuali falliscono spesso nel gestire casi in cui i fondamentali e il comportamento del mercato divergono (es. un'azienda con earnings deboli ma un rally azionario guidato dal sentiment), un scenario comune che richiede un ragionamento ibrido complesso.

2. Metodologia e Design del Benchmark

Gli autori introducono FinTradeBench, un benchmark progettato per valutare il ragionamento finanziario su un arco temporale di 10 anni (2015-2025) per le aziende del NASDAQ-100.

A. Struttura dei Dati

Il benchmark integra due fonti principali per ogni coppia azienda-trimestre:

1. Regulatory Filings: Estrazione di fondamentali (ROA, ROE, Debt/Equity, ecc.).
2. Dati di Trading Giornalieri (OHLCV): Calcolo di segnali tecnici (Medie Mobili, RSI, Momentum, Drawdown, Volatilità).

B. Tassonomia delle Domande

Le 1.400 domande sono classificate in tre categorie di ragionamento:

• F-type (Fundamentals-focused): Ragionamento basato su indicatori contabili.
• T-type (Trading-focused): Ragionamento basato su segnali di mercato e serie temporali.
• FT-type (Hybrid): Ragionamento congiunto che richiede di integrare e talvolta riconciliare segnali contrastanti tra fondamentali e mercato.

C. Framework "Calibration-Then-Scaling"

Per garantire affidabilità e scalabilità, è stato adottato un processo in tre fasi:

1. Generazione e Auto-Selezione Multi-Modello: Generazione di risposte candidate da diversi LLM con prompt strutturati (basati sulla tassonomia TELeR), seguita da un'auto-selezione interna del modello per identificare la risposta migliore.
2. Calibrazione Umano-LLM: Un esperto finanziario e un LLM "giudice" (Claude Sonnet 4.5) valutano le risposte filtrate. L'obiettivo è allineare il giudizio dell'LLM a quello umano (MAE < 10%) su criteri di accuratezza fattuale, completezza e chiarezza.
3. Scaling: Utilizzo del giudice LLM calibrato per espandere le 150 domande "seed" create dagli esperti fino a un totale di 1.400 domande, coprendo diverse aziende e periodi storici.

D. Configurazione Sperimentale (RAG vs Zero-Shot)

Il paper valuta 14 LLM (dai modelli piccoli 1B ai grandi proprietari >100B) in due condizioni:

• Zero-Shot (No-RAG): Il modello risponde basandosi solo sui suoi pesi pre-addestrati.
• Retrieval-Augmented Generation (RAG): Un sistema di recupero duale ("Dual-Track") recupera sia documenti testuali (SEC) sia blocchi di dati temporali strutturati per fornire contesto al modello.

3. Risultati Chiave

L'analisi dei risultati rivela pattern significativi e paradossali:

• Vantaggio del RAG sui Fondamentali: Il recupero di informazioni (RAG) migliora drasticamente le prestazioni sulle domande di tipo F (fondamentali) e FT (ibride). Ad esempio, su domande F, modelli come R1-Distill-Qwen hanno visto un aumento di accuratezza del 37%. Questo perché i documenti SEC sono ben rappresentati nei dati di pre-addestramento e il RAG funge da "ancora" per attivare conoscenze latenti.
• Degrado del RAG sui Segnali di Trading: Paradossalmente, il RAG peggiora le prestazioni sulle domande di tipo T (trading). Modelli come Gemini 2.5 Flash-Lite e GPT-5-mini hanno subito cali di accuratezza tra il 16% e il 20%.
  • Causa: I modelli faticano a interpretare tabelle numeriche grezze e serie temporali recuperate. Il recupero di dati numerici non strutturati distrae il modello invece di aiutarlo, poiché richiede passaggi computazionali intermedi (es. calcolo di indicatori) che gli LLM non sanno eseguire affidabilmente solo tramite recupero testuale.
• Importanza del Ragionamento Latente: I modelli dotati di capacità di ragionamento latente (Chain-of-Thought, come DeepSeek-R1 e le sue distillazioni) hanno superato significativamente i modelli istruiti standard nelle domande ibride (FT), con guadagni fino al 55% con RAG. Questo suggerisce che la capacità di riconciliare segnali conflittuali richiede computazione inferenziale aggiuntiva.
• Effetto Distrazione: L'uso del RAG ha portato a un crollo dell'estrazione precisa degli "Indicatori Golden" (metriche chiave richieste) e a una riduzione della profondità del ragionamento (-10.8%). I modelli tendono a riassumere il contesto recuperato in modo fluido ma perdono la capacità di isolare i segnali finanziari specifici necessari per una decisione corretta.
• Sensibilità Architetturale: Mentre i modelli della famiglia Qwen e DeepSeek beneficiano del RAG, i modelli LLaMA mostrano un degrado sistematico delle prestazioni, suggerendo che l'architettura e la miscela di dati di pre-addestramento sono più critiche della semplice scala dei parametri.

4. Contributi Principali

1. FinTradeBench: Il primo benchmark che valuta esplicitamente il ragionamento finanziario congiunto su fondamentali e segnali di trading, colmando il divario tra QA finanziaria testuale e analisi quantitativa.
2. Framework di Valutazione Robusto: Un pipeline "calibration-then-scaling" che combina esperti umani, audit numerici automatizzati e allineamento LLM-as-a-Judge per garantire la qualità su larga scala.
3. Analisi Critica del RAG Finanziario: Dimostrazione empirica che il RAG non è una soluzione universale; mentre è efficace per dati testuali, può essere dannoso per dati numerici temporali se non accompagnato da capacità computazionali o di ragionamento avanzato.

5. Significato e Implicazioni

Il lavoro di FinTradeBench evidenzia una sfida fondamentale per l'Intelligenza Artificiale Finanziaria: la difficoltà degli LLM nel ragionamento numerico e sulle serie temporali.

• Per la Ricerca: Indica che migliorare le prestazioni finanziarie richiede non solo più dati, ma architetture capaci di integrare l'esecuzione di codice (per calcolare indicatori) con il recupero di informazioni, e modelli con capacità di ragionamento latente più forti.
• Per l'Industria: Avverte contro l'uso acritico di sistemi RAG per il trading o l'analisi finanziaria. L'iniezione di dati di mercato grezzi può portare a allucinazioni o distrazioni, rendendo i modelli meno affidabili rispetto a un approccio zero-shot per certi tipi di domande quantitative.
• Futuro: Il benchmark spinge verso lo sviluppo di agenti finanziari che non si limitano a recuperare informazioni, ma sono in grado di elaborare, calcolare e sintetizzare criticamente dati eterogenei in condizioni di incertezza.