FinChain: A Symbolic Benchmark for Verifiable Chain-of-Thought Financial Reasoning

1. Enunciato del Problema

Sebbene i Modelli Linguistici su Larga Scala (LLM) abbiano mostrato promesse nel Natural Language Processing (NLP) finanziario, gli attuali benchmark falliscono ampiamente nel valutare il ragionamento simbolico multi-step con trasparenza e verificabilità.

• Limitazioni dei Benchmark Esistenti: Dataset come FinQA e ConvFinQA si concentrano principalmente sulle risposte numeriche finali. Spesso mancano di tracce di ragionamento intermedio strutturate, rendendo impossibile verificare come un modello abbia giunto a una risposta o distinguere tra ragionamento genuino e corrispondenza di pattern a livello superficiale.
• Il Divario: C'è la necessità di un benchmark che imponga un ragionamento a Catena di Pensiero (CoT) in cui ogni passaggio intermedio sia esplicitamente definito, eseguibile e verificabile automaticamente rispetto a formule finanziarie specifiche del dominio.

2. Metodologia

A. Costruzione del Dataset FINCHAIN

Gli autori hanno costruito FINCHAIN, il primo benchmark simbolico per il ragionamento finanziario, da zero.

• Tassonomia: Il dataset copre 12 domini finanziari (ad es. Finanza Aziendale, Finanza Cripto, Gestione del Rischio) e 58 argomenti specifici.
• Modelli Simbolici: Invece di testo statico, il dataset è generato utilizzando modelli simbolici parametrizzati. Ogni modello definisce:
  • Una domanda in linguaggio naturale con segnaposto variabili (ad es. capitale, tasso, tempo).
  • Un blocco di codice Python eseguibile che calcola sia i passaggi intermedi che la risposta finale.
• Livelli di Difficoltà: Per ogni argomento, sono stati progettati cinque modelli su tre livelli di difficoltà (Base, Intermedio, Avanzato), aumentando il numero di passaggi di ragionamento e la complessità logica.
• Volume Dati: Il benchmark è composto da 2.900 casi di test (58 argomenti × 5 modelli × 10 istanze ciascuno).
• Controllo Qualità: Un rigoroso processo di validazione che coinvolge esperti finanziari garantisce precisione numerica, coerenza delle unità di misura e correttezza logica. I modelli sono standardizzati secondo le convenzioni finanziarie statunitensi.

B. CHAINEVAL: La Metrica di Valutazione

Per affrontare la mancanza di verifica a livello di passaggio, gli autori propongono CHAINEVAL, una metrica di allineamento dinamica che valuta congiuntamente:

1. Correttezza della Risposta Finale (FAC): Verifica se l'output finale del modello corrisponde alla verità fondamentale (entro una tolleranza del 5%, $\epsilon=0.05$, allineata alle soglie di materialità dell'audit finanziario).
2. Allineamento dei Passaggi di Ragionamento: Utilizza la Dynamic Time Warping (DTW) per allineare la sequenza di ragionamento prevista con la sequenza di riferimento aurea.
   • Punteggio con Soglia: Un passaggio è considerato coerente solo se corrisponde sia semanticamente (tramite similarità del coseno dell'encoder di frasi) che numericamente (tramite corrispondenza dei valori).
   • Formula: $CHAINEVAL = (1-\alpha) \cdot DTW_{Gate} + \alpha \cdot FAC$, dove $\alpha=0.1$.
   • Validazione: CHAINEVAL è stato validato contro giudizi di esperti umani, mostrando una correlazione di Spearman di 0,655, superando significativamente metriche tradizionali come ROUGE e BERTScore.

3. Contributi Chiave

1. Primo Benchmark Simbolico Finanziario: Introduzione di FINCHAIN, un benchmark privo di contaminazione ed eseguibile che copre 58 argomenti in 12 domini, progettato specificamente per il ragionamento CoT verificabile.
2. Nuovo Framework di Valutazione: Proposta di CHAINEVAL, una metrica che va oltre l'accuratezza della risposta finale per valutare la fedeltà e la coerenza dei passaggi di ragionamento intermedi utilizzando DTW e meccanismi di soglia.
3. Benchmarking Completo: Valutazione di 26 LLM leader (inclusi modelli proprietari all'avanguardia, modelli specifici per la finanza, modelli potenziati per la matematica e modelli open-weight generici).
4. Insight Diagnostici: Analisi dettagliata degli errori che rivela come anche i modelli più avanzati faticino con il ragionamento simbolico complesso e come l'adattamento al dominio non garantisca capacità di ragionamento robuste.

4. Risultati Sperimentali

A. Panoramica delle Prestazioni dei Modelli

• I Modelli All'Avanguardia Guidano: I modelli proprietari all'avanguardia (ad es. GPT-5, Gemini-2.5 Pro) hanno ottenuto i punteggi CHAINEVAL più alti (circa 65–67%), indicando un migliore allineamento nel ragionamento a livello di passaggio.
• Limitazioni del Fine-Tuning:
  • Modelli Specifici per la Finanza: Modelli come Fin-o1 e Finance-Qwen hanno ottenuto scarsi risultati (punteggi CHAINEVAL di 34–41%), fallendo spesso su catene di ragionamento di base.
  • Modelli Potenziati per la Matematica: Modelli come Mathstral e Qwen-2.5-Math hanno mostrato un miglioramento significativo (punteggi intorno al 55–60%), suggerendo che il fine-tuning matematico si trasferisce meglio al ragionamento finanziario rispetto al tuning su domini finanziari ristretti.
• Il Divario "Risposta vs Ragionamento": Alcuni modelli hanno ottenuto un'alta Correttezza della Risposta Finale (FAC) ma bassi punteggi CHAINEVAL, indicando che hanno indovinato la risposta corretta senza seguire un percorso di ragionamento valido.

B. Prestazioni tra le Dimensioni

• Difficoltà: Tutti i modelli hanno mostrato un degrado delle prestazioni all'aumentare della difficoltà da Base ad Avanzato. I modelli all'avanguardia hanno mantenuto una stabilità relativa, mentre i modelli open-weight hanno subito forti declini nei compiti avanzati.
• Varianza del Dominio: Le prestazioni erano altamente dipendenti dal dominio. Ad esempio, Mathstral ha eccellito nei domini quantitativi (Rapporti Finanziari) ma ha faticato nei domini normativi ricchi di testo, mentre Fin-R1 ha mostrato forza nella Gestione del Rischio ma debolezza nei compiti quantitativi complessi.

C. Analisi degli Errori

L'analisi di 200 domande campionate ha rivelato profili di errore distinti:

• Modelli All'Avanguardia (ad es. GPT-5-mini): Gli errori erano concentrati nelle categorie Computazionali (aritmetica) e Concettuali (errata applicazione delle formule). Raramente allucinavano o fallivano nell'analisi sintattica.
• Modelli Più Deboli (ad es. Finance-Qwen): Hanno mostrato un profilo di errore eterogeneo, includendo significative Allucinazioni (introduzione di variabili non supportate), fallimenti di Analisi/Formato ed errori concettuali.

5. Significato e Lavori Futuri

• AI Affidabile: FINCHAIN fornisce una base per lo sviluppo di sistemi di AI finanziaria interpretabili e auditabili, cruciali per il processo decisionale ad alto rischio dove il ragionamento "scatola nera" è inaccettabile.
• Direzione di Ricerca: I risultati suggeriscono che semplicemente scalare i modelli o fare fine-tuning su testi finanziari è insufficiente. I progressi futuri richiedono supervisione strutturata e addestramento esplicito su catene di ragionamento simbolico.
• Limitazioni e Lavori Futuri: L'attuale dataset è sintetico e incentrato sull'inglese. I lavori futuri mirano a incorporare documenti finanziari reali, estendersi a contesti multilingue e colmare il divario tra ragionamento simbolico e verifica fattuale.

Conclusione: FINCHAIN espone le debolezze persistenti degli attuali LLM riguardo al ragionamento finanziario multi-step. Dimostra che, sebbene i modelli all'avanguardia siano superiori, anche loro faticano con compiti simbolici complessi, evidenziando la necessità di nuovi paradigmi di addestramento che diano priorità alla fedeltà del ragionamento rispetto alla mera generazione di risposte.