FinSheet-Bench: From Simple Lookups to Complex Reasoning, Where LLMs Break on Financial Spreadsheets

Il paper introduce FinSheet-Bench, un benchmark di dati sintetici che rivela come i modelli LLM attuali, pur ottenendo risultati accettabili su compiti semplici, falliscano nel raggiungere l'affidabilità necessaria per l'uso professionale nell'estrazione e nel ragionamento su fogli di calcolo finanziari complessi, suggerendo la necessità di approcci architetturali che separino la comprensione del documento dal calcolo deterministico.

L'essenziale

📊 Il Problema: Gli "Intelligenti" che si perdono nei fogli di calcolo

Immagina di avere un super-letto (un'intelligenza artificiale avanzata) capace di leggere milioni di libri in un secondo, capire le emozioni di un romanzo e riassumere la storia di una vita. Questo "super-letto" è l'LLM (Large Language Model) che tutti conosciamo, come quelli di Google, OpenAI o Anthropic.

Ora, immagina di dargli un compito diverso: non leggere un libro, ma leggere un foglio di calcolo finanziario (un file Excel) pieno di numeri, tabelle confuse, righe unite e note a piè di pagina. È come chiedere a un poeta geniale di fare il contabile di un'azienda, ma il foglio di calcolo è scritto in un codice segreto fatto di colori, celle unite e formule nascoste.

Il paper FinSheet-Bench ci dice una cosa sconvolgente: questi super-lettori sono ancora molto bravi a leggere i libri, ma si perdono completamente quando devono fare i conti su questi fogli di calcolo.

🛠️ La Soluzione: Una "Palestra" Finta ma Reale

Per capire quanto sono bravi queste intelligenze artificiali, i ricercatori hanno creato una palestra di allenamento chiamata FinSheet-Bench.

• Il Dilemma: Non potevano usare i veri fogli di calcolo delle banche o dei fondi di investimento perché sono segreti (come le ricette della nonna o i piani militari).
• La Magia: Hanno creato dei fogli di calcolo "finti" ma realistici. Hanno preso la struttura (il "guscio") di veri documenti finanziari, ma hanno riempito le celle con numeri inventati e nomi di aziende immaginarie. È come costruire un manichino perfetto per un chirurgo: non è un paziente vero, ma ha la stessa anatomia.
• La Prova: Hanno messo davanti a queste intelligenze artificiali 24 di questi fogli "finti", chiedendo loro domande che vanno dal semplice ("Quanti fondi ci sono?") al complesso ("Calcola il debito medio per ogni fondo, escludendo quelli falliti").

🏆 I Risultati: Un Sorriso, ma con un Dente D'oro

Hanno testato 10 modelli diversi (i più famosi al mondo). Ecco cosa è successo:

1. Nessuno è perfetto: Anche il modello migliore (Gemini 3.1 Pro) ha sbagliato circa 1 domanda ogni 6. In un mondo finanziario, dove un errore può costare milioni, questo è come dire: "Il mio contabile sbaglia spesso". Non è abbastanza per lavorare da solo senza supervisione umana.
2. La difficoltà esplode: Se il foglio è piccolo e pulito, l'AI va bene (89% di successo). Ma se il foglio è grande, con 150 aziende e 8 fondi mescolati, la precisione crolla a meno del 50%. È come se l'AI diventasse confusa quando la stanza è troppo piena di oggetti.
3. Il "Pensiero" aiuta, ma non basta: I modelli che hanno una modalità "ragionamento" (come se pensassero prima di rispondere) fanno meglio, ma commettono ancora errori su calcoli complessi.

🧩 Perché falliscono? (L'analogia del Puzzle)

Perché un'intelligenza così potente fallisce su un foglio Excel? Il paper spiega tre motivi principali con delle metafore semplici:

• Il Puzzle Smontato: L'AI legge il foglio come una lista di parole una dopo l'altra (come una riga di testo). Ma un foglio Excel è un puzzle 2D. Per l'AI, il numero "100" in una cella non sa che appartiene alla colonna "Debito" e alla riga "Azienda X". È come leggere un libro dove tutte le parole sono mischiate in un unico mucchio: perdi il senso della frase.
• La Matematica non è il loro forte: L'AI è brava a indovinare la parola successiva in una frase, ma non è una calcolatrice. Chiederle di fare una media o un'operazione complessa su 100 righe è come chiedere a un artista di dipingere un quadro usando solo un righello: non è il suo strumento naturale.
• La perdita dei segnali visivi: Nei fogli veri, il grassetto, i bordi o i colori dicono all'occhio umano "qui c'è un totale" o "qui inizia una nuova sezione". Quando si trasforma il foglio in testo per l'AI, questi segnali visivi spariscono. È come togliere i cartelli stradali a un guidatore: sa dove andare, ma non sa quando fermarsi.

💡 La Lezione: Non serve un "Super-Eroe", serve un "Team"

Il messaggio finale del paper è importante: non aspettiamo che un singolo modello diventi perfetto.

Invece, dobbiamo cambiare strategia. Immagina di non dare tutto il lavoro a un solo genio, ma di creare una catena di montaggio:

1. Il primo robot (l'AI) legge il foglio e dice: "Ecco la lista delle aziende e delle colonne". (L'AI è bravissima a questo).
2. Il secondo robot (un programma di calcolo classico, non un'AI) prende quei dati e fa i calcoli matematici. (I computer classici non sbagliano mai la matematica).

Questa combinazione (Intelligenza Artificiale per capire il testo + Calcolatrice per fare i numeri) è la strada per il futuro.

🎯 Conclusione in una frase

Oggi, le intelligenze artificiali sono come studenti universitari brillanti che riescono a riassumere un libro, ma se gli dai un foglio di calcolo finanziario complesso, hanno bisogno di un professore (un umano) che controlli i loro calcoli, perché altrimenti rischiano di sbagliare l'esame e costare caro all'università.

Sommario tecnico

Titolo: FinSheet-Bench: Dalle semplici ricerche al ragionamento complesso, dove i LLM falliscono sugli spreadsheet finanziari

1. Il Problema

Nonostante i Large Language Models (LLM) abbiano rivoluzionato l'analisi di documenti testuali nel settore finanziario (es. revisione di contratti legali, estrazione di clausole), esiste un divario critico nella loro capacità di estrarre e ragionare su dati tabulari strutturati provenienti da fogli di calcolo finanziari complessi.

• Il collo di bottiglia: La due diligence per investimenti alternativi (Private Equity, Venture Capital) richiede l'analisi di portafogli complessi. I fogli di calcolo finanziari reali presentano sfide uniche: strutture multi-foglio, celle unite, intestazioni gerarchiche, formule incorporate e convenzioni di formattazione che veicolano significato semantico.
• Il divario dei dati: Non esistono dataset pubblici di benchmark per questo compito perché le "data room" dei fondi di Private Equity sono confidenziali. I benchmark esistenti (es. WikiTableQuestions, FinQA) utilizzano tabelle semplificate che non catturano la complessità dei modelli finanziari reali.
• Tolleranza agli errori: Nel settore finanziario, anche piccoli errori numerici (es. un errore del 5% in una metrica di valutazione) possono portare a decisioni di investimento errate. La pratica industriale richiede un'accuratezza superiore al 97% per l'automazione, un livello che i modelli attuali non raggiungono.

2. Metodologia e Dataset (FinSheet-Bench)

Gli autori hanno introdotto FinSheet-Bench, il primo benchmark specifico per valutare le prestazioni degli LLM su spreadsheet finanziari sintetici ma strutturalmente realistici.

• Costruzione del Dataset:
  • I dati sono derivati da 8 fogli di calcolo reali inviati da General Partners (GP) a Family Offices.
  • Sintesi strutturale: La struttura (layout, nomi delle colonne, divider dei fondi) è stata preservata dai file originali per mantenere la complessità reale.
  • Generazione dei valori: Tutti i valori delle celle sono stati rigenerati sinteticamente (nomi di aziende fittizie, date, valori numerici scalati e perturbati) per garantire l'anonimato e la sicurezza, senza rivelare dati reali.
  • Varianti: Sono stati creati 24 file totali (8 versioni "A" originali, più varianti "B" e "C" con modifiche strutturali come rimozione di colonne, fusione di dati e cambiamenti nei separatori).
• Formato di Input: Per riflettere l'uso industriale attuale, gli spreadsheet sono stati convertiti in testo serializzato (CSV-like). Questo processo perde informazioni visive (colori, grassetto, celle unite), costringendo il modello a interpretare la struttura solo dal testo.
• Domande e Complessità: Sono state definite 16 tipologie di domande divise in 7 categorie di complessità crescente:
  • Bassa: Ricerca semplice, classificazione booleana.
  • Media: Filtraggio, estrazione liste, conteggi.
  • Alta: Aggregazioni, calcoli (somma, media, ordinamento).
  • Molto Alta: Operazioni statistiche complesse (mediana, percentili).
• Protocollo di Valutazione: È stato utilizzato un sistema di verifica a tre livelli (Cascading Verification System):
  1. Corrispondenza esatta (Tier 1): Regex stretti e normalizzazione.
  2. Corrispondenza fuzzy (Tier 2): Tolleranza numerica (5%) e similarità semantica.
  3. Adjudicazione LLM (Tier 3): Un LLM secondario risolve i casi ambigui dove le regole falliscono.

3. Sperimentazione

• Modelli Testati: 10 configurazioni di modelli da tre provider principali (OpenAI, Google, Anthropic), inclusi modelli con e senza capacità di ragionamento esteso (es. GPT-5.2, Gemini 3.1 Pro, Claude Opus 4.6).
• Prompting: Utilizzo di prompt "zero-shot" minimi e identici per tutti i modelli per isolare le capacità intrinseche del modello dall'ottimizzazione del prompt.
• Metriche: Accuratezza, tempo di risposta e consumo di token.

4. Risultati Chiave

I risultati evidenziano che nessun modello autonomo (standalone) raggiunge un livello di accuratezza sufficiente per l'uso non supervisionato in ambito finanziario professionale.

• Prestazioni Generali:
  • Il modello migliore, Gemini 3.1 Pro, ha raggiunto un'accuratezza del 82.4% (circa 1 errore ogni 6 domande).
  • Seguono GPT-5.2 con ragionamento (80.4%) e Claude Opus 4.6 con pensiero (80.2%).
  • Anche i migliori modelli falliscono su file complessi: su un foglio con 152 aziende e 8 fondi, l'accuratezza media scende al 48.6%.
• Il Divario di Ragionamento:
  • Esiste un calo drastico delle prestazioni all'aumentare della complessità del compito.
  • Ricerca semplice: ~94% di accuratezza per i top 3 modelli.
  • Aggregazione complessa e calcolo: Crolla al 33.3% per i top 3 modelli e al 19.6% per la media di tutti i modelli.
  • Compiti come l'ordinamento (sorting) e il conteggio (counting) sono particolarmente difficili, suggerendo che i modelli faticano a mantenere la coerenza strutturale e a eseguire calcoli multi-step.
• Impatto del Ragionamento: L'abilitazione del "ragionamento esteso" (Chain-of-Thought) migliora significativamente l'accuratezza (es. +22.8 punti percentuali per GPT-5.2), ma aumenta drasticamente il consumo di token e i tempi di risposta.
• Limiti dei Modelli Attuali: Nonostante i rapidi progressi (un miglioramento di 3.3x rispetto a GPT-3.5-Turbo di due anni fa), il tasso di errore rimane troppo alto per l'automazione completa.

5. Contributi e Significatività

• Nuovo Benchmark: FinSheet-Bench colma il vuoto di dati pubblici per la valutazione degli LLM su dati finanziari strutturati complessi.
• Analisi dei Fallimenti: Il paper dimostra che i fallimenti non sono solo dovuti a errori di calcolo, ma anche alla perdita di struttura spaziale durante la serializzazione in testo e all'incapacità dei modelli di gestire relazioni multidimensionali in contesti lunghi.
• Implicazioni per l'Industria:
  • L'uso di LLM come "agenti autonomi" per l'estrazione di dati finanziari è attualmente non sicuro senza supervisione umana.
  • L'accuratezza del 82% implica che il carico di revisione umana potrebbe avvicinarsi a quello dell'estrazione manuale, annullando i benefici di efficienza.
• Direzione Futura (Architettura Ibrida): Gli autori propongono che la soluzione non risieda nel rendere i modelli più potenti, ma in un approccio architetturale ibrido:
  1. Usare gli LLM per la comprensione del documento e l'estrazione di singoli valori (dove sono molto accurati, ~94%).
  2. Eseguire tutti i calcoli, aggregazioni e ordinamenti tramite codice deterministico (Python/SQL) su una tabella strutturata estratta.
  • Questo approccio "a stadi" (schema discovery -> estrazione riga per riga -> calcolo deterministico) potrebbe superare i limiti attuali dei modelli end-to-end.

Conclusione

FinSheet-Bench evidenzia che, sebbene i LLM stiano migliorando rapidamente, la loro capacità di ragionamento numerico su dati tabulari complessi rimane un collo di bottiglia fondamentale. Per l'industria degli investimenti alternativi, la strada verso l'automazione affidabile passa attraverso l'integrazione di modelli linguistici per la comprensione semantica e motori di calcolo deterministici per l'elaborazione numerica, piuttosto che il tentativo di affidare tutto a un singolo modello generativo.