BankMathBench: A Benchmark for Numerical Reasoning in Banking Scenarios

1. Il Problema

L'adozione di chatbot basati su Large Language Models (LLM) nel settore bancario digitale è in crescita per gestire le richieste dei clienti su prodotti come depositi, risparmi e prestiti. Tuttavia, i modelli attuali mostrano una bassa accuratezza nei calcoli bancari fondamentali, che richiedono un ragionamento numerico multi-step e una comprensione contestuale delle condizioni specifiche dei prodotti.

Le sfide principali includono:

• Errori sistematici: I modelli spesso interpretano male i tipi di prodotto, applicano condizioni in modo errato (es. tassi di interesse, penali per estinzione anticipata) o falliscono in calcoli di base che coinvolgono esponenti e progressioni geometriche.
• Gap nei benchmark esistenti: I dataset matematici attuali si concentrano su problemi educativi (aritmetica, algebra), mentre i benchmark finanziari esistenti si focalizzano su documenti complessi (bilanci, analisi di titoli), trascurando gli scenari bancari quotidiani e le interazioni cliente-banca.
• Prestazioni insufficienti: Come mostrato nella Tabella 1 del paper, anche modelli specializzati in matematica o finanza, e modelli proprietari avanzati (come GPT-4o o Claude), mostrano un crollo delle prestazioni (spesso vicino allo 0% di accuratezza) su compiti bancari reali di media e alta difficoltà.

2. Metodologia: BankMathBench

Gli autori hanno proposto BankMathBench, un dataset specifico per il dominio bancario, generato attraverso una pipeline automatizzata e validata da esperti.

Struttura del Dataset

Il dataset è organizzato in tre livelli di difficoltà, coprendo i tre prodotti principali (depositi, risparmi, prestiti):

1. Livello Base: Ragionamento su un singolo prodotto. Richiede calcoli multi-step (aritmetica, progressioni) con condizioni chiare (importo, tasso, durata, frequenza).
2. Livello Intermedio: Confronto tra due prodotti (es. due diversi tipi di deposito o un deposito vs un prestito). Richiede calcoli separati per ciascun prodotto e il confronto dei risultati, aumentando la complessità computazionale e logica.
3. Livello Avanzato: Scenari multi-condizione complessi. Include variabili come tassi variabili, penali per estinzione anticipata, tassazione, e condizioni specifiche dell'utente (es. tassi preferenziali).

Pipeline di Generazione

Il processo di creazione dei dati (illustrato nella Figura 2) prevede:

• Generazione delle domande: Utilizzo di GPT-4o con prompt strutturati per creare scenari realistici in coreano e inglese.
• Generazione delle soluzioni: Per garantire l'accuratezza, vengono generate due soluzioni indipendenti (formule matematiche/LaTeX per il livello base; codice Python eseguibile per i livelli intermedi e avanzati). Vengono mantenuti solo i dati in cui le due soluzioni coincidono.
• Generazione del ragionamento: GPT-4o genera una spiegazione passo-passo che integra linguaggio naturale ed espressioni matematiche, utilizzando tag specifici (<calc>, <result>, <answer>) per separare la logica dal calcolo numerico.
• Validazione Esperta: Due professionisti bancari con oltre 3 anni di esperienza hanno revisionato manualmente i dati per garantire rilevanza pratica, correttezza logica e coerenza dei formati.

Il dataset finale contiene 13.839 problemi (circa 11.000 per l'addestramento e 2.700 per il test) in due lingue (Coreano e Inglese).

3. Contributi Chiave

• Primo Benchmark Completo per la Banca: Colma il divario tra i benchmark matematici accademici e quelli finanziari ad alto livello, focalizzandosi sulle query critiche per i clienti bancari quotidiani.
• Pipeline di Generazione Automatizzata e Scalabile: Un sistema che permette di adattare facilmente variabili come tassi di interesse, politiche fiscali e valute, rendendo il dataset portabile tra diversi contesti finanziari nazionali.
• Strategia di Addestramento Ibrida: Dimostra l'efficacia di combinare il fine-tuning supervisionato (SFT) con l'augmentation tramite strumenti (Tool-Augmented SFT). In questo approccio, le equazioni generate dal modello vengono inviate a un calcolatore esterno (tramite chiamata di tool) per ottenere risultati precisi, riducendo gli errori di calcolo.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su una vasta gamma di modelli (da 1B a 8B parametri), inclusi modelli open-source (Qwen, LLaMA, DeepSeek) e modelli proprietari (GPT-4o, Claude).

• Prestazioni Zero-Shot: I modelli esistenti hanno mostrato prestazioni molto basse, specialmente sui livelli intermedi e avanzati (spesso < 10% di accuratezza), confermando l'incapacità di generalizzare ai scenari bancari reali.
• Miglioramento con SFT: Il fine-tuning su BankMathBench ha portato a miglioramenti consistenti. Ad esempio, su dati coreani di livello base, l'accuratezza media è passata da ~18% a ~54%.
• Impatto del Tool-Augmented SFT: L'integrazione di strumenti esterni ha prodotto guadagni drastici:
  • Livello Base: +57.6 punti percentuali (p.p.) rispetto allo zero-shot.
  • Livello Intermedio: +75.1 p.p. (il miglioramento maggiore, poiché richiede la generazione e aggregazione di più formule).
  • Livello Avanzato: +62.9 p.p.
• Analisi degli Errori: L'analisi ha mostrato che il fine-tuning riduce drasticamente gli errori di calcolo (da un errore relativo mediano del 100% a ~1.3%) e che l'uso di strumenti porta l'accuratezza computazionale quasi al 100%.
• Dimensione del Modello: Sebbene i modelli più grandi (7B/8B) abbiano generalmente prestazioni migliori, modelli più piccoli (es. 1.5B o 2.1B) addestrati specificamente su questo dominio hanno mostrato capacità di ragionamento numerico sorprendentemente elevate, talvolta superando modelli più grandi non specializzati.

5. Significato e Implicazioni

• Affidabilità Finanziaria: Il lavoro sottolinea che per l'uso reale nei servizi bancari digitali, la precisione numerica è fondamentale per la fiducia del cliente. Gli errori nei calcoli di interesse o nei confronti di prodotti possono avere conseguenze reali.
• Validazione dell'Approccio Ibrido: Il paper dimostra che la combinazione di modelli linguistici addestrati per generare la logica corretta (formule) e l'uso di strumenti esterni per eseguire i calcoli è la strategia più efficace per compiti di ragionamento numerico complesso.
• Futuro della Ricerca: BankMathBench fornisce una base solida per sviluppare assistenti bancari specializzati. Gli autori prevedono l'espansione del dataset per includere altri prodotti finanziari (fondi, assicurazioni) e l'integrazione di valutazioni più approfondite sulla qualità del ragionamento, non solo sulla correttezza numerica.

In sintesi, BankMathBench rappresenta un passo cruciale verso l'implementazione di LLM affidabili nel settore bancario, fornendo sia il dataset necessario per l'addestramento che la metodologia per superare le limitazioni attuali dei modelli nel calcolo numerico contestuale.