IndiaFinBench: An Evaluation Benchmark for Large Language Model Performance on Indian Financial Regulatory Text

Titolo

IndiaFinBench: Un Benchmark di Valutazione per le Prestazioni dei Modelli Linguistici di Grande Dimensione (LLM) su Testi Normativi Finanziari Indiani

1. Il Problema

Nonostante i progressi significativi dei Large Language Models (LLM) nel ragionamento e nel question answering, esiste un vuoto critico nella valutazione delle loro capacità su testi normativi finanziari al di fuori del contesto occidentale.

• Limitazione degli attuali benchmark: I benchmark esistenti (es. FinQA, FinanceBench) si basano esclusivamente su corpora occidentali (fili SEC, report di utili USA, notizie finanziarie in inglese).
• Specificità del contesto indiano: Il sistema normativo finanziario indiano, governato dalla SEBI (Securities and Exchange Board of India) e dalla RBI (Reserve Bank of India), presenta sfide uniche:
  • Incorporazione di soglie numeriche complesse nel testo discorsivo.
  • Catene di emendamenti e circolari che richiedono un ragionamento temporale per essere decifrate.
  • Terminologia giuridica specifica (es. LODR, PMLA, SFB, AIF, FEMA) che i modelli addestrati su dati occidentali non interpretano correttamente.
• Conseguenza: Mancanza di strumenti per misurare l'affidabilità degli LLM in scenari di compliance e regolamentazione reali in India.

2. Metodologia e Costruzione del Dataset

Il paper introduce IndiaFinBench, il primo benchmark pubblico dedicato a questo dominio.

• Fonte dei Dati: 192 documenti ufficiali scaricati da SEBI e RBI, coprenti un arco temporale dal 1992 al 2026.
• Struttura del Dataset: 406 coppie domanda-risposta annotate da esperti, suddivise in quattro tipi di compiti:
  1. Interpretazione Normativa (REG, 174 item): Identificazione di regole, soglie di conformità e ambiti di applicazione.
  2. Ragionamento Numerico (NUM, 92 item): Esecuzione di calcoli aritmetici su dati estratti dal testo (es. calcolo di dividendi o margini).
  3. Rilevamento di Contraddizioni (CON, 62 item): Determinazione se due estratti normativi si contraddicono, richiedendo la tracciabilità delle sovrascritture normative.
  4. Ragionamento Temporale (TMP, 78 item): Ordinamento cronologico degli eventi normativi e identificazione della versione di una regola vigente in una data specifica.
• Validazione:
  • Validazione secondaria basata su modello: Un LLM (LLaMA-3.3-70B) ha verificato l'ambiguità delle domande su un sottoinsieme di 150 item (accordo del 90,7%).
  • Accordo Inter-Annotatore Umano (IAA): Un secondo annotatore umano ha valutato 60 item casuali, ottenendo un accordo sostanziale (Kappa di Cohen = 0,611 per le contraddizioni; 76,7% di accordo globale).
• Protocollo di Valutazione:
  • Condizioni Zero-Shot: I modelli ricevono solo il contesto e la domanda, senza esempi few-shot o adattamento dei prompt.
  • Scoring: Procedura multi-stadio che include corrispondenza esatta, fuzzy matching (RapidFuzz), estrazione numerica e confronto binario per le contraddizioni.

3. Contributi Chiave

1. Nuovo Dataset: 406 item annotati da esperti su 192 documenti normativi indiani.
2. Valutazione Completa: Analisi di 12 modelli LLM contemporanei (da 4B a 120B parametri, inclusi modelli API e locali).
3. Analisi Statistica Rigorosa: Utilizzo di test di significatività bootstrap accoppiati (10.000 resampling) per definire tier di prestazioni statisticamente distinti.
4. Validazione a Doppio Strato: Combinazione di validazione automatizzata e umana per garantire la qualità del dataset.
5. Tassonomia degli Errori: Classificazione dei fallimenti in quattro categorie: Fallimento di Conoscenza di Dominio (DKF), Fallimento di Ragionamento Numerico (NRF), Fallimento di Ragionamento Temporale (TRF) e Fallimento di Grounding Contestuale (CGF).
6. Rilascio Pubblico: Dataset, codice di valutazione e output dei modelli sono disponibili su GitHub e Hugging Face.

4. Risultati Principali

I modelli sono stati valutati su 406 item. I risultati mostrano una chiara stratificazione delle prestazioni:

• Prestazioni Generali:

  • Leader: Gemini 2.5 Flash (89,7% di accuratezza globale), seguito da Qwen3-32B (85,5%) e LLaMA-3.3-70B (83,7%).
  • Baseline Umana: Gli annotatori umani non specializzati hanno ottenuto il 60,0%. Tutti i modelli superano significativamente questa baseline, sebbene con margini variabili.
  • Modelli Locali: Modelli più piccoli come Llama 4 Scout 17B (83,3%) hanno prestazioni statisticamente indistinguibili da modelli molto più grandi come LLaMA-3.3-70B, suggerendo che l'efficienza dell'architettura e il tuning delle istruzioni contano più del semplice numero di parametri in questo dominio.
  • Fallimenti di Scaling: L'aumento dei parametri nei modelli GPT-OSS (da 20B a 120B) non ha portato miglioramenti significativi (76,8% vs 77,1%). DeepSeek R1 70B, nonostante sia specializzato nel ragionamento, si è posizionato in basso (75,1%), evidenziando che le catene di ragionamento (Chain-of-Thought) non si trasferiscono automaticamente alla tracciabilità di emendamenti normativi complessi.

• Analisi per Compito:

  • Ragionamento Numerico (NUM): È il compito più discriminante (gap di 35,9 punti percentuali tra il migliore e il peggiore). Molti modelli faticano con calcoli multi-step su testi normativi.
  • Rilevamento Contraddizioni (CON): Compito più uniforme e facile (media 91,0%), sebbene ci sia uno squilibrio di classe (la maggior parte delle risposte è "No").
  • Ragionamento Temporale (TMP): Rappresenta il principale punto di debolezza per i modelli top-performer. L'errore dominante nei modelli avanzati è l'incapacità di mantenere una cronologia coerente attraverso documenti multipli.

• Analisi degli Errori:

  • I modelli top (Gemini, LLaMA) falliscono principalmente per Ragionamento Temporale (40-49% degli errori).
  • I modelli più piccoli o sottoperformanti (es. Gemma 4 E4B) falliscono principalmente per Mancanza di Conoscenza di Dominio (43% degli errori).
  • Il Fallimento di Grounding Contestuale è raro (<3%), indicando che i prompt zero-shot guidano efficacemente i modelli a usare il contesto fornito.

5. Significato e Implicazioni

• Necessità di Benchmark Geograficamente Diversificati: Le sfide normative al di fuori dell'Occidente non sono catturate dai benchmark attuali. La performance degli LLM su testi indiani non è prevedibile semplicemente basandosi sulle classifiche generali di capacità o sulla dimensione del modello.
• Efficienza vs. Scala: Per compiti normativi specifici, modelli più piccoli e ben addestrati possono eguagliare modelli molto più grandi, offrendo soluzioni più efficienti per l'industria.
• Limiti Attuali: Anche i modelli più avanzati faticano con il ragionamento temporale complesso e i calcoli numerici multi-step su testi legali. Questo indica che l'attuale generazione di LLM non è ancora pronta per l'implementazione autonoma in scenari di compliance finanziaria ad alto rischio senza supervisione umana.
• Disponibilità: La pubblicazione aperta del dataset e degli strumenti favorisce la ricerca futura nel NLP finanziario multilingue e specifico per dominio.

In sintesi, IndiaFinBench stabilisce un nuovo standard per la valutazione degli LLM in contesti normativi non occidentali, rivelando che mentre le capacità generali sono in crescita, le lacune nel ragionamento temporale e numerico specifico di dominio rimangono ostacoli significativi.