FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages

Sintesi Tecnica: FIND: Verso il Ragionamento Finanziario Multimodale e la Risposta alle Domande per le Lingue Indic

Enunciato del Problema
Il processo decisionale finanziario in contesti multilingue, in particolare in India, richiede un ragionamento numerico accurato fondato su modalità diversificate (testo, tabelle, grafici). Tuttavia, i benchmark esistenti trascurano ampiamente questa sfida ad alto rischio, concentrandosi principalmente sull'inglese e mancando di copertura per le lingue indic, i dati finanziari multimodali e la complessità controllata del ragionamento. I Modelli Linguaggio-Visione (VLM) esistenti spesso faticano con il ragionamento ibrido, mostrando errori nella precisione numerica, incoerenze nell'ancoraggio multimodale e un'eccessiva dipendenza da indizi testuali, sottoutilizzando al contempo i segnali visivi finanziari. Inoltre, dataset esistenti come FinQA e TAT-QA sono prevalentemente incentrati sull'inglese e spesso limitati ad aritmetica superficiale o estrazione tabellare, fallendo nel valutare il ragionamento complesso e consapevole del dominio richiesto per scenari finanziari realistici nelle lingue regionali.

Metodologia
Per colmare queste lacune, gli autori introducono FinVQA, un benchmark multilingue su larga scala, e FIND, un framework progettato per un ragionamento finanziario multimodale affidabile.

• Cura del Dataset FinVQA:

  • Fonte: I dati sono stati curati da fonti educative indiane autorevoli, inclusi i libri di testo del Consiglio Nazionale per la Ricerca e la Formazione Educativa (NCERT) (classi 9–12) e materiali professionali ICMAI–CMA.
  • Scala e Ambito: Il dataset comprende 18.900 campioni distribuiti su 14 domini finanziari (ad es. Contabilità Avanzata, Matematica Finanziaria, Tassazione). Copre sei lingue: inglese, hindi, bengalese, marathi, gujarati e tamil.
  • Struttura: I campioni sono organizzati in tre livelli di difficoltà (facile, moderato, difficile) e quattro formati di domanda: scelta multipla, completamento, abbinamento tabellare e vero/falso.
  • Adattamento Multilingue: Le istanze in inglese sono state tradotte in cinque lingue indic utilizzando GPT-4O, validate tramite similarità del coseno degli embedding delle frasi e rifinite da madrelingua. Per i campioni multimodali, è stato utilizzato l'OCR (PaddleOCR) per estrarre il testo dalle immagini, che è stato poi tradotto e ridisegnato nei riquadri originali utilizzando font indic specifici per preservare il layout.
  • Annotazione: Una pipeline che coinvolge sei annotatori (quattro junior, due esperti senior di dominio) ha garantito la qualità. Gli esperti senior hanno annotato i campioni seed e l'accordo tra gli annotatori (Kappa di Fleiss) ha raggiunto 0,78.

• Il Framework FIND:
  Gli autori propongono una pipeline sperimentale in tre fasi per valutare e migliorare il ragionamento:

  1. Inferenza Zero-Shot: Valutazione dei VLM preaddestrati senza adattamento specifico per il compito per stabilire le linee di base.
  2. Decodifica Vincolata: Implementazione di vincoli al momento dell'inferenza (utilizzando VLLM) per limitare l'output a token di opzioni di risposta valide (ad es. A/B/C/D). Questo mitiga l'instabilità di formattazione e la verbosità preservando al contempo il ragionamento interno. Vengono applicati vincoli di token specifici per lingua (ad es. un singolo token per inglese/hindi, fino a tre per bengalese/tamil).
  3. Fine-Tuning Supervisionato (SFT): Affinamento dei VLM sul dataset utilizzando supervisione basata solo sulla risposta. Per garantire l'efficienza dei parametri, gli autori adottano l'Adattamento a Basso Rango (LoRA) con rango $r=8$, aggiornando solo le proiezioni query, key e value negli strati di attenzione self e cross. Il modello è addestrato a generare la sequenza di risposta corretta condizionata all'input.

Contributi Chiave

1. Benchmark FinVQA: L'introduzione del primo benchmark multilingue su larga scala per la risposta visiva alle domande finanziarie in contesti indic, con 18.900 campioni su 14 domini e sei lingue.
2. Framework FIND: Un framework consapevole dei vincoli che integra il fine-tuning supervisionato con una decodifica strutturata per migliorare la fedeltà numerica, l'allineamento multimodale e il processo decisionale strutturato.
3. Valutazione Completa: Una valutazione rigorosa dei VLM all'avanguardia (Qwen2.5-VL, Qwen3-VL, Gemma-3) su diverse scale di parametri (da 3B a 32B) e regimi di addestramento (zero-shot, decodifica vincolata, SFT).

Risultati Sperimentali

• Gerarchia delle Prestazioni: Le prestazioni del modello sono fortemente governate dalla scala e dal regime di addestramento. I modelli su larga scala (ad es. Qwen3-VL-32B, Gemma-3-27B) superano significativamente i corrispettivi più piccoli.
• Impatto dell'SFT: Il Fine-Tuning Supervisionato esercita la maggiore influenza sulle prestazioni, producendo guadagni sostanziali rispetto alle linee di base zero-shot, in particolare per le lingue indic. Ad esempio, l'SFT ha migliorato l'accuratezza in marathi per Qwen3-VL-4B dal 26,2% (zero-shot) al 47,8%.
• Ruolo della Decodifica Vincolata: Sebbene la decodifica vincolata aiuti la validità strutturale, fornisce guadagni modesti rispetto all'SFT. Tuttavia, combinare SFT con decodifica vincolata produce i risultati più robusti.
• Tendenze Linguistiche: Hindi e bengalese raggiungono generalmente le accuratezze più elevate, riflettendo una migliore disponibilità di risorse. Il tamil rimane la più difficile a causa della distanza tipologica e della complessità dello script, sebbene l'SFT fornisca ancora miglioramenti costanti.
• Valutazione Umana: Le valutazioni umane rivelano che, sebbene la conformità alla formattazione sia raggiungibile a scale computazionali inferiori, il ragionamento finanziario ad alta fedeltà (comprensione del dominio, interpretazione del problema, correttezza matematica) è strettamente dipendente dalla capacità. I modelli grandi (27B–32B) raggiungono prestazioni vicine al limite (punteggi 0,9–1,0), mentre i modelli più piccoli (3B–4B) faticano con la coerenza logica e l'ancoraggio visivo.
• Analisi degli Errori: I modelli più piccoli falliscono frequentemente nell'ancoraggio visivo e nella coerenza logica. I modelli intermedi (7B–12B) mostrano un parsing migliorato ma soffrono di un'esecuzione matematica fragile. Solo i modelli su larga scala (27B–32B) dimostrano un'esecuzione robusta e end-to-end di compiti visivo-matematici.

Significato e Affermazioni
Il documento sostiene che un ragionamento finanziario affidabile e ad alto rischio in contesti multilingue richiede una combinazione di capacità di modelli su larga scala, allineamento supervisionato con dati specifici del dominio e vincoli rigorosi sull'output. Gli autori affermano che FIND e FinVQA stabiliscono un paradigma di valutazione rigoroso per il ragionamento finanziario multimodale, evidenziando che i modelli attuali spesso mostrano "fluency senza correttezza". Sottolineano che, sebbene la decodifica consapevole dei vincoli migliori la conformità al formato, non garantisce l'accuratezza del ragionamento, sottolineando la necessità di supervisione umana e i limiti dei modelli attuali nel processo decisionale finanziario prescrittivo. Il lavoro serve come passo fondamentale verso il colmare il divario negli strumenti di alfabetizzazione finanziaria per i parlanti di lingue indic, sebbene gli autori riconoscano limitazioni riguardanti la diversità dei campioni (derivati da fonti tradotte) e l'esclusione di baseline a codice chiuso a causa di vincoli di risorse.