Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval

Immagina di cercare di risolvere un enigma complicato, ma invece di usare solo il tuo cervello, hai accanto a te una massiccia biblioteca di libri di riferimento. Questo è il mondo della Generazione Aumentata dal Recupero (RAG). Pensalo come uno studente che sostiene un esame e gli è permesso consultare un libro di testo per cercare i fatti prima di rispondere. Di solito, i computer sono bravissimi in questo se le domande sono in inglese, ma le cose si complicano quando le domande sono in spagnolo, greco o hindi. La "biblioteca" potrebbe essere piena di libri in inglese ma vuota per altre lingue, e lo studente potrebbe non saper leggere i testi stranieri anche se li trova.

Questo articolo affronta una versione molto specifica e ad alta posta in gioco di questo problema: gli Esami di Certificazione Finanziaria. Non si tratta di semplice cultura generale; sono test complessi per diventare un Analista Finanziario Certificato o un Contabile, che richiedono una profonda logica relativa al denaro, alle leggi e alle regole contabili. La grande domanda che gli autori pongono è: Possiamo costruire un sistema informatico capace di superare questi difficili esami finanziari in cinque lingue diverse (inglese, spagnolo, greco, cinese e hindi) con la stessa efficacia con cui lo fa in inglese? La risposta è importante perché la finanza è globale, ma i cervelli informatici sono addestrati principalmente sull'inglese, lasciando enormi lacune nel modo in cui gestiscono il linguaggio finanziario in altre lingue.

Il Grande Esperimento del Team: Un Detective Multilingue Intelligente

I ricercatori di Georgia Tech, chiamando il loro team DS@GT, hanno costruito un sistema detective digitale per risolvere queste domande d'esame finanziarie. Invece di limitarsi a indovinare, il loro sistema segue un processo rigoroso in tre fasi, che chiamano "pipeline".

Fase 1: Il Detective Linguistico
Per prima cosa, il sistema osserva la domanda e chiede: "Che lingua è questa?". È come un buttafuori in un club che controlla i documenti d'identità. Se la domanda è in greco, il sistema sa che deve prelevare libri dalla "Sezione Greca" della sua biblioteca. Se la biblioteca è vuota per quella lingua (cosa che accade con lingue meno diffuse come il greco o l'hindi), recupera libri dalla "Sezione Globale" che potrebbero avere idee simili, anche se in una lingua diversa. Hanno usato uno strumento speciale chiamato BGE-M3 per tradurre il significato delle domande in un codice universale, in modo che il sistema potesse trovare esempi rilevanti, superando anche le barriere linguistiche.

Fase 2: Il Router del Modello (Il "Cervello Destro" per il Giusto Lavoro)
È qui che il team ha scoperto qualcosa di sorprendente. Non hanno usato un unico enorme cervello informatico per tutto. Hanno scoperto che diversi cervelli informatici sono più bravi in diverse lingue.

• Per l'inglese, hanno usato un modello chiamato Qwen2.5-14B.
• Per il greco, hanno scoperto sorprendentemente che un modello più piccolo, Llama-3.1-8B, era in realtà la vera star, superando i modelli più grandi di un margine enorme (circa 19,5 punti percentuali!).
• Per il cinese, l'hindi e l'arabo, hanno usato Qwen3-14B.

Se avessero usato semplicemente il "miglior" modello per tutti, il sistema sarebbe fallito miseramente su inglese e greco. È come rendersi conto che, sebbene un maratoneta sia ottimo per le lunghe distanze, non vorresti che giocasse a scacchi; hai bisogno di uno specialista diverso per ogni compito.

Fase 3: Lo Scorer (Niente Più Giochi a Indovinare)
Di solito, quando i computer rispondono alle domande, cercano di "scrivere" la risposta, come "La risposta è C". Questo porta spesso a errori in cui il computer scrive un lungo paragrafo e dimentica di dire quale lettera ha scelto. Il team di DS@GT ha usato un trucco intelligente chiamato Retrieval-Augmented Direct Scoring (RADS). Invece di scrivere la risposta, il sistema controlla semplicemente la matematica: "Quanto è probabile che la lettera 'A' sia la prossima parola? Quanto è probabile 'B'? Quanto è probabile 'C'?" Sceglie la lettera con il punteggio matematico più alto. Questo è come un test a scelta multipla dove il computer non deve scrivere un saggio; deve solo indicare la bolla corretta. Questo metodo ha eliminato quasi tutti i "fallimenti di parsing" (errori nella lettura della risposta generata dal computer), raggiungendo un tasso di successo del 100% sulle domande in cinese dove altri metodi faticavano.

Le Sorprendenti Scoperte

Il team ha eseguito migliaia di test e ha scoperto alcune regole che rompono le consuete idee su come funziona l'IA:

1. Pensare Troppo Può Essere Male: Per la maggior parte delle persone, la "Chain-of-Thought" (chiedere all'IA di spiegare il proprio ragionamento passo dopo passo) aiuta. Ma per le domande in greco, questo ha effettivamente distrutto le prestazioni. L'accuratezza è scesa da un fantastico 90,7% a un terribile 20,9%. Si è scoperto che per queste specifiche domande in greco, che riguardano più la categorizzazione di fatti che la risoluzione di problemi matematici, far "pensare ad alta voce" l'IA l'ha confusa. Ha iniziato a scrivere storie invece di scegliere la categoria corretta.
2. La Trappola della "Modalità di Pensiero": Il modello Qwen3 ha un'impostazione predefinita in cui scrive una sezione di "pensiero" prima della risposta. Il team ha scoperto che se lasciavano questa funzione attiva, la capacità del sistema di scegliere la lettera corretta (RADS) crollava fino a un livello vicino al caso casuale per l'arabo. Hanno dovuto disattivare manualmente questa "modalità di pensiero" affinché il sistema funzionasse.
3. La Traduzione è una Trappola: Hanno provato a tradurre le domande da altre lingue in inglese, risolverle e poi tradurle nuovamente. È stato un disastro. La traduzione ha perso dettagli finanziari importanti e i punteggi sono scesi di quasi 20 punti percentuali rispetto alla risoluzione nelle lingue originali.
4. I Dati Contano, ma i Modelli Contano di Più: Per l'hindi, aggiungere più esempi nativi in hindi alla loro biblioteca ha aiutato, ma solo in minima parte (circa 1 punto percentuale). Tuttavia, il divario tra il loro sistema e la migliore IA commerciale (Claude Opus 4.7) era enorme (17 punti percentuali). Ciò suggerisce che per le lingue a basse risorse, il problema non è solo avere più libri nella biblioteca; è che il cervello informatico stesso deve essere addestrato più profondamente sui termini finanziari di quella specifica lingua.

Il Tabellone dei Risultati Finali

Quando il team ha sottoposto il proprio sistema alla competizione ufficiale FinMMEval 2026, ha ottenuto ottimi risultati, posizionandosi tra i primi 10 per la maggior parte delle lingue.

• Arabo: 76,0% (10° posto)
• Hindi: 73,5% (7° posto)
• Inglese: 69,5% (9° posto)
• Cinese: 64,5% (9° posto)

Sebbene non abbiano vinto il primo posto (le prime squadre hanno superato il 90%), il loro lavoro ha dimostrato una lezione vitale: Una soluzione unica non va bene per tutti. Per costruire un'IA finanziaria intelligente che funzioni a livello globale, non puoi usare un solo modello e una sola strategia. Devi indirizzare le diverse lingue verso modelli diversi, scegliere diverse strategie di pensiero in base al compito e calcolare i punteggi matematicamente invece di scrivere le risposte. Il futuro dell'IA finanziaria globale non riguarda un singolo super-cervello; riguarda un team di specialisti, ognuno che parli la lingua giusta e utilizzi gli strumenti appropriati.