Riepilogo Tecnico: FinRAG-12B

Enunciato del Problema

L'adozione dei Large Language Models (LLM) nel settore bancario è ostacolata da requisiti rigorosi di accuratezza fattuale, conformità normativa e fondazione verificabile. I modelli pronti all'uso soffrono spesso di allucinazioni, comportamenti eccessivamente accondiscendenti (sycophancy) e una mancanza di allineamento con dati dinamici specifici del dominio, come i tassi di interesse e le politiche istituzionali. Nei sistemi di Retrieval-Augmented Generation (RAG), i modelli possono ignorare il contesto recuperato, affidarsi a passaggi irrilevanti o fabbricare risposte quando le informazioni non sono disponibili. Ciò comporta rischi significativi in termini normativi e finanziari. Inoltre, le soluzioni esistenti spesso non riescono a bilanciare il compromesso tra rispondere alle query e rifiutarsi di rispondere quando le prove sono insufficienti, portando a allucinazioni non sicure o a un rifiuto eccessivo (eccessiva cautela).

Metodologia

Gli autori propongono FinRAG-12B, un LLM da 12 miliardi di parametri ottimizzato per il RAG bancario, costruito sulla base del modello Gemma 3 12B-IT. L'approccio si concentra su un framework di addestramento unificato ed efficiente in termini di dati che ottimizza congiuntamente la qualità della risposta, la fondazione delle citazioni e il rifiuto calibrato.

1. Pipeline di Curatione dei Dati

Il corpus di addestramento è composto da 98.648 campioni (143 milioni di token), privilegiando la qualità rispetto alla scala. La pipeline prevede:

• RAG-v1 (Open Source): 43.581 campioni filtrati tramite JudgeLM per garantire una supervisione di alta qualità.
• SEC QA Sintetico: 16.773 campioni generati da documenti SEC (10-K, 10-Q) utilizzando una pipeline a cinque stadi. Questo include la segmentazione dei documenti, la generazione di domande a quattro livelli di difficoltà, la riformulazione per corrispondere alle distribuzioni reali delle query utente (stile, lunghezza, formalità), l'imposizione di output in stile citazione e l'iniezione di passaggi distrattori per simulare il rumore nel recupero.
• Sottoinsieme Finanziario CommonCrawl: 20.499 campioni derivati da query utente reali (non PII) e passaggi pertinenti, filtrati tramite un classificatore foresta casuale per garantire la conformità alla privacy.
• Dati di Calibrazione del Rifiuto: 17.795 esempi proprietari (22% del mix) in cui il contesto recuperato è topico ma insufficiente. L'output target è un esplicito "Non lo so", addestrando il modello a astenersi piuttosto che allucinare.

2. Strategia di Addestramento

Il modello impiega un approccio di apprendimento curricolare a due stadi:

• Stadio 1 (Adattamento al Dominio): Addestrato su 60.354 campioni (RAG-v1 + SEC Sintetico) con un tasso di apprendimento conservativo ($1 \times 10^{-6}$). Questo stabilisce capacità fondamentali per la generazione fondata e l'allineamento delle citazioni utilizzando dati riproducibili.
• Stadio 2 (Specializzazione del Compito): Addestramento continuato su 38.294 campioni (CommonCrawl + Bancario Proprietario) con un tasso di apprendimento più elevato ($5 \times 10^{-6}$). Questo stadio introduce distribuzioni di query reali e calibra il comportamento di rifiuto.
• Mitigazione del Bias Posizionale: Per contrastare la tendenza dei modelli a prestare attenzione in modo sproporzionato all'inizio o alla fine del contesto, gli autori randomizzano il posizionamento dei passaggi pertinenti tra i distrattori utilizzando un mix di distribuzioni armoniche di decadimento trapezoidale destre discrete.
• Calibrazione del Rifiuto: Una scansione sistematica ha determinato che un rapporto del 22% di esempi non rispondibili produce il compromesso ottimale, minimizzando le risposte non supportate evitando al contempo un rifiuto eccessivo su query rispondibili.

3. Configurazione e Servizio del Modello

• Fine-tuning: Utilizza LoRA (Low-Rank Adaptation) su tutti i livelli di attenzione e MLP ($r=64, \alpha=256$).
• Quantizzazione: Il modello è quantizzato in W4A16 (pesi a 4 bit, attivazioni a 16 bit) utilizzando SmoothQuant, riducendo l'impronta da 24 GB a 8,4 GB per un deployment efficiente su singola GPU con degradazione delle prestazioni minima.

Contributi Chiave

1. Pipeline Efficiente in Dati: Una pipeline multi-stadio che combina il filtraggio LLM-as-a-Judge, la generazione sintetica condizionata allo stile e l'estrazione di dati reali conformi alla privacy per creare un dataset di addestramento di alta qualità e fondato con soli 143 milioni di token.
2. Meccanismo di Rifiuto Calibrato: Una strategia basata sul campionamento negativo controllato (22% di esempi non rispondibili) che riduce significativamente le allucinazioni prevenendo al contempo l'eccessivo rifiuto comune nei modelli generici.
3. Framework di Produzione End-to-End: Una metodologia validata che copre la curatione dei dati, l'apprendimento curricolare e il servizio quantizzato, implementata in oltre 40 istituzioni finanziarie.

Risultati

La valutazione è stata condotta su un set di test bancario proprietario (258 esempi) e sul benchmark pubblico FinanceBench.

• Qualità della Risposta e Fondazione: FinRAG-12B ha ottenuto un punteggio JudgeLM di 6,21, superando GPT-4.1 (5,72) e il modello base Gemma 3 (5,70). Ha inoltre migliorato la qualità delle citazioni a 73,1 (vs 70,8 per GPT-4.1), dimostrando una fondazione delle citazioni più selettiva e pertinente.
• Calibrazione del Rifiuto: Il modello ha raggiunto un tasso di astensione del 12,0% su query non rispondibili. Questo rappresenta un miglioramento sostanziale rispetto al tasso non sicuro del 4,3% del modello base (sotto-rifiuto) e al 20,2% di GPT-4.1 (sopra-rifiuto).
• Generalizzazione: Su FinanceBench, FinRAG-12B ha ottenuto il punteggio F1 più alto (0,284) con un tasso di citazione del 97,3%, superando sia il modello base che GPT-4.1.
• Studi di Ablazione: L'addestramento congiunto su tutte le fonti di dati simultaneamente ha fatto crollare le prestazioni (JudgeLM 3,28, 46,5% di sopra-rifiuto). Il curricolo a due stadi è stato fondamentale per risolvere il conflitto tra l'apprendimento delle convenzioni di citazione e la calibrazione del rifiuto.
• Latenza e Costi: FinRAG-12B opera 3–5 volte più velocemente di GPT-4.1 (0,57s di tempo totale di completamento vs 1,83s) e sostiene costi 20–50 volte inferiori per query quando implementato su una singola GPU RTX 6000 Ada.
• Impatto sulla Produzione: In un deployment live presso una grande unione di credito statunitense, FinRAG-12B ha migliorato il tasso di risoluzione delle query di 7,1 punti percentuali (dal 77,4% all'84,5%, $p < 0,001$). La soddisfazione degli utenti è aumentata dal 59,5% al 62,9%, guidata principalmente dal tasso di risoluzione più elevato piuttosto che da miglioramenti marginali nella qualità per risposta.

Significato

Il documento afferma che FinRAG-12B dimostra che la qualità dei dati, la fondazione e la metodologia di addestramento sono più critiche della scala del modello per costruire LLM affidabili in domini regolamentati. Integrando una pipeline efficiente in dati con un rifiuto calibrato, il sistema raggiunge alta accuratezza e sicurezza senza i pesi di latenza e costi delle grandi API commerciali. Il lavoro evidenzia che nei sistemi RAG di produzione, l'aumento del tasso di risoluzione è il principale motore della soddisfazione degli utenti, e che un framework unificato può navigare con successo i compromessi tra rispondere, citare e astenersi in ambienti finanziari ad alto rischio.