Riepilogo Tecnico: K-FinHallu

Enunciato del Problema

Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) abbiano avanzato l'automazione finanziaria attraverso la Generazione Aumentata dal Recupero (RAG), le allucinazioni rimangono un ostacolo critico al dispiegamento in ambienti finanziari ad alto rischio. I benchmark esistenti per il rilevamento delle allucinazioni soffrono di due lacune principali quando applicati ai servizi finanziari reali:

1. Limitazione a Turno Singolo: La maggior parte dei benchmark si concentra su compiti a turno singolo, non riuscendo a catturare le complessità dei dialoghi multi-turno in cui le allucinazioni derivano da fallimenti nel tracciamento del contesto, errori di risoluzione anaforica o incoerenze logiche con i turni precedenti.
2. Lacune Linguistiche e Regolamentari: I dataset esistenti sono prevalentemente centrati sull'inglese e su istituzioni occidentali, trascurando le sfumature uniche del dominio finanziario coreano. Questo include specifici quadri normativi (ad esempio, il sistema di locazione Jeonse), la morfologia agglutinante e la terminologia tecnica sino-coreana polisemica che non può essere affrontata attraverso una semplice traduzione.

Di conseguenza, manca un quadro di valutazione rigoroso per rilevare allucinazioni specifiche del dominio nei sistemi RAG finanziari coreani multi-turno, in particolare riguardo alla "astensione giustificata" (sapere quando non rispondere).

Metodologia

Gli autori introducono K-FinHallu, il primo benchmark per il rilevamento di allucinazioni nei sistemi RAG finanziari coreani multi-turno, costruito a partire da documenti finanziari coreani autentici.

Costruzione del Dataset

• Corpo di Sorgente: Il dataset è basato sul dataset "Comprensione della Lettura di Documenti Machine di Finanza e Diritto Coreani" di AI-Hub, filtrato per le categorie finanziarie. Per prevenire la fuoriuscita di dati, il set di test è tratto dal Servizio di Supervisione Finanziaria (FSS) e dall'Agenzia Coreana per i Consumatori, mentre il set di addestramento utilizza istituzioni disgiunte.
• Generazione di Dialoghi Fedeli: Una pipeline che utilizza GPT-4o simula dialoghi multi-turno (4–8 turni) tra un utente e un assistente. L'assistente genera risposte rigorosamente basate su passaggi aurei e testi di indizio provenienti dai documenti sorgente. La pipeline include turni di "ricontrollo" per testare il tracciamento del contesto.
• Simulazione del Recupero: Per isolare il rilevamento delle allucinazioni dagli errori di recupero, il sistema simula il RAG fornendo contesti di recupero controllati ($P_n$).
  • Scenari Rispondibili: $P_n$ contiene il passaggio aureo.
  • Scenari Non Rispondibili: $P_n$ è composto interamente da "negativi difficili" (passaggi semanticamente simili privi della risposta).
• Iniezione di Allucinazioni: Una pipeline automatizzata inietta allucinazioni sottili nei dialoghi fedeli basandosi su una tassonomia gerarchica proposta. Le strategie includono modifiche minime (ad esempio, scambio di termini finanziari, alterazione di numeri/modificatori) per preservare la naturalezza introducendo al contempo errori critici. Vengono utilizzate due fonti di iniezione (GPT-4o e Gemini-2.5-Flash) per mitigare artefatti specifici del modello.
• Controllo di Qualità: I dialoghi e le allucinazioni iniettate subiscono un rigoroso filtraggio tramite LLM-as-a-judge e annotazione umana, garantendo un'alta concordanza (Gwet's AC1 > 0.70) su criteri come rispondibilità, plausibilità e naturalezza.

Tassonomia delle Allucinazioni

Il documento propone una tassonomia basata sulla rispondibilità del contesto:

1. Scenari Rispondibili:
   • Contraddittoria: La risposta è in conflitto con il contesto o la cronologia del dialogo.
   • Non Verificabile: La risposta include affermazioni esterne non supportate dal contesto.
   • Irrilevanza: La risposta è logicamente sconnessa dall'intento dell'utente.
   • Rifiuto Falso: Il modello rifiuta di rispondere nonostante evidenze sufficienti.
2. Scenari Non Rispondibili:
   • Accettazione Falsa: Il modello fornisce una risposta nonostante la mancanza di prove.
   • Rifiuto Vero: Il modello astiene correttamente (il comportamento desiderato).

Contributi Chiave

1. Benchmark K-FinHallu: Il rilascio del primo benchmark per il rilevamento di allucinazioni multi-turno per il RAG finanziario coreano, costruito su documenti autentici e che copre diversi domini finanziari (ad esempio, Economia Finanziaria, Assicurazioni).
2. Tassonomia Gerarchica: Una tassonomia innovativa che tiene esplicitamente conto dell'astensione giustificata nei dialoghi multi-turno, distinguendo tra "Rifiuto Falso" e "Rifiuto Vero".
3. Pipeline di Costruzione Scalabile: Dimostrazione che la pipeline di iniezione può generare automaticamente una partizione di addestramento, consentendo il fine-tuning di modelli più piccoli (8B) per eguagliare o superare gli LLM all'avanguardia.

Risultati Sperimentali

Gli autori hanno messo alla prova modelli LLM all'avanguardia e open-source (inclusi GPT-5, Gemini-2.5, Llama-3, Qwen3 e modelli centrati sulla Corea) come rilevatori di allucinazioni.

• Rilevamento Binario: I modelli closed-source hanno guidato le prestazioni, con Gemini-2.5-Flash che ha raggiunto il F1 più alto (0.860). Modelli open-source come Qwen3-32B (F1 0.732) hanno mostrato prestazioni competitive, mentre i modelli centrati sulla Corea sono rimasti indietro rispetto ai corrispettivi globali di dimensioni simili.
• Rilevamento Multi-Classe: Le prestazioni sono diminuite significativamente passando dal rilevamento binario alla diagnosi multi-classe (identificazione del tipo specifico di allucinazione). Anche i modelli più forti hanno faticato con le diagnosi granulari.
• Comportamento di Rifiuto: L'"astensione giustificata" è rimasta l'asse più debole per tutti i modelli. La maggior parte dei modelli base non è riuscita a distinguere tra Rifiuto Vero e Rifiuto Falso, prevedendo spesso esclusivamente un tipo.
• Impatto del Fine-Tuning: Il fine-tuning di un modello da 8B (Qwen3-8B) con supervisione delle ragioni (addestrando il modello a produrre una traccia di ragionamento prima dell'etichetta) ha prodotto una precisione complessiva di 0.896, superando tutti i modelli base, incluso GPT-5 (0.855). Questo approccio ha migliorato significativamente l'accuratezza del rilevamento delle allucinazioni (da 0.446 a 0.864).
• Analisi dei Sottotipi: Il "Malinteso dei Termini Finanziari" è persistito come un collo di bottiglia primario, mostrando un miglioramento minimo anche con scale di modello più grandi (fino a 32B), suggerendo la necessità di una competenza di dominio più profonda oltre la semplice corrispondenza lessicale.

Significato e Affermazioni

Il documento afferma che K-FinHallu affronta una lacuna critica nella valutazione dell'IA finanziaria, specificamente la necessità di benchmark multi-turno, linguisticamente sfumati e consapevoli delle normative. Gli autori sottolineano che:

• L'Astensione Giustificata è Critica: La capacità di rifiutare correttamente di rispondere quando mancano prove è una dimensione vitale ma sottostimata nel RAG finanziario.
• I Modelli Piccoli Possono Competere: Con la supervisione delle ragioni, un modello da 8B fine-tunato può raggiungere prestazioni competitive o superiori rispetto agli LLM all'avanguardia, offrendo una via pratica per lo sviluppo di rilevatori open-source.
• La Specificità del Dominio Conta: La persistenza degli errori nella comprensione dei termini finanziari evidenzia che le leggi di scalabilità generali non risolvono automaticamente gli spostamenti semantici specifici del dominio nel gergo finanziario coreano.

Il lavoro funge da test di stress per gli attuali LLM, rivelando che anche i modelli più avanzati faticano con le diagnosi granulari e i comportamenti di rifiuto richiesti per un dispiegamento affidabile in ambienti finanziari ad alto rischio.