Technische Samenvatting: K-FinHallu

Probleemstelling

Hoewel Large Language Models (LLM's) financiële automatisatie hebben verbeterd door middel van Retrieval-Augmented Generation (RAG), vormen hallucinaties nog steeds een kritieke barrière voor implementatie in hoog-risico financiële omgevingen. Bestaande benchmarks voor hallucinatie-detectie lijden bij toepassing op real-world financiële diensten onder twee primaire gaten:

1. Beperking tot één beurt: De meeste benchmarks richten zich op taken met één beurt, waardoor ze de complexiteit van dialogen met meerdere beurten niet vastleggen, waarbij hallucinaties voortkomen uit fouten in context-tracking, fouten bij anafora-oplossing of logische inconsistenties met eerdere beurten.
2. Taalkundige en regelgevende gaten: Bestaande datasets zijn overwegend Engels-gecentreerd en gericht op westerse instellingen, waardoor de unieke nuances van het Koreaanse financiële domein worden verwaarloosd. Dit omvat specifieke regelgevende kaders (bijv. het Jeonse-huursysteem), agglutinerende morfologie en polyseme Sino-Koreaanse technische terminologie die niet kunnen worden opgelost door eenvoudige vertaling.

Gevolg hiervan is het ontbreken van rigoureuze evaluatiekaders om domeinspecifieke hallucinaties te detecteren in multi-turn Koreaanse financiële RAG-systemen, met name wat betreft "gerechtvaardigde onthouding" (weten wanneer men niet moet antwoorden).

Methodologie

De auteurs introduceren K-FinHallu, de eerste benchmark voor hallucinatie-detectie in multi-turn Koreaanse financiële RAG, opgebouwd uit authentieke Koreaanse financiële documenten.

Dataset Constructie

• Broncorpus: De dataset is gebaseerd op de dataset "Korean Financial and Legal Document Machine Reading Comprehension" van AI-Hub, gefilterd op financiële categorieën. Om datalekken te voorkomen, is de testset ontleend aan de Financial Supervisory Service (FSS) en het Korea Consumer Agency, terwijl de trainingsset gebruikmaakt van disjuncte instellingen.
• Trouw Dialogue-Generatie: Een pijplijn met GPT-4o simuleert dialogen met meerdere beurten (4–8 beurten) tussen een gebruiker en een assistent. De assistent genereert antwoorden die strikt gebaseerd zijn op gouden passages en aanwijzingstekst uit de brondocumenten. De pijplijn omvat "herbevestiging"-beurten om context-tracking te testen.
• Retrieval-simulatie: Om hallucinatie-detectie te isoleren van retrieval-fouten, simuleert het systeem RAG door gecontroleerde retrieval-contexten ($P_n$) te bieden.
  • Beantwoordbare scenario's: $P_n$ bevat de gouden passage.
  • Onbeantwoordbare scenario's: $P_n$ bestaat volledig uit "harde negatieven" (semantisch vergelijkbare passages zonder het antwoord).
• Hallucinatie-injectie: Een geautomatiseerde pijplijn injecteert subtiele hallucinaties in trouwe dialogen op basis van een voorgestelde hiërarchische taxonomie. Strategieën omvatten minimale bewerkingen (bijv. het verwisselen van financiële termen, het wijzigen van cijfers/modifiers) om natuurlijkheid te behouden terwijl kritieke fouten worden geïntroduceerd. Er worden twee injectiebronnen gebruikt (GPT-4o en Gemini-2.5-Flash) om model-specifieke artefacten te mitigeren.
• Kwaliteitscontrole: Dialogen en geïntroduceerde hallucinaties ondergaan rigoureuze filtering via LLM-as-a-judge en menselijke annotatie, wat zorgt voor hoge overeenstemming (Gwet's AC1 > 0,70) op criteria zoals beantwoordbaarheid, plausibiliteit en natuurlijkheid.

Hallucinatie Taxonomie

Het paper stelt een taxonomie voor op basis van contextbeantwoordbaarheid:

1. Beantwoordbare scenario's:
   • Contradictoir: Het antwoord botst met de context of de dialogengeschiedenis.
   • Onverifieerbaar: Het antwoord bevat externe claims die niet worden ondersteund door de context.
   • Irrelevantie: Het antwoord is logisch losgekoppeld van de intentie van de gebruiker.
   • Valse weigering: Het model weigert te antwoorden ondanks voldoende bewijs.
2. Onbeantwoordbare scenario's:
   • Valse acceptatie: Het model geeft een antwoord ondanks gebrek aan bewijs.
   • Ware weigering: Het model onthoudt zich correct (het gewenste gedrag).

Belangrijkste Bijdragen

1. K-FinHallu Benchmark: De release van de eerste multi-turn hallucinatie-detectie benchmark voor Koreaanse financiële RAG, gebouwd op authentieke documenten en dekking van diverse financiële domeinen (bijv. Financieel Economie, Verzekeringen).
2. Hiërarchische Taxonomie: Een nieuwe taxonomie die expliciet rekening houdt met gerechtvaardigde onthouding in dialogen met meerdere beurten, en onderscheid maakt tussen "Valse Weigering" en "Ware Weigering".
3. Schaalbare Constructiepijplijn: Demonstratie dat de injectiepijplijn automatisch een trainingsverdeling kan genereren, waardoor het fine-tunen van kleinere modellen (8B) mogelijk is om frontier LLM's te evenaren of te overtreffen.

Experimentele Resultaten

De auteurs hebben frontier- en open-source LLM's (inclusief GPT-5, Gemini-2.5, Llama-3, Qwen3 en Koreaans-gerichte modellen) getoetst als hallucinatie-detectoren.

• Binair Detectie: Gesloten bronmodellen presteerden het beste, met Gemini-2.5-Flash die de hoogste F1-score behaalde (0,860). Open-source modellen zoals Qwen3-32B (F1 0,732) toonden concurrerende prestaties, terwijl Koreaans-gerichte modellen achterbleven bij wereldwijde tegenhangers van vergelijkbare grootte.
• Multi-class Detectie: De prestaties daalden aanzienlijk bij de overstap van binaire detectie naar multi-class diagnose (het identificeren van het specifieke type hallucinatie). Zelfs de sterkste modellen hadden moeite met fijnmazige diagnostiek.
• Weigeringsgedrag: "Gerechtvaardigde onthouding" bleef de zwakste as voor alle modellen. De meeste basismodellen faalden in het onderscheid tussen Ware en Valse Weigering, en voorspelden vaak uitsluitend het ene type.
• Impact van Fine-tuning: Fine-tuning van een 8B-model (Qwen3-8B) met rationale supervisie (het trainen van het model om een redeneringstest te genereren voordat het label wordt gegeven) resulteerde in een algehele nauwkeurigheid van 0,896, waarmee alle basismodellen werden overtroffen, inclusief GPT-5 (0,855). Deze aanpak verbeterde de nauwkeurigheid van hallucinatie-detectie aanzienlijk (van 0,446 naar 0,864).
• Sub-type Analyse: "Misverstand van Financiële Termen" bleef een primaire bottleneck, met minimale verbetering zelfs bij grotere modelgroottes (tot 32B), wat wijst op de noodzaak van diepere domeinexpertise die verder gaat dan lexicaal matching.

Betekenis en Claims

Het paper claimt dat K-FinHallu een kritiek gat adresseert in de evaluatie van financiële AI, specifiek de behoefte aan multi-turn, taalkundig genuanceerde en regelgevingsbewuste benchmarks. De auteurs benadrukken dat:

• Gerechtvaardigde Onthouding Kritiek Is: Het vermogen om correct te weigeren te antwoorden wanneer bewijs ontbreekt, een vitale maar ondergewaardeerde dimensie is in financiële RAG.
• Kleine Modellen Kunnen Concurreren: Met rationale supervisie kan een gefine-tuned 8B-model prestaties behalen die concurreren met of superieur zijn aan frontier LLM's, wat een praktische weg biedt voor de ontwikkeling van open-source detectoren.
• Domeinspecificiteit Maakt Uit: De persistentie van fouten in het begrijpen van financiële termen onderstreept dat algemene schaalwetten automatisch geen domeinspecifieke semantische verschuivingen in Koreaanse financiële jargon oplossen.

Het werk dient als een stress-test voor huidige LLM's, waarbij blijkt dat zelfs state-of-the-art modellen moeite hebben met de fijnmazige diagnostiek en weigeringsgedrag die vereist zijn voor betrouwbare implementatie in hoog-risico financiële omgevingen.