A Lightweight Retrieval-Grounded Framework for Hallucination Detection and Correction in Large Language Models

Technische Samenvatting: Een Lichtgewicht Retrieval-Gegrond Kader voor Detectie en Correctie van Hallucinaties in Large Language Models

Probleemstelling
Large Language Models (LLM's) zijn centraal komen te staan in toepassingen die variëren van vraagbeantwoording tot ondersteuning bij bedrijfsbesluitvorming. Ze blijven echter vatbaar voor "hallucinaties"—outputs die vloeiend en aannemelijk overkomen, maar feitelijk onjuist, niet ondersteund door bewijs of inconsistent met geverifieerde kennis zijn. Dit probleem vormt aanzienlijke risico's in kritieke domeinen zoals de gezondheidszorg, financiële sector en juridische redenering. Bestaande mitigatiestrategieën, waaronder Retrieval-Augmented Generation (RAG), zelfverificatie, tool-ondersteunde fact-checking en multi-agent debat-frameworks, kampen vaak met specifieke beperkingen: ze richten zich mogelijk uitsluitend op detectie zonder correctie aan te bieden, vertrouwen op herhaalde inferentie door grote modellen wat de computationele kosten verhoogt, of introduceren complexe orchestratie die reproduceerbaarheid belemmert.

Methodologie
Het artikel stelt een lichtgewicht retrieval-gegrond kader voor dat is ontworpen om hallucinaties te detecteren en te corrigeren zonder de computationele overhead van live multi-LLM inferentie. Het systeem is gestructureerd als een modulaire pipeline die generatie, retrieval, verificatie en correctie ontkoppelt.

1. Modulaire Agent-simulatie: In tegenstelling tot conventionele multi-agent systemen die meerdere live LLM-instanties aanroepen, modelleert dit framework agents als modulaire verwerkingsfasen die opereren op vooraf gegenereerde benchmark-responses. Dit ontwerp isoleert verificatie en correctie van generatievariabiliteit, wat zorgt voor een gecontroleerde en reproduceerbare evaluatie.
2. Retrieval Module: Het systeem maakt gebruik van TF-IDF (Term Frequency-Inverse Document Frequency) voor bewijsvoering-retrieval in plaats van semantische embeddings. Deze keuze geeft prioriteit aan computationele efficiëntie, interpreteerbaarheid en reproduceerbaarheid, en vermijdt afhankelijkheden van externe neurale retrieval-modellen. Gegeven een query $q$, retrieveert het systeem de top-$k$ relevante documenten ($D$).
3. Verificatie Agent: Deze component evalueert de feitelijke consistentie van een gegenereerde response ($r_g$) tegenover het gearriveerde bewijs ($D$). Het maakt gebruik van een gewogen verificatiescore die twee signalen combineert:
   • Antwoord–Bewijs Gelijkenis: De TF-IDF cosine similarity tussen de gegenereerde response en de gearriveerde documenten.
   • Query–Bewijs Relevantie: De TF-IDF cosine similarity tussen de oorspronkelijke query en de gearriveerde documenten.
   • De score wordt berekend als: $Score = \alpha \cdot Sim(r_g, D) + (1 - \alpha) \cdot Sim(q, D)$, waarbij $\alpha$ de relatieve belangrijkheid van de twee signalen regelt.
   • Een drempelwaarde-gebaseerde beslisregel ($\tau$) classificeert de response als gehallucineerd ($Score < \tau$) of niet-gehalluceerd ($Score \geq \tau$).
4. Correctie Agent: Wanneer een response wordt gemarkeerd als gehalluceerd, corrigeert de correctie-agent de inhoud. Het verwijdert niet-onderbouwde claims en integreert bewijs-consistente informatie, terwijl relevante delen van de oorspronkelijke response behouden blijven. Cruciaal is dat dit mechanisme is ontworpen om bewijs-gestuurd en lichtgewicht te zijn, waardoor extra LLM-inferentiestappen worden vermeden.

Belangrijkste Bijdragen
Het artikel schetst vier primaire bijdragen:

1. Een lichtgewicht detectie- en correctiekader dat dure multi-LLM inferentie vermijdt terwijl het modulaire, agent-geïnspireerde redeneren behoudt.
2. Een verenigde pipeline die verder gaat dan louter detectie door bewijs-gestuurde gecorrigeerde responses te produceren.
3. Een drempelwaarde-gebaseerde gewogen verificatieformule die expliciet de antwoord–bewijs gelijkenis en query–bewijs relevantie combineert.
4. Een reproduceerbare experimentele evaluatie op de MedHallu en TruthfulQA datasets, die sterke detectieprestaties en een meetbare reductie van hallucinaties aantoont.

Experimentele Resultaten
Het framework werd geëvalueerd op twee datasets: MedHallu (9.000 samples die hallucinaties in het medische domein vertegenwoordigen) en TruthfulQA (817 samples die adversariële feitelijkheid uitdagingen vertegenwoordigen).

• Detectieprestaties: Met gebruik van een optimale drempelwaarde ($\tau = 0.55$) bereikte het framework een F1-score van ongeveer 0.93 (specifiek 0.931 op de gecombineerde set) en een recall van 0.891. Op de MedHallu dataset bereikte de F1-score 0.942.
• Correctieprestaties: De correctiefase reduceerde de hallucinatiegraad in de MedHallu-setting van 1.0000 naar 0.5784, wat een reductie van 42.16% in gehalluceerde responses betekent.
• Baseline Vergelijkingen: Experimenten toonden aan dat retrieval alleen onvoldoende is voor detectie, omdat het de consistentie tussen het antwoord en het bewijs niet expliciet valideert. De toevoeging van de gewogen verificatiemodule verbeterde de detectiemetrieken aanzienlijk.
• Geobserveerde Beperkingen: Op TruthfulQA vertoonde de correctiefase een "regressierate" van 0.2485, wat aangeeft dat similarity-gebaseerde correctie soms onnodig feitelijke responses kan wijzigen. Dit suggereert dat hoewel het effectief is voor domeinspecifieke hallucinaties, de huidige similarity-gebaseerde aanpak zorgvuldige gating vereist voor adversariële of misconceptie-gedreven queries.

Betekenis en Claims
Het artikel claimt dat de primaire betekenis ligt in het bieden van een reproduceerbaar en computationeel efficiënt alternatief voor complexe multi-agent verificatiesystemen. Door agents te modelleren als modulaire fasen in plaats van live LLM-calls, elimineert het framework de noodzaak voor herhaalde grote-model inferentie, waardoor het geschikt is voor omgevingen met beperkte middelen.

De auteurs stellen dat expliciete verificatie essentieel is; retrieval alleen biedt context maar bevestigt geen feitelijke ondersteuning. Hun gewogen scoringformule adresseert dit gat. Verder benadrukt het werk dat mitigatie niet mag stoppen bij detectie; de voorgestelde correctiefase verbetert actief de feitelijke betrouwbaarheid van de uiteindelijke output. Het artikel erkent echter bescheiden dat TF-IDF retrieval en lexicale gelijkenis zwakker zijn voor redenering-intensieve of adversariële gevallen, wat suggereert dat toekomstige iteraties semantische embeddings en entailment-gebaseerde verificatie moeten incorporeren.