💻 computer science

A Multi-Layer Framework for Hallucination Detection and Mitigation in Large Language Models Using Retrieval Grounding and Small Language Model Verification

Dit artikel stelt een meerlagig framework voor dat de feitelijke betrouwbaarheid van grote taalmodellen verbetert door reacties te ontleden in atomische claims, deze te funderen met retrieval, en ze te verifiëren via een klein taalmodel en neuro-symbolische redenering, waarmee significante prestatiewinsten worden behaald op de HotpotQA- en SciFact-datasets terwijl interpreteerbaarheid en computationele efficiëntie behouden blijven.

Oorspronkelijke auteurs: Md. Mahmudul Hasan, Israk Kayum Chowdhury, Md. Eliyas Akondo, Tanvir Ahammad, Khandaker Mohammad Mohi Uddin

Gepubliceerd 2026-06-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Md. Mahmudul Hasan, Israk Kayum Chowdhury, Md. Eliyas Akondo, Tanvir Ahammad, Khandaker Mohammad Mohi Uddin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, snelpratende verhalenverteller hebt (het Large Language Model, of LLM). Deze verhalenverteller kan een verhaal spinnen dat perfect klinkt, prachtig vloeit en ongelooflijk zelfverzekerd overkomt. Maar hier is de catch: soms verzint deze verhalenverteller dingen. Ze kunnen een datum, een plaats of een feit verzinnen dat plausibel klinkt, maar eigenlijk onjuist is. Dit wordt een "hallucinatie" genoemd.

Het probleem is dat, omdat het verhaal zo vloeiend klinkt, je het zou kunnen geloven zonder het te controleren.

Dit artikel stelt een nieuwe manier voor om het werk van de verhalenverteller te controleren voordat je de definitieve versie hoort. In plaats van alleen naar het hele verhaal te luisteren en te gissen of het waar is, hebben de auteurs een multi-layer fact-checking fabriek gebouwd. Zo werkt het, stap voor stap, met behulp van eenvoudige analogieën:

1. De verhalenverteller schrijft een concept

Eerst schrijft de LLM een antwoord op je vraag. Stel dat je vraagt: "Wie won de Nobelprijs voor Natuurkunde in 1903?"
De LLM kan zeggen: "Marie Curie won de Nobelprijs voor Natuurkunde in 1903, en ze won ook een tweede prijs in Chemie in 1911."
Op dit stadium behandelt het systeem dit antwoord als ongeverifieerd. Het is slechts een concept.

2. Het verhaal opdelen in Lego-steentjes (Atomic Decomposition)

In plaats van de hele paragraaf in één keer te controleren, breekt het systeem het antwoord af in kleine, individuele "Lego-steentjes" (atomaire claims).

Steentje 1: "Marie Curie won de Nobelprijs voor Natuurkunde in 1903."
Steentje 2: "Ze won een tweede prijs in Chemie in 1911."

Waarom dit doen? Omdat een verhaal voor 99% waar kan zijn, maar één klein leugentje kan bevatten. Als je het hele verhaal controleert, mis je misschien die ene leugen. Door elk steentje te controleren, kun je precies zien waar de fout zit.

3. De zoektocht van de bibliothecaris (Retrieval Grounding)

Nu stuurt het systeem voor elk "steentje" een bibliothecaris (een Retrieval System) naar een enorme bibliotheek met documenten om bewijs te vinden.

De bibliothecaris zoekt naar boeken of artikelen die over Marie Curie en 1903 spreken.
Als de bibliothecaris een boek vindt dat zegt: "Ja, ze won in 1903," krijgt dat steentje een "Onderbouwd" stempel.
Als de bibliothecaris een boek vindt dat zegt: "Ze won in 1905," krijgt het een "Tegengesproken" stempel.
Als de bibliothecaris met lege handen terugkomt of een boek vindt dat alleen over haar gaat maar niet over het jaar, krijgt het steentje een "Onzeker" stempel.

Belangrijkste bevinding: Het paper stelt vast dat als je deze stap met de bibliothecaris verwijdert, het hele systeem instort. Zonder echt bewijs uit de bibliotheek kan het systeem het verschil tussen waarheid en leugens niet onderscheiden.

4. De snelle controleur (Small Language Model Verification)

Vervolgens roept het systeem een Small Language Model (SLM) erbij. Denk aan dit als een snelle, efficiënte rechter die erg goed is in het lezen van het "steentje" en de "notities van de bibliothecaris" en beslist: Is dit waar, onwaar of onduidelijk?

Deze rechter is kleiner en sneller dan de oorspronkelijke verhalenverteller.
De rechter zegt niet alleen "Waar" of "Onwaar". Het geeft een betrouwbaarheidsscore. Bijvoorbeeld: "Ik weet voor 90% zeker dat dit waar is" of "Ik ben slechts voor 40% zeker."
Als het bewijs zwak is, zegt de rechter: "Ik kan nog niet beslissen" (Onzeker), in plaats van te gokken.

5. De wijze oudere (Neuro-Symbolic Reasoning)

Soms is het bewijs lastig. Misschien vond de bibliothecaris twee boeken die elkaar tegenspreken, of de rechter is in de war.
Dit is waar de laag van Neuro-Symbolic Reasoning in beeld komt. Denk aan dit als een wijze oudere die de regels van de logica kent.

Als de rechter onzeker is, past de oudere strikte regels toe (zoals "Als de datum fout is, is de hele claim fout").
De oudere kan de claim ook corrigeren. Als de LLM "1911" zei maar het bewijs zegt "1903", dan verwijdert de oudere niet alleen de zin, maar kan hij deze herschrijven naar "1903".
Deze laag legt ook uit waarom een beslissing is genomen, wat het proces transparant maakt.

6. Het eindrapport (Trust-Calibrated Output)

Ten slotte bouwt het systeem het antwoord weer op met alleen de steentjes die de controles hebben doorstaan.

Ware steentjes blijven staan.
Gecorrigeerde steentjes worden aangepast.
Onware steentjes worden verwijderd.
Onzekere steentjes worden ofwel verwijderd, ofwel gemarkeerd met "we zijn niet zeker over dit deel."

Het systeem geeft ook een "Vertrouwensscore". Het vertelt je: "Ik ben voor 85% zeker van dit antwoord." Als de score laag is, weet je dat je voorzichtig moet zijn.

Wat hebben ze gevonden?

De onderzoekers hebben deze fabriek getest op twee soorten taken:

Wetenschappelijke factencheck: Controleren of wetenschappelijke claims waar waren.
Complexe vragen: Vragen beantwoorden die vereisen dat verschillende stukjes informatie met elkaar worden verbonden.

De resultaten:

De bibliothecaris is essentieel: Wanneer ze de bibliothecaris (de retrieval-stap) verwijderden, daalde het vermogen van het systeem om het juiste antwoord te geven drastisch. Dit bewijst dat je echt bewijs nodig hebt, en niet alleen het geheugen van de AI.
De kleine rechter doet het zware werk: De kleine, snelle rechter (SLM) deed het meeste werk bij het beslissen of feiten waar of onwaar waren. De "Wijze Oudere" (de reasoning-laag) veranderde de uiteindelijke score niet veel in deze tests, maar was erg goed in het uitleggen van het waarom en het herstellen van fouten.
Liever veilig dan sorry: Het systeem is ontworpen om voorzichtig te zijn. Het geeft liever aan "Ik weet het niet" (Onzeker) dan dat het gokt en het fout heeft. Dit betekent dat het misschien enkele ware feiten mist, maar het liegt zelden met veel zelfvertrouwen.

De kern van het verhaal

Dit paper laat zien dat je geen supercomputer nodig hebt om het werk van een AI te controleren. Door antwoorden op te delen in kleine stukjes, ze te controleren tegen echte documenten, een snelle "mini-AI" te gebruiken als rechter en eenvoudige logische regels toe te passen, kun je leugens vangen en fouten herstellen. Het resultaat is een AI die niet alleen zelfverzekerd klinkt, maar ook daadwerkelijk betrouwbaar is.

Technische Samenvatting: Een Multi-Layer Framework voor de Detectie en Mitigatie van Hallucinaties in Large Language Models

1. Probleemstelling

Large Language Models (LLM's) genereren vloeiende en coherente tekst, maar produceren regelmatig "hallucinaties"—uitspraken die feitelijk onjuist, niet onderbouwd of incompleet zijn. Dit probleem is bijzonder kritiek in domeinen met een hoog belang, zoals de gezondheidszorg, het onderwijs en wetenschappelijk onderzoek, waar kleine onnauwkeurigheden kunnen leiden tot aanzienlijke misverstanden of gebrekkige besluitvorming. Bestaande detectiemethoden kampen vaak met verschillende beperkingen:

Grove Granulariteit: Veel benaderingen evalueren de volledige respons als één enkele eenheid, waardoor ze er niet in slagen om gedeeltelijke hallucinaties te detecteren waarbij een antwoord grotendeels correct is, maar specifieke onjuiste beweringen bevat.
Gebrek aan Externe Gronding: Methoden die gebaseerd zijn op zelfconsistentie of interne statusanalyse vertrouwen op de eigen outputs of verborgen toestanden van het model, wat dezelfde fouten kan voortplanten.
Computationele Kosten: Multi-agent debatten of methoden met herhaalde sampling zijn vaak te duur voor real-time implementatie.
Integratiekloven: Retrieval-Augmented Generation (RAG), feitenverificatie en onzekerheidsschatting worden vaak behandeld als afzonderlijke processen in plaats van een verenigde pijplijn.

Het artikel betoogt dat er een noodzaak is om antwoorden te deconstrueren in atomaire claims, deze te gronden in externe bewijslast, ze efficiënt te verifiëren en onzekere gevallen te verfijnen middels gestructureerde redenering.

2. Methodologie

De auteurs stellen een Multi-Layer Framework voor dat retrieval grounding, atomaire claim-decompositie, Small Language Model (SLM) verificatie en neuro-symbolische redenering integreert. De pijplijn werkt via de volgende stadia:

2.1 Initiële Generatie en Atomaire Decompositie

Generatie: Een LLM genereert een initiële respons ( $A_0$ ) op een gebruikersquery ( $Q$ ). Deze respons wordt behandeld als ongeverifieerd.
Decompositie: Het framework breekt $A_0$ af in een set atomaire feitelijke claims ( $F = \{f_1, f_2, ..., f_n\}$ ). Elke claim is een op zichzelf staande, verifieerbare propositie (bijv. het scheiden van "Marie Curie werd geboren in Warschau" en "Marie Curie won twee Nobelprijzen"). Niet-verifieerbare inhoud (meningen, stijl) wordt uitgesloten.

2.2 Laag 1: Semantische Gronding (Retrieval)

Voor elke atomaire claim $f_i$ zoekt het systeem relevante bewijslast ( $E_i$ ) op uit een documentencorpus ( $D$ ) met behulp van vector-gebaseerde semantische zoekopdrachten.
Claims en documentfragmenten worden gecodeerd in dense vectoren, en cosine-gelijkenis wordt gebruikt om de top- $k$ meest relevante bewijspassages te identificeren.
Deze laag levert de feitelijke context die nodig is voor verificatie, waardoor de afhankelijkheid van de interne kennis van het LLM wordt verminderd.

2.3 Laag 2: Onzekerheids- en Consistentiepoort (SLM Verificatie)

Een lichtgewicht Small Language Model (SLM), specifiek Qwen2.5-1.5B-Instruct, fungeert als een probabilistische verifieerder.
Het SLM ontvangt de claim ( $f_i$ ), de opgehaalde bewijslast ( $E_i$ ) en de oorspronkelijke query ( $Q$ ).
Het geeft kansen (probabilities) uit voor drie labels: SUPPORTED (ondersteund), CONTRADICTED (tegenspraak) en UNDER-SPECIFIED (onvoldoende gespecificeerd).
Kalibratie: Het systeem berekent onzekerheid (genormaliseerde entropie) en past beslissingsdrempels ( $\tau$ ) toe. Om fout-positieven te minimaliseren, wordt een conservatieve drempel ( $\tau \approx 0.6$ ) gebruikt in het uiteindelijke systeem, hoewel een lagere drempel ( $\approx 0.40$ ) een hogere F1-score oplevert. Claims met een lage vertrouwensfactor worden als onzeker gemarkeerd in plaats van gedwongen in een binaire beslissing.

2.4 Laag 3: Neuro-Symbolische Redenering

Deze laag verfijnt beslissingen voor grensgevallen of onzekere gevallen.
Het maakt gebruik van een vooraf gedefinieerde set logische regels (bijv. numerieke claims vereisen expliciete bewijslast) en een redenerend LLM om claims opnieuw te evalueren waar de vertrouwensfactor van het SLM laag is of de bewijslast ambigu is.
De output is een verfijnd oordeel: SUPPORTED (ondersteund), CORRECTED (gecorrigeerde claim), REJECTED (afgewezen) of INSUFFICIENT (onvoldoende), vergezeld van een natuurlijke taalverklaring ( $w_i$ ).

2.5 Vertrouwensgekalibreerde Output

De uiteindelijke respons ( $A^*$ ) wordt gereconstrueerd met behulp van enkel de gevalideerde en gecorrigeerde claims.
Een globale Trust Score ( $T$ ) wordt berekend op basis van de ondersteuningskansen en de onzekerheid van de opgenomen claims, waardoor de gebruiker een betrouwbaarheidsindicator krijgt.

3. Belangrijkste Bijdragen

Claim-Level Decompositie: Het framework verschuift de detectie van hallucinaties van een respons-niveau evaluatie naar een analyse op het niveau van atomaire claims, wat de identificatie van gedeeltelijke hallucinaties binnen verder correcte antwoorden mogelijk maakt.
Hybride Verificatiepijplijn: Het integreert retrieval grounding, SLM-gebaseerde verificatie en neuro-symbolische redenering in één architectuur. Dit combineert de efficiëntie van lichtgewicht modellen met de logische consistentie van regelgebaseerde redenering.
Onzekerheid-bewust Ontwerp: Door onzekerheid expliciet te modelleren en conservatieve drempels te gebruiken, geeft het systeem prioriteit aan het vermijden van fout-positieve "SUPPORTED" labels boven het maximaliseren van de recall, wat het geschikt maakt voor toepassingen met een hoog vertrouwen.
Interpreteerbaarheid: Het systeem genereert verklaringen voor waarom claims worden geaccepteerd, afgewezen of gecorrigeerd, en biedt een globale trust score, wat de transparantie vergroot.

4. Experimentele Resultaten

Het framework werd geëvalueerd op twee datasets: SciFact (wetenschappelijke claimverificatie) en HotpotQA (multi-hop vraagbeantwoording).

4.1 Prestatie-metrieken

SciFact: Het volledige framework behaalde een nauwkeurigheid van 0.511 en een macro-F1 score van 0.504.
- Observatie: De "no-reasoner" variant presteerde bijna identiek, wat suggereert dat de SLM verifieerder het grootste deel van het gestructureerde classificatiewerk voor deze dataset afhandelt.
HotpotQA: De volledige pijplijn behaalde een token-level F1-score van 0.146.
- Ablatieonderzoek: Het verwijderen van de retrieval-component veroorzaakte een drastische daling in prestaties (F1 daalde naar 0.034), wat benadrukt dat retrieval grounding de meest kritieke component is voor de kwaliteit van het antwoord.
- Het verwijderen van de redeneerlaag of de SLM verifieerder had een minimale impact op de token-level F1, maar beïnvloedde wel het verificatiegedrag en de interpreteerbaarheid.

4.2 Verificatiegedrag en Kalibratie

Conservatieve Strategie: Het model classificeert claims frequent als UNDER-SPECIFIED (42,7% van de claims) wanneer de bewijslast zwak is, in plaats van te gokken. Dit vermindert fout-positieven maar verlaagt de recall voor ondersteunde claims.
Vertrouwenskalibratie: De ROC-AUC was 0.87, en de kalibratiecurve liet zien dat hogere vertrouwensscores over het algemeen correleerden met hogere correctheid. Het systeem onderscheidt effectief tussen ondersteunde, tegenstrijdige en onzekere claims.
Drempelgevoeligheid: Hoewel de optimale F1-score optrad bij een drempel van $\approx 0.40$ , gebruikt het uiteindelijke systeem een striktere drempel ( $\approx 0.6$ ) om een hoge precisie te garanderen en het risico op het valideren van niet-onderbouwde claims te verkleinen.

4.3 Efficiëntie

De volledige pijplijn kost gemiddeld 20,6 seconden per query.
De SLM verificatiestap is verantwoordelijk voor het grootste deel van de latentie, terwijl retrieval minimale overhead toevoegt. Dit is aanzienlijk efficiënter dan multi-agent debatten of herhaalde sampling van grote modellen.

5. Betekenis en Claims

Het artikel beweert dat dit framework een praktische balans biedt tussen nauwkeurigheid, betrouwbaarheid, interpreteerbaarheid en computationele kosten. De betekenis ligt in:

Mitigeren van Gedeeltelijke Hallucinaties: Door claims individueel te verifiëren, kan het systeem specifieke fouten corrigeren zonder de gehele respons weg te gooien.
Verminderen van de Computationele Last: Het gebruik van een klein, gespecialiseerd verifieerder (SLM) in plaats van herhaaldelijk een groot LLM te bevragen, maakt het systeem geschikt voor real-world implementatie.
Vertrouwenskalibratie: Het systeem geeft niet alleen een antwoord; het biedt een betrouwbaarheidsscore en een verklaring, waardoor gebruikers de betrouwbaarheid van de informatie kunnen inschatten.
Bewijs-gestuurde Betrouwbaarheid: De resultaten laten zien dat zonder retrieval grounding de verificatieprestaties instorten, wat bewijst dat externe bewijslast essentieel is voor feitelijke betrouwbaarheid.

De auteurs concluderen dat hoewel het systeem conservatief blijft (mogelijk ondersteunde claims missen om fouten te voorkomen), deze afweging noodzakelijk is voor toepassingen met een hoog belang waar een zelfverzekerd maar onjuist antwoord schadelijker is dan een onzeker antwoord. Toekomstig werk wordt gesuggereerd om de kwaliteit van retrieval te verbeteren, redeneerregels uit te breiden en het framework in bredere open-domein contexten te testen.