💬 NLP

Probabilistic distances-based hallucination detection in LLMs with RAG

Dit artikel introduceert een efficiënte, onbewaakte methode voor het detecteren van hallucinaties in RAG-systemen door de geometrische afstand tussen de verdelingen van prompt- en respons-token-embeddings te analyseren, wat leidt tot state-of-the-art prestaties.

Oorspronkelijke auteurs: Rodion Oblovatny, Alexandra Kuleshova, Konstantin Polev, Alexey Zaytsev

Gepubliceerd 2026-02-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rodion Oblovatny, Alexandra Kuleshova, Konstantin Polev, Alexey Zaytsev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Gedachtenlezer" voor AI: Hoe we leugens in chatbots opsporen

Stel je voor dat je een zeer slimme, maar soms wat verzonnen robot hebt. Deze robot (een Large Language Model of LLM) kan prachtige verhalen vertellen, vragen beantwoorden en samenvattingen maken. Maar soms, als hij niet goed oplet, begint hij te "hallucineren". Dat betekent dat hij dingen verzint die niet waar zijn, of feiten verdraait alsof het de waarheid is.

In de wereld van AI noemen we dit hallucinaties. Het is alsof de robot een verhaal bedenkt terwijl hij een boek leest, maar dan verzonnen hij de helft van de plot.

De auteurs van dit artikel hebben een nieuwe manier bedacht om deze leugens op te sporen, zonder dat je eerst een heleboel voorbeelden van leugens hoeft te verzamelen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De robot en zijn boek

Stel je voor dat de robot een boek (de context) voor zich heeft liggen en jij vraagt hem een vraag.

Goed geval: Hij leest het boek, pakt de feiten eruit en geeft een antwoord dat perfect past bij wat er in het boek staat.
Slecht geval (Hallucinatie): Hij leest het boek, maar begint dan een eigen verhaal te vertellen dat nergens in het boek staat, of dat er juist tegenin gaat.

De meeste oude methoden om dit te detecteren kijken alleen naar het woordgebruik of proberen de robot meerdere keren dezelfde vraag te laten beantwoorden om te zien of hij inconsistent is. Dat is echter traag en niet altijd betrouwbaar.

2. De nieuwe aanpak: Kijken in het "brein" van de robot

De auteurs zeggen: "Laten we niet alleen naar de woorden kijken, maar naar wat er in het brein van de robot gebeurt terwijl hij denkt."

Elke keer als een AI een woord bedenkt, maakt hij een soort "gedachtenbeeld" (een wiskundige vector) in zijn interne geheugen.

Als de robot een waarheid zegt die gebaseerd is op het boek, lijken zijn gedachtenbeelden voor het antwoord heel sterk op die voor het boek. Het is alsof hij in dezelfde kamer zit en naar hetzelfde schilderij kijkt.
Als de robot leugens vertelt, zijn zijn gedachtenbeelden voor het antwoord plotseling heel anders dan die voor het boek. Het is alsof hij plotseling in een andere kamer is beland, terwijl hij nog steeds doet alsof hij naar het schilderij kijkt.

3. De meetlat: De "Afstands-meter"

Om dit te meten, gebruiken ze een wiskundige tool genaamd MMD (Maximum Mean Discrepancy).

De analogie: Stel je voor dat je twee groepen mensen hebt. Groep A staat in de keuken (het boek) en Groep B staat in de woonkamer (het antwoord).
Als de groepen dicht bij elkaar staan (in dezelfde kamer), is de afstand klein. Dat betekent: "Dit antwoord is waarschijnlijk waar."
Als de groepen ver uit elkaar staan (een in de keuken, een in de tuin), is de afstand groot. Dat betekent: "Alert! De robot is aan het fantaseren!"

De auteurs gebruiken een slimme truc (een wild bootstrap) om deze afstand te meten. Het is alsof ze niet alleen kijken naar één momentopname, maar duizenden keren snel schudden om zeker te zijn dat de afstand echt groot is en niet toeval.

4. De slimme kopjes: Waarom we niet naar de hele kamer kijken

AI-modellen hebben duizenden kleine "onderdelen" in hun brein (attention heads). De auteurs ontdekten dat als je naar de hele kamer (de hele laag) kijkt, het signaal vaag wordt.

De analogie: Het is alsof je probeert te horen wat één persoon fluistert in een drukke zaal. Als je naar de hele zaal luistert, hoor je alleen ruis. Maar als je specifiek luistert naar de oren van de persoon die het beste luistert (de juiste "head"), hoor je het fluisteren heel duidelijk.
Ze kiezen dus de beste "luister-oren" van de robot om de leugens op te sporen.

5. De "Vertaal-kunst": Van logica naar leugens

Een van de coolste dingen aan hun methode is dat ze het probleem van "leugens detecteren" vergelijken met een spelletje logica dat al bekend is: NLI (Natural Language Inference).

In dat spelletje krijg je een zin (premiss) en een tweede zin (hypothese). Je moet zeggen of de tweede zin waar is, onwaar, of niet te zeggen.
De auteurs ontdekten dat hun "afstands-meter" precies hetzelfde werkt als een expert in dit logica-spel.
Het resultaat: Ze kunnen hun methode "trainen" op logica-puzzels (waar ze veel voorbeelden van hebben) en die dan direct gebruiken om leugens in chatbots op te sporen, zelfs als ze nooit eerder een voorbeeld van een leugen hebben gezien. Het is alsof je een detective traint op moordzaken en die dan direct kunt inzetten om op te sporen wie er gestolen heeft, omdat beide misdaden dezelfde "voetsporen" in het brein van de dader achterlaten.

Samenvatting

Kortom, deze wetenschappers hebben een nieuwe "lieverdetector" voor AI gebouwd die:

Kijkt in het brein van de AI in plaats van alleen naar de woorden.
Meet hoe ver het antwoord afwijkt van de bron.
Geen enorme databases met voorbeelden van leugens nodig heeft (het werkt zelfs zonder training op leugens).
Snel en accuraat is, vooral bij de slimste robots.

Dit is een grote stap voorwaarts om AI-systemen betrouwbaarder te maken, vooral in belangrijke gebieden zoals de geneeskunde, het recht en de financiën, waar een verzonnen feit levens kan kosten.

Probleemstelling

Grote Taalmodellen (LLMs) worden veelvuldig ingezet in Retrieval-Augmented Generation (RAG) systemen, zoals chatbots. Een kritiek probleem hierbij is "hallucinatie": het genereren van incorrecte of verzonnen content die niet overeenkomt met de werkelijkheid of de verstrekte context. Bestaande detectiemethoden hebben vaak beperkingen:

Consistentie-gebaseerde methoden vereisen meerdere generaties, wat rekenkundig duur is.
Onzekerheidsgebaseerde methoden (bijv. token-probabiliteiten) vangen complexe token-afhankelijkheden niet goed.
Interne staten-methoden gebruiken vaak aandachtspatronen (attention maps), maar negeren de rijke semantische informatie in de verborgen staten (hidden states) van het model.
Veel methoden zijn niet specifiek ontworpen voor de RAG-context, waarbij de relatie tussen de prompt (context) en het antwoord cruciaal is.

Methodologie

De auteurs stellen een nieuwe, model-intrinsieke methode voor die hallucinaties detecteert door de statistische divergentie te meten tussen de verdeling van de verborgen staten van de prompt (context) en de respons (antwoord).

Kernconcepten:

Verborgen Staten Analyse: In plaats van alleen naar de output te kijken, analyseren ze de interne representaties (embeddings) van het LLM. De hypothese is dat hallucinaties een grotere afwijking vertonen in de latent space ten opzichte van de prompt dan feitelijke, goed onderbouwde antwoorden.
Maximum Mean Discrepancy (MMD): Om deze afwijking te kwantificeren, gebruiken ze MMD, een statistische maatstaf voor het verschil tussen twee kansverdelingen in een Reproducing Kernel Hilbert Space (RKHS).
- Formule: $MMD^2_k(\alpha, \beta) = E[k(x, x')] + E[k(y, y')] - 2E[k(x, y)]$ .
- Een hogere MMD-waarde duidt op een grotere kans op hallucinatie.
Wild Bootstrap: Omdat de verdeling van de MMD-statistiek onder de nulhypothese (geen verschil) degeneraat is voor eindige steekproeven, gebruiken ze een wild bootstrap procedure.
- Hierbij worden gewichten gegenereerd via een autoregressief proces (AR(1)) om de sequentiële afhankelijkheid van tokens (syntax en semantiek) te modelleren.
- Dit levert een p-waarde op, die wordt omgezet in een genormaliseerde score ( $1 - p$ -waarde). Dit maakt de score vergelijkbaar voor sequenties van verschillende lengtes.
Attention Head Selectie: In plaats van gemiddelde lagen te gebruiken, selecteren ze specifieke attention heads die het meest discriminatief zijn voor hallucinaties. Dit voorkomt dat het "faithfulness"-signaal wordt vervaagd door de aggregatie over de hele laag.
Overdracht van NLI-taak: De methode maakt gebruik van de gelijkenis tussen hallucinatie-detectie en Natural Language Inference (NLI). Ze kunnen heads selecteren op een gelabeld NLI-dataset (zoals SNLI) en deze toepassen op hallucinatie-detectie zonder extra gelabelde hallucinatie-data (unsupervised transfer).

Belangrijkste Bijdragen

Analyse van Probabilistische Afstanden: Het aantonen dat hallucinaties een grotere statistische divergentie vertonen tussen prompt- en respons-embeddings dan feitelijke antwoorden.
Nieuwe, Model-Intrinsieke Methode: Een detectiemethode die geen externe kennisbanken of hulpmodellen vereist, maar puur gebruikmaakt van de interne staten van het LLM en MMD met wild bootstrap.
Ongeleide Detectie (Unsupervised): Een detector die werkt door kennis over te dragen van NLI-taken, waardoor het inzetbaar is in domeinen waar geen gelabelde hallucinatie-voorbeelden beschikbaar zijn.
State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat de methode concurrerend is met of beter presteert dan bestaande methoden, vooral op grotere modellen.

Resultaten

De methode is getest op drie LLM's (Mistral-7B, LLaMA-2-7B, LLaMA-2-13B) en vier datasets (RAGTruth, CoQA, SQuAD, XSum).

Algemene Prestatie: De methode (aangeduid als MMD(ours)) behaalde de beste of tweede beste ROC-AUC scores op de meeste datasets, met name op het grootste model (LLaMA-2-13B).
- Op SQuAD met LLaMA-2-13B bereikte de methode een ROC-AUC van 0.94.
- Op XSum met LLaMA-2-13B werd een score van 0.94 behaald.
Transfer Learning: Bij het overdragen van heads die zijn getraind op het SNLI-dataset naar hallucinatie-detectie, bleef de prestatie hoog (bijv. 0.94 op SQuAD voor LLaMA-2-13B), wat aantoont dat de methode goed generaliseert zonder specifieke hallucinatie-labels.
Ablatie Studies:
- Bootstrap vs. Raw: Het gebruik van bootstrap (p-waarden) presteerde over het algemeen beter en was stabieler dan het gebruik van de "raw" MMD-waarde.
- Head vs. Layer: Het gebruik van specifieke attention heads presteerde significant beter dan het gebruik van gemiddelde laag-embeddings (bijv. +0.2 ROC-AUC op SQuAD voor LLaMA-2-7B), wat aangeeft dat feitelijke signalen op head-niveau scherper zijn.
- Aantal Heads: De methode is robuust; een klein aantal heads (maximaal 6) is voldoende voor optimale prestaties.

Betekenis en Conclusie

Dit artikel introduceert een krachtige, geometrische aanpak voor het detecteren van hallucinaties in RAG-systemen. De belangrijkste inzichten zijn:

Semantische Divergentie: Hallucinaties manifesteren zich als een verschuiving in de verdeling van de verborgen staten ten opzichte van de context.
Efficiëntie: De methode vereist geen extra generaties (zoals bij consistentie-methoden) en geen externe verificatiemodellen.
Toepasbaarheid: Door de sterke correlatie met NLI-taken en de mogelijkheid tot ongeleerde overdracht, is de methode zeer geschikt voor real-world toepassingen waar gelabelde data schaars is.
Schaalbaarheid: De prestaties verbeteren met de grootte van het model, wat suggereert dat grotere modellen betere "feitelijke signalen" bevatten die door MMD kunnen worden gedetecteerd.

De auteurs concluderen dat hun eenvoudige maar effectieve aanpak op basis van statistische divergentie een nieuwe standaard kan worden voor betrouwbare hallucinatie-detectie in AI-systemen.