💬 NLP

Detecting Hallucinations in Large Language Models via Internal Attention Divergence Signals

Dit artikel stelt een lichtgewicht, single-pass-methode voor voor het detecteren van hallucinaties in grote taalmodellen door gebruik te maken van de Kullback-Leibler-divergentie in attentiematrices als een voorspellend, interpreteerbaar signaal van onzekerheid, dat concurrerend presteert met bestaande methoden zonder herhaaldelijke bemonstering of externe modellen te vereisen.

Oorspronkelijke auteurs: Gijs van Dijk

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gijs van Dijk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Zelfzekere Leugenaar"

Stel je voor dat je advies vraagt aan een zeer slimme, goed gelezen vriend. Soms geven ze je het perfecte antwoord. Op andere momenten verzonnen ze zelfverzekerd een verhaal dat geweldig klinkt, maar volledig onwaar is. Dit noemen we een hallucinatie in AI.

Het lastige is dat de AI niet weet dat ze liegt. Ze klinkt even zelfverzekerd als ze het fout heeft als wanneer ze het goed heeft. Meestal moet je om een leugen te ontdekken de AI dezelfde vraag tien keer stellen en kijken of ze verschillende antwoorden geeft (zoals een getuige vragen om een verhaal meerdere keren na te vertellen). Maar dat kost veel tijd en rekenkracht.

De Oplossing: Luisteren naar het "Interne Monoloog"

Dit artikel stelt een nieuwe, supersnelle manier voor om deze leugens op te sporen. In plaats van te wachten tot de AI haar antwoord heeft voltooid en dit vervolgens te controleren, kijken de auteurs naar de interne "hersengolven" van de AI terwijl ze denkt.

In AI-modellen bestaat er een mechanisme genaamd Attention (Aandacht). Je kunt Attention zien als een schijnwerper. Wanneer de AI een vraag beantwoordt, schijnt deze schijnwerper op verschillende woorden in haar geheugen om te beslissen welke belangrijk zijn voor het volgende woord dat ze zal schrijven.

Wanneer de AI het antwoord weet: De schijnwerper is gefocust en stabiel. Hij schijnt fel op de specifieke feiten die nodig zijn (zoals een persoonsnaam of een datum).
Wanneer de AI gokt of liegt: De schijnwerper wordt onstabiel, verspreid of dwaalt doelloos rond. De AI weet niet waar ze moet kijken, dus ze spreidt haar aandacht overal uit.

De "Schijnwerper-test" (De Methode)

De auteurs hebben een eenvoudige wiskundige test bedacht om te meten hoe "onstabiel" deze schijnwerper is.

De Uniforme Baseline: Stel je een kamer voor met 100 mensen. Als je er helemaal niet zeker van bent met wie je moet praten, kijk je misschien evenveel naar iedereen. Dit is een "uniforme" verdeling (1/100e van je aandacht op elke persoon). Dit vertegenwoordigt maximale onzekerheid.
De Meting: De auteurs meten het verschil tussen de daadwerkelijke schijnwerper van de AI en deze "verspreide" baseline. Ze noemen dit KL-divergentie.
- Hoge Divergentie: De schijnwerper is zeer gefocust (schijnt hard op een paar specifieke woorden). Dit betekent meestal dat de AI zelfverzekerd is en waarschijnlijk correct.
- Lage Divergentie: De schijnwerper is verspreid (kijkt evenveel naar iedereen). Dit betekent dat de AI verward is of gokt.

Wacht, zegt het artikel niet het tegenovergestelde?
Eigenlijk vond het artikel een nuance: Wanneer de AI hallucineert, probeert ze vaak een zelfverzekerd antwoord te forceren over een onderwerp dat ze niet kent. In deze gevallen worden de aandachtspatronen vreemd geconcentreerd op de verkeerde dingen, of toont de wiskunde een specifiek "divergentie"-signaal dat de fout markeert. Kortom, de wiskunde detecteert dat de interne "focus" van de AI niet overeenkomt met het patroon van een waarachtig, goed onderbouwd antwoord.

De "Lichte Detective"

De auteurs keken niet alleen naar de schijnwerper; ze bouwden een kleine, eenvoudige detector (een "logistische regressie-probe") om deze signalen te lezen.

Geen Opnieuw Vragen: Deze methode heeft alleen nodig dat de AI eenmaal antwoordt.
Geen Extra Modellen: Het heeft geen tweede AI nodig om de eerste te controleren.
Snel: Het gebeurt in één doorgang, alsof je een zin één keer leest en direct weet of het "raar" aanvoelt.

Wat Ze Vonden

De onderzoekers testten dit op verschillende soorten vragen (feiten, wiskunde, redenering) en verschillende AI-modellen. Dit is wat ze ontdekten:

Het "Midden van de Hersenen" is Sleutels: De signalen die ons vertellen of een antwoord waar of onwaar is, worden voornamelijk gevonden in de middelste lagen van de hersenen van de AI. De begin- en eindlagen zijn minder nuttig voor deze specifieke taak.
Feiten zijn de Trigger: Het "onstabiele schijnwerper"-signaal is het sterkst wanneer de AI praat over feiten—specifiek namen, data en getallen. Als de AI gewoon praat over "de" of "en" (stopwoorden), is het signaal stil. Maar wanneer ze probeert een persoon of een jaar te noemen, schreeuwt het signaal als ze onzeker is.
Het is een Teaminspanning: Het signaal komt niet van één enkele "leugendetector"-neuron. Het is een koor van vele verschillende delen van de AI die samenwerken. Als je één deel verwijdert, werkt het systeem nog steeds, maar als je het hele middenstuk verwijdert, wordt de detector blind.

De Conclusie

Dit artikel laat zien dat we AI-hallucinaties kunnen opsporen door te luisteren naar haar interne "schijnwerper" in plaats van alleen te oordelen over haar laatste woorden. Het is alsof je controleert of een student echt over het antwoord nadenkt of gewoon gokt, door te kijken waar hun ogen naartoe dartelen, in plaats van te wachten om te zien of ze het juiste cijfer halen.

Deze methode is snel, goedkoop en werkt bij veel verschillende soorten vragen, en biedt een "witte-doos"-venster in het zelfvertrouwen van de AI zonder dat je deze meerdere keren hoeft uit te voeren.

Technische Samenvatting: Detectie van Hallucinaties in Grootte Taalmodellen via Interne Aandachtdivergentie-Signalen

1. Probleemstelling

Grootte Taalmodellen (LLM's) genereren regelmatig vlot maar feitelijk incorrecte inhoud, een fenomeen dat bekendstaat als hallucinatie. Dit vormt aanzienlijke risico's in hoog-risicodomeinen zoals gezondheidszorg en recht. Een primaire uitdaging bij het aanpakken van dit probleem is dat autoregressieve LLM's getraind zijn om vloeiende voortzettingen te genereren in plaats van gekalibreerde betrouwbaarheidsschattingen. Bijgevolg falen standaard output-gebaseerde onzekerheidssignalen (zoals perplexiteit, log-waarschijnlijkheid of token-kansen) vaak om onderscheid te maken tussen zelfverzekerde fouten en betrouwbare kennis, aangezien gehallucineerde uitspraken hoge waarschijnlijkheden kunnen ontvangen onder de modelverdeling.

Bestaande methoden voor onzekerheidskwantificatie vertrouwen vaak op herhaaldelijk sampling (bijvoorbeeld semantische entropie) of externe verifikatiemodellen, wat aanzienlijke rekenkundige overhead introduceert. Bovendien worstelen benaderingen die vertrouwen op het proppen van verborgen staten vaak om te generaliseren over taken, waarbij ze taakspecifieke correlaties vangen in plaats van globale betrouwbaarheidssignalen. Er is behoefte aan een lichtgewicht, single-pass methode die onzekerheidssignalen direct uit de interne mechanismen van het model haalt zonder externe modellen of meerdere generaties te vereisen.

2. Methodologie

De voorgestelde methode introduceert een single-pass techniek voor onzekerheidskwantificatie gebaseerd op aandachtdivergentie. De kernhypothese is dat hallucinaties voortkomen uit falen in interne berekening, specifiek gekenmerkt door verkeerd toegewezen of diffuse aandachtspatronen wanneer het model geen betrouwbare kennis bezit.

2.1 Aandachtdivergentie-signaal

De methode maakt gebruik van de Kullback-Leibler (KL)-divergentie om de afwijking van de verdeling van een aandachtkop van een uniforme referentieverdeling te meten.

Referentieverdeling ( $U$ ): Een uniforme verdeling over de contexttokens, die een toestand van maximale onzekerheid vertegenwoordigt waarbij het model gelijkmatig naar alle posities kijkt.
Aandachtverdeling ( $P$ ): De discrete waarschijnlijkheidsverdeling over tokenposities gegenereerd door een specifieke aandachtkop op een gegeven generatiestap.
Maatstaf: De KL-divergentie wordt berekend als $D_{KL}(P \parallel U) = \log T - H(P)$ , waarbij $T$ het aantal tokens in het contextvenster is en $H(P)$ de entropie van de aandachtverdeling is.

Intuïtief resulteert een hoge concentratie van aandacht (lage entropie) op informatieve tokens in een hoge KL-divergentie, wat zelfverzekerdheid suggereert. Omgekeerd resulteert diffuse aandacht (hoge entropie) in een lage divergentie, wat onzekerheid suggereert. De auteurs stellen dat hallucinaties kunnen manifesteren als verkeerd gekalibreerde zelfverzekerdheid (hoge divergentie op misleidende tokens) of, in de context van de aggregatie van de probe, dat het geaggregeerde signaal van divergentiepatronen correleert met correctheid.

2.2 Kenmerkextractie en Probing

Kenmerkconstructie: Voor elk gegenereerd antwoord wordt de gemiddelde KL-divergentie berekend voor elke aandachtkop over alle generatiestappen. Deze waarden vormen een kenmerkvector $x_i \in \mathbb{R}^{L \times H}$ , waarbij $L$ het aantal lagen is en $H$ het aantal koppen.
Proeftraining: Een lichtgewicht logistische regressie-probe met Lasso (L1)-regularisatie wordt getraind om de correctheid van het antwoord te voorspellen ( $y=1$ voor correct, $y=0$ voor incorrect) op basis van deze divergentiekenmerken. De L1-regularisatie dient om een schaars subset van de meest voorspellende aandachtkoppen te selecteren, wat interpreteerbaarheid biedt met betrekking tot welke delen van het model het signaal coderen.
Evaluatie: Prestaties worden gemeten aan de hand van AUROC (Area Under the Receiver Operating Characteristic curve), Expected Calibration Error (ECE) en nauwkeurigheid.

3. Belangrijkste Bijdragen

Single-Pass Onzekerheidsschatting: De methode werkt in één doorloop (forward pass), waarbij onzekerheidssignalen direct uit attentiematrices worden gehaald zonder herhaaldelijk sampling of externe modellen te vereisen.
Interpreteerbaarheid: Door de KL-divergentie van aandachtverdelingen te analyseren, biedt de methode een "witte-doos"-signaal. De auteurs tonen aan dat het signaal niet willekeurig is, maar geconcentreerd in specifieke architectonische componenten.
Generaliseerbaarheid: De aanpak is gevalideerd over meerdere modelfamilies (Llama-3.2, Qwen3, Mistral) en diverse taaktypen (feitelijk QA, multi-hop redenering, wiskundige redenering).

4. Experimentele Resultaten

4.1 Prestaties over Datasets

De methode werd geëvalueerd op vier datasets: TruthfulQA (meerkeuze feitelijk QA), TriviaQA (open-domein feitelijk QA), HotpotQA (multi-hop redenering) en GSM8K (wiskundige redenering).

Feitelijk QA: De methode behaalde sterke prestaties op TruthfulQA (AUROC > 0,89 voor alle modellen) en TriviaQA (AUROC > 0,83).
Redeningstaken: De prestaties op HotpotQA varieerden van 0,77 tot 0,80 AUROC. Op GSM8K varieerden de resultaten per model, waarbij Qwen3-4B 0,945 AUROC behaalde, terwijl Llama en Mistral gematigde maar significante resultaten boven het toevalsniveau lieten zien.
Vergelijking met Baselines: Op HotpotQA overtrof de methode (AUROC 0,78) sampling-gebaseerde methoden (bijvoorbeeld Semantische Entropie, SelfCheckGPT) en andere single-pass baselines (bijvoorbeeld Perplexiteit, TOHA). Het toonde ook concurrerende of superieure prestaties in vergelijking met methoden voor het proppen van verborgen staten op TruthfulQA en TriviaQA.

4.2 Ablatie en Analyse

Lagen- en Koplocatie: Het signaal is niet uniform verdeeld. Ablatiestudies onthulden dat het verwijderen van middelste lagen de meest significante daling in prestaties veroorzaakte, wat aangeeft dat het signaal daar geconcentreerd is. Bovendien is het signaal verdeeld over meerdere gecorreleerde koppen in plaats van gelokaliseerd te zijn tot een enkele "hallucinatiekop".
Token-specifiteit: Het divergentiesignaal is het meest uitgesproken op feitelijke tokens (naamwoorden en getallen). Stopwoorden en leestekens vertoonden een lage divergentie. Analyse van de extreme staart (99e percentiel) toonde aan dat ~73% van de woorden met hoge divergentie naamwoorden waren.
Prompt-invloed: Een deel van het onzekerheidssignaal is aanwezig zelfs voordat de generatie begint (berekend uitsluitend over prompttokens), wat suggereert dat sommige onzekerheid aleatorisch is (gerelateerd aan de ambiguïteit van de prompt) in plaats van uitsluitend epistemisch (kennislacunes van het model).
Sanity Checks: Het permuteren van correctheidlabels en testen tegen eenvoudige outputeigenschappen (lengte, leestekens) bevestigde dat het signaal geen artefact is van datalekken of oppervlakkige outputkenmerken.

5. Betekenis en Claims

Het artikel beweert dat interne aandachtsdynamiek een efficiënt en interpreteerbaar signaal biedt voor het detecteren van modelonzekerheid en hallucinaties. De primaire betekenis ligt in de demonstratie dat:

Hallucinaties detecteerbaar zijn via interne staten: Het falen om betrouwbare kennis op te halen manifesteert zich als specifieke patronen in aandachtdivergentie, die onderscheiden zijn van de vloeiende maar incorrecte output die door het model wordt geproduceerd.
Efficiëntie: De methode biedt een rekenkundig goedkoop alternatief voor sampling-gebaseerde onzekerheidsschatting, waardoor het levensvatbaar is voor real-time toepassingen waar latentie kritiek is.
Architectonisch Inzicht: De bevindingen suggereren dat onzekerheid is gecodeerd in de middelste lagen en op feitelijke ankers, wat het standpunt ondersteunt dat hallucinaties structurele falen in interne berekening zijn in plaats van louter decoderingsfouten.

6. Beperkingen

De auteurs merken expliciet enkele beperkingen op:

Correlatie versus Causaliteit: De studie stelt een voorspellende correlatie vast tussen aandachtdivergentie en correctheid, maar bewijst geen causaal verband.
Probe-afhankelijkheid: De methode is afhankelijk van een logistische regressie-probe om signalen te aggregeren. Het specifieke subset van koppen dat wordt geselecteerd, varieert per dataset en modelfamilie, wat suggereert dat de probe te specifiek kan zijn en dat een universele, probe-vrije regel voor onzekerheid nog niet is geïdentificeerd.
Witte-doos Vereiste: De methode vereist toegang tot interne aandachtwichten, waardoor deze niet toepasbaar is op black-box-modellen die alleen gegenereerde tekst of outputkansen bieden.
Interpreteerbaarheid: Hoewel de probe informatieve koppen identificeert, blijft het resulterende model moeilijk te interpreteren als een volledige verklaring van hoe onzekerheid wordt gerepresenteerd; het dient meer als een hulpmiddel voor signaalextractie dan als een volledige mechanistische verklaring.