Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness

Dit paper betoogt dat de interne staten van LLM's voornamelijk reflecteren of het model parametrische kennis herinnert in plaats van de waarheid van de output, waardoor hallucinaties die voortkomen uit valse associaties (AH's) moeilijk te onderscheiden zijn van feitelijke antwoorden, terwijl hallucinaties zonder parametrische grond (UH's) wel detecteerbaar zijn.

De kern

Stel je voor dat een Large Language Model (LLM) zoals een enorme, superintelligente bibliothecaris die alles uit zijn hoofd kent. De grote vraag is: weet deze bibliothecaris ook wanneer hij iets verzonnen heeft?

Deze paper, getiteld "Do LLMs Really Know What They Don't Know?", komt met een verrassend antwoord: Nee, niet echt. En dat is een groot probleem voor het detecteren van "hallucinaties" (waar de AI dingen verzint).

Hier is de uitleg in simpele taal, met een paar creatieve metaforen.

1. Het Grote Misverstand

Tot nu toe dachten onderzoekers dat ze een "leugendetector" konden bouwen voor AI. Ze dachten: "Als de AI een feit verzint, ziet dat er van binnen anders uit dan wanneer hij de waarheid spreekt. We kunnen die interne signalen gebruiken om de leugens te vangen."

De auteurs van dit paper zeggen echter: "Nee, dat klopt niet zo."

Ze ontdekken dat de interne "gedachten" van de AI (de wiskundige signalen in de computer) niet kijken naar of iets waar is. Ze kijken alleen naar hoe de AI aan het antwoord komt.

2. De Twee Manieren om te "Verzinnen"

De auteurs verdelen de hallucinaties in twee soorten, en dat is waar het interessant wordt. Stel je voor dat je de AI vraagt: "Waar is Barack Obama geboren?"

Type A: De "Verzonnen Associatie" (Associated Hallucination)

Stel, de AI weet niet precies waar Obama geboren is, maar hij weet wel dat Obama vaak in de krant staat in combinatie met de stad Chicago.

• De situatie: De AI denkt: "Ah, Obama + Chicago. Dat klinkt logisch!" en zegt: "Hij is geboren in Chicago." (Dit is fout, hij is geboren in Honolulu).
• De metafoor: Dit is alsof de bibliothecaris een boek pakt dat hij vaak heeft gelezen. Hij weet dat de woorden "Obama" en "Chicago" vaak samen voorkomen. Hij gebruikt zijn kennis (de statistische link tussen de woorden) om het antwoord te geven.
• Het probleem: Omdat hij zijn "kennis" gebruikt, ziet zijn interne brein er exact hetzelfde uit als wanneer hij het juiste antwoord geeft. Voor de computer is het alsof hij een waarheid spreekt. De "leugendetector" ziet hier niets.

Type B: De "Losgekoppelde Verzonnenheid" (Unassociated Hallucination)

Stel, je vraagt: "Waar is Brenda Johnston geboren?" (Iemand die niemand kent).

• De situatie: De AI heeft geen enkele link in zijn geheugen voor "Brenda Johnston". Hij raadt maar wat: "Portland".
• De metafoor: Dit is alsof de bibliothecaris helemaal geen boek over Brenda Johnston heeft. Hij kijkt naar de lucht, haalt zijn schouders op en roept een willekeurige stad. Hij gebruikt geen bestaande kennis of patronen.
• Het resultaat: Omdat hij hier geen "kennis" voor gebruikt, ziet zijn interne brein er heel anders uit. De "leugendetector" kan dit heel goed zien en zegt: "Ah, dit is raar, dit komt niet uit het geheugen!"

3. De Belangrijkste Ontdekking

De paper laat zien dat de meeste detectiemethoden (die proberen te zien of de AI liegt) alleen werken voor Type B (de losgekoppelde verzonnenheden).

Ze falen volledig bij Type A (de verzonnen associaties).

• Waarom? Omdat de AI bij Type A net zo zeker is van zijn zaak als bij een waarheid. Hij gebruikt dezelfde "statistische kortsluiting" (de link tussen Obama en Chicago) als hij dat zou doen voor een echt feit.
• De conclusie: De AI weet niet dat hij liegt. Hij denkt dat hij een sterk patroon volgt. Voor de computer is "Obama in Chicago" net zo "echt" als "Obama in Honolulu", omdat beide gebaseerd zijn op sterke patronen in zijn training.

4. Wat betekent dit voor de toekomst?

De auteurs geven drie belangrijke waarschuwingen:

1. We moeten stoppen met vertrouwen op interne signalen: Je kunt niet zomaar kijken naar de "gedachten" van de AI om te zien of hij liegt. Als hij een verzonnen verhaal vertelt dat logisch klinkt op basis van patronen, ziet het er van binnen uit als een waarheid.
2. De "Weigeren"-strategie werkt niet goed: Er is een techniek om AI's te trainen om te zeggen: "Ik weet het niet", als ze twijfelen. Dit werkt goed voor Type B (als ze niets weten), maar faalt bij Type A. De AI zal blijven doorgaan met het verzinnen van Chicago, omdat hij denkt dat hij het wel weet.
3. We hebben externe checkers nodig: Omdat de AI zelf niet weet of hij liegt, moeten we externe systemen gebruiken (zoals een zoekmachine of een feitencheck-module) om te controleren of wat de AI zegt ook echt waar is.

Samenvattend in één zin:

De AI is niet slim genoeg om te weten dat hij liegt; hij is gewoon heel goed in het herhalen van patronen die hij heeft geleerd, zelfs als die patronen leiden tot een leugen. En omdat die leugen op een patroon is gebaseerd, ziet hij er van binnen uit als een waarheid.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness" in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) staan bekend om het produceren van hallucinaties: outputs die plausibel lijken maar feitelijk onjuist zijn. Recent onderzoek suggereerde dat LLMs "weten wat ze niet weten", waarbij hallucinaties en feitelijke correcte outputs zouden voortkomen uit verschillende interne processen. Dit zou betekenen dat interne signalen (zoals attention-weights of hidden states) gebruikt kunnen worden om hallucinaties betrouwbaar te detecteren.

De auteurs van dit paper betwisten deze aanname. Zij stellen dat hallucinaties multifactorieel zijn:

1. Ongeassocieerde hallucinaties: Ontstaan door een gebrek aan kennis (het model weet het simpelweg niet).
2. Geassocieerde hallucinaties: Ontstaan doordat het model statistische shortcuts of spurious correlaties (schijnverbanden) uit de trainingsdata exploiteert.

Het centrale probleem is dat bestaande detectiemethoden er vaak van uitgaan dat interne staten de waarheid weergeven. De auteurs hypotheseren echter dat interne staten voornamelijk weergeven hoe het model kennis ophaalt (parametrische kennis), en niet of de output feitelijk correct is. Hierdoor falen detectiemethoden bij hallucinaties die voortkomen uit sterke, maar onjuiste, statistische associaties.

Methodologie

1. Taxonomie en Dataset Constructie

De auteurs introduceren een nieuwe taxonomie voor hallucinaties, gebaseerd op de relatie tussen de output en het onderwerp (subject) in de prompt:

• Factual Associations (FA): Feitelijk correcte outputs die steunen op betrouwbare parametrische kennis.
• Associated Hallucinations (AH): Feitelijk onjuiste outputs die worden gedreven door sterke, maar spurious (onjuiste), statistische associaties met het onderwerp (bijv. "Barack Obama" en "Chicago" koppelen aan "geboorteplaats" in plaats van "studieplaats").
• Unassociated Hallucinations (UH): Feitelijk onjuiste outputs die geen sterke parametrische associatie hebben met het onderwerp (vaak willekeurige hallucinaties bij onbekende entiteiten).

Om deze categorieën te labelen, voeren ze causale interventies uit:

• Ze blokkeren de attention-flow van de subject-tokens naar de laatste token.
• Ze meten de verandering in de output-distributie met de Jensen-Shannon (JS) divergentie.
• Als de distributie sterk verschuift (hoge JS-divergentie), betekent dit dat het model sterk afhankelijk is van het onderwerp (geclassificeerd als FA of AH). Als de verschuiving klein is, is het een UH.

2. Mechanistische Analyse

De auteurs analyseren de interne werking van LLMs (LLaMA-3-8B en Mistral-7B) door:

• Norm-analyse: Het meten van de L2-norm van subject-representaties in de vroege lagen.
• Attention Flow: Het visualiseren van hoe informatie van het onderwerp naar de laatste token stroomt.
• Geometrie van Hidden States: Het analyseren van de cosinus-similariteit en t-SNE visualisaties van de laatste token-representaties om te zien of de ruimtes van FA, AH en UH overlappen.

3. Experimenten

• Hallucinatiedetectie: Ze testen bestaande witte-doos (interne staten) en zwarte-doos (probabiliteit, populariteit) detectiemethoden op de drie categorieën.
• Refusal Tuning: Ze fine-tunen modellen om te weigeren antwoorden op AH- en UH-samples, om te zien of het model kan leren om deze te onderscheiden van feitelijke antwoorden.

Belangrijkste Resultaten

1. Interne Staten Reflecteren Kennis-Opvraging, Niet Waarheid

De analyse toont aan dat Associated Hallucinations (AH) en Factual Associations (FA) bijna identieke interne processen doorlopen:

• Ze hebben vergelijkbare norms van subject-representaties in de vroege lagen.
• Ze vertonen sterke attention-flow van het onderwerp naar de laatste token.
• Hun hidden-state geometrieën overlappen sterk in de representatieruimte.

In tegenstelling hieraan vertonen Unassociated Hallucinations (UH) een zwakke subject-afhankelijkheid, lagere norms, en vormen ze een duidelijk gescheiden cluster in de representatieruimte.

2. Detectiemethoden Falen bij Geassocieerde Hallucinaties

Bestaande detectiemethoden presteren uitstekend bij het onderscheiden van UHs van FAs (AUROC ≈ 0.86–0.93), omdat de interne staten duidelijk verschillen. Echter, bij het onderscheiden van AHs van FAs presteren ze slecht (AUROC ≈ 0.48–0.69, dicht bij willekeur).

• Dit komt omdat de signalen die de modellen gebruiken (zoals attention-weights of token-probabiliteiten) aangeven dat het model kennis ophaalt, niet of die kennis waar is.

3. Beperkingen van Refusal Tuning

Bij het trainen van modellen om hallucinaties te weigeren:

• Het model leert succesvol UHs te weigeren (82% weigeringsratio) omdat deze een consistent, gescheiden patroon hebben.
• Het model faalt bij het leren van AHs (33% weigeringsratio) omdat de representaties van AHs te veel overlappen met die van feitelijke antwoorden. Het model kan geen consistent patroon vinden om ze te onderscheiden zonder ook feitelijke antwoorden te weigeren.

Bijdragen en Significantie

1. Fundamenteel Inzicht: Het paper weerlegt het idee dat LLMs intrinsiek "weten wat ze niet weten" via hun interne staten. Interne staten coderen de retrieval-mechanisme (gebruik van parametrische kennis), niet de waarheid van de output.
2. Nieuwe Taxonomie: De introductie van de onderscheiding tussen Associated en Unassociated hallucinaties biedt een nuance die essentieel is voor het begrijpen van hallucinatiedetectie.
3. Praktische Implicaties:
   • Detectie: Bestaande interne detectiemethoden zijn onvoldoende voor real-world toepassingen, vooral omdat AHs (die vaak voorkomen bij populaire onderwerpen) niet kunnen worden onderscheiden van feitelijke antwoorden.
   • Oplossingen: De auteurs concluderen dat vertrouwen op interne staten gevaarlijk is. Robuuste hallucinatiedetectie vereist externe mechanismen, zoals fact-checking modules of retrieval-augmented generation (RAG), in plaats van alleen te vertrouwen op de interne staten van het model.
   • Evalutie: Toekomstige evaluaties moeten hallucinaties gescheiden rapporteren op basis van hun oorsprong (geassocieerd vs. ongeassocieerd), aangezien ze fundamenteel verschillende interne processen vertegenwoordigen.

Conclusie: LLMs hebben beperkt inzicht in hun eigen waarheidsgehalte. Wanneer ze hallucineren door sterke statistische associaties (AHs), voelen ze zich intern net zo zeker als bij feitelijke antwoorden, waardoor interne detectie en weiger-strategieën (refusal tuning) in deze scenario's effectief falen.