💬 NLP

Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models

Dit artikel onderzoekt de correlatie tussen kennisconflicten en hallucinaties in Large Language Models door interne representaties over verschillende lagen te analyseren, waarbij wordt vastgesteld dat hoewel de twee fenomenen conceptueel aan elkaar gerelateerd zijn, hallucinatiepatronen niet volledig verklaard kunnen worden door kennisconflictrepresentaties, wat daarmee de waarde van fijnmazige interpreteerbaarheidstools voor het begrijpen van LLM-gedrag benadrukt.

Oorspronkelijke auteurs: Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

Gepubliceerd 2026-06-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Large Language Models (LLM's) voor als ongelooflijk goed geïnformeerde bibliothecarissen die een enorme bibliotheek aan boeken uit hun hoofd hebben geleerd. Maar er is een addertje onder het gras: ze kunnen hun planken niet bijwerken. Als een boek in hun bibliotheek verouderd is of als ze een nieuw briefje krijgen dat spreekt met wat ze hebben onthouden, kunnen ze in de war raken.

Dit paper onderzoekt twee specifieke manieren waarop deze verwarring fout kan gaan:

De "Hallucinatie": De bibliothecaris verzint vol vertrouwen een feit of geeft een antwoord dat echt klinkt, maar eigenlijk onjuist is.
De "Kennisconflict": De bibliothecaris krijgt een briefje (context) waarin staat: "De lucht is groen," maar hun geheugen zegt: "De lucht is blauw." Ze moeten beslissen welke ze moeten vertrouwen.

De Grote Vraag

De onderzoekers wilden weten: Zijn deze twee problemen hetzelfde?

Ze vermoedden dat wanneer een bibliothecaris "hallucineert", dit komt doordat ze intern vechten tegen een "kennisconflict". Met andere woorden, ze dachten dat het brein van de bibliothecaris gonst van de verwarring (conflict) vlak voordat hij een leugen verzint (hallucinatie). Als dit waar zou zijn, zouden we een eenvoudig alarmsysteem kunnen bouwen: als we de "verwarrings-buzz" detecteren, weten we dat er een leugen aankomt.

Hoe Ze Het Testten

Om dit te testen, gedroegen de onderzoekers zich als "hersenscanners" (een techniek genaamd probing). Ze veranderden de bibliothecarissen niet; ze keken alleen even in hun hoofd tijdens verschillende stadia van het denken (de verborgen lagen, de aandachtslagen en de logische lagen) om te zien of ze de signalen van verwarring of liegen konden opmerken.

Ze gebruikten twee verschillende "bibliothecarissen" (AI-modellen):

LLaMA-3-8B: Ze probeerden te zien of de "verwarringssignalen" van deze bibliothecaris konden voorspellen wanneer hij zou liegen.
Falcon-7B: Ze probeerden te zien of de "liegensignalen" van deze bibliothecaris konden voorspellen wanneer hij in de war was.

Wat Ze Vonden

De resultaten waren een beetje verrassend. Het is alsof je een rookmelder controleert en ontdekt dat het alarm voor "brand" niet afgaat als iemand toast verbrandt, en het alarm voor "verbrande toast" niet afgaat wanneer er een brand uitbreekt.

Verwarring $\neq$ Liegen: Wanneer ze naar de "verwarringssignalen" binnen het model keken, konden ze deze niet gebruiken om te voorspellen wanneer het model zou hallucineren. De interne patronen van verward zijn waren anders dan de patronen van dingen verzinnen.
Liegen $\neq$ Verwarring: Omgekeerd hielpen de signalen die gewoonlijk aangeven dat het model liegt, hen niet om te ontdekken wanneer het model te maken had met een kennisconflict.

De Conclusie: Zelfs al voelt het alsof hallucinaties worden veroorzaakt door kennisconflicten, het paper laat zien dat deze binnen het model twee verschillende processen zijn. Je kunt de verwarringspatronen niet gebruiken om de hallucinaties te vinden. Ze zijn verschillende fenomenen.

Eén Goed Nieuws

Hoewel ze niet de link vonden waar ze naar op zoek waren, ontdekten ze wel dat hun "hersenscanner" (de probing-tool) zeer consistent werkt. De tool werkt net zo goed in het Engels als in het Italiaans, Spaans, Chinees en vele andere talen. Dit betekent dat de tool zelf betrouwbaar is, zelfs als de specifieke theorie over de link tussen conflict en hallucinatie niet bewezen kon worden.

In het Kort

De onderzoekers hoopten een enkele "rookmelder" te vinden die zowel de verwarring als het liegen in AI-modellen kon vangen. Ze ontdekten dat het brein van de AI deze twee problemen op verschillende manieren afhandelt. Hoewel ze in de echte wereld aan elkaar gerelateerd zijn, zien ze er in de computercode niet hetzelfde uit. Dit vertelt ons dat we complexere instrumenten nodig hebben om de fouten van AI te begrijpen en te herstellen, in plaats van alleen maar naar één simpele oorzaak te zoeken.

Technische Samenvatting: Analyse van de Correlatie tussen Hallucinaties en Kennisconflicten in Large Language Models

Probleemstelling
Large Language Models (LLMs) kampen met aanzienlijke beperkingen bij kennisintensieve taken, voornamelijk door hun vaste, statische trainingsdata die na de training niet kan worden bijgewerkt. Wanneer modellen informatie tegenkomen die buiten hun parametrische kennis valt of hiermee in strijd is, genereren ze vaak "hallucinaties"—feitelijk onjuiste, inconsistente of niet-verifieerbare outputs. Een heersende hypothese suggereert dat deze hallucinaties voortkomen uit interne kennisconflicten, waarbij de opgeslagen parametrische kennis van het model botst met de contextuele aanwijzingen in de input. Echter, de specifieke relatie tussen de interne representaties van kennisconflicten en hallucinatiegedrag blijft onderbelicht. Hoewel eerdere werken succesvol technieken hebben ontwikkeld om kennisconflicten (Zhao et al.) en hallucinaties (Snyder et al.) onafhankelijk van elkaar te detecteren, is het onduidelijk of deze twee fenomenen een gemeenschappelijke interne codering delen of dat het ene gebruikt kan worden om het andere te voorspellen.

Methodologie en Experimenteel Ontwerp
Deze studie maakt gebruik van een probing-gebaseerd framework om de bidirectionele correlatie tussen kennisconflicten en hallucinaties te onderzoeken. De auteurs hypothetiseren dat als hallucinaties worden veroorzaakt door kennisconflicten, de interne activatiepatronen van een gehallucineerde output detecteerbaar zouden moeten zijn door een classifier die getraind is om kennisconflicten te identificeren, en vice versa.

Het experimentele ontwerp omvat twee afzonderlijke richtingen:

Van Kennisconflicten naar Hallucinaties:
- Model: LLaMA-3-8B.
- Training: Kennisconflict-probingmodellen ( $KC_{a,i}$ ) werden getraind met behulp van Logistische Regressie op de NQ-Swap dataset (een synthetische dataset van conflicterende QA-paren) om conflictsignalen te detecteren in verborgen (hidden), attention- en MLP-laagactivaties.
- Evaluatie: Deze getrainde conflictdetectoren werden toegepast op activaties geëxtraheerd uit Mu-SHROOM, HaluEval en HaluBench (datasets met gehallucineerde QA-paren). Het doel was om te bepalen of de conflictdetector de aanwezigheid van hallucinaties accuraat kon voorspellen.
Van Hallucinaties naar Kennisconflicten:
- Model: Falcon-7B.
- Training: Hallucinatie-probingmodellen ( $H_l, H_{a,i}$ ) werden getraind met behulp van feed-forward classifiers op de TriviaQA dataset om hallucinatiesignalen in output-logits en intermediaire activaties (attention en MLP) te detecteren.
- Evaluatie: Deze hallucinatedetectoren werden toegepast op de NQ-Swap dataset om te bepalen of de aanwezigheid van een kennisconflict voorspeld kon worden door de hallucinatiedetector.

Belangrijkste Resultaten
De empirische analyse leverde de volgende bevindingen op:

Gebrek aan Sterke Correlatie: In tegenstelling tot de hypothese dat hallucinaties direct herleidbaar zijn tot kennisconflicten, stelde de studie vast dat er geen significante correlatie bestaat tussen de interne representaties van de twee fenomenen.
- Bij het proberen van hallucinaties met kennisconflictmodellen (LLaMA-3-8B) fluctueerde de nauwkeurigheid, maar bleef deze laag (vaak nabij het toevalsniveau, met een AUROC nabij 0,5). Opvallend genoeg nam de prestatie af in de intermediaire lagen (15–25), waar kennisconflicten in isolatie het meest precies worden gedetecteerd.
- Omgekeerd, bij het proberen van kennisconflicten met hallucinatiemodellen (Falcon-7B), presteerden de detectoren op het niveau van toeval (nauwkeurigheid $\approx$ 0,5, AUROC $\approx$ 0,5) over alle lagen heen. Dit staat in contrast met de referentiestudie van Snyder et al., waar de detectie van hallucinaties verbeterde in latere lagen; hier was de trend verwaarloosbaar.
Activatie-specificiteit: De studie observeerde dat verborgen activaties in LLaMA-3-8B minder informatief waren voor conflictdetectie dan attention- of MLP-activaties. In Falcon-7B werd de tegenovergestelde trend waargenomen vergeleken met eerdere literatuur, waarbij attention-activaties in deze specifieke cross-task context soms beter presteerden dan MLPs.
Robuustheid over Talen: Ondanks het gebrek aan correlatie tussen de fenomenen, bleek de probing-methodologie zelf robuust. Bij toepassing op de meertalige Mu-SHROOM dataset (die 14 talen beslaat), behielden de probingmodellen een stabiele prestatie over verschillende talen, wat aangeeft dat de techniek niet zwaar bevooroordeeld is naar specifieke linguïstische structuren.

Betekenis en Bijdragen
Het artikel draagt bij aan het bredere begrip van LLM-interpreteerbaarheid door systematisch empirisch bewijs te leveren dat hallucinaties en kennisconflicten niet sterk op één lijn liggen op het niveau van interne representaties.

Ontkoppeling van Fenomenen: De bevindingen dagen de intuïtieve aanname uit dat hallucinaties uitsluitend of primair worden gedreven door interne kennisconflicten. Dit suggereert dat hallucinaties kunnen voortkomen uit complexere, orthogonale mechanismen die niet volledig worden gevangen door enkel conflictdetectiesignalen.
Methodologische Validatie: Hoewel de correlatiehypothese niet werd ondersteund, valideert de studie het nut van probing als een robuust instrument voor het analyseren van intern modelgedrag over verschillende activatietypes (hidden, attention, MLP) en talen.
Toekomstige Richtingen: De auteurs benadrukken de noodzaak om deze fenomenen in toekomstig onderzoek te ontkoppelen om gerichtere mitigatiestrategieën te ontwikkelen. Zij stellen voor om deze probing-methodologieën uit te breiden naar hoog-risicodomeinen zoals digitale gezondheidszorg, onderwijs en human resource management, waarbij zij ook wijzen op het cruciale belang van ethische overwegingen met betrekking tot bias en de misinterpretatie van probing-resultaten in meertalige en gevoelige contexten.

De broncode voor de reproductie van deze experimenten is publiekelijk beschikbaar, wat verdere investigatie naar de interne mechanica van LLMs faciliteert.