Technische Samenvatting: Wanneer Context Misleidt: Surprisal, Energie en Aandachtsentropie als Metrieken voor Coherentie-illusies in LLM's

Probleemstelling

Psycholinguïsch onderzoek heeft vastgesteld dat menselijke lezers vatbaar zijn voor "coherentie-illusies", waarbij een incoherente discourse coherent lijkt omdat een afleider in de voorafgaande context semantisch overeenkomt met het cruciale woord volgend op een presuppositie-trigger (bijv. "opnieuw" of "ook"). Dit fenomeen wordt verklaard door cue-gebaseerde retrieval-theorieën, waarbij door gelijkenis gedreven interferentie de retrieval van onjuiste maar overeenkomende items uit het geheugen veroorzaakt.

Hoewel "contextuele entrainment" of "context hijacking" in Large Language Models (LLMs)—waarbij modellen hogere waarschijnlijkheden toekennen aan tokens die in de prompt worden genoemd, ongeacht de feitelijke juistheid—is waargenomen, blijft het onduidelijk of LLM's de specifieke coherentie-illusies vertonen die voorkomen in de menselijke discourseverwerking. Dit paper onderzoekt of Nederlandse LLM's (zowel monolinguale als meertalige) menselijke coherentie-illusies repliceren bij het verwerken van teksten met presuppositie-triggers zoals "opnieuw" en "ook".

Methodologie

De studie maakt gebruik van stimuli uit drie bestaande psycholinguïstische experimenten met Nederlandse teksten (Schmitz et al., 2025; Kloostra et al., 2026). Het experimentele ontwerp bestaat uit korte discoursen (meestal drie zinnen) waarbij:

1. Context: Een scenario instelt met een target en een afleider.
2. Trigger: Een presuppositie-trigger ("opnieuw" of "ook") verschijnt in de laatste zin.
3. Cruciaal Woord: Het woord volgend op de trigger bepaalt de coherentie.

De auteurs definiëren vier condities op basis van de match/mismatch van de target en de afleider met het cruciale woord:

• MAMA: Target matcht, Afleider matcht (Coherent).
• MAMI: Target matcht, Afleider mismatcht (Coherent).
• MIMA: Target mismatcht, Afleider matcht (Incoherent maar creëert een coherentie-illusie).
• MIMI: Target mismatcht, Afleider mismatcht (Incoherent).

De studie gebruikt 10 modellen: 6 alleen-Nederlandse modellen (gebaseerd op GPT-2 en GPT-Neo architecturen, inclusief GEITje-7B-ultra) en 4 meertalige modellen (EuroLLM, Aya Expanse, Qwen3, LLaMA-3.1).

De auteurs analyseren drie primaire metrieken:

1. Surprisal: De negatieve log-waarschijnlijkheid van het cruciale woord, afgezet tegen menselijke eye-tracking data (fixatieduur) en acceptatieoordelen.
2. Attention Entropy (Aandachtsentropie): Berekend per head en layer op de cruciale positie om de diffusie van aandacht te meten. Hoge entropie suggereert interferentie of de retrieval van meerdere concurrerende kandidaten.
3. Energy (Energie): Een nieuwe metriek aangepast uit de associatieve geheugentheorie (Hopfield Networks) om de "fit" tussen de query (trigger/cruciaal woord) en de keys (context) te kwantificeren. Lagere energie duidt op een sterke match; hogere energie duidt op een slechte fit of diffuse aandacht.

Daarnaast voeren de auteurs head ablation experimenten uit (het op nul zetten van de waarden van specifieke heads) en trainen zij lineaire probes op verborgen representaties om te bepalen of coherentie-informatie expliciet is gecodeerd.

Belangrijkste Resultaten

1. Surprisal en Menselijke Alignment

• Gedragspatroon: Zowel alleen-Nederlandse als meertalige modellen vertonen een surprisal-volgorde van $MAMA < MAMI < MIMA < MIMI$.
• Coherentie-illusie: Cruciaal is dat de MIMA conditie (incoherent maar met een passende afleider) een significant lagere surprisal oplevert dan de MIMI conditie (volledig incoherent). Dit weerspiegelt menselijk gedrag waarbij de passende afleider de verwerking faciliteert, wat een illusie van coherentie creëert.
• Menselijke Correlatie: Surprisal-waarden van modellen (specifiek GEITje en GPT-Neo-125M) voorspellen significant menselijke eye-tracking metrieken (First Fixation, Total Gaze, Total Fixation) in de cruciale regio. Dit bevestigt dat model-surprisal dient als een betrouwbare proxy voor menselijke leesmoeilijkheid op het niveau van de discourse.

2. Attention Entropy

• Differentiatie: Attention entropy onderscheidt de MIMA (illusie) en MIMI (echte incoherentie) condities.
• Layer Specificiteit: Heads in de midden- tot late layers van de modellen vertonen de meest significante verschillen in entropie tussen de condities. In de MIMA conditie is de aandacht minder diffuus vergeleken met MIMI, wat suggereert dat het model succesvol de passende afleider ophaalt, waardoor de illusie wordt versterkt.

3. Energy Metriek

• Kwantificering: De energie-metriek kwantificeert succesvol discourse-coherentie.
• Bevindingen: De MIMA conditie vertoont lagere energiewaarden (wat duidt op een waargenomen goede match) vergeleken met MIMI, ondanks dat beide incoherent zijn ten opzichte van de target. Dit komt overeen met de hypothese dat het associatieve geheugen van het model de afleider ophaalt, waardoor de "energie" van de staat wordt verlaagd.

4. Ablatie en Probing

• Head Ablation: Het ableren van de top 25 heads geïdentificeerd door entropie-verschillen beïnvloedt de surprisal van niet-illusie condities (MAMI, MAMA) sterker dan de baseline incoherente conditie (MIMI). Dit suggereert dat deze heads cruciaal zijn voor het coderen van coherentie, hoewel het effect varieert per type trigger.
• Lineaire Probes: Een lineaire classifier getraind op verborgen staten bereikt 71,88% nauwkeurigheid in het voorspellen van coherentie-condities (kans: 25%). De classifier verwart vaak MAMA (coherent) met MIMA (illusie), wat intern bewijs levert dat het model de incoherente illusie representeert als dichter bij de coherente staat dan de volledig incoherente staat.

Bijdragen en Betekenis

Dit paper levert de volgende bijdragen:

1. Empirisch Bewijs: Het demonstreert dat coherentie-illusies, eerder gedocumenteerd in de menselijke psycholinguïstiek, verschijnen in zowel monolinguale als meertalige architecturen van Nederlandse LLM's.
2. Integratie van Metrieken: Het valideert surprisal als een predictor op discourse-niveau voor menselijke leestijden en introduceert attention entropy en energy als interne metrieken om deze illusies te kwantificeren en te verklaren.
3. Theoretische Unificatie: De auteurs kaderen zowel menselijke coherentie-illusies als LLM contextuele entrainment onder de verenigde lens van cue-gebaseerde retrieval en similarity-driven interference. Dit overbrugt de kloof tussen cognitieve wetenschap en LLM interpreteerbaarheid.
4. Mechanisch Inzicht: Door specifieke attention heads en verborgen representaties te identificeren die het verschil maken tussen (of falen in het maken van het verschil tussen) coherente en illusorische staten, onthult de studie de interne mechanismen die LLM's gebruiken om discourse-coherentie op te lossen.

Beperkingen en Omvang

De auteurs merken op dat de studie beperkt is tot de Nederlandse taal en steunt op modellen die getraind zijn op Nederlandse data, wat andere prestatiekenmerken kan hebben vergeleken met Engels-gecentreerde modellen. De stimuli waren ontworpen voor menselijke psycholinguïstische experimenten, wat mogelijk niet perfect mapt op LLM-tokenisatie of trainingsdistributies. De auteurs beweren niet dat LLM's "hallucineren" op de manier waarop mensen misinterpreteren, maar dat ze vergelijkbare verwerkingspatronen vertonen gedreven door associatieve retrieval-mechanismen. De studie richt zich op de aanwezigheid van deze illusies en de metrieken om ze te detecteren, in plaats van specifieke architecturale oplossingen voor te stellen om ze te elimineren.