🤖 machine learning

Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation

Dit artikel levert causaal bewijs dat hallucinaties in autoregressieve taalmodellen het resultaat zijn van een vroeg en asymmetrisch vastlopen in een attractor-basinsysteem, waarbij de neiging tot hallucinatie al tijdens de prompt-encoding wordt bepaald en veel moeilijker te corrigeren is dan te veroorzaken.

Oorspronkelijke auteurs: G. Aytug Akarlar

Gepubliceerd 2026-04-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: G. Aytug Akarlar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Hallucinatie" als een Vallei in het Landschap

Stel je voor dat een kunstmatige intelligentie (zoals een chatbot) niet als een mens denkt die feiten opzoekt, maar als een wandelaar in een groot, onzichtbaar landschap.

Dit landschap heeft twee soorten plekken:

De Rode Vallei (De Hallucinatie): Een diepe, comfortabele kuil waar de wandelaar graag blijft hangen. Het voelt veilig en logisch, maar het is een leugen.
De Groene Vallei (De Waarheid): Een andere kuil waar de echte feiten liggen.

Het nieuwe onderzoek van Gök Türker Aytug Akarlar laat zien dat wanneer een chatbot "hallucineert" (d.w.z. iets verzint dat klinkt als waarheid), het niet per se omdat hij het niet weet. Het is omdat hij onmiddellijk in de verkeerde vallei terechtkomt en daar vastzit.

Hier zijn de drie belangrijkste ontdekkingen, vertaald naar simpele beelden:

1. De Gok op de Startlijn (De Bifurcatie)

Stel je voor dat je twee keer precies dezelfde vraag stelt aan de bot: "Wat is de hoofdstad van Myanmar?"

Kans 1: De bot zegt: "Yangon." (Waarheid)
Kans 2: De bot zegt: "Rangoon" (een oude naam, of een verzonnen stad). (Hallucinatie)

Het onderzoek toont aan dat bij de start (bij het eerste woord) de computer exact hetzelfde in zijn hoofd heeft. Er is nog geen verschil. Maar zodra hij het eerste woord kiest (door een beetje willekeur, zoals het gooien van een muntje), springt hij plotseling in één van de twee valleien.

De les: De keuze tussen waarheid en leugen gebeurt in een splitseconde. Zodra hij in de "leugen-vallei" springt, is de route naar de waarheid al gesloten.

2. De Asymmetrie: Makkelijk naar beneden, moeilijk naar boven

Dit is het meest fascinerende deel van het onderzoek. De onderzoekers deden een experiment waarbij ze de "gedachten" van de bot op een bepaald moment vervangen door die van een andere run.

Het scenario A (Van waarheid naar leugen):
Stel je voor dat de bot net een waarheid aan het vertellen is. Als je op dat moment één stukje van zijn "brein" (een activatie) vervangt door een stukje van een hallucinatie, valt hij direct in de leugen-vallei.
- Analogie: Het is als een bal die op een heuvel staat. Als je hem een klein duwtje geeft, rolt hij makkelijk naar beneden. 87,5% van de keren lukt dit om de bot te laten "kloppen".
Het scenario B (Van leugen naar waarheid):
Nu is de bot al in de leugen-vallei. Je probeert hem te redden door zijn "gedachten" te vervangen door die van een waarheid.
- Analogie: De bal zit nu diep in een kuil. Als je hem één keer duwt, rolt hij misschien een beetje omhoog, maar de kuil is te diep. Hij rolt direct weer terug naar de bodem. Slechts 33% van de keren lukt het om hem eruit te krijgen.
- De les: Het is heel makkelijk om een bot te laten liegen, maar heel moeilijk om hem te laten stoppen met liegen als hij er eenmaal in zit.

3. De "Reparatie" kost doorzettingsvermogen

De onderzoekers ontdekten dat als je de bot één keer probeert te corrigeren, het vaak niet werkt. Je moet hem meerdere keren achter elkaar "duwen" om hem uit de leugen-vallei te krijgen.

Analogie: Het is alsof je iemand uit een modderpoel probeert te trekken. Als je één keer hard trekt, zakken ze weer in. Je moet continu trekken (meerdere stappen lang) om ze eindelijk op droog land te krijgen.

4. De Voorspelling: Het landschap is al vastgelegd

Het onderzoek toont ook aan dat je al bij het lezen van de vraag (voordat de bot antwoordt) kunt zien in welke "vallei" hij waarschijnlijk terechtkomt.

Sommige vragen (zoals "Wat is de hoofdstad van...?") liggen op een heuveltop waar de keuze moeilijk is.
Andere vragen (zoals "Vertel me over de Krasnov-effect...") liggen direct in de leugen-vallei. De bot heeft daar geen "waarheid" omheen te kiezen; hij moet maar verzinnen.

Wat betekent dit voor de toekomst?

Vroeger dachten we dat hallucinaties kwamen omdat de bot "niet genoeg kennis" had. Dit onderzoek zegt: Nee, de kennis is er wel. Het probleem is dat de bot als een dynamisch systeem werkt dat snel vastzit in een patroon van leugens.

De grote uitdaging:
Om een bot te stoppen met liegen, kunnen we niet zomaar één knop indrukken ("Stop met liegen!"). Omdat de leugen-vallei zo diep is, moeten we ingrijpen op het allerlaatste moment (bij het eerste woord) of we moeten continu ingrijpen terwijl hij praat.

Het is alsof je een auto probeert te sturen: als je eenmaal de verkeerde afslag hebt genomen, helpt het niet om even het stuur een beetje te draaien. Je moet de auto misschien helemaal terugrijden of stevig blijven sturen om de weg weer te vinden.

Kortom: Hallucinaties zijn geen foutjes in de kennis, maar een vastlopen in een patroon. Het is makkelijk om erin te vallen, maar heel moeilijk om er weer uit te komen.

Probleemstelling

Grote Taalmodellen (LLM's) genereren vaak plausibele maar feitelijk onjuiste teksten, een fenomeen dat bekend staat als hallucinatie. Hoewel er veel empirisch onderzoek is gedaan naar correlaties (bijvoorbeeld dat hallucinaties samenhangen met specifieke interne activaties of entropie-signaturen), blijft de onderliggende causale mechanisme onduidelijk. De centrale vraag is: Wanneer en waar committeert een model zich aan een hallucinatie-traject, en is deze commitment causaal omkeerbaar? Bestaande methoden vergelijken vaak verschillende prompts, wat het moeilijk maakt om te onderscheiden of de hallucinatie veroorzaakt wordt door de prompt zelf of door de dynamiek van het generatieproces.

Methodologie

De auteurs introduceren een nieuwe methodologische aanpak om trajectdynamiek te isoleren van prompt-variabelen:

Zelfde-prompt bifurcatie (Same-prompt bifurcation):
- In plaats van verschillende prompts te vergelijken, wordt dezelfde prompt herhaaldelijk gegenereerd bij een niet-nul temperatuur ( $\tau = 0.7$ ).
- Prompts worden geselecteerd waarbij het model zowel correcte als hallucinerende uitkomsten produceert (bifurcerende prompts).
- Dit isoleert de traject-dynamiek: identieke starttoestanden leiden tot verschillende uitkomsten puur door de stochastische sampling-paht.
Causale Activatie Patching:
- De auteurs voeren bidirectionele activatie-patching uit op het residual stream van het model (Qwen2.5-1.5B, 28 lagen).
- Correctie (H $\to$ C): Het injecteren van een correcte activatie in een hallucinerend traject om te zien of dit de uitkomst corrigeert.
- Corruptie (C $\to$ H): Het injecteren van een hallucinerende activatie in een correct traject om te zien of dit de uitkomst verstoort.
- Er worden strikte controlegroepen gebruikt (willekeurige prompts, "fout-naar-fout" patching) om te bewijzen dat het effect specifiek is voor de juiste activatie en niet slechts voor elke verandering.
Probing en Clustering:
- Lineaire probes worden getraind op de residual states bij stap 0 (na het encoderen van de prompt) om de hallucinatiekans per prompt te voorspellen.
- Onbewaakte clustering (K-means) wordt gebruikt om te zien of prompts in "regimes" vallen die corresponderen met verschillende hallucinatie-gevoeligheden.

Belangrijkste Bijdragen en Resultaten

1. Onmiddellijke Commitment en Asymmetrische Attractoren

De analyse toont aan dat hallucinatie een lokale stabiele attractor is in de toestandruimte van het model:

Identieke Start: Bij stap 0 (voordat er tokens gegenereerd zijn) is de KL-divergentie tussen correcte en hallucinerende runs nul ( $D_{KL} = 0$ ). De divergentie treedt abrupt op bij stap 1.
Asymmetrie: Er is een fundamentele ongelijkheid tussen het corrupteren van een correct traject en het corrigeren van een hallucinatie:
- Corruptie (C $\to$ H): Het injecteren van een hallucinerende activatie in een correct traject faalt de correcte uitkomst in 87,5% van de gevallen (piek bij laag 20).
- Correctie (H $\to$ C): Het injecteren van een correcte activatie in een hallucinerend traject slaagt slechts in 33,3% van de gevallen (piek bij laag 24).
- Dit betekent dat het "instappen" in de hallucinatie-basis (basin) veel makkelijker is dan het "uitstappen" (escape).

2. Interventievereisten (Venster-patching)

Corruptie: Vereist slechts één enkele verstoring op één tijdstip om een correct traject te laten ontsporen.
Correctie: Vereist gecoördineerde, multi-stap interventie. Het patchen van slechts één stap is onvoldoende om uit de hallucinatie-basis te ontsnappen; de correctie-succesrate stijgt lineair met het aantal gepatchte stappen (van 12,5% bij één stap naar 33,3% bij vier stappen). Dit bevestigt dat hallucinaties diep in een attractor-basin zitten waar de dynamiek van het model de trajecten terugtrekt naar de hallucinatie.

3. Regime-Commitment bij Prompt-Encodering

De auteurs ontdekten dat de residual states bij stap 0 (direct na het lezen van de prompt) al informatie bevatten over de kans op hallucinatie (Pearson $r = 0.776$ ).
Clustering onthult vijf "regimes". Prompts met een valse premisse (waarbij het model twijfelt tussen waarheid en leugen) clusteren in een specifiek "zadel-regime" (saddle cluster) dat dicht bij de scheidslijn (separatrix) ligt. Dit suggereert dat de prompt-encodering het model al committeert tot een bepaald dynamisch regime voordat de generatie begint.

Significantie en Implicaties

Dynamisch Kader: Het paper verschuift het perspectief van hallucinatie als een "falen van kennis" naar een dynamisch fenomeen. Het model heeft de kennis (het kan correcte antwoorden geven), maar de stochastische generatie kan het vastzetten in een hallucinatie-basin waaruit het moeilijk te bevrijden is.
Uitleg voor het Falen van Lineaire Interventies: De studie verklaart waarom eerdere pogingen om hallucinaties te voorkomen door lineaire "steering vectors" (het projecteren van activaties weg van hallucinatie-richtingen) vaak mislukten. Omdat de grens van de attractor-basin een niet-lineaire variëteit is, kan een lineaire verstoring de toestand wel verplaatsen, maar niet de basin-grens overschrijden; de volgende lagen herstellen de traject naar de attractor.
Richting voor Veiligheid: Om hallucinaties effectief te voorkomen, moeten interventies gericht zijn op het vroege stadium (prompt-regime selectie) of gesustaineerde multi-stap interventies tijdens de generatie, in plaats van enkelvoudige correcties op een specifiek punt.

Conclusie: Hallucinatie is een vroege traject-commitment die wordt gedicteerd door asymmetrische attractordynamiek. Het is probabilistisch en snel om in te stappen, maar vereist gecoördineerde inspanning om uit te stappen.