💻 computer science

Turbulence Is Not What You Need to Detect Hallucinations

Ondanks de theoretische aantrekkingskracht van het beschouwen van hallucinaties als dynamische instabiliteiten in grote taalmodellen, toont dit artikel aan dat statische representaties veel effectiever zijn voor detectie, aangezien het toevoegen van dynamische kenmerken geen statistisch significante verbetering biedt ten opzichte van eenvoudige lineaire probes.

Oorspronkelijke auteurs: Igor Itkin

Gepubliceerd 2026-07-13

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Igor Itkin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een gigantische, magische rivier die door een kloof van lagen stroomt. Een lange tijd hadden onderzoekers een zeer verleidelijk idee: dat wanneer het model begint te "hallucineren" (dingen verzint), de rivier turbulent wordt. Ze dachten dat het water zou gaan kolken, draaien en zijn stabiliteit zou verliezen, waardoor er een chaotische stroming ontstaat die een detector zou kunnen opsporen.

Dit artikel, geschreven door onafhankelijk onderzoeker Igor Itkin, besluit dit idee te testen met een zeer strikte, wetenschappelijke liniaal. De korte versie? De rivier kan weliswaar kolken, maar je kunt de kolken niet gebruiken om de leugenaars te betrappen.

Hier is het verhaal van wat zij vonden, onderverdeeld in het grote plaatje, de "mythe-ontmaskering" en waar de echte magie zich daadwerkelijk afspeelt.

Het Grote Idee: De Rivier versus de Snapshot

Beschouw het brein van het model als een rivier. Terwijl de rivier stroomt (het model genereert tekst), draagt het een "residual stream" met zich mee—een voortlopende som van alles wat er tot nu toe is gebeurd.

De Oude Theorie: Als de rivier te onstuimig wordt (turbulent), hallucineert het model. Als we meten hoe snel het water draait of hoeveel het afwijkt, kunnen we de leugen betrappen.
De Test van het Papier: De onderzoekers bouwden een detector die naar twee dingen keek:
1. De Snapshot: Een enkele, bevroren foto van het water op een specifiek moment (de statische representatie).
2. De Flow: De geschiedenis van hoe het water bewoog om daar te komen (de dynamische trajectorie).

Ze vroegen zich af: Helpt het weten hoe het water bewoog ons om een leugen beter te spotten dan alleen kijken naar het water op dit moment?

Het Oordeel: Nee.
Toen ze de twee vergeleken, voegde de "flow" bijna niets toe.

Een detector die alleen naar de snapshot keek, behaalde een score van 0,83 (een zeer sterke prestatie).
Het toevoegen van alle complexe "turbulentie"-data (kolken, drift, expansiesnelheden) veranderde de score met slechts +0,004.
Statistisch gezien is dit een nulresultaat. Het betrouwbaarheidsinterval was [-0,011, +0,020], en de p-waarde was 0,30. In gewone mensentaal: de extra data was slechts ruis. De lens van turbulentie is een geweldige manier om over de werking van het model na te denken, maar het is geen manier om hallucinaties te detecteren.

Wat Ze Hebben Uitgesloten (De "Niet"-lijst)

Het artikel is zeer zorgvuldig in het onderuit halen van populaire ideeën die er weliswaar uitzagen also als werkend, maar eigenlijk trucs waren.

De "Zwakke Baseline" Valstrik:
Voorheen lieten sommige tests zien dat turbulentie-kenmerken wel hielpen. Maar de onderzoekers realiseerden zich dat die tests de turbulentie vergeleken met een "zwakke baseline" (een simpele gok gebaseerd op woordpositie en waarschijnlijkheid). Het is alsof je zegt dat een hoogtechnologische radar geweldig is omdat hij een vogel beter heeft gevonden dan een persoon die raadt waar vogels zich zouden kunnen bevinden.

De Reality Check: Toen ze de turbulentie vergeleken met de sterke baseline (de snapshot zelf), verdween het voordeel. De turbulentie voegde niets nieuws toe; het zag er alleen goed uit omdat de concurrentie zwak was.

De "Telescoping" Illusie:
Een manier om turbulentie te meten is kijken naar hoe snel het water expandeert. De onderzoekers ontdekten dat een veelgebruikte methode om dit te berekenen (een "finite-time Lyapunov exponent") defect was. Het was als een wiskundische truc waarbij alle middelste getallen tegen elkaar wegvielen, waardoor alleen het begin en het einde overbleven. Het leek te meten hoe de hele rivier bewoog, maar het mat eigenlijk alleen het begin en het einde. Ze hebben dit gecorrigeerd, en het "turbulentie-signaal" verdween.
De "Free-Generation" Twist:
Ze testten of het model chaotisch wordt wanneer het daadwerkelijk tekst genereert (en niet alleen kant-en-klare tekst leest). Ze vonden dat ja, de flow inderdaad kleine veranderingen versterkt (het is gevoelig). Maar ook al kolkt de rivier fysiek wel, dat kolken geeft je niet een beter signaal om een leugen te detecten dan de snapshot doet. De fysica is echt, maar het detectiesignaal is dat niet.

Waar het Signaal Werkelijk Verborgen Ligt

Als de turbulentie niet de sleutel is, waar zit de "leugendetector" dan wel?

De onderzoekers ontdekten dat het antwoord ligt in de statische snapshot, specifelijk in het midden van de lagen van het model.

De Locatie: Het signaal wordt duidelijk in de midden- tot laat-liggende lagen van het netwerk (rond laag 14 tot 31 in een model van 32 lagen).
De Vorm: Het is geen enkelvoudige, magische "waarheid-neuron". Het is een diffuus circuit. Stel je voor dat een gerucht zich verspreidt door een menigte; geen enkele persoon is de bron, maar de hele groep kent het verhaal. In het model dragen ongeveer 10% van de bovenste componenten (neuronen en attention heads) het signaal, en ze zijn verspreid.
De Kanttekening: Dit signaal is taakspecifiek. Als het model een verhaal schrijft, ziet de "leugendetector" er anders uit dan wanneer het een wiskundige vraag beantwoordt. De richting van het signaal verandert afhankelijk van wat het model aan het doen is.
- Voorbeeld: In één model (Mistral-7B) was het signaal taakspecifiek (cosine similarity tussen taken was slechts 0,03 tot 0,42). In een ander model (Llama-2-7b) was het meer gedeeld (cosine similarity rond de 0,8).
- Conclusie: Er is geen enkele, universele "hallucinatie-schakelaar" die voor elk model en elke taak werkt.

Het Causale Bewijs (Het Stuur-Experiment)

Om te bewijzen dat dit geen toeval was, probeerden ze het model te "sturen" (steer). Ze duwden de interne staat van het model in de richting van het "hallucinatie"-signaal.

Het Resultaat: Wanneer ze het model richting de "hallucinatie"-richting duwden, zorgde dit er daadwerkelijk voor dat het model minder getrouwe tekst produceerde.
De Kracht: Het effect was echt maar bescheiden. Wanneer ze een sterke externe beoordelaar gebruikten om de tekst te controleren, was de verbetering in het detecteren van leugens klein. Het model veranderde niet direct in een chaotische leugenaar; het werd slechts iets minder goed in eerlijk zijn.
Het Mechanisme: Ze gebruikten een wiskundige "decompositie-stelling" om aan te tonen dat het effect niet slechts een statische verandering was, maar een Jacobian-gepropageerd effect. Dit betekent dat de verandering plaatsvond omdat het signaal door de niet-lineaire lagen van het model reisde, waarbij tekens onderweg werden omgeklapt (zoals een rimpeling die verandert in een golf).

De Eindconclusie

Het artikel concludeert dat het "turbulentie"-idee een prachtige metafoor is om te begrijpen hoe LLM's werken, maar een mislukt instrument voor detectie.

Hebben ze bewezen dat turbulentie niet bestaat? Nee, de flow wordt wel degelijk gevoelig.
Hebben ze bewezen dat turbulentie helpt bij het detecteren van leugens? Nee, het artikel sluit dit expliciet uit met een hoge mate van zekerheid. De trajectorie voegt slechts 0,004 toe aan de detectiescore, wat statistisch niet te onderscheiden is van nul.
Wat werkt wel? Een simpele probe op de statische representatie (de snapshot) werkt het best en bereikt een AUC van 0,83.

De auteurs waarschuwen ons om ons niet te laten verleiden door mooie metaforen. Alleen omdat de interne rivier van een model eruitziet als een storm, betekent niet dat de storm het alarm is. Het alarm gaat al af in de stille, statische snapshot.

De Kernboodschap: Als je een hallucinatie wilt vangen, kijk dan niet naar het kolken van de rivier. Neem gewoon een goede, heldere foto van het water op dit moment. De foto vertelt je alles wat je moet weten.

Technische Samenvatting: Turbulentie is niet wat u nodig heeft om hallucinaties te detecteren

Probleemstelling

Large Language Models (LLM's) zijn inherent niet-lineaire systemen, wat leidt tot de hypothese dat hallucinaties (ongegronde of gefabriceerde outputs) voortkomen uit een verlies van dynamische stabiliteit binnen de computationele stroom van het model. Specifiek suggereert de "turbulentie-lens" dat gehallucineerde generaties overeenkomen met een regime van "edge of chaos" of een instabiele flow, waarbij kleine input-perturbaties uitgroeien tot grote output-deviaties, verschillend van stabiele "laminaire" regimes.

Hoewel statistische verklaringen uitleggen waarom hallucinaties in verwachting onvermijdelijk zijn, identificeren zij niet of een specifieke generatie op het moment van productie gehallucineerd is. De centrale onderzoeksvraag is: Bieden de dynamische signaturen van de trajectorie van de residual stream (bijv. eindige-tijd expansieraten, drift, spectrale entropie) detecteerbare signalen van hallucinatie die niet al door de statische verborgen-toestand representatie worden gevangen?

Methodologie

Experimentele Opzet

De studie maakt gebruik van een "getrouwe" (faithful) opzet waarbij modellen worden geëvalueerd op hun eigen gegenereerde tekst, wat ervoor zorgt dat de residual stream het werkelijke generatieproces reflecteert in plaats van een encoder-pass over de output van een ander model.

Datasets: De primaire benchmark is RAGTruth (gegronde hallucinatie-spannen in data-to-text, QA en samenvattings-taken). Een secundaire dataset, PsiloQA, wordt gebruikt voor cross-dataset controles.
Modellen: Experimenten beslaan meerdere architecturen en schalen, inclusief Mistral-7B, Llama-2-7b/13b, en een grid van vijf modellen uit het tijdperk 2026 (Phi-4, Mistral-Nemo, Gemma-4, Qwen3, Qwen3.6).
Labels: Hallucinatie-spannen zijn geannoteerd op basis van bronondersteuning. Voor moderne modellen zonder menselijke labels wordt een Large Language Model-judge (Gemma-3-12B-it) gebruikt, gekalibreerd tegen menselijke annotaties.

Feature Extractie en Vergelijking

Het papier vergelijkt twee feature-sets voor binaire hallucinatie-detectie:

STATISCH: Een probe op de statische representatie (gepoolde verborgen toestanden gereduceerd via PCA) plus een zwakke unsupervised controle (log-waarschijnlijkheden, signaalniveaus, tokenpositie).
STATISCH + DYNAMISCH: De statische features uitgebreid met dynamische signaturen geëxtraheerd uit de trajectorie van de residual stream:
- Proxy voor eindige-tijd expansie: De kleinste-kwadraten helling van de log-normen van trajectorie-incrementen (een proxy voor Lyapunov-exponenten).
- Drift: Cumulatieve drift weg van het "laminaire manifold".
- Spectrale entropie en effectieve rang: Maten van de complexiteit van de vorm van de trajectorie.
- Vroege-expansie asymmetrie: Het verschil tussen vroege en late expansieraten.

Evaluatieprotocol

Metriek: Area Under the ROC Curve (AUC).
Validatie: Response-gegropeerde cross-validatie met een 2000-resample bootstrap om data-lekkage tussen trainings- en testfolds te voorkomen.
Beslissende Test: Het kernexperiment meet de marginale winst ( $\Delta$ AUC) bij het toevoegen van dynamische features aan de statische probe.
Controles:
- Zwakke Baseline: Unsupervised scores (log-prob, etc.) om te testen of dynamica helpt ten opz respect van een naïeve baseline.
- Sterke Baseline: De statische representatie zelf (PCA van verborgen toestanden).
- Dimensionaliteit-gegelijke Controle: Ervoor zorgen dat de statische probe hetzelfde aantal componenten gebruikt als de dynamische features om budget-artefacten uit te sluiten.
- Nulhypothese: Een "matched-influence" nul wordt gebruikt voor causale tests om geïflateerde significantie door laag-variante willekeurige component-sets te vermijden.

Mechanistische Analyse

Layer-wise Probing: Identificeren waar hallucinatie lineair decodeerbaar wordt door de netwerkdiepte heen.
Causale Sturing (Causal Steering): Interveniëren op de residual stream op de piek-laag om downstream effecten op hallucinatie-signalen en gedragsmatige getrouwheid te observeren.
Circuit Attributie: De hallucinatie-richting decomponeren in bijdragen van individuele attention heads en MLP-neuronen.
Cross-Taak/Model Transfer: Testen of de hallucinatie-richting en het circuit generaliseren over taken, datasets en modelfamilies.
Decompositie-stelling: Een formele decompositie van lineaire readouts in een directe term en een door de Jacobiaan gepropageerde indirecte term om de geobserveerde tekenwisselingen (sign flips) in ablatie-studies te verklaren.

Belangrijkste Resultaten

1. Het Beslissende Negatieve Resultaat

De centrale bevinding is dat dynamische features geen significante informatie toevoegen bovenop de statische representatie.

Statische Prestaties: Een probe op de statische representatie alleen bereikt een AUC van 0,831 op getrouwe Mistral-7B.
Dynamische Increment: Het toevoegen van alle dynamische features verhoogt de AUC met slechts +0,004 (95% CI: $[-0,011, +0,020]$ , $p=0,30$ ).
Robuustheid: Dit nulresultaat houdt stand over:
- Drie random seeds en diverse PCA-budgetten.
- Dimensionaliteit-gegelijke controles (statisch budget = 9 componenten).
- Meerdere modellen (Llama-2, Phi-4, Qwen, Gemma) en schalen (tot 35B).
- Verschillende hallucinatie-labels (menselijk, self-judge, externe judges, consensus).
- Per-token analyse (waar dynamica de prestaties zelfs licht verslechtert, wat duidt op overfitting op ruis).
- Free-generation flows (waar de autoregressieve loop perturbaties daadwerkelijk versterkt, maar deze versterking nog steeds geen detectiesignaal oplevert).

2. Het Statische Signaal is Echt en Causaal

Hoewel dynamica niets toevoegt, is het statische signaal robuust:

Decodeerbaarheid: Hallucinatie is lineair decodeerbaar vanuit de statische verborgen toestand, waarbij het verschijnt door de diepte naar een breed plateau (lagen 14–31 in Mistral) met een piek AUC $\approx 0,71$ .
Causaliteit: Het sturen van de residual stream langs de geleerde hallucinatie-richting op de piek-laag beïnvloedt het downstream signaal causaal (dose-response correlatie $\approx 0,99$ ) en moduleert gedragsmatige getrouwheid (hoewel het gedragsmatige effect bescheiden en asymmetrisch is).
Circuit Structuur: Het circuit dat het signaal produceert is diffuus (top-20 componenten dragen slechts $\sim 10\%$ bij aan het signaal in Mistral) en taakspecifiek (cross-taak cosine similarity is laag, 0,03–0,42).
Transfer: Het mechanisme transfeert gedeeltelijk over datasets (RAGTruth $\to$ PsiloQA) maar is sterk model-idiosyncratisch (bijv. Llama-2-7b vertoont een geconcentreerd, taak-gedeeld circuit, in tegen tegenstelling tot Mistral).

3. Methodologische Illusies Geïdentificeerd

Het papier identificeert drie specifieke "vallen" die eerder deden lijken alsof turbulentiet-theorieën gevalideerd waren:

Degenerat Schatter: Een naïeve berekening van de eindige-tijd Lyapunov-exponent telescoopt naar een afhankelijkheid van enkel de eerste en laatste incrementen, waardoor het lijkt op een complexe fysieke grootheid.
Positie-Confound: In sommige datasets komen hallucinaties voor in aaneengesloten spannen, waardoor de tokenpositie een sterke voorspeller wordt; dynamische features die correleren met de prefix-lengte leken hierdoor te helpen.
Zwakke Baseline: Dynamische features vertonen significante winsten alleen wanneer ze worden vergeleken met zwakke unsupervised baselines (zoals log-probs). Wanneer ze worden vergeleken met de sterke statische representatie baseline, verdwijnen de winsten.

4. Commensurabiliteit van Detectoren

Verschillende mechanistische detectoren (supervised difference-in-means, drift, density, ICR) delen geen enkel robuust circuit. Schijnbare overlap lost op wanneer getest wordt tegen een matched-influence nul en over meerdere seeds.

Betekenis en Claims

Het papier claimt drie primaire bijdragen:

Een Rigoureuze Negatieve Test: Het biedt een goed gepowered, gerepliceerde weerlegging van de hypothese dat de dynamica van de residual stream een superieur of onafhankelijk signaal biedt voor hallucinatie-detectie vergeleken met statische representaties. De "turbulentie"-inkadering is een nuttige interpretatieve lens voor het begrijpen van modelgedrag, maar is geen levensvatbaar detectiemechanisme.
Mechanistische Karakterisering van Gegronde Hallucinatie: Het stelt vast dat gegronde hallucinatie lineair decodeerbaar is, causaal actief is en gelokaliseerd is in de midden- tot late netwerk-lagen, maar dat de specifieke implementatie (richting, circuit concentratie, taak-sharing) sterk afhankelijk is van de modelarchitectuur en taak, wat het idee van een universele "waarheidsrichting" uitdaagt.
Methodologische Correctie: Het benadrukt de noodzaak van sterke baselines (statische representaties), matched-influence nullen en seed-stabiliteitschecks om foutieve positieven te voorkomen in mechanistische interpretatie. Het papier betoogt dat "clean negatives" waardevolle resultaten zijn die voorkomen dat er valse veiligheidssignalen worden ingezet.

De auteurs concluderen dat de "turbulentie"-lens een goede manier is om na te denken over hallucinatie als een verlies van stabiliteit, maar dat de statische representatie al over de nodige informatie beschikt om dit te detecteren, waardoor de dynamische trajectorie redundant is voor detectiedoeleinden.