💬 NLP

From Prerequisites to Predictions: Validating a Geometric Hallucination Taxonomy Through Controlled Induction

Dit onderzoek valideert een taxonomie van geometrische hallucinaties in GPT-2 door aan te tonen dat alleen Type 3-hallucinaties (dekkingstekorten) een robuust geometrisch onderscheid vertonen via normafwijkingen, terwijl Type 1 en 2 niet gescheiden worden en token-niveau-tests leiden tot overdreven significantie door pseudoreplicatie.

Oorspronkelijke auteurs: Matic Korun

Gepubliceerd 2026-03-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matic Korun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Van Voorspellingen tot Bewijs: Een Simpele Uitleg over "Hallucinerende" AI

Stel je voor dat een kunstmatige intelligentie (zoals een slimme chatbot) een kunstenaar is die een schilderij maakt. Soms maakt deze kunstenaar prachtige werken, maar soms "hallucineert" hij: hij verzonnen details die er niet zijn, of hij raakt de draad kwijt.

Deze paper onderzoekt of we deze fouten kunnen herkennen door te kijken naar de "geometrie" van de gedachten van de AI. De onderzoekers hebben een nieuwe manier bedacht om fouten in drie categorieën te verdelen, en ze hebben getest of dit in de praktijk werkt.

Hier is de uitleg, vertaald naar alledaagse taal:

1. De Drie Soorten "Gekke" Fouten

De onderzoekers hebben drie soorten fouten bedacht die een AI kan maken:

Type 1: De "Wazige Droom" (Center-drift)
- Wat gebeurt er? De AI krijgt een heel vaag commando, zoals alleen het woord "De". Omdat er geen richting is, drijft de AI weg naar de meest saaie, algemene woorden die hij kent.
- Analogie: Het is alsof je iemand vraagt: "Vertel me iets." En die persoon begint te mompelen over het weer, omdat hij geen idee heeft wat je precies wilt.
Type 2: De "Verkeerde Zekerheid" (Wrong-well)
- Wat gebeurt er? De zin is duidelijk, maar dubbelzinnig. De AI kiest één betekenis en blijft daar vastzitten, zelfs als het verkeerd is.
- Analogie: Je vraagt: "Hij pakte de bank." De AI denkt direct aan een bank om op te zitten (meubel), terwijl je eigenlijk een rivierbank bedoelde. De AI is heel zeker van zijn antwoord, maar het is de verkeerde "wereld".
Type 3: De "Lege Plek" (Coverage gaps)
- Wat gebeurt er? De AI krijgt een vraag die hij nog nooit heeft gezien, met woorden die hij niet kent of die samen niet bestaan.
- Analogie: Je vraagt: "Hoe werkt de xenoplasmische brekingsmeter?" De AI heeft hier nooit over gehoord. Hij moet iets verzinnen, maar hij heeft geen referentiepunten. Het is alsof je een chef vraagt om een gerecht te maken met ingrediënten die niet in de natuur bestaan.

2. Het Experiment: De "Twee Spiegels"

De onderzoekers hebben deze drie scenario's nagebootst met een AI-model (GPT-2) en gekeken hoe de AI "voelde" bij het maken van deze fouten. Ze gebruikten twee soorten spiegels om te kijken:

Spiegel 1: De Woordenlijst (Static Embeddings)
- Dit kijkt alleen naar de woorden zelf, los van de context. Het is alsof je kijkt naar de woorden in een woordenboek.
- Resultaat: Hier zagen ze een duidelijk verschil bij Type 3. De AI koos voor heel rare, zeldzame woorden. Het was alsof de AI in paniek raakte en naar de uithoeken van het woordenboek greep. Dit was makkelijk te meten.
Spiegel 2: De Gedachtegang (Contextual Hidden States)
- Dit kijkt naar wat er in de "hersenen" van de AI gebeurt op het moment dat hij een woord kiest. Dit is de echte context.
- Resultaat: Hier was het veel lastiger. De AI probeerde heel goed te doen, zelfs bij rare vragen. De "gedachte" van de AI leek heel veel op normaal gedrag. Het verschil was er wel (de AI was iets minder "zeker" van zichzelf), maar het was heel klein en moeilijk te zien zonder veel statistiek.

3. De Grote Ontdekkingen

A. De "Lege Plek" (Type 3) is het makkelijkst te zien
Wanneer de AI iets moet verzinnen dat totaal nieuw is, verandert zijn interne "zekerheid" (de grootte van zijn gedachte). Dit is de enige fout die ze consistent konden vinden. De andere twee fouten (wazig dromen of verkeerd zeker zijn) leken op elkaar en waren niet te onderscheiden met deze kleine AI.

B. De "Valstrik van de Valse Statistiek"
Dit is misschien wel het belangrijkste punt voor iedereen die met AI werkt.

Het probleem: Als je kijkt naar elke individuele letter of woord die de AI schrijft, lijkt het alsof er enorme verschillen zijn.
De realiteit: De AI schrijft zinnen die op elkaar lijken. Als je 60 woorden uit één zin neemt, tel je eigenlijk hetzelfde effect 60 keer. Dit heet pseudoreplicatie.
De analogie: Het is alsof je 100 keer hetzelfde geluid opneemt en denkt dat je 100 verschillende mensen hebt gehoord. De statistiek zegt dan "Wauw, enorm verschil!", maar in werkelijkheid is het maar één stem.
De conclusie: De onderzoekers ontdekten dat statistieken op woord-niveau de resultaten 4 tot 16 keer te groot maken. Je moet kijken naar de hele zin (de prompt) als één geheel om de waarheid te zien.

C. De AI "weet" niet dat hij het niet weet
Zelfs als de AI een vraag krijgt die hij niet kan beantwoorden (Type 3), ziet zijn interne wereld er nog steeds heel normaal uit. Hij "weet" niet dat hij aan het hallucineren is. Het verschil is heel subtiel, alsof een speler in een spel net iets minder zeker van zijn stukken is, maar het bord ziet er nog steeds hetzelfde uit.

4. Wat betekent dit voor de toekomst?

Kleine modellen zijn beperkt: Met een kleine AI (zoals GPT-2) kun je sommige fouten zien, maar niet alle. Om de "wazige droom" en de "verkeerde zekerheid" te onderscheiden, heb je waarschijnlijk een veel slimmere (grotere) AI nodig.
We moeten slimmer meten: Omdat de signalen zo klein zijn, moeten we de data anders bekijken (bijvoorbeeld door de "frequenties" van de gedachten te analyseren in plaats van alleen naar het gemiddelde te kijken).
Voorzichtigheid: Als je ziet dat een AI op woord-niveau "significante" fouten maakt, wees dan sceptisch. Het kan zijn dat je gewoon naar dezelfde fout blijft kijken in plaats van naar nieuwe fouten.

Kortom:
De onderzoekers hebben bewezen dat we een kaart kunnen maken van hoe AI fouten maakt. Ze hebben gevonden dat "nieuwe, rare vragen" het duidelijkst te zien zijn, maar dat de AI zich vaak heel goed probeert te verstoppen. En ze waarschuwen: kijk niet naar elke losse letter, maar naar het hele verhaal, anders zie je dingen die er niet zijn.

Probleemstelling

Grote Taalmodellen (LLM's) lijden aan hallucinaties, wat een grote hindernis vormt voor betrouwbare implementatie. Bestaande methoden om hallucinaties te detecteren (zoals zelf-consistentie checks) werken vaak post-hoc op de output. Een voorgestelde geometrische taxonomie (Korun, 2026) classificeert hallucinaties op basis van hun signatuur in de inbeddingsruimte (embedding space):

Type 1 (Center-drift): Generatie die afwijkt naar het centroid bij zwakke context.
Type 2 (Wrong-well convergence): Generatie die convergeert naar een lokaal coherent maar contextueel verkeerd cluster.
Type 3 (Coverage gaps): Generatie waarbij geen clusterstructuur de query ondersteunt (combinatorische nieuwheid).

Hoewel de prerequisites (de geometrische structuur) eerder zijn gevalideerd, ontbreek het aan bewijs dat hallucinaties daadwerkelijk de voorspelde signatuur produceren in die geometrie. Dit artikel vult die lacune door middel van gecontroleerde induktie.

Methodologie

De auteur voert een experiment uit met GPT-2-small (124M parameters) om drie hallucinatietypes gecontroleerd op te wekken en te meten.

Experimenteel Ontwerp:
- Prompts: 45 prompts in totaal (15 per type), ontworpen om specifieke fouten te triggeren:
  - Type 1: Minimale, semantisch lege prompts (bijv. "Het is").
  - Type 2: Ambigue prompts met twee duidelijke domeinen (bijv. "De bank kondigde recordniveaus aan" - financieel vs. rivier).
  - Type 3: Compositie-nieuwheid, technische combinaties die niet in de training zaten (bijv. "De xenoplasmische refractometrie van...").
- Repetitie: Elk experiment wordt 20 keer uitgevoerd met verschillende zaden (seeds) om de stabiliteit van de resultaten te kwantificeren.
- Statistische Eenheid: De prompt (N=15 per groep) is de eenheid van inferentie, niet het token, om pseudoreplicatie te voorkomen.
Twee Representatieruimtes:
1. Statische Embeddings: De vaste input-vector van het gegenereerde token (onafhankelijk van context).
2. Contextuele Verborgen Toestanden (Hidden States): De laatste laag van de transformer op het moment van token-selectie (encodeert de volledige generatiecontext).
Meetmetrieken:
- $H(v)$ : Zachte cluster-lidmaatschap (cosinus-similariteit met centroids).
- $\|v\|$ : Norm (grootte van de vector).
- $\max \text{sim}$ : Maximale similariteit met een centroid.

Belangrijkste Resultaten

1. Type 3 (Coverage Gaps) is geometrisch onderscheidend

Statische Ruimte: Type 3 toont een robuust onderscheid op basis van de norm. Tokens met coverage gaps hebben een hogere norm (door zeldzamere woordkeuzes). Dit onderscheid is significant in 18/20 runs en overleeft de Holm-correctie in 14/20 runs (median effect size $r \approx +0.61$ ).
Contextuele Ruimte: De richting van het norm-effect is stabiel (Type 3 heeft de laagste norm in 19/20 runs), wat wijst op verminderde interne "zekerheid". Echter, bij N=15 is het effect ondergepowerd voor statistische significantie (alleen significant in 4/20 runs). De effectgrootte is moderat ( $r \approx -0.28$ ).

2. Type 1 en Type 2 zijn niet te onderscheiden

In zowel de statische als de contextuele ruimte falen Type 1 en Type 2 om zich te onderscheiden van elkaar of van de achtergrond ( $\le 3/20$ runs significant).
Dit suggereert dat bij 124M parameters het model geen geometrisch onderscheidend vermogen heeft tussen "zwakke context" en "verkeerde context", of dat het signaal te zwak is om te detecteren.

3. Pseudoreplicatie en Token-niveau Significantie

Een cruciale bevinding is dat significantie op token-niveau (N $\approx$ 900 tokens) de werkelijke effecten 4 tot 16 keer ophoogt door pseudoreplicatie (autocorrelatie binnen prompts).
Metrieken die op token-niveau significant lijken (vooral hoekmetrieken zoals $H(v)$ ), zijn op het juiste niveau van analyse (prompt-niveau) niet significant.

4. Het "Micro-Signal Regime"

Contextuele hidden states in GPT-2 zijn geperst in een nauwe kegel van de ruimte (hoge similariteit, $\|h\| \approx 230-245$ ). Zelfs bij hallucinaties wijken de toestanden niet catastrofaal af, maar vertonen ze slechts micro-perturbaties. De model "weet" niet macroscopisch dat het niet weet; het signaal is subtiel.

Bijdragen

Eerste gecontroleerde test: De eerste studie die hallucinatietypes koppelt aan geometrische signatuur met stabiliteit gekwantificeerd over 20 onafhankelijke runs.
Validatie van Type 3: Bevestiging dat "coverage gaps" de meest geometrisch onderscheidende foutmodus zijn, gedreven door vector-grootte (magnitude) in plaats van richting.
Statistische Waarschuwing: Een gerepliceerde demonstratie dat token-level significantie in autoregressieve generatie misleidend is door pseudoreplicatie (inflatiefactor 4-16x).
Spectrale Hypothese: Een testbare hypothese dat het onderscheid tussen Type 1 en 2 mogelijk verborgen zit in specifieke spectrale banden van de eigenspectrum van de hidden states, die verdwijnen bij full-dimensional meting.

Significantie en Conclusie

Dit onderzoek toont aan dat de geometrische taxonomie gedeeltelijk geldig is, maar met belangrijke nuances:

Coverage gaps (Type 3) zijn detecteerbaar, vooral via de norm van de representatie, maar vereisen grotere steekproeven of spectrale preprocessing (zoals whitening) om in contextuele ruimtes robuust te worden.
Type 1 en 2 vertonen geen geometrische scheiding in dit model, wat suggereert dat ofwel de modelcapaciteit (124M parameters) ontoereikend is, of dat het signaal spectraal gefocust is.
De studie waarschuwt onderzoekers om voorzichtig te zijn met token-level statistieken en pleit voor prompt-level aggregatie en spectrale analyse om de "micro-signalen" van hallucinaties daadwerkelijk te kunnen detecteren en te begrijpen.

De bevindingen bieden een empirische basis voor het ontwikkelen van betere detectiemethoden die niet alleen kijken naar de output, maar naar de interne geometrische dynamiek van het generatieproces.