💻 computer science

PARALLAX: Separating Genuine Hallucination Detection from Benchmark Construction Artifacts

Het artikel "PARALLAX" onthult dat een groot deel van de gerapporteerde vooruitgang in hallucinatie-detectie voor grote taalmodellen eigenlijk een artefact is van gebrekkige benchmarkontwerpen waarbij grondwaarheidsantwoorden in prompts zijn ingebed, en toont aan dat alleen toezicht op verborgen toestanden in de bovenste lagen, zoals SAPLMA en DRIFT, echte detectiecapaciteiten behouden wanneer deze artefacten worden gecontroleerd.

Oorspronkelijke auteurs: Khizar Hussain, Murat Kantarcioglu

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Khizar Hussain, Murat Kantarcioglu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren het verschil te zien tussen een leugen en de waarheid. Je wilt dat de robot in zijn eigen "hersenen" (zijn interne computertoestanden) kijkt en zegt: "Wacht, ik ben hier niet zeker van," voordat hij spreekt.

Al geruime tijd bouwen onderzoekers tools om dit te doen en rapporteren ze enorme successen. Ze beweren dat hun tools 90% of zelfs 99% accuraat zijn in het opsporen van leugens.

Dit paper, getiteld "PARALLAX", is als een detectiveverhaal. De auteurs, Khizar Hussain en Murat Kantarcioglu, besloten om deze successverhalen te onderzoeken. Ze ontdekten dat het meeste van de "succes" niet eigenlijk het robot slimmer maken was; het was een truc in de test zelf.

Hier is de uiteenzetting van hun bevindingen met eenvoudige analogieën:

1. De "Valstrik Test" (Benchmark Artifacts)

Stel je voor dat je een wiskundetoets maakt. Maar in plaats van alleen de vraag te zien, staat het juiste antwoord en het verkeerde antwoord ook op het toetsvel, recht naast elkaar in grote, vette letters.

De Valstrik: Veel van de populaire tests die gebruikt werden om deze leugendetector-tools te trainen, waren precies zo. Ze gaven de AI de prompt plus zowel de "waarheid" als de "leugen" in dezelfde zin.
Het Resultaat: De AI hoefde niet in zijn hersenen te kijken om te weten welke de leugen was. Hij keek gewoon naar de woorden op de pagina. Als de "leugen" anders klonk dan de "waarheid" in de tekst, markeerde de tool het.
De "TXTEMB" Baseline: De auteurs bouwden een supersimpel hulpmiddel genaamd TXTEMB. Het is als een spellingscontrole die alleen de woorden vergelijkt. Omdat de tests "valstrikken" waren, behaalde deze simpele spellingscontrole een perfecte score (98% accuraatheid).
De Schok: Toen de auteurs geavanceerde, complexe AI-hersenscanners vergeleken met deze simpele spellingscontrole, ontdekten ze dat de geavanceerde tools niets beter deden. Ze lasen gewoon dezelfde tekstuele aanwijzingen.

2. De "Realiteit" Test (Live Generatie)

Om te zien of de tools echt werken, creëerden de auteurs een nieuw soort test. Stel je een spel voor waarbij de AI een vraag vrij moet beantwoorden, zonder dat het antwoord of de leugen van tevoren wordt getoond. Het is alsof je een student vraagt om een essay te schrijven zonder een spiekbriefje.

De Realiteitscheck: Toen ze de tests op deze manier uitvoerden, stortten bijna alle beroemde "leugendetectors" in. Hun scores daalden naar 50% — hetzelfde als het opgooien van een munt. Ze konden geen leugen meer van de waarheid onderscheiden.
De Uitzondering: Slechts twee tools slaagden erin boven het muntgooieniveau te blijven: SAPLMA en DRIFT.

3. De Winnaars: SAPLMA en DRIFT

Als de andere tools studenten waren die het spiekbriefje uit het hoofd hadden geleerd, zijn deze twee studenten die het materiaal daadwerkelijk hebben geleerd.

Hoe ze werken: In plaats van naar de woorden op de pagina te kijken, kijken ze naar de interne "sfeer" van de AI-hersenniveaus.
De Analogie: Stel je de AI voor als een gebouw met vele verdiepingen.
- De onderste verdiepingen zijn waar de AI de basisvraag verwerkt.
- De bovenste verdiepingen zijn waar het besluit wat er gezegd moet worden.
- SAPLMA en DRIFT zijn als beveiligingswachten die de bovenste verdiepingen van het gebouw controleren. Ze ontdekten dat wanneer de AI op het punt staat te hallucineren (te liegen), het "verkeer" of de "signalen" op de bovenste verdiepingen op een specifieke manier veranderen, zelfs als de woorden er normaal uitzien.
- DRIFT is een nieuw hulpmiddel dat in dit paper wordt geïntroduceerd. Het is als een detective die niet alleen één verdieping controleert, maar het verschil in activiteit tussen verschillende bovenste verdiepingen vergelijkt om de leugen op te sporen.

4. Het "RAG" Probleem (De Zwaarste Test)

De auteurs testten deze tools ook op een specifiek type AI dat een document leest en daarop gebaseerd vragen beantwoordt (zogenaamde RAG).

Het Resultaat: Bij deze test faalde elk enkel hulpmiddel, inclusief de winnaars. Ze bleven allemaal rond de 50% hangen (muntgooien).
De Betekenis: Dit suggereert dat hoewel we leugens in algemene conversatie kunnen opsporen, het opsporen van leugens wanneer een AI probeert een specifiek document samen te vatten, momenteel een ongelost probleem is. Het "signaal" van een leugen is te zwak om in dat specifieke scenario te vinden.

Samenvatting van het "Parallax" Effect

De titel "Parallax" verwijst naar hoe een object er anders uitziet afhankelijk van waar je staat.

Vanuit één hoek (de oude, "valstrik" tests): Het veld leek enorme vooruitgang te boeken.
Vanuit een andere hoek (de "live" tests): De vooruitgang verdween grotendeels, waardoor bleek dat de tools gewoon fouten in de test exploiteerden.

De Conclusie:
Het paper beweert dat het veld van "Hallucinatie-detectie" overdreven is opgeblazen omdat de tests waren gemanipuleerd. De meeste tools weten niet echt wanneer een AI liegt; ze weten alleen wanneer de tekst er anders uitziet. Er is echter hoop: twee specifieke methoden (SAPLMA en DRIFT) hebben aangetoond dat ze leugens daadwerkelijk kunnen opsporen door in de hersenen van de AI te kijken, maar alleen in specifieke situaties. Voor de zwaarste real-world taken hebben we nog steeds geen betrouwbare detector.

Technische Samenvatting: PARALLAX

Probleemstelling

Grote Taalmodellen (LLMs) produceren frequent hallucinaties—output die vloeiend en autoritair klinkt maar feitelijk onjuist is. In hoog-risicodomeinen zoals geneeskunde, recht en wetenschap veroorzaken deze fouten directe schade. Hoewel een groeiende hoeveelheid literatuur beweert effectieve hallucinatie-detectoren te hebben ontwikkeld met behulp van interne modelstaten (verborgen representaties), ontbreekt het in het veld aan gecontroleerde vergelijkingen tussen methoden. De auteurs identificeren twee kritieke verstorende factoren in bestaand onderzoek:

Artefacten bij de constructie van benchmarks: Populaire corpora (bijv. HaluEval, MedHallu, TruthfulQA) gebruiken vaak een "teacher-forced" constructie, waarbij zowel het correcte als het gehallucineerde antwoord direct in de input-prompt zijn ingebed. Dit creëert een correlatie tussen het label en oppervlakkige tekstverschillen in plaats van modelonzekerheid.
Bereik van evaluatie: De meeste studies evalueren methoden op enkele benchmarks en modellen, waardoor het onmogelijk is om echte mechanistische signalen te onderscheiden van overfitting op specifieke dataset-modelcombinaties.

Het artikel betoogt dat een groot deel van de gerapporteerde vooruitgang in hallucinatie-detectie een illusie is die wordt gecreëerd door deze artefacten, waarbij methoden effectief lexische vormingspatronen in de prompt detecteren in plaats van echte interne staten van onzekerheid.

Methodologie

Controle op Artefacten: TXTEMB

Om de impact van benchmark-artefacten te kwantificeren, introduceren de auteurs TXTEMB, een naïeve tekstgelijkheids-baseline. TXTEMB berekent de TF-IDF cosine-ähnelijkheid tussen de gehallucineerde en referentie-antwoordteksten. Cruciaal is dat het geen toegang vereist tot modelinterne onderdelen.

Logica: Als een methode gebaseerd op interne staten prestaties behaalt die vergelijkbaar zijn met TXTEMB op een teacher-forced corpus, wordt het signaal waarschijnlijk gedreven door oppervlakkige tekstverschillen in plaats van modelonzekerheid.
Drempelwaarde: Een methode wordt gemarkeerd als potentieel verontreinigd door artefacten als haar AUROC binnen 0,05 ligt van de TXTEMB AUROC op hetzelfde corpus.

Experimentele Opzet

De auteurs voeren een grootschalige, gecontroleerde evaluatie uit die omvat:

22 Detectiemethoden: Inclusief 6 nieuwe benaderingen (A–F) en 16 gevestigde baselines (bijv. SAPLMA, INSIDE, MIND, HalluShift, SelfCheckGPT).
12 Modellen: Overkoepelend zes architectonische families (Llama, Qwen, DeepSeek-R1, Mistral, Gemma, Phi) met parameteraantallen variërend van 3,8B tot 72B.
6 Corpora: Verdeeld in twee regimes:
- Teacher-Forced (TF): HaluEval, MedHallu, TruthfulQA, Legal (antwoorden ingebed in de prompt).
- Live-Generatie (LG): RAGTruth, HaluBench (het model genereert vrij; labels worden achteraf toegepast).

Geïntroduceerde Methode: DRIFT

De auteurs introduceren DRIFT (Detection via Inter-layer Representational Transitions), een supervised probe ontworpen om hallucinaties te detecteren door transities tussen verborgen lagen te analyseren.

Architectuur: Verborgen staten worden geëxtraheerd op vier fractionele dieptes in de bovenste lagen (60%, 70%, 80%, 85% van de totale diepte).
Feature Constructie: Voor elk paar aangeslagen lagen $(l_a, l_b)$ $(l_{a}, l_{b})$ berekent de methode een feature-blok $\phi_{ab}$ $ϕ_{ab}$ dat bevat:
1. Het verschilvector: $h(l_b) - h(l_a)$
2. De cosine-ähnelijkheid: $\cos(h(l_a), h(l_b))$
3. De Euclidische norm: $\|h(l_b) - h(l_a)\|_2$
Classificatie: Deze features worden samengevoegd tot een hoogdimensionale vector ( $\approx 49.000$ dimensies voor 70B-modellen) en ingevoerd in een L2-geregulariseerde logistische regressie-probe.
Dubbel Nut: Het gewichtsvector van de probe dient als een hallucinatie-contrastieve richting, waardoor een "detect-then-steer"-capaciteit mogelijk is zonder aparte berekening van een steering vector.

Belangrijkste Resultaten

1. Het Artefact-effect

Op teacher-forced corpora rapporteren veel methoden hoge AUROC-scores (0,85–1,00). Echter, TXTEMB behaalt bijna perfecte scores op dezezelfde datasets (bijv. 0,98 op HaluEval) met uitsluitend oppervlakkige tekst.

Vinding: Wanneer het artefact wordt verwijderd (d.w.z. op live-generatie corpora), collapseert methoden die leunden op teacher-forced artefacten tot prestaties die dicht bij het toeval liggen.
Voorbeeld: DRIFT scoort 0,96 op teacher-forced HaluEval, maar daalt tot 0,62 wanneer het opnieuw wordt geëvalueerd op live-gegenereerde antwoorden van dezelfde promptstructuur.

2. Prestaties op Live-Generatie Benchmarks

Op de artefactvrije corpora RAGTruth en HaluBench:

Het Plafond: De meerderheid van de gevestigde baselines (MIND, HaloScope, ACT, SEPs, HalluShift) en unsupervised methoden presteert dicht bij toeval (AUROC 0,43–0,57) op RAGTruth.
Toppresteerders: Alleen SAPLMA (een single-layer probe uit 2023) en DRIFT overtreffen consistent het toeval op live-generatie data.
- Op HaluBench behalen beide een AUROC $\approx 0,91$ over 12 architecturen.
- Op RAGTruth vallen alle methoden (inclusief SAPLMA en DRIFT) tussen 0,43 en 0,57, wat dit vestigt als een moeilijk, onopgelost benchmark voor activatie-gebaseerde detectie.
SAPLMA vs. DRIFT: Op TruthfulQA haalt SAPLMA DRIFT net iets in (0,75 vs. 0,73), maar op HaluBench zijn ze statistisch niet van elkaar te onderscheiden. Het inter-layer differencing van DRIFT presteert niet consistent beter dan eenvoudige concatenatie van bovenste lagen (DRIFT-concat), wat suggereert dat het primaire signaal in de representaties van de bovenste lagen zelf ligt.

3. Cross-Architectuur en Schaal

Generalisatie: DRIFT en SAPLMA behouden hoge prestaties over diverse architecturen (Llama, Qwen, Mistral, enz.), terwijl andere methoden falen in generalisatie.
Schaal: De detectieprestaties op TruthfulQA schalen met modelgrootte, maar op HaluBench is de prestatie consistent over modelgroottes (3,8B tot 72B).
Kosten: DRIFT-logp (een variant die token log-probabiliteiten gebruikt) biedt een latentie onder de 10ms. SAPLMA en DRIFT bieden hoge nauwkeurigheid met nul extra inferentie-passes (alleen extractie van verborgen staten vereist), en presteren beter dan multi-sample methoden zoals SelfCheckGPT-NLI die 10x extra inferentie vereisen.

Betekenis en Claims

Het artikel beweert dat de gerapporteerde vooruitgang in hallucinatie-detectie in het veld substantieel is opgeblazen door artefacten bij de constructie van benchmarks. De auteurs stellen het volgende:

De meeste bestaande detectoren zijn ineffectief: Onder gecontroleerde omstandigheden (live-generatie) presteert de meerderheid van de gevestigde baselines niet beter dan willekeur.
Teacher-forcing is een kritieke verstorende factor: Het inbedden van ground-truth antwoorden in prompts stelt oppervlakkige tekst-baselines in staat perfecte scores te behalen, waardoor interne-staat methoden worden misleid om lexische shortcuts te leren in plaats van onzekerheidssignalen.
SAPLMA en DRIFT zijn de uitzonderingen: Deze twee supervised probes op verborgen staten van bovenste lagen zijn de enige methoden die betrouwbaar hallucinaties detecteren in live-generatie settings, hoewel zelfs zij worstelen met het moeilijkere RAGTruth corpus.
Toekomstige Richting: Betrouwbare vooruitgang vereist evaluatieprotocollen die echte interne-staat signalen scheiden van benchmark-artefacten. De auteurs positioneren RAGTruth als een concreet, onopgelost benchmark voor toekomstig onderzoek.

Het artikel concludeert dat hoewel hallucinatie-detectie nog niet opgelost is, het pad voorwaarts ligt in rigoureuze controle op artefacten en het focussen op methoden die generaliseren over regimes, in plaats van te optimaliseren voor specifieke, door artefacten verontreinigde datasets.