💬 NLP

Hallucination Detection via Activations of Open-Weight Proxy Analyzers

Dit artikel introduceert een proxy-analyzer-framework dat hallucinaties in grote taalmodellen detecteert door de interne activeringen van kleine, lokaal gehoste open-gewichtmodellen te analyseren, waarbij het state-of-the-art-prestaties bereikt over diverse analyzer-architecturen en aantoont dat een grotere modelgrootte niet noodzakelijkerwijs correleert met een betere detectienauwkeurigheid.

Oorspronkelijke auteurs: Akshita Singh, Prabesh Paudel, Siddhartha Roy

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Akshita Singh, Prabesh Paudel, Siddhartha Roy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar soms onbetrouwbare schrijver hebt (een Groot Taalmodel) die probeert vragen te beantwoorden op basis van een specifiek document. Soms verzonnen deze schrijvers dingen, of "hallucineren", waarbij ze feiten mengen met fictie.

Het probleem is: hoe pak je de leugen van de schrijver op zonder in hun brein te kijken of hen te vragen hun denkproces uit te leggen? Meestal, als de schrijver een gesloten systeem is (zoals een grote commerciële API), kun je hun interne werking niet zien.

Dit artikel introduceert een slimme nieuwe oplossing: de "Proxy Analyzer" (Proxy-analysator).

Het Kernidee: De "Tweede Mening"-detective

In plaats van te proberen in het brein van de schrijver te kijken, bouwden de auteurs een kleine, onafhankelijke detective (een kleiner AI-model) die het afgewerkte verhaal samen met het originele brondocument leest.

Stel het je zo voor:

De Schrijver: Een student die een toets maakt.
De Bron: Het schoolboek.
De Hallucinatie: De student een antwoord schrijven dat goed klinkt maar niet in het schoolboek staat.
De Oude Manier: Proberen in het hoofd van de student te kijken om te zien of ze gissen. (Onmogelijk als de student een "black box" is).
De Nieuwe Manier (Dit Artikel): Je huurt een kleine, scherpe tutor (de Proxy Analyzer) in om het antwoord van de student en het schoolboek naast elkaar te lezen. De tutor hoeft niet te weten hoe de student denkt; ze zoekt gewoon naar spanning tussen het antwoord en het boek.

Als het antwoord van de student in tegenspraak is met het boek, licht het "brein" van de tutor (de interne elektrische signalen van de AI) op een specifieke, voorspelbare manier op. Het systeem detecteert deze elektrische "flitsen" om de leugen op te sporen.

Hoe de Detective Werkt (De 18 Aanwijzingen)

De detective leest niet alleen de woorden; ze kijkt naar de mechanica van hoe de AI de tekst verwerkt. De auteurs bouwden 18 verschillende "aanwijzingen" (kenmerken) op basis van hoe AI-transformers werken. Hier zijn een paar analogieën voor de belangrijkste:

De "Attention"-schijnwerper (Signaal 2): Stel je voor dat de AI een schijnwerper heeft die op de brontekst schijnt. Als ze de waarheid spreekt, blijft de schijnwerper op het boek gericht. Als ze liegt, dwaalt de schijnwerper weg of raakt hij in de war. Het systeem meet precies waar het licht schijnt.
De "Geheugen"- versus "Lees"-strijd (Signaal 4): AI heeft twee manieren om te antwoorden: het boek lezen (goed) of vertrouwen op haar eigen uit het hoofd geleerde feiten (risicovol). Het systeem meet welke daarvan wint. Als het "geheugen" harder schreeuwt dan het "lezen", is het waarschijnlijk een hallucinatie.
De "Verwarring"-meter (Signaal 3): Wanneer een AI de waarheid leest, spreidt ze haar aandacht uit. Wanneer ze liegt, blijft ze vaak steken op een paar uit het hoofd geleerde woorden, wat een "instorting" in de aandacht veroorzaakt. Het systeem sport deze instorting op.

De Grote Experimenten

De onderzoekers testten deze detective met zeven verschillende AI-modellen van uiteenlopende grootte, variërend van klein (0,5 miljard parameters) tot enorm (9 miljard parameters). Ze behandelden deze modellen als de "detectives" om te zien welke het beste was in het opsporen van leugens.

De Verrassende Resultaten:

Groter is niet altijd beter: Meestal gaan we ervan uit dat een grotere, duurdere detective slimmer is. Maar hier won een model van 3 miljard parameters daadwerkelijk het van het model van 8 miljard parameters uit dezelfde familie. Het is alsof je ontdekt dat een compacte, wendbare auto sneller is op een specifiek circuit dan een enorme luxe SUV. Het ontwerp van de detective was belangrijker dan haar grootte.
De "Kleine" Detective is Geweldig: Een klein model van 0,5 miljard parameters (Qwen2.5) deed het bijna even goed als de enorme modellen. Dit betekent dat je geen supercomputer nodig hebt om hallucinaties op te sporen; een klein, snel, goedkoop model kan het werk prima afhandelen.
Het Verslaan van de Experts: Hun systeem presteerde consequent beter dan de vorige beste methode (ReDeEP), die toegang vereiste tot de interne gegevens van de originele schrijver. De Proxy Analyzer deed het zonder de originele schrijver ooit aan te raken.

Waarom Dit Belangrijk Is

Het artikel beweert dat dit een game-changer is omdat:

Het werkt op "Black Box"-schrijvers: Je kunt dit gebruiken om antwoorden te controleren van gesloten systemen (zoals GPT-4) waar je de interne code niet kunt zien.
Het is universeel: Omdat de "leugen" een mismatch is tussen het antwoord en de bron, zal elke AI die de tekst leest dezelfde elektrische "spanning" vertonen. De detector maakt niet uit wie het antwoord schreef.
Het is efficiënt: Je hoeft de enorme generator niet twee keer te draaien om deze te controleren. Je draait gewoon een klein, goedkoop detector-model één keer.

De Haken en Ogen (Beperkingen)

De auteurs erkennen één zwakte: hun detective was getraind op korte documenten (ongeveer 1.200 tekens). Toen ze het testten op veel langere documenten (3.000 tekens), raakte het licht in de war omdat de "lengte" van de tekst de manier veranderde waarop de aanwijzingen eruit zagen. Ze geloven dat ze dit kunnen oplossen door de detective opnieuw te trainen op langere teksten, maar voor nu werkt het het beste op documenten van standaardlengte.

Kortom: Het artikel bewijst dat je AI-hallucinaties kunt opsporen door een kleine, onafhankelijke AI in te huren om het antwoord en de bron te lezen, op zoek naar specifieke elektrische "verraders" die een leugen aangeven. En verrassend genoeg is een kleine, goed ontworpen detective vaak beter dan een gigantische.

Technische Samenvatting: Hallucinatiedetectie via Activaties van Open-Gewicht Proxy-analysatoren

Probleemstelling
Retrieval-Augmented Generation (RAG)-pijplijnen zijn cruciaal voor enterprise-toepassingen, maar lijden aan hallucinatiepercentages variërend van 5% tot 20% bij domeinspecifieke taken. Bestaande detectiemethoden ondervinden aanzienlijke beperkingen: post-hoc verificatie en onzekerheidsgebaseerde benaderingen zijn rekenkundig duur en vereisen meerdere modelpasses; witte-doos mechanistische methoden bieden hoge nauwkeurigheid maar vereisen directe toegang tot de interne toestanden van de generator. Dit sluit gesloten API-modellen (bijv. GPT-4), multi-backend-systemen of scenario's uit waar het opnieuw draaien van een enorme generator uitsluitend voor detectie kostentechnisch onhaalbaar is. De kernuitdaging bestaat uit het detecteren van hallucinaties zonder toegang tot de gewichten of interne activaties van de generator.

Methodologie
De auteurs stellen een proxy-analytorenkader voor dat de detector ontkoppelt van de generator. Gegeven een brondocument ( $S$ ), een vraag ( $Q$ ) en een kandidaatantwoord ( $A$ ), voert het systeem deze tekst in bij een klein, lokaal gehost, open-gewicht "analyserend" model. De detector is volledig afhankelijk van de interne activaties van de analyser om te bepalen of $A$ een hallucinatie is, ongeacht welk model $A$ heeft gegenereerd.

Het kader extrahert 18 kenmerken die zijn gebaseerd op transformatormechaniek tijdens één enkele voorwaartse pass:

Activatiesignalen (S1–S4):
- S1 (Residunorm): Houdt de groei van residustroomnormen bij; betrouwbare antwoorden tonen een gestage groei, terwijl hallucinaties vroeg plateau's bereiken.
- S2 (Per-head bronattentie): Het meest kritieke kenmerk (~50% van de kenmerkenbelang), dat de attentie naar het brondocument per head en laag meet.
- S3 (Attentie-entropie): Betrouwbaar lezen spreidt de attentie; hallucinaties klappen in op gememoriseerde tokens.
- S4 (MLP-norm): Houdt de vuursterkte van parametrisch geheugen bij, analoog aan een "Parametrische Kennisscore".
Logit- en Interactiesignalen (S5–S7): Omvat logit-lens-trajecten, conditionele perplexiteit en interactietermen die de dominantie van parametrisch geheugen boven bronlezing weerspiegelen.
Externe en Lexicale Signalen (S8–S10): Omvat een Vectara HHEM-score, verhouding antwoord-tot-bronlengte en Jaccard-tokenoverlapping.
Venster- en Hellingignalen (S11–S15): Aggregeert S1 en S2 over een vast venster van lagen en analyseert hellingen van residunormen en grondingsverhoudingen.
Token-niveau Grondingsstatistieken (S16–S18): Nieuwe statistieken die de minimale grondingsscore, variantie en helling van grondingstrajecten per token vastleggen.

Een nieuwe Attention Head Importance (AHI)-score wordt geïntroduceerd om te identificeren welke specifieke attention heads het beste betrouwbare van gehallucineerde antwoorden kunnen scheiden, en presteert beter dan ruwe gemiddelde attentiesignalen onder out-of-distribution (OOD)-omstandigheden.

Het systeem maakt gebruik van een stacking-ensemble (Logistieke Regressie, Random Forest, HistGradientBoosting, XGBoost) getraind op 72.135 steekproeven uit vijf datasets (HaluEval, RAGTruth, MedHallu, MiniCheck-Synthetic, ANLI). Een gespecialiseerde classifier, RagtStacking, is uitsluitend getraind op RAGTruth-gegevens om specifieke foutpatronen in betrouwbaarheid te vangen.

Belangrijkste Bijdragen

Kenmerkenkader: Introductie van 18 mechanistisch onderbouwde kenmerken, waaronder drie nieuwe token-niveau grondingsstatistieken, afgeleid uit één enkele voorwaartse pass van een open-gewicht model.
Attention Head Importance (AHI): Een supervisieve metriek die specifieke attention heads identificeert die cruciaal zijn voor gronding, en superieure stabiliteit onder OOD-verschuivingen aantoont in vergelijking met ruwe attentiegemiddelden.
Schaal versus Architectuurstudie: Een uitgebreide evaluatie over zeven modellen (0,5B tot 9B parameters) uit vier families (Qwen2.5, Gemma-2, Pythia, LLaMA-3), die aantoont dat modelfamilie en architectuurontwerp vaak belangrijker zijn dan het aantal parameters.
Prestatiebenchmarking: Aantonen dat proxy-analysatoren state-of-the-art witte-doos-methoden (ReDeEP) kunnen overtreffen zonder toegang tot de generator.
Taak-Dieptecorrelatie: Ontdekking dat hallucinatiedetectiesignalen pieken op verschillende laagdieptes afhankelijk van het taaftype (bijv. piekt QA dieper dan claimverificatie).

Resultaten

Primaire Benchmark (RAGTruth): Over alle zeven analytorenarchitecturen heen presteerde het systeem consistent beter dan ReDeEP's token-niveau AUC (0,73) met 7,4 tot 10,3 procentpunten.
- Qwen2.5-7B behaalde een F1 van 0,717 en een AUC van 0,834 (met RagtStacking), en overtrof ReDeEP's token-niveau F1 (0,713).
- Gemma-2-9B behaalde de hoogste AUC van 0,836.
- Qwen2.5-0,5B behaalde een F1 van 0,706, wat aantoont dat sub-miljard modellen levensvatbaar zijn.
Convergentie Modelgrootte: Ondanks een 18-voudig verschil in aantal parameters, was de AUC-spreiding over alle zeven modellen slechts 2,3 procentpunten (0,814 tot 0,837).
De "LLaMA-anomalie": In tegenstelling tot schaalwetten presteerde LLaMA-3-3B beter dan LLaMA-3-8B op RAGTruth (AUC 0,822 versus 0,819; F1 0,698 versus 0,687). Het 8B-model herstelde zich alleen op OOD-gegevens, wat suggereert dat binnen dezelfde familie een grotere omvang niet garandeert betere detectie.
OOD-prestaties: Op LLM-AggreFact clusterden alle modellen binnen 2,8 procentpunten van de gebalanceerde nauwkeurigheid. Prestatieverschillen met baselines werden toegeschreven aan mismatches in de lengte van brondocumenten (1.200 tekens in training versus ~3.000 in AggreFact), niet aan fundamenteel signaalfalen. Zes van de 18 signalen bleven stabiel over lengteverschuivingen.
Generator-onafhankelijkheid: Het systeem presteerde consistent over generators (GPT-4, GPT-3.5, Mistral-7B, Llama-2-varianten), wat de detectie van brondocument-hallucinatiemogelijkheden bevestigt in plaats van generator-specifieke artefacten.

Betekenis en Aanspraken
Het artikel beweert dat architectuurontwerp een sterkere drijver is voor detectiekwaliteit dan het ruwe aantal parameters. De resultaten daag de intuïtie uit dat "groter altijd beter is", en tonen aan dat een 0,5B Qwen-model modellen kan evenaren of verslaan die tien keer zo groot zijn, en dat een 3B LLaMA zijn 8B-tegenhanger kan overtreffen.

De auteurs stellen dat hun aanpak een universele bewaker biedt voor RAG-systemen. Door de detector te scheiden van de generator, kan het systeem worden ingezet over diverse backends (inclusief gesloten API's) met één implementatie. De bevindingen suggereren dat hallucinatie een eigenschap is van het mismatch tussen antwoord en bron, detecteerbaar via de interne staat van elke transformer die de tekst leest, waardoor de specifieke generator irrelevant wordt voor het detectieproces. Het artikel concludeert dat hoewel er momenteel OOD-gaten bestaan door beperkingen in trainingsgegevens (bronlengte), de fundamentele signaalstabiliteit aangeeft dat de aanpak in de basis gezond is voor bredere implementatie.