💬 NLP

MultiHaluDet: Multilingual Hallucination Detection via LLM Hidden State Probing

MultiHaluDet is een nieuw, taal-onafhankelijk drie-fasenkader dat meertalige hallucinaties in bevroren Large Language Models detecteert door volledige trajecten van verborgen toestanden te onderzoeken met een hybride aandachtarchitectuur, waarmee het state-of-the-art prestaties en robuuste cross-linguale generalisatie bereikt over talen met hoge, gemiddelde en lage middelen zonder dat taal-specifieke fine-tuning vereist is.

Oorspronkelijke auteurs: Riasad Alvi, Nurul Labib Sayeedi, Md. Faiyaz Abdullah Sayeedi

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Riasad Alvi, Nurul Labib Sayeedi, Md. Faiyaz Abdullah Sayeedi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer slimme, meertalige robot voor (een Large Language Model, of LLM) die ervan houdt om verhalen te vertellen en vragen te beantwoorden. Soms wordt deze robot zelfverzekerd, maar verzon hij dingen volledig. Deze verzonnen feiten worden hallucinaties genoemd.

Het artikel introduceert een nieuw hulpmiddel genaamd MULTIHALUDET (Multilingual Hallucination Detection). Denk hierbij niet aan een feitencheck die het antwoord googlet, maar aan een leugendetector die luistert naar het hartslag van de robot.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: Waarom Oude Methoden Falen

Vorige manieren om leugens op te sporen waren als het vragen aan de robot: "Weet je het zeker?"

De Zekerheidsval: Als de robot zegt: "Ik ben 100% zeker", dachten oude methoden dat hij de waarheid sprak. Maar het artikel toont aan dat de robot zelfverzekerd ongelijk kan hebben. Het is als een gladde leugenaar die zeer overtuigend is.
De Eén-Checkval: Andere methoden keken slechts naar één deel van het brein van de robot (één laag) of slechts naar het laatste woord dat hij sprak. Het artikel betoogt dat leugens zich vaak verstoppen in de reis van het denkproces, niet alleen in de bestemming.

2. De Oplossing: Luisteren naar de "Hersengolven"

MULTIHALUDET vraagt de robot niet wat hij denkt. In plaats daarvan onderzoekt het de interne "verborgen toestanden" van de robot terwijl hij denkt.

De Analogie: Stel je voor dat de robot een verhaal schrijft.
- Oude Methode: Leest de laatste zin om te zien of deze logisch is.
- MULTIHALUDET: Kijkt naar de hand van de robot terwijl hij elke enkele letter schrijft, en voelt de druk, de snelheid en de aarzeling bij elke stap. Het zoekt naar "trillingen" in het schrijfproces die een leugen signaleren, zelfs als de laatste zin perfect lijkt.

3. Hoe Het Werkt (De Vier Fasen)

Het systeem fungeert als een detectivebureau in vier stappen:

De Scan (Feature Extractie): De robot beantwoordt een vraag. Het systeem bevriest de robot (verandert zijn brein niet) en neemt een "video" op van zijn interne gedachten terwijl hij beweegt van de eerste laag van zijn brein naar de laatste.
De Zoomlens (Multi-Scale Attention): Het systeem kijkt niet alleen naar de hele video of slechts één frame. Het gebruikt een "zoomlens" om tegelijkertijd naar het grote plaatje en de kleine details te kijken. Het zoekt naar plotselinge verschuivingen of rare patronen in hoe de gedachten van de robot evolueren.
De Teamhuddle (Ensemble Meta-Learner): In plaats dat één detective de beslissing neemt, gebruikt het systeem een team van verschillende experts (zoals een boom-gebaseerde detective, een wiskunde-gebaseerde detective en een neurale netwerk-detective). Ze stemmen allemaal over of de robot liegt.
Het Veiligheidsnet (Out-of-Fold Stacking): Om ervoor te zorgen dat het team niet bedriegt door de antwoorden uit het hoofd te leren, oefenen ze op een manier waarbij ze de toetsvragen tijdens het trainen nooit zien. Dit zorgt ervoor dat ze echt leren om leugens op te sporen, in plaats van alleen feiten uit het hoofd te leren.

4. De Meertalige Superkracht

De meeste leugendetectors werken alleen goed in het Engels. MULTIHALUDET is speciaal omdat het werkt in Frans, Bengaals en Amhaars (een taal met zeer weinig digitale bronnen) zonder dat het opnieuw getraind hoeft te worden voor elke taal.

Het Resultaat: Het werkt bijna even goed in het Frans als in het Engels. In het Bengaals en Amhaars presteert het nog steeds uitstekend, veel beter dan eender welke vorige methode, zelfs al is de robot niet zo "vloeiend" in die talen. Het bewijst dat de "trillingen" van een leugen er in het brein van de robot op dezelfde manier uitzien, ongeacht welke taal hij spreekt.

5. De Resultaten

Het artikel testte dit op twee grote sets vragen (HaluEval en TriviaQA).

De Score: Terwijl de beste vorige methoden ongeveer 95% correct zaten, haalde MULTIHALUDET 98,5%.
De Robuustheid: Het werkte even goed op twee verschillende soorten robotbreinen (Mistral-7B en LLaMA2-7B), wat bewijst dat het niet alleen geluk heeft met één specifiek model.

6. De Haken (Beperkingen)

Het artikel is eerlijk over wat het niet kan doen:

Alleen White-Box: Je moet in staat zijn om in het brein van de robot te kijken om dit te gebruiken. Je kunt het niet gebruiken op gesloten, geheime robots (zoals GPT-4) waar je de interne "hartslag" niet kunt zien.
Zware Arbeid: Het vereist dat de robot een volledige "forward pass" maakt (het hele antwoord doordacht) en alle gegevens opneemt, wat meer computergeheugen vereist dan alleen vragen "Weet je het zeker?"

Samenvatting

MULTIHALUDET is een high-tech stethoscoop voor AI. In plaats van te vertrouwen op wat de AI zegt, luistert het naar hoe de AI denkt. Door de subtiele, complexe patronen van de interne gedachten van de robot over vele talen heen te analyseren, kan het met ongelooflijke nauwkeurigheid opsporen wanneer de robot dingen verzonnen.

Technische Samenvatting: MULTIHALUDET

Probleemstelling

Hallucinaties in Large Language Models (LLM's) vormen een kritieke barrière voor hun betrouwbare implementatie, met name in niet-Engelse en hulpbronnen-beperkte contexten. Bestaande detectiemethoden ondervinden aanzienlijke beperkingen:

Op bewijs gebaseerde methoden vertrouwen op externe ophaaloperaties, wat computatietijdvertraging introduceert en afhankelijkheid creëert van de kwaliteit van de ophaaloperatie.
Op vertrouwen gebaseerde heuristieken (bijv. logit-kansen, entropie) slagen er vaak niet in om diepgaande feitelijke inconsistenties te vangen, aangezien hallucinaties kunnen manifesteren als semantische niveau-fantasievorming, zelfs wanneer het model een hoge uitvoervertrouwen vertoont.
Methoden voor het onderzoeken van interne toestanden richten zich vaak op enkele tokens of specifieke lagen, wat problemen oplevert wanneer niet-feitelijke tokens over sequenties zijn verdeeld of wanneer modellen variëren in diepte. Bovendien missen deze methoden vaak robuustheid over typologisch diverse talen zonder taal-specifieke fine-tuning.

Methodologie: MULTIHALUDET

De auteurs stellen MULTIHALUDET voor, een viertraps, supervised framework ontworpen om meertalige hallucinaties te detecteren door het volledig verbergen van verborgen toestandstrajecten van bevroren LLM's te onderzoeken. Het framework werkt zonder taal-specifieke fine-tuning te vereisen.

1. LLM-gebaseerde Feature-extractie

Het proces begint met het doorgeven van gestructureerde prompts via een bevroren, gekwantiseerd LLM om verborgen toestandstensors $\{H^{(l)}\}_{l=0}^L$ te extraheren.

Dynamische Laagstalen: Om compatibiliteit te waarborgen over modellen met variërende dieptes ( $L$ ), koppelt een dynamische stalenstrategie lagen aan een vast doelaantal ( $K=32$ ). Dit omvat identiteitsmapping voor ondiepe modellen, herhaling voor opvulling en uniforme interpolatie voor diepe modellen.
Sequentiële Per-laag Features: Voor elke gestaalde laag extrahert het framework compacte beschrijvers uit zowel de laatste-tokenrepresentatie als het sequentiemiddelpunt. Deze beschrijvers omvatten distributiestatistieken (bijv. $\ell_2$ -norm, gemiddelde, standaardafwijking, sparsiteit, kurtosis en Mediaan Absolute Afwijking) om de evolutie van interne dynamiek te vangen.
Anker-gebaseerde Diepte-onderzoek: Om vergelijking tussen architecturen mogelijk te maken, worden features geëxtraheerd uit vier "anker"-lagen die overeenkomen met proportionele dieptefracties (vroege, middelste, late fasen), waardoor consistente semantische representatie wordt gewaarborgd ongeacht de totale modeldiepte.
Globale Feature-vector: Een globale vector aggregeert volgende-tokenkansen, logit-statistieken, trajecten van laagnormen en cross-feature interactietermen tussen uitvoervertrouwen en interne geometrie.

2. MultiHaluDet Architectuur

De geëxtraheerde features worden verwerkt via een deep learning-architectuur:

Multi-Schaal Attention: De sequentiële input wordt geprojecteerd en verwerkt op meerdere temporele resoluties. Een geleerde positie-georiënteerde poort combineert bijdragen van verschillende schalen, waardoor fijnkorrelige laaginformatie wordt verrijkt met multi-schaal context.
Laag-gewogen Transformer Encoder: Een leerbaar importantievector moduleert de gefuseerde sequentie voordat deze wordt gecodeerd door een stapel Pre-LN Transformer-lagen. Dit stelt het model in staat om aandacht te schenken aan specifieke LLM-dieptes en lange-afstand inter-laag afhankelijkheden te vangen.
Self-Attention Pooling: In plaats van gemiddelde pooling, kent een geleerde attention-mechanisme relevantiescores toe aan elke positie, waardoor input-adaptieve diepteselectie mogelijk wordt om zich te richten op de meest informatieve lagen.
Gated Fusion: De sequentiële representatie wordt geconcateneerd met de globale feature-vector. Een sigmoid-poort voert element-voor-element herweging uit om niet-informatieve dimensies te onderdrukken voordat het resultaat naar een classifier wordt doorgegeven.

3. Out-of-Fold (OOF) Stacking

Om datalekken te voorkomen en onbevooroordeelde diepe representaties te verkrijgen, hanteert het framework K-fold OOF stacking. Een nieuwe instantie van het model wordt getraind op $K-1$ folds om gated fusion-representaties te genereren voor de vastgehouden fold. Deze OOF-features vormen een robuuste trainingsmatrix voor de meta-learner.

4. Ensemble Meta-Learner

De OOF-diepe features dienen als input voor een divers ensemble van classifiers (Gradient Boosted Trees, Random Forests, SVM, MLP, Logistische Regressie). Een logistische meta-regressor stapelt de kansschattingen van deze basisleerders, waarbij de ensemble-samenstelling wordt aangepast aan de discriminerende kracht van elke component.

5. Meertalige Adaptatie

Om cross-linguale generalisatie te evalueren, werden Engelse datasets (HaluEval en TriviaQA) vertaald naar Frans (hoge hulpbronnen), Bangla (gemiddelde hulpbronnen) en Amhaars (lage hulpbronnen) met behulp van Gemini 2.5 Flash. Rigoureuze menselijke evaluatie en back-translation waarborgden semantische integriteit. De bevroren LLM verwerkt deze inputs natively in hun respectieve tokenruimtes, waardoor de detector taal-agnostische hallucinatie-signalen kan onderzoeken.

Belangrijkste Bijdragen

Framework Ontwerp: Introductie van MULTIHALUDET, een viertraps framework dat dynamische feature-extractie, multi-schaal attention, OOF diepe feature-generatie en geleerd ensemble meta-learning combineert om zowel fijnkorrelige als grofkorrelige patronen van feitelijke inconsistentie te vangen.
Prestatiewinst: Demonstratie van state-of-the-art detectieprestaties op HaluEval- en TriviaQA-benchmarks met Mistral-7B en LLaMA2-7B, met een bereikte AUROC tot 98,55%.
Cross-linguale Generalisatie: Omvattende evaluatie die aantoont dat het framework sterke detectiesignalen behoudt over typologisch diverse taalniveaus (Frans, Bangla, Amhaars) zonder taal-specifieke fine-tuning.

Resultaten

Benchmark Prestaties: MULTIHALUDET presteert aanzienlijk beter dan 13 baselines, waaronder op vertrouwen gebaseerde methoden (P(True), AvgProb), op consistentie gebaseerde methoden (INSIDE, Unigram) en andere onderzoeksmethoden (SAPLMA, MIND, Neural ODEs/CDEs/SDEs).
- Op HaluEval met LLaMA2-7B bereikte het 98,55% AUROC, vergeleken met de volgende beste baseline (Neural CDEs) op 92,8%.
- Op TriviaQA met LLaMA2-7B bereikte het 98,26% AUROC, vergeleken met 83,7% voor de volgende beste.
Cross-Architectuur Robuustheid: In tegenstelling tot baselines die prestatiedalingen ondervinden bij overschakeling van Mistral-7B naar LLaMA2-7B, behield MULTIHALUDET bijna identieke effectiviteit over architecturen.
Cross-linguale Robuustheid:
- Frans: De prestaties bleven hoog (96,2% op HaluEval), slechts marginaal achterblijvend bij Engelse baselines.
- Bangla: Toonde gecontroleerde degradatie (89,1% op HaluEval) maar presteerde aanzienlijk beter dan baselines (78,4%).
- Amhaars: Ondanks dat het een taal met lage hulpbronnen is waar basismodellen moeite hebben met feitelijke recall, bereikte MULTIHALUDET 78,5% op HaluEval, waarbij het een robuuste voorsprong behield ten opzichte van willekeurige kans en standaard vertrouwen-baselines.
Ablatiestudies: Het verwijderen van het OOF Stacking-mechanisme veroorzaakte de ernstigste prestatiedaling (~~10%), gevolgd door het verwijderen van Multi-Schaal Attention (~~7%). Het vervangen van trajectonderzoek door statische final-laag representatie resulteerde in een ~5% daling, wat de noodzaak bevestigt van het analyseren van de volledige evolutie van de verborgen toestand.

Betekenis en Beperkingen

Het artikel beweert dat MULTIHALUDET aantoont dat het onderzoeken van interne toestanden hallucinaties effectief kan detecteren over diverse talen en modelarchitecturen zonder fine-tuning. Het adresseert de beperking van huidige methoden die falen in het vangen van semantische niveau-fantasievorming in niet-Engelse contexten.

Echter, de auteurs erkennen specifieke beperkingen:

Wit-Box Vereiste: Het framework vereist toegang tot interne verborgen toestanden en logit-waarden, waardoor het niet toepasbaar is op propriëtaire black-box modellen (bijv. GPT-4, Claude).
Computatie Overhead: Hoewel het fine-tuning vermijdt, brengt het extraheren en verwerken van volledige diepte verborgen toestanden niet-triviale geheugenoverhead met zich mee en vereist het volledige forward passes.
Vertaalartefacten: De meertalige evaluatie vertrouwt op vertaalde datasets. Hoewel kwaliteitsborging rigoureus was, zouden native, natuurlijk voorkomende prompts in talen met lage hulpbronnen nuances kunnen onthullen die niet volledig worden vastgelegd door vertaalde benchmarks.