🤖 AI

Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals

Dit artikel introduceert InnerExpert, een nieuwe methode voor hallucinatiedetectie op tokenniveau die gebruikmaakt van unieke interne signalen van Mixture-of-Experts (MoE)-architecturen — zoals router-entropie en expert-discrepantie — om superieure prestaties te behalen over meerdere datasets terwijl er slechts één forward pass vereist is.

Oorspronkelijke auteurs: Joao Fonseca, Rodrigo Rodrigues, Paolo Romano

Gepubliceerd 2026-08-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joao Fonseca, Rodrigo Rodrigues, Paolo Romano

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn de motoren achter een nieuwe generatie kunstmatige intelligentie, in staat om essays te schrijven, problemen op te lossen en gesprekken te voeren die opmerkelijk menselijk aanvoelen. Toch schuilt er onder deze vloeiendheid een hardnekkig gebrek: deze machines verzinnen soms feiten met volkomen zelfvertrouwen. Dit fenomeen, bekend als hallucinatie, treedt op wanneer een model inhoud genereert die plausibel klinkt maar volledig onjuist is. Hoewel deze fouten vaak onschadelijk zijn in informele chats, worden ze gevaarlijk wanneer het model wordt gebruikt voor medisch advies, juridisch onderzoek of nieuwsverslaggeving. De kernuitdaging voor wetenschappers is niet alleen om deze leugens achteraf te ontdekken, maar om ze te vangen op het moment dat ze gebeuren, bij voorkeur door het exacte woord te identificeren waar de waarheid begint te ontrafelen.

Jarenlang hebben onderzoekers geprobeerd dit op te lossen door het model te vragen zijn antwoord meerdere keren te herhalen of door te controleren of verschillende versies van het verhaal met elkaar overeenstemmen. Deze methoden werken, maar ze zijn traag en duur, omdat de computer hetzelfde werk meerdere keren moet uitvoeren om slechts één enkele fout te vinden. Een nieuwere benadering kijkt in het eigen brein van het model terwijl het denkt, op zoek naar subtiele tekenen van onzekerheid in de interne berekeningen. Echter, de meeste van deze interne controles zijn beperkt tot standaardmodellen. Een ander, krachtiger type architectuur, genaamd Mixture-of-Experts, is recent populair geworden omdat het sneller en efficiënter is. Dit ontwerp werkt als een team van specialisten, waarbij een centrale manager beslist welke specifieke expert wordt opgeroepen voor elk gegenereerd woord. Tot nu toe werden de signalen van deze teamdynamiek grotendeels genegeerd voor het doel van het betrappen op leugens.

In een nieuwe studie hebben onderzoekers uit Portugal een methode ontwikkend genaamd InnerExpert die deze interne teamsignalen eindelijk in werking zet. In plaats van het model om zichzelf te laten herhalen of te wachten tot het einde van een zin om fouten te controleren, observeert InnerExpert het interne routeringsproces van het model in realtime. Terwijl het model een reactie genereert, beslist een kleine router welke "expert"-netwerk de huidige woorden moet afhandelen. De onderzoekers ontdekten dat wanneer het model op het punt staat te hallucineren, deze router tekenen van verwarring vertoont. De experts kunnen het oneens zijn met elkaar, of de router kan moeite hebben met het beslissen welke specialist het meest geschikt is voor de taak. Door deze momenten van aarzeling en onenigheid te volgen, samen met standaardsignalen over hoe het model zijn aandacht richt, kan InnerExpert een betrouwbaarheidsscore toekennen aan elk afzonderlijk woord terwijl het wordt gecreëerd.

Het team trainde hun systeem met een slimme, geautomatiseerde aanpak. Ze voerden het model duizenden vragen en lieten een aparte, zeer capabele kunstmatige intelligentie optreden als rechter om te labelen welke antwoorden waar waren en welke verzonnen waren. Dit stelde hen in staat om InnerExpert te leren de specifieke patronen van interne signalen te herkennen die een hallucinatie voorafgaan, zonder dat er een mens nodig was om de gegevens handmatig te lezen en te corrigeren. Eenmaal getraind, fungeert het systeem als een lichtgewicht detector die naast het hoofdmodel draait, waarbij slechts een enkele passage van data nodig is om een resultaat te produceren. Het heeft geen extra tekst nodig om te genereren of het model te vertragen.

Bij tests op vijf verschillende datasets en twee verschillende typen grote modellen bleek InnerExpert opmerkelijk effectief. Het identificeerde gehallucineerde antwoorden succesvol met een nauwkeurigheidsscore van tot 0,91 op zinsniveau en 0,76 op individueel woordniveau. Deze cijfers vertegenwoordigen een significante verbetering ten opzichte van bestaande methoden, die vaak moeite hebben om precies aan te wijzen waar een leugen begint. Het systeem was in staat om goed te generaliseren en presteerde sterk, zelfs op vragen over gebeurtenissen die plaatsvonden na de oorspronkelijke training van het model, een scenario waarin hallucinaties het meest frequent voorkomen. Cruciaal is dat het dit hoge detectieniveau bereikte met slechts een minimale toevoeging van computationele kosten, wat het praktisch maakt voor echt gebruik.

De studie onthulde ook dat geen enkel signaal uit de interne team van het model alleen voldoende was om alle leugens te vangen. Sommige signalen waren beter in het detecteren van fouten op het ene type model, terwijl andere beter werkten op een ander type. De ware kracht van InnerExpert kwam voort uit het combineren van al deze verschillende signalen — routerverwarring, onenigheid tussen experts en gebruikspatronen — in een enkele, verenigde score. Deze combinatie stelde het systeem in staat om een duidelijker beeld van het vertrouwen van het model te zien dan welke enkele metriek dat ook kon bieden. De onderzoekers toonden aan dat door te luisteren naar het interne gefluister van de experts van het model, zij onzekerheid konden detecteren met een precisie die voorheen onmogelijk was zonder het systeem te vertragen.

Dit werk suggereert dat de weg naar meer betrouwbare kunstmatige intelligentie mogelijk niet ligt in het bouwen van grotere modellen of complexere verificatiesystemen. In plaats daarvan kan het liggen in het nauwer kijken naar de signalen die de modellen al produceren maar negeren. Door te leren de subtiele tekenen van aarzeling in de interne besluitvorming van een model te lezen, kunnen we systemen bouwen die weten wanneer ze gokken en wanneer ze zeker zijn. De onderzoekers merken op dat hoewel hun methode zeer effectief is, het geen perfecte oplossing is, en toekomstig werk zal moeten onderzoeken hoe goed deze technieken vertaalbaar zijn naar verschillende talen en meer diverse taken. Voor nu biedt de studie echter een duidelijke en efficiënte manier om hallucinaties op het moment dat ze zich voordoen te vangen, wat een praktische tool biedt om de outputs van kunstmatige intelligentie betrouwbaarder te maken.

Technische Samenvatting: InnerExpert – Mixture-of-Expert Blocks Bevat Sterke Signalen voor Hallucinatie-detectie

Probleemstelling

Large Language Models (LLM's) genereren vaak plausibele maar feitelijk onjuiste inhoud, een fenomeen dat bekend staat als hallucinatie. Hoewel dit cruciaal is voor de betrouwbaarheid, blijft het detecteren van deze hallucinaties een uitdaging. Bestaande detectiemethoden vallen over het algemeen uiteen in drie categorieën:

Sampling-gebaseerd: Methoden zoals SelfCheckGPT en Semantic Uncertainty onderzoeken de consistentie over meerdere stochastische generaties. Hoewel effectief, zijn ze computationeel duur tijdens de inferentie vanwege de vereiste van meerdere forward passes.
Interne-signalen: Methoden zoals LLM-Check en MIND werken op verborgen toestanden (hidden states) en aandachtspatronen binnen een enkele forward pass. Ze maken echter doorgaans gebruik van een beperkte subset van de beschikbare signalen in dense architecturen en negeren de unieke routing-structuren van Mixture-of-Experts (MoE) modellen.
Trainbare detectoren: Benaderingen zoals HaluNet en FacLens leren classificators over dense transformer-signalen, maar opereren vaak op antwoord- of zinsniveau in plaats van op token-niveau, wat de mogelijkheid tot fijne lokalisatie van specifieke gehallucineerde segmenten beperkt.

Bovendien missen de meeste huidige methoden de per-token granulariteit, die essentieel is voor de fijnmazige lokalisatie van gehallucineerde segmenten en het mogelijk maken van gerichte interventies. Er is een specifiek gat in het benutten van de interne signalen die uniek zijn voor MoE-architecturen voor dit doel.

Methodologie: InnerExpert

Het artikel introduceert InnerExpert, een single-pass, per-token hallucinatie-detector die specifiek is ontworpen voor MoE-architecturen. Het werkt door de forward pass van het model te onderscheppen om interne signalen te extraheren en te combineren in een compacte feature-vector, die vervolgens wordt geclassificeerd door een lichtgewicht detector.

1. Signaal-extractie

InnerExpert maakt onderscheid tussen standaard signalen (beschikbaar in elke transformer) en MoE-specifieke signalen (voortkomend uit het routing-mechanisme).

Standaard Signalen:
- Hidden State Score: Legt representatieve redundantie vast door de gemiddelde log-singuliere waarde van de gecentreerde covariantie-matrix van de hidden states tot aan de huidige token te berekenen.
- Attention Score: Legt focuspatronen vast via de log-cumulatieve som van de diagonale elementen van de attention kernel.
MoE-specifieke Signalen: Deze signalen zijn niet beschikbaar in dense architecturen en vormen centraal de bijdrage van dit artikel. Deze omvatten:
- Router Entropy: De entropie van de gating-distributie, wat duidt op onzekerheid in de expert-selectie.
- Expert Hidden Score: Een routing-gewogen aggregatie van hidden state scores, onafhankelijk berekend voor elke geactiveerde expert.
- Expert Similarity: Een routing-gewogen gemiddelde van de pairwise cosine similarities tussen de outputs van geactiveerde experts; een lage gelijkenis duidt op onenigheid (analoog aan ensemble-onenigheid).
- Expert Usage Distribution: Een cumulatieve distributie van expert-selecties, gewogen door routing-waarschijnlijkheden.
- Gini Impurity & Inverse Herfindahl Index: Metrieken afgeleid van de usage-distributie om de spreiding en het effectieve aantal bijdragende experts te meten.

2. Feature Assemblage en Classificatie

Voor elke gegenereerde token worden de per-layer signalen platgeslagen tot een enkele feature-vector $\Phi_t$ . Deze vector wordt ingevoerd in een lichtgewicht classifier (bijv. Logistische Regressie, XGBoost, MLP) die getraind is om een hallucinatie-score $s(y_t) \in [0, 1]$ te produceren. De score op antwoordniveau wordt verkregen door de token-scores te aggregeren (met de max-operator).

3. Training Supervisie

Om handmatige annotatie te vermijden, gebruiken de auteurs een ongesuperviseerde trainingsaanpak met behulp van een "LLM-as-a-judge" pipeline:

Data Bron: Vragen van het RealtimeQA-platform (januari 2024–december 2025).
Generatie: Het host-model genereert antwoorden zowel met als zonder referentiewijs (om RAG te simuleren).
Labeling: Een judge LLM (GLM-5.1) vergelijkt het gegenereerde antwoord met de referentiewijs om binaire hallucinatie-labels te produceren en gehallucineerde segmenten te identificeren. Deze segmenten worden in kaart gebracht naar per-token binaire labels.
Validatie: De kwaliteit van deze labels wordt gevalideerd tegen menselijke annotaties, waarbij een significant hogere overeenstemming wordt getoond dan zwakke lexicale/semantische heuristieken.

Belangrijkste Bijdragen

InnerExpert Framework: De eerste methode die gebruikmaakt van MoE-specifieke interne signalen (router entropy, expert disagreement, usage patterns) voor per-token hallucinatie-detectie zonder het host-LLM te wijzigen of extra sampling te vereisen.
Ongesuperviseerde Trainingspipeline: Een geformaliseerde aanpak voor het trainen van per-token detectoren met behulp van LLM-as-a-judge labeling tegen referentiewijs, waardoor handmatige annotatie wordt geëlimineerd.
Signal Inventory en Analyse: De formalisering van zes MoE-specifieke signalen naast standaard transformer-signalen, wat een systematische studie mogelijk maakt van welke routing-signalen onderscheidende informatie dragen voor hallucinaties.
State-of-the-Art Prestaties: Demonstratie dat het combineren van deze signalen superieure prestaties oplevert vergeleken met baselines over meerdere datasets en architecturen.

Experimentele Resultaten

De auteurs evalueerden InnerExpert op twee open-weight MoE-modellen (OLMoE-1B-7B en Gemma-4-26B) over vijf datasets (RealtimeQA, SQuAD, TruthfulQA, NQ-Open, FreshQA).

Prestaties: InnerExpert behaalde gemiddeld tot wel 0.91 antwoord-niveau en 0.76 token-niveau AUROC over vijf datasets. Specifiek behaalde de best presterende variant (IE XGB) een gemiddelde antwoord-niveau AUROC van 0.912 op Gemma-4-26B, terwijl de beste variant voor OLMoE-1B-7B (IE LR) een gemiddelde token-niveau AUROC van 0.762 behaalde. Het presteerde consequent beter dan baselines variërend van sampling-gebaseerde, interne-signaal, en trainbare paradigma's.
Signaal Bijdrage: Geen enkel MoE-signaal was uniform sterk over beide architecturen. Echter, het combineren ervan via de classifier leverde consistente winst op, wat aangeeft dat de signalen complementaire informatie bieden. Bijvoorbeeld, op OLMoE verbeterde de combinatie de AUROC met 0.197 ten opzien van het beste individuele MoE-signaal.
Efficiëntie: InnerExpert vereist slechts een enkele forward pass. Hoewel het extraheren van volledige MoE-signalen de inferentiekosten verhoogt naar ongeveer $2.5\times$ de vanilla generatie, blijft de totale overhead (inclusief classifier-inferentie) rond de $3\times$ van de vanilla. Dit is aanzienlijk efficiënter dan sampling-gebaseerde methoden, die meerdere forward passes vereisen (bijv. $K=5$ ) en vaak het GPU-geheugengebruik verdubbelen.
Generalisatie: De methode behield consistente voordelen ten opzien van baselines op tijdelijk out-of-distribution data (post-training events) en cross-dataset generalisatietaken.

Betekenis en Claims

Het artikel claimt dat InnerExpert de kritieke kloof in hallucinatie-detectie aanpakt door gebruik te maken van de unieke interne structuur van MoE-modellen. Door gebruik te maken van signalen gerelateerd aan epistemische onzekerheid (specifiek expert-onenigheid en routing-onzekerheid), bereikt de methode fijnmazige, per-token detectie met hoge efficiëntie.

De auteurs benadrukken dat:

MoE-specifieke signalen een rijke, voorheen onverkende bron zijn voor het detecteren van hallucinaties in tekstgeneratie.
Een eenvoudige combinatie van deze signalen met standaard transformer-signalen via een lichtgewicht classifier voldoende is om state-of-the-art resultaten te behalen, zonder complexe architecturen zoals HaluNet nodig te hebben.
De ongesuperviseerde labeling-pipeline continue model-updates mogelijk maakt zonder handmatige inspanning, wat de aanpak schaalbaar maakt.

Het werk is bescheiden in zijn omvang, waarbij beperkingen worden opgemerkt zoals de kleine schaal van menselijke validatie, de beperking tot het Engels, en de afhankelijkheid van lichtgewicht classifiers. De auteurs wijzen specifelijk op het feit dat MLP en Logistische Regressie (LR) de meest consistente presteerders zijn over verschillende modellen, terwijl XGBoost lijdt onder een scherpe F1-degradatie op bepaalde modellen (bijv. Gemma), wat duidt op drempelgevoeligheid in plaats van een gebrek aan onderscheidend vermogen. De auteurs suggereren dat toekomstig werk zich kan richten op domeincertificering, gecontroleerde tekstgeneratie en het uitbreiden naar meertalige instellingen.