📊 statistics

MMD-Flagger: Leveraging Maximum Mean Discrepancy to Detect Hallucinations

Het artikel introduceert MMD-Flagger, een methode voor hallucinatiedetectie tijdens de testtijd voor Large Language Models die Maximum Mean Discrepancy gebruikt om de stabiliteit van outputs over variërende decodetemperaturen te analyseren, wat een betrouwbare identificatie van feitelijke fouten mogelijk maakt zonder grondwaarheid-labels.

Oorspronkelijke auteurs: Kensuke Mitsuzawa, Damien Garreau

Gepubliceerd 2026-08-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kensuke Mitsuzawa, Damien Garreau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie zijn grote taalmodellen krachtige hulpmiddelen geworden die in staat zijn om mensachtige tekst te genereren, complexe vragen te beantwoorden en zelfs te assisteren bij autonome besluitvorming. Deze systemen bezitten echter een hardnekkig gebrek: ze produceren soms beweringen die vloeiend en zelfverzekerd klinken, maar die volkomen feitelijk onjuist zijn. Dit fenomeen, bekend als hallucinatie, vormt een aanzienlijk veiligheidsrisico, vooral wanneer deze modellen worden ingezet in kritieke gebieden zoals het recht, de geneeskunde of autonoom rijden, waar één enkele foutieve stap tot rampzalige gevolgen kan leiden. De kernuitdaging voor onderzoekers is hoe zij deze fouten in realtime kunnen detecteren zonder toegang te hebben tot een "gouden standaard" antwoordformulier. Omdat deze modellen tijdens live gebruik zonder externe verificatie opereren, moeten wetenschappers een manier vinden om de betrouwbaarheid van een antwoord te beoordelen op basis van enkel het eigen gedrag van het model. De sleutel tot dit ligt in het begrijpen van hoe het model reageert op kleine veranderingen in zijn interne instellingen; als een model werkelijk zelfverzekerd en geworteld is in de feiten, zouden de antwoorden consistent moeten blijven, zelfs wanneer de omstandigheden van de generatie licht verschuiven. Als het antwoord echter een fabricage is, heeft de output van het model de neiging om instabiel en grillig te worden onder diezelfde verschuivingen.

Voortbouwend op dit principe heeft een team onderzoekers uit Frankrijk en Duitsland een nieuwe methode ontwikkeld genaamd MMD-Flagger om deze hallucinaties te vangen. Hun aanpak vertrouwt niet op het controleren van feiten tegen een database of het trainen van een nieuw model om fouten op te sporen. In plaats daarvan fungeert het als een stabiliteitsmonitor die observeert hoe de output van een taalmodel verandert wanneer de temperatuur van het generatieproces wordt aangepast. In de context van deze modellen is "temperatuur" een instelling die bepaalt hoeveel willekeur er wordt geïntroduceerd wanneer het model het volgende woord kiest. Een lage temperatuur maakt het model zeer voorspelbaar en repetitief, terwijl een hoge temperatuur ruimte biedt voor meer creatieve en gevarieerde reacties. De onderzoekers hypotheseerden dat een waarheidsgetrouw antwoord relatief stabiel zou blijven over deze verschillende instellingen, terwijl een gehallucineerd antwoord zou wankelen en van vorm zou veranderen naarmate de temperatuur verschuift.

Om dit idee te testen, creëerden de onderzoekers een systeem dat meerdere versies van een antwoord genereert voor dezelfde vraag, telkens met een andere temperatuurinstelling. Vervolgens vergeleken ze het oorspronkelijke antwoord met deze variaties met behulp van een statistisch instrument genaamd Maximum Mean Discrepancy. Dit instrument meet hoe verschillend twee groepen gegevens van elkaar zijn. Door deze verschillen over een reeks temperaturen uit te zetten, creëert het systeem een visueel pad, of traject. De onderzoekers ontdekten dat wanneer het model de waarheid spreekt, dit pad vloeiend en voorspelbaar is, en vaak gestaag stijgt naarmate de willekeur toeneemt. Echter, wanneer het model hallucineert, krijgt het pad een duidelijke, scherpe U-vorm. Deze dip in het midden van de curve dient als een duidelijk signaal dat het model moeite heeft om een consistente betekenis te behouden, wat de respons effectief markeert als onbetrouwbaar.

Het team evalueerde deze methode met behulp van moderne taalmodellen, waaronder de Llama-3 en Gemma-3 families, op een benchmark-dataset die is ontworpen om de feitelijke nauwkeurigheid over meerdere talen te testen. Ze vergeleken hun nieuwe methode met verschillende bestaande technieken die vertrouwen op tekstgelijkenis of interne modeltoestanden. De resultaten lieten zien dat de effectiviteit van hallucinatiedetectie sterk afhankelijk is van de specifieke modelarchitectuur; terwijl MMD-Flagger (Ensemble) de beste prestaties leverde op Llama-3.1-8B en Gemma-3-4B, presteerden andere estimators beter op Llama-3.2-3B. Het systeem bleek flexibel genoeg om te werken met verschillende soorten gegevens die uit het model worden geëxtraheerd, zoals de ruwe betekenis van woorden of de verborgen lagen van het neurale netwerk. In één specifieke testcasus betreffende een vraag over een kat in een tv-programma, identificeerde het systeem succesvol een gehallucineerd antwoord dat andere methoden misten, waarbij het het moment ving waarop de output van het model begon af te drijven naar onzin naarmate de temperatuur veranderde. Daarentegen onthulde een andere casestudy over een muziekgroep uit Glasgow een scenario waarin MMD-Flagger er niet in slaagde een hallucinatie te detecteren die een andere methode (KLE) wel correct identificeerde, wat benadrukt dat het traject van de output van het model soms bedrieglijk vloeiend kan blijven, zelfs wanneer de inhoud onjuist is.

Ondanks deze veelbelovende resultaten erkennen de onderzoekers dat de methode beperkingen heeft. Omdat het vereist om veel variaties van een antwoord te genereren om een betrouwbaar stabiliteitsprofiel op te bouwen, kan het computationeel duur en langzamer zijn dan simpelweg het model één keer om een antwoord vragen. Dit maakt het minder ideaal voor toepassingen die directe reacties vereisen, hoewel het een krachtig hulpmiddel blijft voor veiligheidskritische systemen waar nauwkeurigheid essentieel is. De studie suggereert dat door de stabiliteit van de output van een model te monitoren onder verschillende omstandigheden, we een betrouwbaardere laag van toezicht op kunstmatige intelligentie kunnen bouen. Deze aanpak biedt een manier om de betrouwbaarheid van autonome agenten te auditeren zonder vooraf het juiste antwoord te hoeven weten, wat een cruciale stap is naar veiligere en meer betrouwbare AI-systemen.

Technische Samenvatting: MMD-Flagger

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in veiligheidskritische agentische systemen, maar hun neiging tot het genereren van hallucinaties—vloeiende maar feitelijk onjuiste inhoud—blijft een aanzienlijke barrière voor vertrouwen. In autonome agenten kan een enkele gehallucineerde stap in een sequentieel besluitvormingsproces leiden tot catastrofale fouten. Een cruciale uitdaging bij het beperken van dit risico is het detecteren van deze feitelijke fouten tijdens de testtijd zonder toegang tot grondwaarheid-labels of externe kennisbronnen. Bestaande consistentie-gebaseerde onzekerheidskwantificeringsmethoden (UQ) vergelijken meerdere outputsequenties, maar zijn vaak beperkt tot semantische gelijkenissen op token-niveau en negeren interne modelrepresentaties. Daarentegen vereisen methoden die gebruikmaken van interne staten vaak gesuperviseerde training of zijn zij afhankelijk van specifieke modelarchitecturen, wat de generaliseerbaarheid en de flexibiliteit van de inzet beperkt.

Methodologie

De auteurs stellen MMD-Flagger voor, een ongesuperviseerd, training-vrij framework voor hallucinatiedetectie dat Maximum Mean Discrepancy (MMD) gebruikt om de stabiliteit van LLM-outputs te monitoren over variërende decoding-temperaturen.

Kernhypothese

De methode werkt op de premisse dat getrouwe LLM-generaties semantische consistentie vertonen over verschillende decoding-paden, terwijl gehallucineerde generaties zeer gevoelig zijn voor decoding-configuraties, wat resulteert in instabiele en inconsistente semantische betekenissen. Specifiek hypothetiseren de auteurs dat hoge onzekerheid (hallucinatie) zich manifesteert als een U-vormige MMD-traject, gekenmerkt door een scherpe, niet-monotone dip, terwijl getrouwe outputs een stabiele, monotone groei in MMD-waarden vertonen.

Algoritmisch Framework

Stochastische Sampling: Voor een gegeven prompt $x$ en een doelhypothese-generatie $h_{hyp}$ (geproduceerd onder een specifieke decoding-strategie $\theta_{hyp}$ ), genereert de methode een set stochastische samples $S_{sto}^{\tau}$ over een bereik van decoding-temperaturen $\tau \in \mathcal{T}$ .
Feature Representatie: De methode is agnostisch ten opzichte van de feature-ruimte en is in staat om diverse representaties te benutten zoals word embeddings, hidden states (laatste token of gemiddelde), attention maps, of spectrale features (eigenwaarden van Laplacians).
Constructie van de MMD-traject: De gekwadrateerde MMD-afstand wordt berekend tussen de hypothese-set $S_{hyp}$ en de stochastische sample-sets $S_{sto}^{\tau}$ voor elke temperatuur. Dit creëert een traject $D(\theta_{hyp})$ dat de distributionele afstand weergeeft als een functie van de temperatuur.
Onzekerheidsscore: De onzekerheidsscore $\delta$ wordt afgeleid van de niet-monotoniciteit van dit traject. Het algoritme identificeert de minimale MMD-waarde en berekent het absolute verschil tussen deze minimum en de lokale maxima bij de dichtstbijzijnde voorafgaande en volgende temperaturen ( $\delta_{prev}$ en $\delta_{post}$ ). De uiteindelijke score is de som: $\delta = \delta_{prev} + \delta_{post}$ . Een diepere, meer acute U-vorm levert een hogere onzekerheidsscore op.
Ensemble-strategie: Om complementaire informatie over meerdere feature-domeinen te exploiteren, aggregeert een ensemble-versie de scores van actieve domeinen (gefilterd door traject-variantie) met behulp van een gewogen combinatie van de Coëfficiënt van Variatie (CV) en entropie-gebaseerde heuristieken.

Belangrijkste Bijdragen

Ongesuperviseerde, Training-Vrije Detectie: MMD-Flagger introduceert een framework dat geen gesuperviseerde training of grondwaarheid-labels vereist, wat het geschikt maakt voor live inzet-scenario's.
Flexibele Feature Agnosticiteit: In tegen tegenstelling tot methoden die beperkt zijn tot tekst-embeddings of specifieke interne lagen, kan MMD-Flagger de stabiliteit monitoren over diverse feature-ruimtes, inclus\u00adclus interne hidden states en attention-mechanismen.
Traject-gebaseerde Indicator: Het paper identificeert het karakteristieke "U-vormige" traject in MMD-trajecten als een specifieke signatuur van hallucinatie, wat het onderscheidt van het monotone gedrag van getrouwe generaties.
Uitgebreide Benchmarking: De methode wordt geëvalueerd op de meertalige MUCH (Multilingual Claim Hallucination) benchmark met behulp van moderne modelfamilies (Llama-3.1, Llama-3.2, en Gemma-3).

Empirische Resultaten

De evaluatie op de MUCH-dataset laat het volgende zien:

Modelafhankelijkheid: De optimale hallucinatie-detectie estimator is sterk afhankelijk van de specifieke LLM-architectuur.
Prestaties: MMD-Flagger (Ensemble) behaalde de beste ROC-AUC scores op Llama-3.1-8B en Gemma-3-4B. Op Llama-3.2-3B presteerde een enkele feature-configuratie beter dan de ensemble, wat suggereert dat verschillende architecturen mogelijk baat hebben bij specifieke feature-selectie of ensemble-strategieën.
Vergelijking: De methode presteerde over het algemeen beter dan of bleef competitief met black-box baselines (KLE, LexSim, Ecc) en white-box baselines (EigenScore, LapEigvals) over diverse feature-typen.
Beperkingen: In een secundaire evaluatie op de TriviaQA-dataset presteerde MMD-Flagger minder goed dan Kernel Language Entropy (KLE), wat aangeeft dat de effectiviteit van de methode kan variëren op basis van de dataset-kenmerken en de aard van de hallucinaties (bijv. monotone divergentie versus saddle-point dynamiek).

Betekenis en Claims

De auteurs claimen dat MMD-Flagger een robuust en flexibel mechanisme biedt voor het auditen van agent-outputs tijdens de testtijd zonder te vertrouwen op externe referenties. Door Maximum Mean Discrepancy te gebruiken om de stabiliteit van interne en externe representaties over decoding-temperaturen te volgen, biedt de methode een niet-parametrische aanpak voor onzekerheidskwantificering. Het paper positioneert dit werk als een stap naar het bouwen van betrouwbare autonome agenten door de detectie van hallucinaties mogelijk te maken via de intrinsieke instabiliteit van het generatieproces zelf. De auteurs erkennen dat, hoewel veelbelovend, de methode meerdere stochastische generaties per prompt vereist, wat een computationele overhead vormt voor real-time toepassingen, en toekomstig werk zal zich richten op het verminderen van deze sampling-kosten.