💻 computer science

Temporal Multi-Signal Fusion for Token-Level Hallucination Detection

Dit artikel stelt een temporele multi-signaal fusie-aanpak voor die hallucinatie behandelt als een sequentie-labeleringsprobleem met behulp van een BiGRU om tekststatistieken, NLI-implicatie en taalmodel-surprisal te combineren, waarbij een significante AUC-verbetering van 0,840 op RAGTruth wordt bereikt door gebruik te maken van temporele context in plaats van modelcapaciteit, terwijl de effectiviteit op closed-source en ongeziene modellen behouden blijft.

Oorspronkelijke auteurs: Igor Itkin

Gepubliceerd 2026-07-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Igor Itkin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een verhaal leest dat geschreven is door een superintelligente robot. Soms vertelt de robot de waarheid. Andere keren verzint hij vol vertrouwen wilde leugens. Het lastige is: de robot weet niet dat hij liegt. Hij blijft gewoon typen en klinkt daarbij steeds zelfverzekerder naarmate hij verder gaat.

Lange tijd probeerden wetenschappers deze leugens te betrappen door elk woord dat de robot typte, één voor één te controleren, zoals een leraar die een toets nakijkt. Ze vroegen zich af: "Is dit specifieke woord waar?" Maar het paper van Igor Itkin stelt dat deze aanpak een fatale fout heeft: het behandelt elk woord als een eiland.

Het "Eiland"-probleem versus de "Rivier"-realiteit

Het paper betoogt dat hallucinaties (leugens) geen willekeurige, geïsoleerde fouten zijn. Ze zijn eerder als een rivier. Zodra de robot begint te liegen, maakt hij niet slechts één fout en stopt hij dan; hij wordt meegesleurd door de stroom van fictie. Eén verzonnen woord leidt tot het volgende, wat weer leidt tot nog een ander, waardoor er een lange, vloeiende reeks onzin ontstaat.

De auteurs ontdekten dat als een robot op één moment liegt, er een kans van 90,2% is dat hij in het eerstvolgende moment ook zal blijven liegen. Dat is een enorme verhouding van 150-te-1 vergeleken met de piepkleine kans dat hij plotseling weer terugvalt op de waarheid.

Vanwege deze reden faalt de oude methode om woorden één voor één te controleren. Het is alsof je een storm probeert te voorspellen door naar een enkele regendruppel in isolatie te kijken. Je mist het hele weersysteem.

De Nieuwe Detective: Een Tijdreizende Detective

In plaats van woorden één voor één te controleren, bouwden de onderzoekers een nieuw soort detective: een BiGRU (een type neuraal netwerk dat tekst leest als een verhaal, van begin tot eind en weer terug).

Zo werkt het:

Het kijkt niet in de hersenen van de robot. De detective kijkt alleen naar de tekst die de robot schreef en naar enkele externe aanwijzingen. Dit is cruciaal, omdat het betekent dat de detective leugens van elke robot kan betrappen, zelfs van de geheime, gesloten bronmodellen die bedrijven niet willen delen.
Het gebruikt een "superzintuig" van 33 dimensies. Voor elk woord verzamelt de detective 33 verschillende aanwijzingen:
- Tekststatistieken: Hoort dit woord bij het bronverhaal? Is het nieuw?
- NLI (Logische controle): Spreekt deze zin de brontekst tegen?
- Surprisal (Verrassing): Voelt dit woord onverwacht aan voor een kleinere, simpelere robot?
Het legt de verbanden over de tijd. De detective kijkt niet alleen naar de aanwijzing voor dit woord. Hij kijkt naar de aanwijzingen voor de woorden ervoor en erna. Hij ziet de "rivier" van het verhaal. Als de aanwijzingen vreemd beginnen te worden, weet de detective dat het hele tekstfragment waarschijnlijk een leugen is, en niet slechts één woord.

De Resultaten: De Rivier Vangen

Toen de onderzoekers deze nieuwe detective testten op een dataset genaamd RAGTruth, waren de resultaten duidelijk:

De oude "eiland"-methode (een eenvoudige logistische regressie) scoorde een AUC van 0,730.
De nieuwe "rivier"-detective (BiGRU) scoorde een AUC van 0,840.

Dat is een sprong van 11 punten, wat een enorme verbetering is in dit vakgebied. Het paper bewijst dat dit niet alleen komt omdat de nieuwe detective "slimmer" is of meer hersenkracht heeft. Ze voerden een gecontroleerd experiment uit waarbij ze de volgorde van de woorden door elkaar haalden. Wanneer de tijdsvolgorde werd gehusseld, daalde de score van de detective weer naar ben omlaag. Dit toont aan dat de "geheime saus" de timing is — het begrijpen van hoe het verhaal van het ene woord naar het volgende stroomt.

Waar het Paper "Nee" tegen zegt

Het paper is zeer specifiek over wat niet werkt:

Geen "magische" interne sondes: Veel andere onderzoekers proberen in de verborgen lagen van de robothersenen te kijken om leugens te vinden. De auteurs testten dit en vonden dat deze interne sondes voor detectie op token-niveau zwak zijn (ze scoren rond de 0,54–0,57). De hersenen van de robot lijken de leugen niet op een manier te "weten" die gemakkelijk af te lezen is.
Geen enkel signaal: Je kunt niet naar slechts één ding kijken, zoals hoe "verrast" de robot is. De beste enkele aanwijzing (NLI-entailment) scoorde slechts 0,641. Je moet tekststatistieken, logische controles en verrassingsniveaus bij elkaar voegen om de hoge score te halen.
Geen "Black Box"-magie: Het paper stelt expliciet dat als je leugens wilt detecteren in gesloten bronmodellen (zoals de grote commerciële modellen), je een methode moet gebruiken die geen interne toegang vereist. Hun methode is de enige die hiervoor werkt.

Hoe zeker zijn ze?

De auteurs zijn vrij zelfverzekerd, maar ze zijn voorzichtig in hun bewoordingen.

Ze hebben het experiment 10 keer uitgevoerd met verschillende willekeurige seeds en de resultaten waren stabiel (de score was 0,840 ± 0,007).
Ze gebruikten een statistische test (Wilcoxon signed-rank) en vonden dat de verbetering statistisch significant was (p = 0,002). Dit betekent dat het zeer onwaarschijnlijk is dat het een toevalstreffer is.
Ze testten of de detective kon omgaan met robots die hij nog nooit eerder had gezien (zoals GPT-4 of LLaMA). Het werkte bijna even goed, met een verlies van minder dan 4% aan nauwkeurigheid.
Ze testten het ook op een andere dataset (PsiloQA) en ontdekten dat het hebben van gedetailleerdere labels (annotatiedichtheid) belangrijker was dan een enorme datasetgrootte.

De Kern van het Verhaal

Het paper suggereert dat je, om een robot te betrappen op een leugen, niet alleen moet kijken naar het woord dat hij nú zegt. Je moet het hele verhaal zien ontvouwen. Door hallucinatie te behanden als een temporeel traject — een stromende rivier van leugens in plaats van een enkele steen — kun je ze veel beter betrappen.

De auteurs concluderen dat hoewel hun methode geweldig is, het niet perfect is. Het heeft nog steeds wat moeite met zeer lange, complexe verhalen en het is afhankelijk van externe tools (zoals een kleinere robot en een logische controleur) om het zware werk te doen. Maar voor het betrappen van leugens in realtime, vooral bij geheime robots, is deze "tijdreizende detective"-aanpak momenteel het beste instrument in de gereedschapskist.

Technische Samenvatting: Temporele Multi-Signaal Fusie voor Token-niveau Hallucinatie Detectie

Probleemstelling

Large Language Models (LLMs) genereren vloeiende tekst die incidenteel volledig gefabriceerd is. In Retrieval-Augmented Generation (RAG) systemen kan een enkele gehallucineerde bewering doorwerken in downstream beslissingen in kritieke domeinen zoals de gezondheidszorg en de financiële sector. Bestaande detectiemethoden lijden aan een fundamentele ontwerpbeperking: ze behandelen hallucinatie als een puntgebeurtenis, waarbij elke token geïsoleerd wordt gescoord zonder rekening te houden met de temporele evolutie van het signaal.

Voorgaand werk valt uiteen in vier categorieën, die elk specifieke faalmodi kennen:

Interne Probes: Vereisen toegang tot de interne werking van het model (niet beschikbaar voor closed-source API's) en falen vaak wanneer modellen over gedeeltelijke kennis van een onderwerp beschikken.
Onzekerheidsschatters: Vertrouwen op entropie of semantische divergentie, maar falen bij hoog-betrouwbare hallucinaties, die juist het gevaarlijkst zijn.
NLI-gebaseerde Classifiers: Vergelijken beweringen met brondocumenten, maar opereren doorgaans op spans of tokens onafhankelijk, waardoor het sequentiële karakter van fouten gemist wordt.
Activatie-gebaseerde Methoden: Vereisen het draaien van open-weight proxy-modellen om activaties te extraheren.

De kernhypothese van dit werk is dat een hallucinatie geen puntgebeurtenis is, maar een temporeel uitgebreide span. Wanneer een autoregressief model afwijkt van de feitelijke gronding, beïnvloeden de foutieve tokens de daaropvolgende generatie, wat resulteert in karakteristieke reeksen van gehallucineerde tokens waarvan de statistische signaturen gezamenlijk over de tijd evolueren.

Methodologie

Feature Extractie (33-dimensionale stroom)

De benadering is strikt black-box; er is geen toegang tot de interne werking van het genererende model vereist. Voor elke token $w_t$ in een gegenereerde respons wordt een 33-dimensionale featurevector geconstrueerd door drie complementaire signaalfamilies te fuseren:

Tekst Statistieken (20 dimensies): Legt divergentie van de broncontext vast. Features omvatten woordlengte, numerieke/hoofdletter flags, absolute/relatieve positie en context overlap (unigram, bigram, trigram). Cruciaal is dat deze worden verrijkt met temporele derivaten: cumulatieve overlapratio's, lopende novelty rates, opeenvolgende nieuwe token counts, windowed averages (5, 10, 20 tokens), en eerste- en tweede-orde verschillen van novelty.
Natural Language Inference (NLI) (7 dimensies): Gebruikt een fine-tuned DeBERTa-v3-large model om sentence-level entailment, contradiction en neutral probabilities te berekenen tegenover het brondocument. Deze zijn verrijkt met temporele features: het lopend gemiddelde van contradictie, eerste-orde verschillen tussen aangrenzende zinnen, windowed maxima en entailment drop scores.
Language Model (LM) Surprisal (6 dimensies): Gebruikt TinyLlama-1.1B als een externe observator om statistische anomalieën te meten. Features omvatten log-waarschijnlijkheid, next-token entropie, gemiddelde/maximale subword rank, een fallback indicator voor vocabulaire mismatches, en een interactie feature.

Sequence Labeling Architectuur

De detectietaak wordt geformuleerd als sequence labeling in plaats van onafhankelijke token classificatie.

Primair Model: Een Bidirectional Gated Recurrent Unit (BiGRU) met twee lagen en een verborgen dimensie van 64. Het verwerkt de volledige feature matrix $X \in \mathbb{R}^{T \times 33}$ om token-niveau waarschijnlijkheden $\hat{y}_t$ te voorspellen.
Training: Geoptimaliseerd met class-balanced binary cross-entropy (om de ~5,6% positieve ratio in RAGTruth te compenseren) en early stopping gebaseerd op validatie F1.
Baselines: De studie vergelijkt de BiGRU met onafhankelijke classifiers (Logistische Regressie, MLP), lokale modellen (1D-CNN) en andere sequentiemodellen (BiLSTM, Transformer, CRF varianten).

Belangrijkste Bijdragen

Sequence Labeling Formulering: Het artikel herformuleert hallucinatie detectie als een sequence labeling probleem, en toont aan dat het modelleren van temporele afhankelijkheden tussen tokens significant beter presteert dan onafhankelijke per-token classificatie.
Multi-Signaal Temporele Fusie: Introduceert een 33-dimensionale feature set die tekst, NLI en LM signalen fust, verrijkt met temporele statistieken. De studie toont aan dat geen enkel signaalfamilie alleen een 0,641 AUC kan overschrijden, maar dat hun fusie onder temporele modellering een 0,840 AUC bereikt.
Decompositie van Winsten: Door gecontroleerde ablatiestudies isoleert het artikel de bron van de prestatiewinsten:
- Temporele Orde: Verantwoordelijk voor 44% van de verbetering ten opzichte van onafhankelijke classifiers.
- Sequence Aggregatie: Verantwoordelijk voor 24%.
- Niet-lineaire Capaciteit: Verantwoordelijk voor 32%.
- Dit bevestigt dat de primaire drijfveer van succes de modellering van de token-volgorde is, en niet enkel een verhoogde modelcapaciteit.
Generalisatie en Kalibratie:
- Demonstreert robuuste cross-model generalisatie (slechts 3,8% relatieve degradatie op ongeziene bronmodellen).
- Identificeert dat annotatie-densiteit belangrijker is dan datasetgrootte voor cross-domain transfer (bijv. PsiloQA transfeert beter naar RAGTruth dan andersom, ondanks de kleinere omvang, vanwege de hogere prevalentie van hallucinaties).
- Corrigeert een scoring-artefact in Conditional Random Field (CRF) modellen, waarbij wordt getoond dat het gebruik van forward-backward marginals in plaats van softmax scores tot wel +17,9 AUC punten kan terugwinnen.

Resultaten

Prestaties op RAGTruth

BiGRU (Alle Signalen): Bereikt een 0,840 AUC (gemiddelde over 10 seeds) op de RAGTruth testset.
Baseline Vergelijking: Dit vertegenwoordigt een winst van 11 punten over een onafhankelijke Logistische Regressie baseline (0,730 AUC) getraind op dezelfde features ( $p=0,002$ ).
Architectuur Ceiling: De prestatieplafond (~0,845 AUC) is consistent over recurrente (BiGRU, BiLSTM), state-space (Mamba) en attention (Transformer) architecturen wanneer deze correct getraind zijn. Dit suggereert dat de bottleneck ligt in de feature set, niet in de modelarchitectuur.
Signaal Bijdrage:
- Beste enkele signaal (NLI entailment drop): 0,641 AUC.
- Fusie van alle signalen + Temporele modellering: 0,840 AUC.
- Het gat wordt gedecodeerd als +8,9 punten uit signaal fusie en +11,0 punten uit temporele modellering.

Generalisatie

Cross-Model: Leave-one-out testen over zes bron-LLM's (GPT-4, GPT-3.5, LLaMA-2 varianten, Mistral) levert een gemiddelde AUC van 0,808 op, een kleine degradatie vanaf in-distributie prestaties.
Cross-Dataset: Transfer van PsiloQA (hoge hallucinatie densiteit) naar RAGTruth bereikt 0,744 AUC, wat beter presteert dan de omgekeerde richting (0,634 AUC), wat het belang van label-densiteit boven ruwe datasetgrootte benadrukt.
Black-Box Toepasbaarheid: De methode werkt op closed-source modellen waar interne probes onmogelijk zijn. Wanneer gecombineerd met attention-gebaseerde signalen (Lookback Lens) op open-weight modellen, stijgt de prestatie naar 0,866 AUC.

Betekenis en Claims

Het artikel claimt dat temporele structuur het grootste onbenutte signaal is in token-niveau hallucinatie detectie. Door hallucinatie te behanden als een temporeel uitgebreide span in plaats van een puntgebeurtenis, herstelt de voorgestelde methode informatie die onafhankelijke classifiers negeren.

Informatie-theoretisch Inzicht: De studie vindt dat 76% van de onzekerheid over de vraag of een token gehallucineerd is, kan worden opgelost door de label van de vorige token te kennen, en 91% door beide buren te kennen. Onafhankelijke classifiers negeren deze informatie volledig.
Praktische Implementatie: De aanpak is direct inzetbaar tegen closed-source API's, degradeert minimaal bij onvoorziene modellen (<4% AUC verlies) en combineert additief met white-box signalen wanneer deze beschikbaar zijn.
Beperkingen: De auteurs merken bescheiden op dat hoewel de token-niveau AUC sterk is (0,840), de span-niveau F1 (0,394) lager is dan bij fine-tuned encoder-gebaseerde methoden (bijv. LettuceDetect op 0,589). Dit gat wordt toegeschreven aan de afweging tussen black-box toepasbaarheid (gebruik van vooraf geëxtraheerde features) en het vermogen om scherpere boundary representaties te leren (wat white-box toegang en aanzienlijk meer parameters vereist). Daarnaast vereist de methode externe inferentie-passes (DeBERTa en TinyLlama), wat latentie kan introduceren.

Concluderend stelt het artikel vast dat temporele modellering en multi-signaal fusie noodzakelijke en voldoende voorwaarden zijn voor een significante verbetering in token-niveau hallucinatie detectie, waarbij zij superieur zijn aan state-of-the-art methoden die vertrouwen op enkele signalen of onafhankelijke classificatie.