🤖 AI

SIRIN: A Unified Toolkit for Detecting Contextual Hallucinations in Retrieval-Augmented and Memory-Grounded LLM Systems

SIRIN is een verenigde toolkit en interactieve webinterface die meerdere detectieparadigma's integreert om contextuele hallucinaties te identificeren en de beantwoordbaarheid van queries te beoordelen in retrieval-augmented, agentic en geheugen-gegronde LLM-systemen.

Oorspronkelijke auteurs: Julia Belikova, Rauf Parchiev, Mikhail Filimonov, Konstantin Polev, Andrey Savchenko, Maksim Makarenko

Gepubliceerd 2026-08-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Julia Belikova, Rauf Parchiev, Mikhail Filimonov, Konstantin Polev, Andrey Savchenko, Maksim Makarenko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je chat met een super-slimme, super-snelle robot die bijna elk boek in de bibliotheek heeft gelezen. Je stelt het de robot een vraag en hij antwoordt direct met perfect grammatica en een zelfverzekerde toon. Maar hier is de catch: soms verzint die robot gewoon dingen. Hij kan een historische gebeurtenis op de verkeerde datum plaatsen of een personage in een verhaal iets laten doen wat ze nooit hebben gedaan. Dit wordt een "hallucinatie" genoemd. Het is niet zo dat de robot het met opzet liegt; hij is gewoon zo goed in het klinken van plausibel dat hij vergeet de feiten te controleren.

In de wereld van Kunstmatige Intelligentie zijn er twee belangrijke manieren waarop we proberen dit te voorkomen. De ene manier is om de robot een specifieke set aantekeningen (genaamd "context" of "bewijs") te geven en te zeggen: "Beantwoord alleen de vraag met behulp van deze aantekeningen." Dit is alsof je een student een spiekbriefje geeft tijdens een toets. De andere manier is om een "waarheidsdetector" te bouwen die kan opsnuiven wanneer de robot afdwaalt van die aantekeningen. Lange tijd was het bouwen van deze waarheidsdetectoren rommelig. Sommige detectoren werken alleen als je in de hersenen van de robot kunt kijken (de interne code), terwijl andere alleen werken als je het uiteindelijke antwoord kunt lezen. Sommige controleren of de robot zelfverzekerd is, terwijl andere fungeren als een strenge leraar die het essay nakijkt. Omdat deze tools allemaal anders zijn gebouwd, is het moeilijk geweest om ze te vergelijken of samen te gebruiken om onze AI eerlijk te houden.

Maak kennis met SIRIN, een nieuwe toolkit ontwikkeld door onderzoekers van Sber AI Lab die fungeert als een universele vertaler en een Zwitsers zakmes voor het betrappen van deze AI-leugens. Denk aan SIRIN als een "Hallucinatie Controle Toren". In plaats van je te dwingen te kiezen tussen verschillende soorten waarheidsdetectoren, brengt SIRIN ze allemaal onder één dak. Het verenigt drie zeer verschillende manieren om de AI te controleren:

De "Hersenscan" (Probing): Deze kijkt in de hersenen van de robot terwijl hij nadenkt om te zien of hij twijfelt of in de war is, nog voordat hij spreekt.
De "Strenge Leraar" (Judge): Deze gebruikt een tweede, onafhankelijke AI om het antwoord en de aantekeningen zij aan zij te lezen om te zien of ze overeenkomen.
De "Zelfverzekerdheidsmeter" (Uncertainty): Deze meet hoe onzeker de robot over zijn antwoord staat, zoals een nerveuze student die niet zeker weet of hij wel genoeg heeft gestudeerd.

SIRIN stopt niet alleen bij het betrappen van leugens nadat de robot heeft gesproken. Het controleert ook voordat de robot begint te schrijven of de aantekeningen die hij heeft eigenlijk wel voldoende zijn om de vraag te beantwoorden. Als de aantekeningen ontbreken, zegt SIRIN: "Stop! Je kunt dit nog niet beantwoorden," waardoor de robot wordt voorkomen om te gokken.

De onderzoekers ontdekten dat ze door deze methoden te combineren een veel sterker vangnet konden bouwen. Wanneer ze SIRIN testten op diverse taken, was de "Strenge Leraar"-methode (het gebruik van een getrainde AI-rechter) het meest accuraat in het opsporen van leugens, vooral wanneer ze veel voorbeelden hadden om van te leren. De "Hersenscan"-methode was echter verrassend goed in het vangen van fouten, zelfs wanneer ze weinig voorbeelden hadden om te bestuderen, wat het een lichte en efficiënte optie maakt.

Misschien wel de meest opwindende ontdekking was hoe SIRIN werkt als een "poortwachter" voor langetermijngeheugensystemen. Stel je een AI-agent voor die zich jouw gesprekken over weken heen herinnert. Als die agent een detail verkeerd onthoudt, kan hij een hele nieuwe valse herinnering bovenop die fout opbouwen, waardoor de fout zich stapelt. De onderzoekers toonden aan dat door SIRin te gebruiken als een controlepunt voordat de agent antwoordt, ze de nauwkeurigheid van de gegeven antwoorden konden verhogen van ongeveer 62% naar bijna 79%, terwijl ze het aantal volledig verzonnen feiten met de helft verminderden.

Kortom, het artikel suggereert dat het vangen van AI-hallucinaties niet gaat over het vinden van één perfecte detector. In plaats daarvan gaat het om het bouwen van een flexibel systeem dat verschillende soorten controles kan mengen en matchen. SIRIN bewijst dat wanneer je deze tools in één enkele, gemakkelijk te gebruiken interface verenigt, je AI-systemen aanzienlijk betrouwbaarder kunt maken, ongefundeerde claims kunt vangen en precies kunt benadrukken waar de robot de fout in ging, zonder dat je de kerncode van de AI hoeft te herschrijven.

Technische Samenvatting: SIRIN – Een Verenigde Toolkit voor het Detecteren van Contextuele Hallucinaties

Probleemstelling

Large Language Models (LLM's) genereren vaak vloeiende en plausibele reacties die niet gebaseerd zijn op het verstrekte bewijs, een foutmodus die bekend staat als contextuele hallucinatie. Dit probleem is bijzonder kritiek in Retrieval-Augmented Generation (RAG) en agentische systemen waar modellen langetermijngeheugen beheren, aangezien ongegronde claims zich in de loop van de tijd kunnen opstapelen.

Momenteel is het landschap van hallucinatiedetectie gefragmenteerd. Bestaande open-source toolkits (bijv. LM-Polygraph, RAGAS, DeepEval) ondersteunen doorgaans slechts een subset van detectieparadigma's, opereren op specifieke granulariteit (respons-niveau versus span-niveau), of missen verenigde interfaces voor het vergelijken van verschillende methoden. Bovendien richten de meeste tools zich uitsluitend op post-generatie getrouwheid (faithfulness), waarbij ze de complementaire taak van query beantftbaarheid (bepalen of de context voldoende is vóór de generatie) verwaarlozen. Deze fragmentatie maakt het moeilijk om complementaire signalen te combineren, detectoren te benchmarken of ze als een verenigde vertrouwenslaag in productiesystemen te implementeren.

Methodologie: Het SIRIN-framework

SIRIN (Semantic Inconsistency Recognition and Inspection Nexus) pakt deze fragmentatie aan door hallucinatiedetectie te behandelen als een infrastructuurprobleem. Het biedt een verenigde, plug-in toolkit die drie verschillende detector-paradigma's en een pre-generatie taak integreert onder één enkele interface, configuratiesysteem en evaluatiepipeline.

1. Verenigde Detectorfamilies

SIRIN groepeert detectoren in drie families, waarbij zowel white-box (toegang tot interne modeltoestanden) als black-box (alleen tekst) instellingen worden ondersteund:

Probing (White-box): Traint lichtgewicht classifiers (bijv. lineaire koppen, CatBoost, TabPFN) over bevroren interne kenmerken zoals verborgen toestanden (hidden states), attention maps en token-waarschijnlijkheden. Deze probes onderscheiden getrouwe van gehallucineerde outputs op basis van representatiesignalen.
Judge-style (Black-box/Tekst-alleen): Vertrouwt op observeerbare inputs en outputs. Dit omvat encoder-gebaseerde classifiers (bijv. ModernBERT, DeBERTa) en LLM-als-rechter verificatie (bijv. Qwen, GPT-5.4-mini) om te controleren op semantische consistentie of tegenstrijdigheden tussen bewijs en het antwoord.
Onzekerheidsschatting (Uncertainty Estimation - UE): Omvat de LM-Polygraph bibliotheek om diverse onzekerheidsestimators (likelihood-gebaseerd, sampling-gebaseerd, attention-bewust) te ontsluiten die generaties scoren op basis van modelvertrouwenspatronen (bijv. entropie, perplexiteit).

2. Pipeline Architectuur

SIRIN implementeert een configureerbare pipeline die input-triples $(c, q, a)$ verwerkt voor hallucinatiedetectie of paren $(c, q)$ voor beantftbaarheid.

Gedeeld Rapport-schema: Alle detectoren produceren een gestandaardiseerd rapport met een gekalibreerde waarschijnlijkheidsscore ( $s \in [0, 1]$ ), een voorspelde label en optioneel bewijs (span-scores, rationales).
Efficiënte Verwerking: Voor probing extraheert de pipeline kenmerken uit een bevroren LLM in een enkele forward pass, waardoor meerdere feature-families gelijktijdig verwerkt kunnen worden zonder redundante modeloproepen.
Granulariteit: Het systeem ondersteunt zowel respons-niveau scores (voor runtime gating) als span-niveau scores (voor het inspecteren van specifieke niet-onderbouwde tekstsegmenten), gebruikmakend van een herbruikbare splitter/aggregator.
Uitbreidbaarheid: Nieuwe detectoren kunnen worden toegevoegd via drie plug-punten: een feature processor, een detector of een aggregator. Configuratie wordt afgehandeld via getypeerde, Hydra-compatibele bestanden, wat taakwisseling mogelijk maakt zonder de pipeline te herschrijven.

3. Interactieve Web UI

SIRIN bevat een Streamlit-gebaseerde webinterface waarmee gebruikers context-query-antwoord triples kunnen invoeren, detectoren uit elke familie kunnen selecteren en resultaten kunnen visualiseren. Functies zijn onder meer:

Live hallucinatiescoring.
Het highlighten van niet-onderbouwde spans met per-span risicoscores.
Zij-aan-zij vergelijking van verschillende detectoroutputs.
Ondersteuning voor gecureerde voorbeelden uit datasets zoals RAGTruth, PsiloQA en Mu-SHROOM.

Belangrijkste Bijdragen

Verenigde Toolkit: SIRIN is de eerste open-source toolkit die probing, judge-style en onzekerheidsschatting methoden verenigt, samen met query beantftbaarheid, onder een gedeelde interface die zowel white-box als black-box regimes ondersteunt op respons- en span-niveau.
Interactieve Inspectie: Een live web UI die analyse van context-query-antwoord triples mogelijk maakt, visualisatie van niet-onderbouwde spans en directe vergelijking van de prestaties van detectoren.
Empirische Demonstratie: De auteurs demonstreren het nut van SIRIN in:
- Contextuele hallucinatiedetectie en query beantftbaarheid over meerdere benchmarks.
- Integratie als een getrouwheids-gate (faithfulness gate) binnen het SimpleMem langetermijngeheugensysteem, dienend als een selectieve predictielaag.

Experimentele Resultaten

Respons-niveau Detectie

Geëvalueerd op RAGTruth en SQuAD 2.0:

Probing: Lichtgewicht probes behaalden sterke resultaten (bijv. 88.0 AUROC op RAGTruth QA), waarbij ze beter presteerden dan fine-tuned encoder judges in scenario's met weinig data.
Judges: LoRA-fine-tuned decoder judges (bijv. Qwen3-4B) behaalden de hoogste prestaties wanneer voldoende annotaties beschikbaar waren (93.5 AUROC op RAGTruth QA), waarmee ze probes versloegen met 5.5–9.0 AUROC punten. Zero-shot GPT-5.4-mini presteerde competitief.
Onzekerheid: Ongesuperviseerde onzekerheidsschatters (bijv. MeanTokenEntropy, RAUQ) boden zwakkere baselines (58.8–69.0 AUROC) maar vereisten geen trainingsdata.
Beantftbaarheid: Dezelfde pipeline handelde succesvol pre-generatie beantftbaarheidscontroles af, waarbij de attention-pooling probe 87.9 AUROC bereikte op SQuAD 2.0.

Span-niveau Detectie

Geëvalueerd op PsiloQA (Engelse subset):

Probes boden een kwalitatief hoogwaardige ranking (tot 76.0 AUROC) en bleven effectief wanneer span-annotaties schaars waren.
Getrainde judges (LoRA-Qwen3-4B) behaalden de beste lokalisatiemetrieken (74.8 F1, 69.3 IoU) in annotatie-rijke settings, terwijl zero-shot span tagging aanzienlijk faalde.

Integratie in Geheugensysteem (SimpleMem)

SIRIN werd geïntegreerd als een vertrouwenslaag in het SimpleMem-systeem op LongMemEval:

Mechanisme: Twee gates werden toegepast: een beantftbaarheids-gate (pre-generatie) om de retrieval uit te breiden als de query niet gedekt is, en een getrouwheids-gate (post-generatie) om spans te valideren tegen het bewijs.
Resultaat: Het combineren van beide gates verhoogde de nauwkeurigheid van geleverde antwoorden van een baseline van 62.4% naar 79.3%, terwijl strikte ongetrouwheid (unfaithfulness) werd verminderd van 20.2% naar 9.8%. Dit werd bereikt zonder extra generatiekosten, door middel van selectieve predictie (serveren, opnieuw proberen of onthouden).

Betekenis en Claims

Het artikel stelt dat de detectie van contextuele hallucinaties een infrastructuurprobleem is in plaats van een uitdaging voor een enkele detector. De betekenis van SIRIN ligt in:

Standaardisatie: Het bieden van een gemeenschappelijke omgeving voor het ontwikkelen, benchmarken en implementeren van detectoren over verschillende paradigma's heen.
Praktische Bruikbaarheid: Het aantonen dat lichtgewicht probes effectief zijn wanneer labels schaars zijn, terwijl getrainde judges domineren bij voldoende data.
Systemische Verbetering: Het aantonen dat een verenigde detectielaag effectief kan fungeren als een "vertrouwenslaag" voor agentische geheugensystemen, wat de betrouwbaarheid aanzienlijk verbetert en hallucinaties vermindert zonder de onderliggende geheugenarchitectuur te wijzigen.

De auteurs concluderen dat SIRIN een stap is naar het maken van verificatie tot een standaardlaag in de LLM-stack, waarbij elk gegrond antwoord wordt gecontroleerd, niet-onderbouwde spans zichtbaar zijn en nieuwe detectoren gemakkelijk via plug-ins kunnen worden geïntegreerd.

Beperkingen

De auteurs merken op dat de huidige detectoren zijn getraind op Engelse data en niet zijn gevalideerd in meertalige settings. Prestaties hangen af van de kwaliteit en de domeinmatch van de geannoteerde data, wat mogelijk her-kalibratie vereist voor inzet buiten het huidige domein. Daarnaast werden de resultaten van de geheugen-gating geëvalueerd met een enkele generator-backbone, en de Web UI wordt momenteel beperkt door GPU-geheugenrestricties met betrekking op het aantal gelijktijdig geladen modellen.