💻 computer science

Beyond Document Grounding: Span-Level Hallucination Detection over Code, Tool Output, and Documents

Dit artikel introduceert een uniforme benchmark voor het detecteren van hallucinaties op span-niveau over diverse gestructureerde inputs zoals code en tool-outputs, waarbij wordt aangetoond dat een gefinetuned Qwen3.5-2B-model bestaande detectoren en zero-shot judges op deze complexe domeinen significant overtreft, terwijl het concurrerend blijft op natuurlijke taal RAG-benchmarks.

Oorspronkelijke auteurs: Ádám Kovács, Bowei He, Xue Liu, István Boros, Szilveszter Tóth, Gábor Recski

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ádám Kovács, Bowei He, Xue Liu, István Boros, Szilveszter Tóth, Gábor Recski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, snel pratende assistent inhuurt om een rapport voor je te schrijven. Je geeft ze een stapel referentieboeken (de "context") en een specifieke vraag. Ze typen razendsnel een antwoord uit.

Het probleem? Soms worden zelfs de slimste assistenten een beetje creatief. Ze verzinnen een feit, halen een getal door elkaar, of citeren een pagina die niet in je boeken staat. Dit wordt een hallucinatie genoemd.

Al een tijdje bouwen onderzoekers "factcheckers" om deze fouten te betrappen, maar die werkten vooral wanneer de assistent schreef over normale onderwerpen zoals geschiedenis of wetenschap met gewone tekst.

Dit artikel introduceert een nieuwe, veel moeilijkere factchecker die ontworpen is voor de moderne wereld, waarin assistenten ook computercode schrijven, logs van softwaretools samenvatten en gestructureerde documenten lezen zoals tabellen en handleidingen.

Hier is een uitsplitsing van wat ze hebben gedaan, gebruikmakend van alledaagse analogieën:

1. Het Probleem: De "Code" en "Log" Blinde Vlek

Stel je voor dat je assistent een monteur is.

Oude Factcheckers: Goed in controleren of de monteur zegt: "De auto is rood" terwijl de auto eigenlijk blauw is.
De Nieuwe Realiteit: De monteur schrijft nu een complex reparatiehandboek (code) of leest een digitaal diagnose-scherm (tool output). Als de monteur één verkeerd commando schrijft zoals turn_off_engine in plaats van turn_on_engine, kan de hele auto kapotgaan. Of als ze een onderdeelnummer opgeven dat niet bestaat, mislukt de bestelling.
De Kloof: Bestaande factcheckers waren als een mens die een roman leest; ze wisten niet hoe ze een enkele foutieve regel in een computerprogramma of een specifieke fout in een softwarelog moesten herkennen. Ze konden het verschil niet zien tussen een echte technische term en een verzonnen term.

2. De Oplossing: Een "Zoek de Verschillen"-spel

De auteurs bouwden een enorme nieuwe trainingsgrond (een benchmark) om computers te leren hoe ze deze gespecialiseerde factcheckers kunnen zijn.

Hoe ze de data maakten: Ze begonnen met perfecte, correcte antwoorden (zoals een perfect reparatiehandboek). Vervolgens gebruikten ze een "hallucinatie-injector" (denk aan een ondeugende redacteur) om kleine, gelokaliseerde leugens erin te smokkelen.
- Voorbeeld: Ze veranderden een echte functienaam set_device in een nepnaam set_active_device.
- Ze zeiden niet alleen "Dit antwoord is fout." Ze markeerden de exacte tekens waar de leugen plaatsvond.
De Variëteit: Ze creëerden meer dan 74.000 voorbeelden die het volgende beslaan:
- Code: Echte GitHub software-fixes.
- Tool Output: Logs van softwaretools (zoals foutmeldingen of zoekresultaten).
- Gestructureerde Docs: Onderzoekspapers, README-bestanden en Wikipedia-pagina's met tabellen en lijsten.
- Normale Tekst: Standaard vragen en antwoorden (om er zeker van te zijn dat ze niet vergaten hoe ze normale tekst moeten controleren).

3. De Nieuwe Detective: "LettuceDetect"

Ze trainden een nieuw AI-model (een 2-miljard parameter versie van een model genaamd Qwen) om de detective te spelen.

De Taak: De detective kijkt naar de Aanvraag (Request), de Referentieboeken en het Antwoord van de assistent. Het moet met een vinger wijzen naar de exacte leugen en zeggen: "Dit specifieke woord is verzonnen," of "Dit nummer is fout."
De Resultaten:
- Op Code en Tools: De nieuwe detective is een superheld. Het betrapte 60% van de leugens in code en tool logs.
- De Competitie: De oude "off-the-shelf" factcheckers (zoals LettuceDetect-large) en zelfs gigantische, slimme AI-rechters (Zero-shot LLMs) betrapten slechts ongeveer 17% tot 22% van de leugens in code. Ze waren in feiling essentieel blind voor technische fouten.
- Op Normale Tekst: De nieuwe detective is nog steeds erg goed in het controleren van normale tekst (scoort vergelijkbaar met de beste bestaande systemen), wat bewijst dat hij zijn algemene kennis niet is verloren bij het leren lezen van code.

4. Waarom "Span-Level" Belangrijk Is

Het artikel benadrukt dat ze niet alleen zeggen "Verwerp dit antwoord." Ze doen aan Span-Level Detectie.

Analogie: Stel je voor dat een student een essay van 10 pagina's schrijft. Eén zin is een leugen.
- Oude Manier: "Faal het hele essay." (Te streng, de andere 9 pagina's kunnen perfect zijn).
- Nieuwe Manier: "Markeer de ene zin die een leugen is." (Precies en behulpzaam).
In code is dit cruciaal. Als een programma 100 regels heeft en slechts één regel is fout, wil je niet het hele programma weggooien; je wilt alleen die ene regel repareren.

Samenvatting

Dit artikel presenteert een nieuwe, verenigde "waarheidsdetector" die de rommelige, technische realiteit van moderne AI-assistenten kan aan. Het gaat verder dan alleen het controleren van eenvoudige tekst om kleine, gevaarlijke fouten in code, softwarelogs en gestructureerde documenten op te sporen.

Hun nieuwe model, LettuceDetect-Qwen-2B, is aanzienlijk beter in het vinden van deze technische leugens dan eerdere tools, vooral wanneer de assistent code schrijft of softwarelogs leest, terwijl het tegelijkert drukt een top-tier factchecker blijft voor normale taal. Ze hebben al hun data en modellen vrijgegeven zodat anderen dit "zoek de verschillen"-spel kunnen gebruiken om betere, betrouwbaardere AI-systemen te bouwen.

Technische Samenvatting: Beyond Document Grounding

Probleemdefinitie

Retrieval-augmented generation (RAG)-systemen worden steeds vaker ingezet in gestructureerde omgevingen die verder gaan dan natuurlijke taal, waaronder coding agents, developer tools en onderzoeksdocumentatie. Hoewel bestaande benchmarks voor hallucinatie-detectie en detectoren zich primair richten op natuurlijke taal als bewijsvoering, schieten zij tekort in het adresseren van de unieke verificatie-uitdagingen die gepaard gaan met gestructureerde inputs zoals broncode, tool-outputs (bijv. testlogs, commando-outputs) en gestructureerde documenten (bijv. markdown, tabellen).

In deze gestructureerde settings kan een enkele niet-onderbouwde substring—zoals een gefabriceerde methodenaam, een incorrecte veldwaarde of een foutief gerapporteerde tool-observatie—het gedrag van een programma veranderen of een gebruiker misleiden, zelfs als de rest van de respons correct is. Huidige evaluatieframeworks missen een verenigde, span-niveau formulering die gegenereerde code, tool-observaties en gestructureerde documenten dekt naast traditionele natuurlijke taal RAG-taken.

Methodologie

Constructie van een Verenigde Benchmark

De auteurs introduceren een verenigde benchmark bestaande uit 74.285 nieuw geconstrueerde voorbeelden over vijf bronnen, aangevuld met geconverteerde voorbeelden van bestaande natuurlijke taal RAG-datasets (RAGTruth en PsiloQA). De bronnen zijn:

Code: Afgeleid van SWE-bench, met repository-gegronde fixes.
Tool Output: Afgeleid van Squeez, met queries en uitgebreide tool-observaties.
Gestructureerde Documenten: ACL paper chunks, GitHub READMEs en Wikipedia markdown.
Natuurlijke Taal: RAGTruth en PsiloQA (14 talen).

Data-constructie pipeline:

Grounding: Begin met een bekende, correcte, gegronde antwoord afgeleid van de bron (bijv. een gouden SWE-bench patch).
Injectie: Gebruik een bronspecifiek "injector"-model (Gemma 4 31B voor code; Qwen 3.6 35B voor anderen) om gelokaliseerde, gestructureerde vervangingsbewerkingen voor te stellen. Deze bewerkingen introduceren gelokaliseerde hallucinaties gecategoriseerd als Contradiction (foutieve logica/waarden), Unsupported Addition (extra gedrag) of Fabricated Reference (uitgevonden methoden/identifiers).
Span Labeling: Pas bewerkingen deterministisch toe om exacte karakteroffsets voor de gehallucineerde spans te extraheren, om de ambiguïteit van het vergelijken van gemengde natuurlijke taal/code antwoorden te vermijden.
Reference Grounding: Om te voorkomen dat correcte antwoorden die verwijzen naar externe bibliotheken of sibling-methoden die niet aanwezig zijn in de afgekapte context worden bestraft, voegt de pipeline de opgeloste definities van de base commit van de repository en echte API-signatures van Context7 toe.
Verificatie: De code-agent testset onderging menselijke review en arbitrage, waarbij 2.015 voorbeelden behouden bleven na filtering op geldigheid en grensnauwkeurigheid.

Modelarchitectuur

Twee detectorfamilies werden getraind op de verenigde dataset:

LettuceDetect-Qwen-2B: Een gefinetunede Qwen3.5-2B generatieve detector met een contextvenster van 32.768 tokens. Het geeft JSON uit met karakter-spans, categorieën en subcategorieën.
LettuceDetect-mmBERT-base: Een 307M-parameter token-classificatie encoder (gebaseerd op mmBERT) getraind met een maximale sequentielengte van 8.192 tokens.

Beide modellen worden getraind met een data-agnostische prompt die de hallucinatie-taxonomie definieert en de aanvraag, context en het antwoord levert om te verifiëren.

Belangrijkste Bijdragen

Taakformulering: Een span-niveau taakformulering voor post-generatie hallucinatie-detectie specifiek ontworpen voor gestructureerde grounded-generation contexten (code, tool output, gestructureerde documenten).
Verenigde Benchmark: Een uitgebreide dataset van 74.285 nieuwe voorbeelden die diverse modaliteiten dekt, plus geconverteerde voorbeelden van gevestigde RAG-benchmarks, wat cross-domein evaluatie mogelijk maakt.
Detector Prestaties: Demonstratie dat een gefinetuned generatieve detector (LettuceDetect-Qwen-2B) de standaard off-the-shelf detectoren en zero-shot LLM judges aanzienlijk overtreft op code-agent en tool-output splits, terwijl hij competitief blijft op natuurlijke taal RAG-benchmarks.

Experimentele Resultaten

Belangrijkste Bevindingen

Op de verenigde testset behaalde LettuceDetect-Qwen-2B een span-F1 van 0.689.

Code-Agent Prestaties: Het model behaalde een span-F1 van 0.602 op de code-agent split, wat aanzienlijk beter is dan LettuceDetect-large (0.17) en de sterkste zero-shot LLM judges die werden geëvalueerd (Nemotron-3-Ultra en gpt-oss-120b, beide $\le$ 0.22).
Natuurlijke Taal Prestaties: Het model bleef competitief op gevestigde benchmarks, met een 81.8 example-F1 op RAGTruth en een 0.724 IoU op Engelse PsiloQA (hiermee de fine-tuned mmBERT-base van de benchmark-auteurs met 0.707 overtreffend).
Meertalige Capaciteit: Over 14 talen in PsiloQA bereikte het model een gemiddelde IoU van 0.689, waarmee het de Qwen2.5-32B judge (0.383) versloeg.

Vergelijking met Baselines

Zero-Shot Judges: Grote zero-shot LLM's (bijv. Nemotron-3-Ultra, gpt-oss-120b) hadden moeite met code en tool output, waarbij ze vaak correcte, nieuw geschreven code als ononderbouwd markeerden of er niet in slaagden te onderscheiden tussen geldige wijzigingen en hallucinaties.
Gespecialiseerde Detectoren: Bestaande detectoren die uitsluitend op natuurlijke taal zijn getraind (bijv. LettuceDetect-large) presteerden slecht op gestructureerde data (0.17 span-F1 op code).
Encoder vs. Generator: De generatieve detector (Qwen-2B) presteerde consistent beter dan de token-classificatie encoder (mmBERT-base) over alle bronnen (0.689 vs. 0.642 overall span-F1).

Betekenis en Claims

Het artikel claimt dat de voorgestelde benchmark en detector een kritiek gat in RAG-evaluatie adresseren: het gebrek aan span-niveau verificatie voor gestructureerde, niet-natuurlijke taal outputs. De auteurs benadrukken dat:

Gestructureerde Verificatie is Distinct: Verificatie in code en tool output vereist andere redenering dan natuurlijke taal, met name met betrekking tot intentiefouten en structurele geldigheid.
Generatieve Detectoren zijn Superieur: Gefinetuned generatieve modellen met lange contextvensters zijn beter geschikt voor deze taak dan traditionele encoders of zero-shot judges, vooral bij het werken met lange repository-contexten en complexe afhankelijkheden.
Verenigde Evaluatie: Een enkel model kan effectief diverse modaliteiten (code, tool output, documenten) afhandelen zonder prestaties op natuurlijke taal-taken op te offeren.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van synthetische injectie voor de meeste labels (hoewel de code testset door mensen is beoordeeld) en de focus op verificatie van het definitieve antwoord in plaats van volledige agent-trajecten. Zij concluderen dat hun werk een noodzakelijk fundament biedt voor de ontwikkeling van robuuste verificatiesystemen voor de volgende generatie grounded generation agents.