💻 computer science

Hallucination Span Detection with Input-Side Evidence Alignment

Dit artikel introduceert een nieuwe taak en een encoder-gebaseerde methode voor het detecteren van gehallucineerde spans in door LLM's gegenereerde tekst door de voorspelbaarheid van getrouwe tokens uit de invoerbewijzen te benutten om hallucinaties gelijktijdig te identificeren en deze uit te lijnen met hun bron.

Oorspronkelijke auteurs: Miyu Yamada, Yuki Arase

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Miyu Yamada, Yuki Arase

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen hebben de manier waarop we met computers communiceren getransformeerd door te fungeren als krachtige motoren die nieuws kunnen samenvatten, complexe vragen kunnen beantwoorden en documenten kunnen opstellen. Deze systemen werken door het volgende woord in een zin te voorspellen op basis van patronen die ze hebben geleerd uit enorme hoeveelheden tekst. Echter, een hardnekkig gebrek ondermijnt hun betrouwbaarheid: ze verzinnen soms feiten. Dit fenomeen, bekend als hallucinatie, treedt op wanneer een model informatie genereert die plausibel klinkt, maar die ofwel niet wordt ondersteund door het bronmateriaal, of er direct mee in strijd is. Voor gebruikers die deze hulpmiddelen vertrouwen voor kritieke taken, is het moeilijk om onderscheid te maken tussen een nuttige samenvatting en een verzonde tekst. De kernuitdaging ligt niet alleen in het weten dat er een fout bestaat, maar in het precies aanwijzen van welke woorden fout zijn en het vinden van het specifieke deel van de oorspronkelijke tekst dat bewijst dat ze onjuist zijn. Zonder dit granulair niveau van detail blijft het verifiëren van de waarheid van een lang document een tijdrovend, handmatig proces.

Onderzoekers aan het Institute of Science Tokyo hebben een nieuwe aanpak ontwikkeld om dit probleem op te lossen, waarbij de focus is verschoven van het beoordelen van een hele tekst naar het onderzoeken van individuele woorden. In plaats van een computer simpelweg te vragen om een hele paragraaf als waar of onwaar te labelen, werkt hun methode als een vergrootglas dat de gegenereerde output woord voor woord scant om te zien of het herleid kan worden tot de bron. Het team werkt vanuit een eenvoudige maar krachtige observatie: als een woord in de samenvatting getrouw is aan de oorspronkelijke tekst, zou een computer dit woord kunnen voorspellen met de oorspronkelijke tekst als enige gids. Omgekeerd zal een woord dat een hallucinatie is, onmogelijk te voorspellen zijn vanuit de bron, omdat de informatie daar simpelweg niet bestaat. Door een model te trainen om deze voorspelbaarheid te testen, hebben de onderzoekers een systeem gecreëerd dat niet alleen de verzonnen woorden signaleert, maar ook het specifieke bewijs in de invoer benadrukt dat de juiste informatie ondersteunt.

Het proces begint met het opdelen van de gegenereerde tekst in betekenisvolle brokken, zoals zinsdelen of clausules, in plaats van het als één enkel blok te behandelen. Het systeem neemt vervolgens een woord uit een van deze brokken en verbergt dit tijdelijk, waarbij het model wordt gevraagd te raden wat dat woord zou moeten zijn op basis van uitsluitend de oorspronkelijke invoertekst. Als het model het verborgen woord met vertrouwen kan raden met behulp van de bron, markeert het systeem het als getrouw. Als het model moeite heeft met een gok maken, of als de vertrouwensscore laag is, markeert het systeem het woord als een potentiële hallucinatie. Cruciaal is dat, omdat het model de brontekst moest raadplegen om zijn gok te doen, het van nature een link produceert tussen het outputwoord en het specifieke deel van de input dat het hielp. Dit creëert een kaart van bewijslast, die de gebruiker precies laat zien waar het model zijn informatie heeft gevonden of, in het geval van een fout, waar het geen ondersteuning kon vinden.

Om dit idee te testen, gebruikten de onderzoekers een dataset met duizenden voorbeelden waarin mensen al hadden geïdentificeerd welke delen van gegenereerde antwoorden feitelijk onjuist waren. Ze vergeleken hun nieuwe methode met bestaande technieken, inclusief diegene die vertrouwen op massieve, complexe modellen om tekst te lezen en te beoordelen. De resultaten toonden aan dat hun lichtere, meer gefocuste aanpak uitzonderlijk goed was in het vinden van de fouten. Terwijl andere methoden de fouten soms volledig misten, identificeerde dit nieuwe systeem het overgrote deel van de gehallucineerde woorden succesvol, met name die die volledig verzonnen waren. Het bleek ook effectief te zijn in het terugkoppelen van de juiste woorden in de samenvatting naar de juiste zinnen in de bron, waardoor een duidelijk spoor van bewijs ontstond dat de gebruiker kon volgen.

De studie onthulde echter ook een specifieke zwakte in het vermogen van het systeem om bepaalde soorten fouten te detecteren. De methode had moeite wanneer de hallucinatie een directe tegenstrijdigheid was, zoals het veranderen van een getal van "vier" naar "twintig" op een manier die nog steeds grammaticaal en contextueel vergelijkbaar is met de originele tekst. In deze gevallen vond het model de omliggende context zo vergelijkbaar dat het zelfverzekerd bleef in zijn voorspelling, waardoor het de subtiele verschuiving in betekenis niet herkende. De onderzoekers merkten op dat hoewel het systeem uitblinkt in het opsporen van informatie die geheel afwezig is in de bron, het verdere verfijning nodig heeft om deze meer misleidende, conflicterende fouten te vangen. Ondanks deze beperking toont het werk een belangrijke stap voorwaarts in het transparanter maken van kunstmatige intelligentie, door een praktische manier te bieden om de waarheid van door machines gegenereerde inhoud te verifiëren door elke bewering direct terug te koppelen aan de bron.

Technische Samenvatting: Hallucinatie-span Detectie met Input-Zijde Bewijsalignering

Probleemstelling

Large Language Models (LLM's) hebben geavanceerde conditionele tekstgeneratietaken zoals samenvatting en vraagbeantwoording verbeterd, maar blijven vatbaar voor hallucinaties—het genereren van inhoud die niet wordt ondersteund door of in strijd is met de inputtekst. Bestaande detectiemethoden behandelen hallucinatie primair als een binaire classificatieprobleem op zins- of documentniveau. Ho hoewel deze benaderingen effectief zijn voor het inschatten van de algehele feitelijkheid, falen ze in het lokaliseren van specifieke gehallucineerde spans of het identificeren van de bijbehorende input-bewijslast. Deze beperking belemmert de interpreteerbaarheid van modelvoorspellingen en compliceert de verificatie van gegenereerde inhoud, met name in lange documenten waar handmatige tracing moeilijk is. Bovendien is het verkrijgen van handmatig uitgelijnde input-output paren voor training duur en onpraktisch gezien de snelle evolutie van LLM's.

Methodologie

De auteurs stellen een nieuwe taak voor: hallucinatie-span detectie met input-zijde bewijsalignering. Deze taak identificeert gezamenlijk gehallucineerde spans in gegenereerde tekst en aligneert output-tokens met hun bijbehorende bewijs in de input. De aanpak is gebaseerd op de observatie dat getrouwe output-tokens over het algemeen voorspelbaar zijn vanuit hun ondersteunende context in de input, terwijl gehallucineerde tokens dat niet zijn.

Kernframework

De methode formuleert hallucinatiedetectie als een input-gegronde gemaskeerde token-voorspellingsprobleem, geïnspireerd door Non-Parametric Masked Language Models (NPM). In plaats van te vertrouwen op grote decoder-gebaseerde LLM's, gebruikt het systeem een lichtgewicht encoder-gebaseerd model.

Trainingsstrategie (Distant Supervision):
- Span Segmentatie: Output-teksten worden gesegmenteerd in semantisch betekenisvolle spans met behulp van Semantic Role Labeling (SRL). Predicaten en hun argumenten worden geëxtraheerd om spans te vormen; woorden die geen deel uitmaken van een predicaat of argument (bijv. voegwoorden) worden uitgesloten.
- Gemaskeerde Voorspelling: Tijdens de training worden spans gemaskeerd met speciale tokens (``). Het model wordt getraind om deze gemaskeerde spans te voorspellen met alleen de inputtekst-representatie.
- Betrouwbaarheidsmetriek: De voorspellingsbetrouwbaarheid voor een gemaskeerde span $s$ tegenover een input-span $(i, j)$ wordt gedefinieerd als de som van de cosinus-similariteiten tussen de gemaskeerde token-embeddings en de input-token-embeddings:
  $c(s, i, j) := \text{sim}(m_s, d_i) + \text{sim}(m_e, d_j)$
- Loss Functie: Een aangepaste loss functie moedigt een hoge betrouwbaarheid aan voor getrouwe spans en een lage betrouwbaarheid voor gehallucineerde spans. Het straft gehallucineerde spans af die een hoge betrouwbaarheid bereiken en getrouwe spans die een lage betrouwbaarheid bereiken, met extra weging voor "moeilijke" voorbeelden.
Inference:
- In tegen toe van training, opereert inference op token-niveau. Elk output-token wordt individueel gemaskeerd, en het model haalt het meest relevante input-token op basis van de betrouwbaarheidsscore.
- Classificatie: Een output-token wordt geclassificeerd als gehallucineerd als de maximale betrouwbaarheidsscore onder een drempelwaarde $\lambda_h$ valt.
- Alignering: Het input-token dat de hoogste betrouwbaarheidsscore oplevert, dient als de bewijsalignering.
- Aggregatie: Token-niveau voorspellingen worden geaggregeerd naar het woordniveau; een woord wordt als gehallucineerd beschouwd als alle subword-tokens ervan als zodanig zijn geclassificeerd.

Belangrijkste Bijdragen

Taakdefinitie: Introductie van een nieuwe taak die gezamenlijk gehallucineerde spans detecteert en ze aligneert met input-bewijs, waarmee verder wordt gegaan dan binaire zin-niveau classificatie.
Efficiënt Architectuur: Ontwikkeling van een lichtgewicht encoder-gebaseerde methode die de computationele kosten van grote decoder-gebaseerde LLM's vermijdt en geen handmatig uitgelijnde trainingsdata vereist (gebruikmakend van distant supervision).
Dubbele Output: Het framework produceert gelijktijdig hallucinatie-detectie labels en token-niveau bewijsaligneringen.

Experimentele Resultaten

De methode werd geëvalueerd op de RAGTruth dataset, die Question Answering (QA) en Nieuws-samenvatting taken dekt.

Automatische Evaluatie:
- De voorgestelde methode behaalde de hoogste recall op zowel QA- als samenvattings-taken (82,7% en 38,0%, respectievelijk), waarmee zij baselines zoals Llama-SFT en LettuceDetect overtrof in recall, wat cruciaal is in scenario's waar het missen van hallucinaties onacceptabel is.
- Hoewel de precisie lager was dan bij sommige baselines (bijv. Llama-SFT op samenvatting), geeft de hoge recall aan dat de methode de meerderheid van de gehallucineerde inhoud effectief identificeert.
- De baseline OTAlign presteerde slecht, waarschijnlijk door de moeilijkheid van het aligneren van zinnen van aanzienlijk verschillende lengtes.
Menselijke Evaluatie:
- Menselijke annotatoren beoordeelden de kwaliteit van de voorspelde input-zijde bewijsaligneringen.
- Voor getrouwe en onderbouwloze hallucinatie woorden behaalde de voorgestelde methode een gemiddelde aligneringsscore rond de 2,0 (op een schaal van 0-3), wat aangeeft dat de opgehaalde input-tokens relevante bewijslast waren.
- Conflict Hallucinaties: De methode had moeite met conflict-hallucinaties (waarbij de output de input tegenspreekt), waarbij vaak hoge betrouwbaarheidsscores aan deze tokens werden toegewezen. Dit wordt toegeschreven aan de hoge semantische gelijkenis tussen de conflicterende input- en output-contexten, wat de gelijkenis-gebaseerde betrouwbaarheidsschatting in verwarring brengt.

Betekenis en Beperkingen

Het artikel beweert dat de voorgestelde methode effectief gehallucineerde spans detecteert terwijl het betekenisvolle input-zijde bewijs identificeert, bevestigd door menselijke evaluatie van de aligneringskwaliteit. De aanpak biedt een praktische oplossing voor het verifiëren van gegenereerde inhoud zonder de verbijsterende kosten van handmatige aligneringsdata.

De auteurs erkennen echter specifieke beperkingen:

Conflict Detectie: De methode is minder effectief in het detecteren van "conflict" hallucinaties vergeleken met "onderbouwloze" hallucinaties, omdat de hoge gelijkenis tussen de conflicterende tekst en de input leidt tot valse betrouwbaarheid.
Inference Efficiëntie: Het token-voor-token maskeren en hercoderen proces resulteert in lineaire inference-kosten relatief aan de output-lengte, wat computationeel duur kan zijn voor lange teksten.
Reikwijdte: Experimenten waren beperkt tot QA en nieuws-samenvatting met de RAGTruth benchmark; de generaliseerbaarheid naar andere domeinen, talen of LLM-families blijft ononderzocht.

De auteurs concluderen dat hoewel de methode effectief is voor onderbouwloze hallucinaties, toekomstig werk zich moet richten op het ontwikkelen van meer geavanceerde betrouwbaarheids-estimatiemethoden om conflict-hallucinaties beter te kunnen afhandelen en de inference-efficiëntie te verbeteren.