Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models

Probleemstelling

Grote Taalmodellen (LLMs) zijn vatbaar voor het genereren van vloeiende maar onjuiste content, een fenomeen bekend als confabulatie (of hallucinatie). Dit vormt een toenemend risico, vooral in multi-turn applicaties en autonome agent-systemen waar output van eerdere interacties wordt hergebruikt als context.

De kern van het probleem is dat LLMs vaak oververzekerd zijn in hun fouten. Traditionele onzekerheidsmetingen (zoals logit-scores) sluiten niet altijd aan bij de feitelijke juistheid van een antwoord. Het artikel onderzoekt specifiek hoe in-context informatie (zoals zoekresultaten of eerdere gespreksgangen) het gedrag van het model beïnvloedt en of modellen hun eigen onbetrouwbare antwoorden kunnen detecteren. Een cruciale observatie is dat misleidende context modellen kan aanzetten tot het geven van foutieve antwoorden met een hogere zekerheid dan wanneer ze zonder context antwoorden.

Methodologie

De auteurs hanteren een gecontroleerd experimenteel framework om het gedrag van LLMs te analyseren onder verschillende omstandigheden en ontwikkelen een nieuwe methode voor betrouwbaarheidsdetectie.

1. Experimenteel Framework:

• Datasets: HotpotQA en Natural Questions.
• Context-omstandigheden: Voor elke vraag worden drie scenario's getest:
  • WOC (Without Context): Geen externe informatie.
  • WCC (With Correct Context): Juiste, feitelijke ondersteunende tekst.
  • WIC (With Incorrect Context): Misleidende, maar plausibele tekst (gegenereerd door een ander LLM).
• Modellen: Fanar1-9b, Gemma3-12B en Qwen2.5-7B.
• Metriek voor Juistheid: Voor elke prompt worden 15 responsen gegenereerd. De "correctness ratio" ($r$) wordt berekend als het percentage semantisch correcte antwoorden. Modellen worden geclassificeerd als "meestal correct" ($C$) of "meestal fout" ($E$) op basis van drempelwaarden.

2. Onzekerheidsschatting:
De auteurs gebruiken een Dirichlet-gebaseerd raamwerk om token-niveau onzekerheid te berekenen uit de output-logits:

• Aleatorische Onzekerheid (AU): Meet onzekerheid door data-ambiguïteit.
• Epistemische Onzekerheid (EU): Meet onzekerheid door gebrek aan kennis (modelvertrouwen).
• Observatie: Ze analyseren hoe deze onzekerheidsverdelingen verschuiven wanneer de context verandert (bijv. van WOC naar WIC).

3. Betrouwbaarheidsdetectie via Probing:
Om te bepalen of een antwoord betrouwbaar is, trainen ze lichte probing-classifiers op de interne hidden states van het model.

• Feature Selectie: In plaats van alleen de logits te gebruiken, selecteren ze tokens op basis van hun onzekerheid (bijv. de tokens met de hoogste of laagste EU).
• Aggregatie: Ze aggregeren de hidden states van deze geselecteerde tokens (bijv. het gemiddelde van de top-5 meest onzekere tokens) om een compacte representatie te vormen voor het voorspellen van de betrouwbaarheid op respons-niveau.
• Vergelijking: Deze methode wordt vergeleken met baselines zoals gemiddelde log-probability (LogProb), zelf-evaluatie prompts (P(True)), en geaggregeerde onzekerheidsscores (LogTokU).

Belangrijkste Bijdragen

1. Context-gecontroleerde Evaluatie: Een framework dat aantoont hoe LLMs schakelen tussen correct en incorrect gedrag afhankelijk van de kwaliteit van de context.
2. Identificatie van Calibratieproblemen: Het aantonen dat token-niveau onzekerheid niet altijd correleert met juistheid. Misleidende context leidt vaak tot confident confabulations (foutieve antwoorden met lage onzekerheid/hoge logit-scores).
3. Uncertainty-Guided Probing: Een nieuwe aanpak voor het detecteren van onbetrouwbare output die interne modelactivaties combineert met onzekerheidsgeleide token-selectie, wat superieur is aan directe onzekerheidsmetingen.

Resultaten

Invloed van Context op Gedrag:

• Juiste Context (WCC): Verbetert de nauwkeurigheid aanzienlijk en verlaagt de epistemische onzekerheid. Het model wordt zekerder en correcter.
• Misleidende Context (WIC): Leidt tot een dramatische daling in nauwkeurigheid. Cruciaal: de modellen worden onverwacht zekerder in hun fouten. De verdeling van epistemische onzekerheid verschuift naar lagere waarden (linkerzijde), wat aangeeft dat het model de foutieve informatie als sterk bewijs accepteert. Dit creëert een gevaarlijke misalignement tussen vertrouwen en juistheid.

Betrouwbaarheidsdetectie:

• Probing vs. Baselines: De Probe(AVG) methode (aggregatie van hidden states van onzekere tokens) presteert consistent beter dan baselines zoals LogProb of P(True).
• Token Selectie: Het gebruik van geaggregeerde features van meerdere tokens (vooral die met hoge onzekerheid) levert betere detectie op dan het gebruik van een enkel token (zoals het EOS-token).
• Prestaties: De AUROC-scores (Area Under the Receiver Operating Characteristic curve) voor de probing-methode liggen significant hoger, vooral op feitelijk gestructureerde datasets zoals TriviaQA en Math.
• Conclusie: Interne representaties, wanneer gekoppeld aan onzekerheidsgeleide selectie, bieden een robuustere signaal voor het detecteren van hallucinaties dan de output-logits alleen.

Betekenis en Toekomstperspectief

Dit werk benadrukt een fundamentele beperking van huidige LLM's: ze kunnen niet betrouwbaar hun eigen onzekerheid gebruiken om fouten te detecteren wanneer ze blootgesteld worden aan misleidende context. Dit is kritiek voor toepassingen zoals Retrieval-Augmented Generation (RAG) en multi-agent systemen, waar fouten zich kunnen versterken en verspreiden.

De voorgestelde uncertainty-guided probing biedt een veelbelovende oplossing om onbetrouwbare output te filteren zonder de modelarchitectuur te hoeven aanpassen. De auteurs pleiten voor toekomstig onderzoek naar het integreren van deze betrouwbaarheidssignalen in het generatieproces zelf en het ontwikkelen van mechanismen om de propagatie van confabulaties in interactieve systemen te beperken.