Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers

Technische Samenvatting: Onzekerheidskwantificering voor Taalmodellen

Probleemstelling
Grote taalmodellen (LLM's) worden steeds vaker ingezet in domeinen met een hoog risico, zoals de gezondheidszorg en de financiële sector, waar feitelijke juistheid cruciaal is. Een primair risico bij deze toepassingen is "hallucinatie", hier gedefinieerd als het genereren van inhoud die plausibel klinkt maar feitelijk onjuist is. Hoewel evaluaties voorafgaand aan de implementatie, waarbij gegenereerde tekst wordt vergeleken met de grondwaarheid, gebruikelijk zijn, ondersteunen deze geen realtime monitoring van operationele systemen. Bov�rake vertrouwen op veel bestaande detectiemethoden de toegang tot broninhoud of databases met de grondwaarheid, welke niet beschikbaar zijn in "closed-book" settings. Dit artikel adresseert de behoefte aan een veelzijdig, closed-book framework dat op het moment van generatie betrouwbaarheidsscores op responsniveau kan berekenen om hallucinaties te detecteren zonder toegang tot referentieantwoorden of externe databases.

Methodologie
De auteurs stellen een verenigd framework voor dat bestaande technieken voor onzekerheidskwantificering (Uncertainty Quantification, UQ) aanpast naar gestandaardiseerde betrouwbaarheidsscores variërend van 0 tot 1 (waarbij 1 een hoge betrouwbaarheid aangeeft). Het framework categoriseert scorers in drie verschillende typen en introduceert een instelbare ensemble-aanpak:

1. Black-Box UQ Scorers: Deze methoden maken gebruik van de stochastische aard van LLM's door meerdere kandidaat-responsen ($m$) te genereren vanuit dezelfde prompt en deze te vergelijken met de oorspronkelijke respons. Het paper implementeert en normaliseert verschillende benaderingen:

   • Exact Match Rate (EMR): Meet het aandeel kandidaten dat identiek is aan de oorspronkelijke respons.
   • Non-Contradiction Probability (NCP): Gebruikt een Natural Language Inference (NLI) model om de waarschijnlijkheid te berekenen dat kandidaten de oorspronkelijke respons niet tegenspreken.
   • BERTScore (BSC): Berekent de gemiddelde F1-score op basis van gecontextualiseerde woordembeddings tussen de oorspronkelijke respons en de kandidaat-responsen.
   • Normalized Cosine Similarity (NCS): Meet semantische gelijkenis met behulp van sentence transformers, genormaliseerd naar het bereik [0, 1].
   • Normalized Semantic Negentropy (NSN): Een genormaliseerde versie van Semantic Entropy die responsen clustert op basis van wederzijdse implicatie om respons-volatiliteit te meten.

2. White-Box UQ Scorers: Deze maken gebruik van interne token-waarschijnlijkheden uit het generatieproces van de LLM:

   • Length-Normalized Token Probability (LNTP): Het geometrisch gemiddelde van token-waarschijnlijkheden, genormaliseerd voor de lengte van de respons.
   • Minimum Token Probability (MTP): De laagste waarschijnlijkheid onder alle tokens in de gegenereerde respons.

3. LLM-as-a-Judge Scorers: Een aparte LLM wordt geprompt om de feitelijke juistheid van een vraag-antwoordpaar te evalueren, waarbij een score op een schaal van 0–100 wordt gegenereerd die vervolgens wordt genormaliseerd naar [0, 1].

4. Tunable Ensemble Approach: De kernbijdrage is een gewogen gemiddelde van de individuele scorers zoals hierboven beschreven. De gewichten ($w$) worden geoptimaliseerd met behulp van een door de gebruiker verstrekte set gegradeerde LLM-responsen (waar grondwaarheid-labels bekend zijn) en een classificatie-doelfunctie (bijv. AUROC of F1-score). Dit maakt het mogelijk om het ensemble aan te passen voor specifieke use-cases, LLM's en datasets.

Belangrijkste Bijdragen

• Gestandaardiseerd Framework: Het paper schetst een methode om diverse UQ-technieken te transformeren naar een consistente, respons-niveau betrouwbaarheidsmetriek die geschikt is voor real-time, closed-book hallucinatie-detectie.
• Open-Source Toolkit: De auteurs brengen uqlm uit, een Python-package die kant-en-klare implementaties biedt van alle voorgestelde scorers en het ensemble-tuningmechanisme.
• Uitbreidbaarheid: Het ensemble-ontwerp is modulair, waardoor beoefenaars nieuwe scoringmethoden kunnen integreren naarmate het onderzoek evolueert.
• Empirische Inzichten: De studie biedt datagestuurde begeleiding bij de selectie van scorers, zoals de afnemende meeropbrengst van het extra samplen van kandidaat-responsen en de correlatie tussen de generatie-nauwkeurigheid van een model en de effectiviteit ervan als rechter (judge).

Experimentele Resultaten
De auteurs evalueerden het framework over zes benchmarks (GSM8K, SVAMP, CSQA, AI2-ARC, PopQA, NQ-Open) met behulp van vier LLM's (GPT-4o, GPT-4o-mini, Gemini-2.5-Flash, Gemini-2.5-Flash-Lite).

• Ensemble Prestaties: De instelbare ensemble presteerde consequent beter dan individuele componenten in 20 van de 24 LLM-dataset scenario's voor AUROC en 17 van de 24 voor F1-score.
• Variabiliteit van Scorers: De prestaties van individuele scorers varieerden significant per dataset. NLI-gebaseerde black-box scorers (NSN en NCP) presteerden over het algemeen beter dan andere black-box methoden.
• Judge Selectie: De nauwkeurigheid van een model op een specifieke dataset correleerde positief met de prestaties als judge voor diezelfde dataset. Zo excelleerde Gemini-2.5-Flash bijvoorbeeld als judge op wiskunde-benchmarks, terwijl GPT-4o het beste presteerde op benchmarks met korte antwoorden.
• White-Box vs. Black-Box: White-box scorers (LNTP, MTP) presteerden ongeveer gelijk aan elkaar, maar presteerden over het algereen minder goed dan de beste black-box of ensemble-methoden in veel scenario's, met name wanneer token-waarschijnlijkheden niet het primaire signaal van onzekerheid waren.
• Filtering Effectiviteit: Het toepassen van betrouwbaarheidsdrempels om laag-betrouwbare responsen te filteren, resulteerde in een monotone toename van de modelnauwkeurigheid. Bijvoorbeeld: het filteren van GPT-4o-responsen op GSM8K met de ensemble-scorer verhoogde de nauwkeurigheid van een baseline van 0,55 naar 0,93 bij een drempelwaarde van 0,6.

Significantie en Claims
Het paper beweert dat op maat gemaakte detectiestrategieën voor hallucinaties, specifericaal door middel van instelbare ensembles, een praktische en effectieve oplossing bieden voor het verbeteren van de betrouwbaarheid van LLM's in productie. De auteurs benadrukken dat er geen "one-size-fits-all" oplossing bestaat; de optimale aanpak hangt in plaats daarvan af van de specifieke LLM, de dataset en de operationele beperkingen (bijv. latentie, API-toegang tot token-waarschijnlijkheden).

De auteurs hanteren een bescheiden houding ten aanzien van beperkingen, waarbij zij opmerken dat hun bevindingen mogelijk niet zonder modificatie generaliseren naar langere generaties (long-form generation) of codegeneratie. Zij adviseren ook dat betrouwbaarheidsscores de onzekerheid van het model reflecteren in plaats van de grondwaarheid, en raden aan deze niet te gebruiken als absolute garanties voor besluitvorming in risicovolle domeinen zonder menselijke controle. Het werk dient als een praktische toolkit voor beoefenaars om model-agnostische, real-time hallucinatie-detectie te implementeren.