Technische Samenvatting: SPANUQ – Span-Level Uncertainty Quantification voor Large Language Model Generatie

1. Probleemformulering

Huidige benaderingen voor onzekerheidschatting in Large Language Models (LLM's) opereren op suboptimale granulariteit, waarbij ze er niet in slagen om semantische coherentie te balanceren met foutlokalisatie.

• Token-niveau methoden (bijv. predictieve entropie, token probes) wijzen scores toe aan individuele tokens. Deze zijn vaak semantisch incompleet; functiewoorden ontvangen betekenisloze scores, en een enkel token vormt zelden een verifieerbare feit.
• Sequentie-niveau methoden (bijv. semantische entropie, multi-sample consistentie) produceren een enkele score voor een volledige respons. Hoewel ze betekenisvolle semantische onzekerheid vastleggen, kunnen ze niet lokaliseren welke specifieke delen van een generatie onbetrouwbaar zijn, waarbij ze vaak correcte en incorrecte claims middelen tot een onbruikbaar gemiddelde.

De auteurs formaliseren Span-Level Uncertainty Estimation (SLUE) als een nieuwe taak. Een "span" wordt gedefinieerd als een aaneengesloten tekstsegment dat een enkele, coherente eenheid van betekenis overbrengt (bijv. een atomaire claim of feit) waarvan de onzekerheid onafhankelijk kan worden beoordeeld. Het doel is om deze variabel lengte spannen gezamenlijk te detecteren en aan elk een continue onzekerheidsscore toe te wijzen vanuit een enkele forward pass.

2. Methodologie: SPANUQ

Het paper introduceert SPANUQ, een lichtgewicht probe (~25M parameters) die onzekerheidskennis destilleert uit dure multi-sample inferentie naar een enkele forward pass over bevroren LLM hidden states.

Architectuur

SPANUQ bestaat uit vijf belangrijke componenten:

1. Multi-Layer Fusion: Hidden states van geselecteerde lagen (doorgaans mid-to-late layers waar feitelijke kennis piekt) worden samengevoegd via mean pooling.
2. Token Encoder: Een 2-laagse Transformer encoder contextualiseert de gefuseerde states naar een content pool.
3. DETR-Style Span Decoder: Geïnspireerd door DETR, gebruikt het model een set leerbare span queries om naar de token sequentie te attentionen. Dit maakt parallelle detectie van overlappende spans mogelijk, een beperking van traditionele BIO tagging.
4. Span Feature Enrichment: Een differentieerbare soft boundary mask extraheert content features uit de voorspelde span regio's en fuseert deze met de query embeddings via een gated residual connection. Dit zorgt ervoor dat de onzekerheidsscorer directe toegang heeft tot de semantische inhoud van de span.
5. Prediction Heads:
   • Regressie: Voorspelt genormaliseerde start- en eindgrenzen.
   • Validiteitsclassificatie: Maakt onderscheid tussen echte spans en ongebruikte query slots.
   • Mixture of Beta (MoB): Modelleert onzekerheid als een mengeling van Beta-distributies ($J=3$ componenten). Dit vangt de bimodale aard van onzekerheid op (spans zijn ofwel zeer zeker of zeer onzeker) en staat U-vormige distributies toe.

Training en Verfijning

• Twee-fasen Training: Het model ondergaat eerst een warmup-fase om betrouwbare span grenzen vast te stellen, gevolgd door een gezamenlijke fase waarin alle componenten worden geoptimaliseerd.
• Loss Functies: De trainingsdoelstelling combineert span regressie (L1 + Generalized IoU), validiteitsclassificatie en onzekerheidsschatting. De onzekerheidsverlies bevat een Beta NLL (Negative Log-Likelihood) en een contrastieve ranking loss om de ordinale structuur van onzekerheid tussen spans te behouden.
• Uncertainty-Conditioned Iterative Refinement (UCIR): Tijdens inferentie worden initiële schattingen teruggevoerd in de decoder voor een verfijningsronde. Deze "tweede blik" stelt het model in staat om systematische biases te corr corrected op basis van zijn eigen initiële voorspellingen, met minimale overhead (<15%).

3. Benchmark: SPANUQ-BENCH

Om SLUE te evalueren, hebben de auteurs SPANUQ-BENCH geconstrueerd, de eerste span-level onzekerheidsbenchmark.

• Schaal: 20.000 prompts over vijf domeinen (Long-form QA, TriviaQA, ELI5, Biography, FELM) en ~293.000 geannoteerde spans.
• Labeling Strategie: Ground-truth soft labels ($u^* \in [0, 1]$) worden afgeleid via multi-sample distillatie. Voor elke prompt worden 20 diverse responsen gesampled, gedecomposeerd in atomaire claims, en geverifieerd tegen Wikipedia. Het onzekerheidslabel voor een span is het fractie van de samples waarin de claim niet wordt ondersteund.
• Evaluatie: De benchmark test discriminatie (AUROC), regressienauwkeurigheid (MAE) en ranking kwaliteit (Spearman correlatie).

4. Belangrijkste Resultaten

Experimenten werden uitgevoerd op vijf LLM backbones (Qwen3 serie en Mistral-7B) variërend van 4B tot 30B parameters, inclusief zowel dense als Mixture-of-Experts (MoE) architecturen.

• Span-Level Prestaties: SPANUQ bereikt consistent de beste span-level onzekerheidskwaliteit over alle modellen heen.
  • AUROC: 0.908 – 0.944 (presteert beter dan de sterkste probe baseline met ~5.8 punten en sampling-gebaseerde methoden met >13 punten).
  • MAE: 0.110 – 0.129.
  • Efficiëntie: Het is 10–20× sneller dan sampling-gebaseerde methoden (bijv. SelfCheckGPT, Semantic Entropy) omdat het slechts een enkele forward pass vereist.
• Span Detectie: De DETR-gebaseerde detector bereikt een F1 score van 0.910, waarmee de beste heuristische baseline (Sliding Window) met 39.4% wordt verslagen. Het handelt succesvol overlappende spans af, terwijl BIO taggers significant falen (F1 = 0.079) door non-overlapping restricties.
• Sequentie-Niveau Decomposeerbaarheid: De auteurs observeren dat sequentie-niveau onzekerheid gedeeltelijk decomponeerbaar is in span-niveau componenten. De geleerde importance-weighted span compositie bereikt een sequentie-niveau Spearman correlatie ($\rho_{seq}$) van 0.839, wat suggereert dat span-niveau schatting sequentie-niveau schatting als een speciaal geval subsumeert.
• Ablatie Bevindingen:
  • Mixture of Beta (MoB): Cruciaal voor het vangen van multi-modale onzekerheid, vermindert ECE met 62% vergeleken met een enkele Beta distributie.
  • UCIR: Levert de op één na grootste winst in ranking kwaliteit ($\rho_{span}$), en corrigeert effectief systematische fouten.
  • Regressie vs. Pointer: Continue regressie voor boundary voorspelling presteert 3.4% beter in AUROC dan cross-attention pointer mechanismen.

5. Betekenis en Claims

Het paper claimt dat SPANUQ de kloof overbrugt tussen token-niveau en sequentie-niveau onzekerheidsschatting door te opereren op de "natuurlijke granulariteit" van verifieerbare claims.

• Interpreteerbaarheid en Actiegerichtheid: In tegen tegenover sequentie-niveau scores, biedt SPANUQ interpreteerbare, lokaliseerbare onzekerheidsscores voor specifieke claims (bijv. het identificeren van "1901" als onzeker in een zin over Marie Curie, terwijl "Poolse natuurkundige" wordt bevestigd).
• Generalisatie: Het framework generaliseert over verschillende model families, schalen en architecturen (dense vs. MoE) zonder de backbone te hertrainen.
• Praktische Implementatie: Door multi-sample onzekerheid te distilleren naar een enkele forward pass, biedt SPANUQ een computationeel haalbare oplossing voor high-stakes domeinen (gezondheidszorg, juridisch, onderzoek) waar het identificeren van specifieke hallucinaties cruciaal is.

De auteurs merken beperkingen op: SPANUQ vereist white-box toegang tot hidden states, leunt op een rekenintensieve eenmalige label constructie pipeline, en focust momenteel op feitelijke onzekerheid in het Engels. Ze benadrukken dat hoewel SPANUQ epistemische onzekerheid schat vanuit hidden-state patronen, het geen garantie biedt voor feitelijke juistheid en menselijk oordeel moet aanvullen, niet vervangen.