TokUR: Token-Level Uncertainty Estimation for Large Language Model Reasoning

In dit paper wordt TokUR voorgesteld, een framework voor token-level onzekerheidsschatting dat grote taalmodellen via gewichtsperturbatie in staat stelt hun eigen wiskundige redeneringen te beoordelen en te verbeteren.

De kern

De Kern: Een Zelfreflecterende AI

Stel je voor dat je een zeer slimme, maar soms wat overmoedige robot hebt die wiskundepuzzels oplost. Deze robot (een 'Large Language Model' of LLM) kan soms briljante antwoorden geven, maar hij kan ook vol vertrouwen een compleet verkeerd antwoord verzinnen. Het probleem is dat de robot niet weet dat hij het fout heeft. Hij zegt gewoon: "Het antwoord is 42," terwijl het misschien 43 moet zijn.

In het echte leven, bijvoorbeeld bij medische diagnoses of juridisch advies, is het gevaarlijk als een AI zeker lijkt over iets dat onzeker is. We willen een manier hebben om te vragen: "Weet je dit echt, of raak je het maar?"

Dit paper introduceert TokUR (Token-level Uncertainty estimation for Reasoning). Het is een methode om de AI te laten twijfelen op de juiste momenten.

De Analogie: De "Wazige Brillen"

Hoe werkt TokUR? Stel je voor dat de AI een meester-architect is die een brug ontwerpt. Normaal gesproken gebruikt hij één perfecte set gereedschappen en één perfecte blauwdruk.

TokUR doet iets heel slims:

1. De Wazige Brillen: In plaats van één keer te tekenen, geeft de AI de architect een paar verschillende, licht vervormde brillen op. Door deze brillen ziet de architect de blauwdruk (de wiskundige regels) net iets anders.
2. Het Experiment: De architect tekent de brug nu 10 keer, maar elke keer met een andere bril.
   • Als de brug er bij alle 10 tekeningen precies hetzelfde uitziet, is de architect zeker.
   • Als de brug bij de ene bril scheef staat en bij de andere recht, is de architect onzeker. Hij ziet dat zijn kennis niet stabiel genoeg is om een definitief antwoord te geven.

In de tech-taal noemen ze dit "low-rank weight perturbation". Simpel gezegd: ze verstoren de hersenen van de AI heel lichtjes om te zien hoe stabiel zijn antwoorden zijn.

Waarom "Token-level"? (Het Woord voor Woord)

De meeste oude methoden keken pas naar het eindantwoord om te zien of het goed was. TokUR kijkt woord voor woord (of "token voor token").

• Voorbeeld: De AI moet een lange redenering schrijven.
  • Bij stap 1 en 2 is de AI heel zeker (de bril zit strak).
  • Bij stap 3, waar de AI een moeilijke deling moet doen, begint de bril te trillen. De AI wordt onzeker.
  • Bij stap 4, waar het fout antwoord wordt geschreven, is de AI volledig in paniek (de bril zit scheef).

TokUR pikt deze momenten van "trillen" op. Het zegt: "Hé, bij dit specifieke woord was de AI niet zeker. Hier zit waarschijnlijk een fout in de redenering."

Wat levert dit op? (De Drie Superkrachten)

Het paper toont aan dat TokUR drie dingen kan doen die andere methoden niet zo goed kunnen:

1. De "Hallucinatie-Detecteur":
   Als de AI een antwoord geeft dat fout is, zal TokUR vaak een hoog "onzekerheids-signaal" geven. Het is alsof de AI een rode vlag zwaait op het moment dat hij begint te verzinnen. Dit helpt om fouten te filteren voordat ze de mens bereiken.

2. De "Beste Antwoorden-Kiezer":
   Stel je vraagt de AI om 10 verschillende oplossingen voor een probleem te bedenken. TokUR kan kijken naar die 10 oplossingen en zeggen: "Deze drie lijken het meest op elkaar en de AI was er het zekerst van. Die zijn waarschijnlijk goed. Die andere zeven waren twijfelachtig." Zo kies je automatisch het beste antwoord.

3. De "Gids voor het Denkproces":
   De AI kan TokUR gebruiken om zichzelf te sturen. Als hij merkt dat hij onzeker wordt bij een bepaalde stap, kan hij stoppen, terugkeren en het opnieuw proberen, of een andere route kiezen. Het is alsof de AI een kompas heeft dat aangeeft: "Pas op, hier is het terrein onstabiel, wees voorzichtig."

Waarom is dit belangrijk?

Vroeger waren methoden om onzekerheid te meten vaak te zwaar (te duur) of te simpel (keken alleen naar het eindresultaat). TokUR is:

• Snel: Het hoeft de AI niet opnieuw te trainen (geen dure schoolopleiding nodig).
• Slim: Het kijkt naar de reden waarom de AI twijfelt, niet alleen naar het antwoord.
• Betrouwbaar: Het werkt goed op moeilijke wiskundepuzzels, maar ook op logische raadsels en het schrijven van code.

Conclusie

TokUR is als het geven van een geweten aan een slimme AI. Het zorgt ervoor dat de AI niet alleen antwoorden geeft, maar ook weet hoe zeker het die antwoorden is. In een wereld waar we steeds meer vertrouwen op AI, is dit een cruciale stap om te voorkomen dat we blindelings onjuiste informatie accepteren. Het maakt de AI niet alleen slimmer, maar ook verantwoordelijker.

Technische samenvatting

Titel: TokUR: Token-level onzekerheidsschatting voor redenering van grote taalmodellen

Publicatie: ICLR 2026 (Conference Paper)

---

1. Het Probleem

Grote Taalmodellen (LLMs) hebben indrukwekkende redeneercapaciteiten getoond, maar hun outputkwaliteit is inconsistent, vooral bij complexe taken die multi-stap redenering vereisen (zoals wiskundige problemen). Een kritieke beperking is dat LLMs vaak moeite hebben om de kwaliteit van hun eigen antwoorden betrouwbaar te beoordelen. Ze kunnen overtuigende maar onjuiste oplossingen genereren zonder enige indicatie van onzekerheid.

Bestaande methoden voor onzekerheidsschatting hebben twee belangrijke tekortkomingen in deze context:

1. Query-level methoden: Deze schatten onzekerheid op basis van de input-prompt alleen, zonder rekening te houden met de kwaliteit van de specifieke gegenereerde respons. Ze vereisen marginalisatie over de hele outputruimte, wat computationeel onhaalbaar wordt bij lange sequenties.
2. Response-level methoden: Deze gebruiken vaak log-probabiliteiten, maar missen een sterke theoretische onderbouwing en kunnen de specifieke onzekerheid van een gegenereerde respons niet nauwkeurig vastleggen.

Er is dus behoefte aan een methode die token-level onzekerheid kan schatten om de betrouwbaarheid van lange generaties (zoals redeneerketens) te evalueren en te verbeteren.

---

2. Methodologie: TokUR

De auteurs stellen TokUR (Token-level Uncertainty estimation for Reasoning) voor, een training-vrij raamwerk dat onzekerheid schat door gebruik te maken van lage-rang willekeurige gewichtsverstorende perturbaties (low-rank random weight perturbation).

Kerncomponenten:

• Lage-rang Gewichtsverstorende Perturbatie (Low-Rank Weight Perturbation):

  • In plaats van het model opnieuw te trainen, worden de gewichten van de attention-layers (specifiek de Query en Key matrices) verstoord.
  • Er wordt een compacte Singular Value Decomposition (SVD) uitgevoerd op de oorspronkelijke gewichten $W_0$.
  • Een lage-rang ruismatrix $\epsilon$ (met een veel kleinere rang dan de oorspronkelijke matrix) wordt toegevoegd aan de gewichten via een variational posterior benadering. Dit creëert een ensemble van modelvarianten zonder de rekenkosten van volledige Bayesiaanse inferentie.
  • De verstoorde gewichten volgen een variational verdeling $q(\theta|\sigma_q)$, waarbij $\sigma_q$ de sterkte van de perturbatie is.

• Token-level Onzekerheidsschatting:

  • Voor elk gegenereerd token $y_t$ (geconditioneerd op de input $x$ en de voorgaande tokens $y_{<t}$) wordt de voorspellende verdeling berekend door te middelen over de verstoorde gewichten (Bayesian Model Averaging).
  • De totale onzekerheid wordt ontbonden in twee componenten:
    1. Aleatorische Onzekerheid (AU): De inherente ruis in de data (verwachte entropie over de gewichten).
    2. Epistemische Onzekerheid (EU): De onzekerheid van het model over zijn eigen parameters (onderlinge informatie tussen output en gewichten).
  • Totale Onzekerheid (TU) is de som van AU en EU.

• Aggregatie naar Response-level:

  • De token-level onzekerheden worden opgeteld over de hele gegenereerde sequentie om een totale onzekerheidsscore voor het antwoord te krijgen.
  • Het paper bewijst theoretisch dat deze aggregatie een onbevooroordeelde schatter is van de query-level onzekerheid en dat de methode consistent is met gevestigde Bayesiaanse principes.

• Praktische Implementatie:

  • Het model gebruikt de gemiddelde gewichten voor de daadwerkelijke decoding (generatie), maar gebruikt de perturbaties alleen om de onzekerheidsscore te berekenen. Dit maakt de methode efficiënt en toepasbaar op bestaande instructie-gefine-tuned modellen.

---

3. Belangrijkste Bijdragen

1. TokUR Framework: Introductie van een training-vrije, principieel onderbouwde methode voor token-level onzekerheidsschatting in LLM-redenering, gebaseerd op lage-rang gewichtsverstorende perturbaties.
2. Theoretische Validatie: Bewijs dat token-level onzekerheid een betrouwbare indicator is voor de kwaliteit van gegenereerde redeneerpaden en dat de aggregatie theoretisch consistent is met Bayesiaanse onzekerheidstheorie.
3. Empirische Superioriteit: Demonstration dat epistemische onzekerheid (EU) een betere maatstaf is voor de kwaliteit van redenering dan traditionele methoden (zoals log-likelihood of self-certainty) over diverse wiskundige en niet-wiskundige taken.
4. Toepassingen: Het framework wordt succesvol toegepast voor:
   • Detectie van onjuiste redeneerpaden (hallucinatiere detectie).
   • Selectie van hoogwaardige oplossingen uit meerdere kandidaten.
   • Verbetering van de redeneerprestaties via "test-time scaling" (gebruik van onzekerheid als beloningssignaal).

---

4. Resultaten

De auteurs hebben TokUR getest op verschillende datasets (GSM8K, MATH500, DeepScaleR) en modellen (Llama-3.2-1B, Llama-3.1-8B, Qwen-2.5).

• Detectie van Onjuiste Redenering:

  • TokUR (vooral de Epistemische Onzekerheid variant) overtreft alle bestaande baselines (zoals Self-Certainty, DeepConf, en Semantic Entropy) significant in het onderscheiden van correcte van incorrecte antwoorden.
  • Op de MATH500 dataset bereikt TokUR (EU) een AUROC van 82.86% voor Llama-3.1-8B, wat een nieuwe state-of-the-art is.
  • Onjuiste antwoorden vertonen consistent hogere onzekerheidsscores, vooral op de tokens waar de fout optreedt (gevisualiseerd in case studies).

• Generalisatie:

  • De methode werkt niet alleen voor wiskunde, maar generaliseert ook goed naar logisch redeneren, codegeneratie (HumanEval) en waarheidsgetrouwheid (FactScore).

• Test-Time Scaling (Verbetering van Output):

  • Wanneer TokUR wordt gebruikt om de beste antwoorden te selecteren uit een set van gegenereerde kandidaten (via Majority Voting of Weighted Best-of-N), verbetert de nauwkeurigheid aanzienlijk.
  • Bijvoorbeeld: Op GSM8K met Llama-3.2-1B steeg de nauwkeurigheid van 44.43% (baseline) naar 60.68% (TokUR EU met N=256 samples).
  • TokUR presteert beter dan methoden die puur op log-likelihood of externe beloningmodellen vertrouwen.

• Case Studies:

  • Visuele analyses tonen aan dat TokUR hoge onzekerheidsscores genereert op specifieke tokens waar rekenfouten of logische fouten optreden (bijv. het verkeerd omkeren van een aftrekking), terwijl correcte antwoorden lage onzekerheid tonen.

---

5. Betekenis en Impact

TokUR biedt een principieel en schaalbaar antwoord op het probleem van onbetrouwbare LLM-outputs in complexe redeneertaken.

• Betrouwbaarheid: Het stelt modellen in staat om zichzelf te evalueren zonder extra training of externe reward-modellen, wat essentieel is voor toepassingen in hoog-risico domeinen (zoals medische diagnose of juridisch advies).
• Interpreteerbaarheid: Door onzekerheid op token-niveau te visualiseren, krijgen ontwikkelaars inzicht in waar en waarom een model twijfelt of faalt, wat helpt bij het diagnosticeren van fouten.
• Efficiëntie: In tegenstelling tot volledige Bayesiaanse netwerken of methoden die veelvuldige inferentie van externe modellen vereisen, is TokUR lichtgewicht en compatibel met bestaande inferentie-frameworks (zoals vLLM).

Samenvattend biedt TokUR een nieuwe standaard voor het meten en verbeteren van de betrouwbaarheid van Large Language Models in uitdagende redeneertaken.