LLMs Should Express Uncertainty Explicitly

Titel: LLM's moeten onzekerheid expliciet uiten

Auteurs: Junyu Guo, Shangding Gu, Ming Jin, Costas Spanos, Javad Lavaei (UC Berkeley & Virginia Tech)

1. Het Probleem

Grote Taalmodellen (LLM's) zijn probabilistische systemen die inherent onzekerheid dragen tijdens het generatieproces. In praktische toepassingen, zoals het nemen van beslissingen over het afzien van een antwoord (abstention), het ophalen van bewijsmateriaal (retrieval), of het verifiëren van antwoorden, is het cruciaal dat deze onzekerheid zichtbaar is voor downstream-systemen.

Het huidige probleem is dat onzekerheid vaak wordt behandeld als een latente grootheid die pas achteraf moet worden geschat (post-hoc), in plaats van als een signaal waarvoor het model is getraind om te communiceren. Bestaande methoden vertrouwen vaak op indirecte indicatoren (zoals entropie of hoog-entropische tokens) die "tussen de regels" moeten worden gelezen. Dit leidt tot een gebrek aan zichtbaarheid: downstream controllers moeten gissen of het model twijfelt, wat leidt tot inefficiënte interventies of het vertrouwen op overmoedige (overconfident) fouten.

De kernvraag van het paper is: Hoe moet onzekerheid in LLM's worden blootgelegd zodat deze bruikbaar wordt voor besturing (control)?

2. Methodologie: Onzekerheid als Interface-ontwerp

De auteurs benaderen onzekerheid niet als een meetprobleem, maar als een interface-ontwerpprobleem. Ze onderscheiden twee complementaire schalen van onzekerheid en stellen twee specifieke interfaces voor:

A. Globale Interface: Verbaal Gecalibreerd Vertrouwen (Verbalized Confidence)

• Doel: Het samenvatten van de betrouwbaarheid van het uiteindelijke antwoord.
• Implementatie: Het model leert om aan het einde van de generatie een numerieke betrouwbaarheidsscore (bijv. 0.0 tot 1.0) te verwoorden.
• Training: Er wordt gebruik gemaakt van GRPO (Group Relative Policy Optimization). De beloning (reward) is simpel maar effectief:
  • Als het antwoord correct is: beloning = de uitgesproken confidence score ($p$).
  • Als het antwoord fout is: straf = $-p$.
  • Dit straft overmoedige fouten zwaar af en beloont gemotiveerd vertrouwen.
• Mechanisme: De theorie toont aan dat deze training de waarschijnlijkheidsmassa verschuift: trajecten met foutieve antwoorden en hoge confidence worden onderdrukt, terwijl correcte trajecten met hoge confidence worden versterkt. Het model leert bestaande onzekerheidssignalen scherper te decoderen zonder de onderliggende redeneringslogica fundamenteel te herschrijven.

B. Lokale Interface: Expliciete Marker tijdens Redenering

• Doel: Het markeren van risicovolle staten tijdens het redeneringsproces, voordat het model zich volledig vastlegt op een antwoord.
• Implementatie: Het model leert om de speciale string <uncertain> uit te zenden wanneer het een onzeker feit, een ontbrekende kennis of een fragiele stap tegenkomt.
• Training: Ook hier wordt GRPO gebruikt met een gespecificeerde reward-structuur:
  • Correct antwoord zonder <uncertain>: Hoogste beloning.
  • Correct antwoord met <uncertain>: Minder beloning (over-interventie).
  • Fout antwoord met <uncertain>: Middelmatige beloning (het model gaf toe aan onzekerheid).
  • Fout antwoord zonder <uncertain>: Zwaarste straf (stil falen).
• Doel: Dit transformeert "stille" epistemische fouten (fouten waar het model zeker van is) naar zichtbare interventiepunten.

3. Belangrijkste Bijdragen

1. Conceptueel Kader: Onzekerheid wordt geframed als een interface-probleem met twee niveaus: een globaal signaal voor vertrouwen in het eindantwoord en een lokaal signaal voor interventie tijdens het redeneren.
2. Verbaal Vertrouwen: Bewijs dat verbaal gecalibreerd vertrouwen een sterke globale interface is die overmoedige fouten onderdrukt en beter presteert dan post-hoc calibratie-methoden.
3. Lokaal Signaleren: Bewijs dat het uitzenden van <uncertain> tijdens het redeneren een effectief lokaal signaal is dat stil falen zichtbaar maakt en de dekking voor downstream-retrieval drastisch verbetert.
4. Mechanistische Analyse:
   • Verbaal: Calibratie werkt als een "geometriebehoudende" herdefiniëring van de output-mapping. De interne representaties blijven grotendeels onveranderd; het model leert alleen de bestaande onzekerheid beter te lezen.
   • Lokaal: Het <uncertain>-signaal induceert een bredere herschrijving van de late lagen van het model. Het model moet een nieuwe interne staat opbouwen om dit signaal te genereren.

4. Resultaten

De methoden zijn getest op diverse datasets (HotpotQA, MuSiQue, 2WikiMultihopQA, Natural Questions, TriviaQA).

• Calibratie Kwaliteit:

  • De verbaal gecalibreerde modellen vertonen een drastische daling in de Expected Calibration Error (ECE) (van 0.383 naar 0.049) en de Brier score.
  • Het percentage overmoedige fouten (fouten met confidence > 0.7) daalt van 88.5% naar 3.2%.
  • Het model verandert van "zeker en fout" naar "onzeker en fout", wat veel veiliger is voor downstream-systemen.

• Adaptive RAG (Retrieval Augmented Generation):

  • Globale Interface: Fungeert als een efficiënte schakelaar. Het model vraagt alleen om retrieval wanneer het eindantwoord onzeker is, wat leidt tot de beste algehele prestatie (41.6% EM) met een selectief retrieval-beleid.
  • Lokale Interface: Fungeert als een hoog-recall interventie-signaal. Het model pakt fouten op tijdens het denken. Dit resulteert in een veel hogere dekking van fouten (88.2% van alle fouten worden opgepikt voor interventie), hoewel dit soms leidt tot meer retrieval-requests.

• Mechanistische Inzichten:

  • PCA en CKA-analyses tonen aan dat verbaal vertrouwen de bestaande "confidence manifold" verscherpt.
  • Het <uncertain>-token daarentegen veroorzaakt een duidelijke divergentie in de representaties van de late lagen, wat aangeeft dat het model actief een nieuwe "onzekerheidsmodus" moet leren.

5. Significantie en Conclusie

Dit paper stelt dat effectieve onzekerheid in LLM's niet één output-formaat is, maar een multi-schaal ontwerpruimte.

• Voor beslissingen over vertrouwen: Een globale, verbaal gecalibreerde confidence score is superieur. Het zorgt voor betrouwbare filtering van antwoorden zonder de redeneerprestaties te schaden.
• Voor interventie en retrieval: Een lokaal, tijdens het redeneren uitgesproken signaal (<uncertain>) is essentieel om stil falen te voorkomen en systemen in staat te stellen tijdig in te grijpen.

De belangrijkste conclusie is dat onzekerheid niet als een diagnostische maatstaf achteraf moet worden behandeld, maar als een opdracht voor communicatie die specifiek moet worden getraind voor de taak: global confidence voor "vertrouwen" en local signaling voor "interventie". Dit biedt een fundamenteel nieuwe richting voor het bouwen van veilige en betrouwbare AI-systemen.