🤖 machine learning

"very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification

Dit artikel onderzoekt de divergentie tussen mensen en grote taalmodellen in verbale onzekerheidskwantificering door een optimalisatiegebaseerd algoritme, METHODNAME, te introduceren, dat optimale waarschijnlijkheidsafbeeldingen voor verbale markeringen direct uit modeloutputs leert om systematische vertrouwensverschillen te onthullen zonder afhankelijk te zijn van herhaaldelijk samplen.

Oorspronkelijke auteurs: Jinhao Duan, Zicheng Liu, Zijie Liu, Kaidi Xu, Tianlong Chen

Gepubliceerd 2026-10-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jinhao Duan, Zicheng Liu, Zijie Liu, Kaidi Xu, Tianlong Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Wanneer we spreken, dekken we vaak onze kansen in. We zeggen dat iets "waarschijnlijk", "mogelijk" of "bijna zeker" is, waarbij we deze woorden gebruiken om aan te geven hoeveel we werkelijk weten. Dit vermogen om twijfel te uiten is een vorm van metacognitie, een mentale controle waarbij we de grenzen van onze eigen kennis erkennen. Het is een cruciaal onderdeel van de menselijke communicatie, waardoor we onzekerheid kunnen navigeren zonder te doen alsof we antwoorden hebben die we niet bezitten. In de wereld van kunstmatige intelligentie, specif으로 met grote taalmodellen, wordt ditzelfde vermogen een kritieke veiligheidsfunctie. Deze modellen kunnen soms zelfverzekerd klinkende maar feitelijk onjuiste informatie genereren, een fenomeen dat bekend staat als hallucinatie. Om deze systemen te vertrouwen, vooral in gevoelige gebieden zoals de geneeskunde of de juridische sector, moeten we weten wanneer ze het niet zeker weten. De uitdaging ligt in de vraag of de woorden die een AI gebruikt om onzekerheid uit te drukken, hetzelfde betekenen voor een menselijke luisteraar als voor de machine zelf.

Een team van onderzoekers zette zich scharpe scherp om te onderzoeken of de verbale onzekerheid die door grote taalmodellen wordt geuit, overeenkomt met het menselijk begrip. Ze begonnen met het verzamelen van een enorme collectie van hoe mensen termen als "zeer waarschijnlijk" of "onzeker" interpreteren. Met puttend uit decennia aan psychologisch en besluitvormingswetenschappelijk onderzoek, stelden ze een referentiegids samen die deze veelvoorkomende termen koppelt aan specifieke numerieke waarschijnlijkheden. In het menselijk brein komt de term "zeer waarschijnlijk" bijvoorbeeld overeen met een hoge mate van vertrouwen, terwijl "mogelijk" ergens in het midden zit. Vervolgens testten de onderzoekers verschillende geavanceerde taalmodellen door hen vragen te stellen en hen hun vertrouwen te laten uitleggen met behulp van diezelfde natuurlijke taaltermen. Ze vergeleken de antwoorden van de modellen met de menselijke referentiegids om te zien of de machines dezelfde taal spraken als hun gebruikers.

De resultaten toonden een significante discrepantie aan. Hoewel de modellen de woorden konden gebruiken, kennen ze andere mate van zekerheid toe aan deze termen dan mensen doen. Wanneer een mens bijvoorbeeld "zeer waarschijnlijk" hoort, interpreteert hij dit als een sterke waarschijnlijkheid, maar de modellen in de studie gebruikten deze term vaak om situaties te beschrijven waarin ze eigenlijk nogal onzeker waren. Omgekeerd kunnen de modellen een hoge mate van vertrouwen uitdrukken voor termen die mensen als louter gissingen beschouwen. Deze mismatch betekent dat simpelweg de output van een model lezen en ervan uitgaan dat de verbale signalen de interne staat reflecteren, misleidend kan zijn. De studie toonde aan dat het vertrouwen op een door mensen gemaakt woordenboek van onzekerheidswoorden niet voldoende was om de mate van vertrouwen van een machine nauwkeurig in te schatten; de modellen hadden hun eigen, afwijkende interne logica voor wat die woorden betekenden.

Om deze kloof te overbruggen, ontwikkelden de onderzoekers een nieuwe methode genaamd VOCAL. In plaats van de modellen te dwingen zich te conformeren aan menselijke definities, leert deze benadering de specifieke betekenis van onzekerheidswoorden rechtstreeks uit het gedrag van het model zelf. Het systeem analyseert duizenden reacties van het model en merkt op welke termen het gebruikt wanneer het het bij het rechte eind heeft en welke het gebruikt wanneer het ernaast zit. Vervolgens bouwt het een aangepaste kaart die de specifieke verbale gewoonten van het model vertaalt naar nauwkeurige waarschijnlijkheidsscores. Dit proces omvat een wiskundige optimalisatie die de gegevens gladstrijkt, waardoor ervoor wordt gezorgd dat vergelijkbaar klinkende termen vergelijkbare scores krijgen, zelfs als het model ze zelden gebruikt. Door de interpretatie af te stemmen op de specifieke machine, creëert de methode een veel betrouwbaardere manier om te detecteren wanneer het model het niet zeker weet.

De experimenten toonden aan dat deze op maat gemaakte aanpak aanzienlijk beter werkt dan het proberen op te leggen van een menselijke standaard aan de machine. In tests over diverse datasets, inclusief complexe wiskundige problemen en medische vragen, was de nieuwe methode veel nauwkeuriger in het voorspellen of een antwoord van een model correct of incorrect was, vergeleken met het gebruik van de menselijke referentiegids alleen. In sommige gevallen was de verbetering aanzienlijk, waarbij een methode die nauwelijks beter presteerde dan willekeurig gokken, werd omgezet in een methode die betrouwbaar fouten kon opsporen. De onderzoekers ontdekten dat deze techniek prestatieniveaus kon bereiken die vergelijkbaar zijn met veel duurdere methoden die vereisen dat het model meerdere antwoorden genereert en deze vergelijkt, maar dan zonder de extra tijd of rekenkracht.

De studie concludeert dat hoewel grote taalmodellen menselijke spraakpatronen kunnen nabootsen, hun interne begrip van onzekerheid fundamenteel verschilt van dat van ons. Een term als "zeer waarschijnlijk" heeft voor de machine niet hetzelfde gewicht als voor een persoon. Om deze systemen werkelijk betrouwbaar te maken, kunnen we ze niet simpelweg vragen om als mensen te spreken en verwachten dat ze hetzelfde bedoelen. In plaats daarvan moeten we leren hun specifieke dialect van onzekerheid te lezen. Door aangepaste kaarten te creëren die de unieke verbale signalen van een model vertalen naar heldere signalen van vertrouwen, kunnen we beter onderscheid maken tussen een correct antwoord en een zelfverzekerde hallucinatie, waardoor de technologie veiliger en betrouwbaarder wordt voor echt wereldgebruik.

Technische Samenvatting: Betekent "Zeer Waarschijnlijk" "Onzeker"? Hoe LLM's Afwijken van Mensen in Linguïstische Onzekerheidskwantificatie

Probleemstelling

Hoewel Large Language Models (LLM's) opmerkelijk succes hebben behaald, blijft een fundamentele uitdaging bestaan in het bepalen wanneer men hun reacties kan vertrouwen, met name met betrekking tot hallucinaties. Bestaande methoden voor Onzekerheidskwantificatie (Uncertainty Quantification, UQ) vallen over het algemeen uiteen in twee categorieën: sampling-gebaseerde methoden (bijv. Semantische Entropie, ensemble-variantie) en logits-gebaseerde methoden (bijv. Predictieve Entropie, Perplexity). Deze benaderingen kampen echter met aanzienlijke beperkingen: sampling-methoden zijn computationeel duur en introduceren latentie, terwijl logits-gebaseerde methoden vaak lijden onder lexicale gevoeligheid en er niet in slagen de nuance van menselijk redeneren te vatten.

Mensen drukken onzekerheid van nature uit met verbale markeringen (bijv. "mogelijk", "waarschijnlijk", "bijna zeker"). Hoewel recent werk verkende hoe verbale UQ werkt, bestaat er een kritieke kloof: LLM's wijken af van mensen in de manier waarop zij deze linguïstische markeringen interpreteren en benutten. Huidige methoden vertrouwen vaak op lookup-tabellen afgeleid uit de psychologische literatuur om verbale frases te mappen aan numerieke waarschijnlijkheden. De auteurs stellen dat deze door mensen afgeleide mappingen de interne onzekerheidstoestanden van LLM's niet accuraat reflecteren, wat leidt tot onbetrouwbare kwantificatie.

Methodologie

1. Human Verbal Uncertainty Benchmark (UM-Lookup)

De auteurs hebben eerst een grootschalige Verbal Uncertainty Marker Lookup Table (UM-Lookup) geconstrueerd. Deze bron aggregeert gegevens uit fundamentele studies in de psychologie en besluitvormingswetenschap (bijv. Lichtenstein & Newman, 1967; Beyth-Marom, 1982; Vogel et al., 2022).

Constructie: De tabel mapt 115 verschillende verbale onzekerheidsuitdrukkingen aan numerieke waarschijnlijkheidsscores op basis van een gemiddelde van 336 menselijke beoordelingen per frase.
Aggregatie: Wanneer een LLM een reactie genereert die meerdere markeringen bevat, middelt de methode (aangeduid als $Q_{VU-H}$ ) de numerieke scores van de geëxtraheerde markeringen om een definitieve onzekerheidsschatting te produceren.
Initiële Evaluatie: De auteurs evalueerden $Q_{VU-H}$ tegen standaard baselines (Predictieve Entropie, Semantische Entropie) over diverse modellen (GPT-4o, DeepSeek-V3.1) en datasets (GSM8K, MedQA, SciQ). Hoewel $Q_{VU-H}$ in sommige gevallen een niet-verwaarloosbare prestatie vertoonde, presteerde het regelmatig slechter dan sampling-gebaseerde methoden en in sommige gevallen (bijv. GPT-4o op GSM8K) zelfs slechter dan willekeurige kans. Dit bevestigde een fundamentele mismatch tussen menselijke linguïstische intuïtie en de interne vertrouwen van de LLM.

2. VOCAL: Geoptimaliseerde Verbale Onzekerheidskwantificatie

Om deze mismatch aan te pakken, stellen de auteurs VOCAL voor, een nieuw optimalisatie-gebaseerd algoritme dat een LLM-specifieke mapping leert tussen verbale markeringen en numerieke onzekerheidsniveaus.

Doelstelling: VOCAL leert een set numerieke scores ( $c_i$ ) voor elke verbale markering ( $u_i$ ), zodanig dat de geaggregeerde onzekerheidsscore ( $q_y$ ) getrouw de werkelijke correctheid van het model reflecteert. Het doel is om hogere onzekerheidsscores toe te wijzen aan incorrecte generaties en lagere scores aan correcte.
Optimalisatieformule: Het probleem wordt geformuleerd als het minimaliseren van een Binary Cross-Entropy (BCE) loss:
$\mathcal{L}(c) = \min_{c} \mathbb{E}_{(x,y)} \left[ -z \log c_y - (1-z) \log(1-c_y) \right]$
Waarbij $z$ de correctheidsindicator is (1 voor correct, 0 voor incorrect), en $c_y$ de geaggregeerde onzekerheid is die voortkomt uit de geleerde scores van de markeringen in generatie $y$ .
Semantische Smoothing: Om data-schaarsheid aan te pakken (waarbij zeldzame markeringen zoals "kleine kans" weinig trainingsvoorbeelden hebben), incorporeert VOCAL een Graph Laplacian Regularizer. Dit dwingt gladheid af door grote discrepanties tussen semantisch gelijkaardige markeringen te bestraffen (gemeten via 3-gram Jaccard-gelijkenis). De totale doelstelling is $\mathcal{L}(c) + \gamma \mathcal{L}_{lap}(c)$ .
Efficiëntie: In tegenstelling tot sampling-gebaseerde methoden vereist VOCAL slechts één modelrespons om een onzekerheidsscore te genereren, waardoor de computationele overhead van meerdere generaties wordt vermeden.

Belangrijkste Bijdragen

Human Verbal Uncertainty Lookup Table: Het artikel presenteert een gecureerde bron van 115 verbale markeringen gemapt aan numerieke waarschijnlijkheden, geworteld in de psychologische literatuur. Dit dient als een fundamentele benchmark voor het analyseren van de divergentie tussen mens en LLM in metacognitief monitoren.
VOCAL Algoritme: De auteurs introduceren VOCAL, een lichtgewicht, optimalisatie-gebaseerde methode die verbale onzekerheidsmapping afstemt op specifieke LLM's zonder dat parameterupdates of fine-tuning nodig zijn. Het leert de optimale waarschijnlijkheidsmassa die elke markering moet overbrengen op basis van empirische correctheid.
Uitgebreide Empirische Analyse: De studie biedt een diepgaande analyse van hoe LLM's afwijken van mensen. Zo demonstreert het artikel dat terwijl mensen "zeer waarschijnlijk" beoordelen als hoog vertrouwen (~~0,85), GPT-4o dit associeert met aanzienlijk lager vertrouwen (~~0,35) in zijn interne staat.

Resultaten

Superieuriteit ten opzichte van Human Lookup: VOCAL presteert consequent beter dan de door mensen afgeleide UM-Lookup ( $Q_{VU-H}$ ). Op de GSM8K-dataset verbeterde VOCAL de AUROC voor GPT-4o van 0,41 (met gebruik van human lookup) naar ongeveer 0,60.
Vergelijking met Single-Sample Baselines: VOCAL presteert significant beter dan single-sample UQ-methoden zoals G-NLL en Perplexity (PPL). In 5 van de 6 geëvalueerde settings behaalde VOCAL de hoogste AUROC. Bijvoorbeeld, op GSM-Hard met DeepSeek-V3.1 behaalde VOCAL een AUROC van 0,715, vergeleken met 0,520 voor G-NLL.
Concurrentie met Multi-Sample Methoden: Ondanks het gebruik van slechts één respons, bereikt VOCAL een prestatie die vergelijkbaar is met dure multi-sample methoden (bijv. Semantische Entropie, Semantische Densiteit). In verschillende gevallen (bijv. SciQ met Qwen2.5-72B) behaalde VOCAL de hoogste AUROC (0,717), waarmee het de sampling-gebaseerde baselines overtrof.
Kalibratie: VOCAL vertoont sterke kalibratie-eigenschappen. Wanneer gecombineerd met post-hoc kalibratiemethoden zoals Isotonic Regression (IR), behaalde het een gemiddelde Expected Calibration Error (ECE) van 0,0281, waarmee het andere baselines overtrof.
Transfereerbaarheid: Experimenten tonen aan dat hoewel verbale onzekerheidsindicatoren grotendeels transfereerbaar zijn tussen verschillende LLM's (de AUROC blijft in de range van 0,60–0,72 wanneer getraind op één model en getest op een ander), model-specifieke tuning via VOCAL superieure resultaten oplevert.

Betekenis en Claims

Het artikel claimt dat verbale onzekerheidsuitdrukkingen model-afhankelijk zijn, en dat het vertrouwen op vaste, door mensen gedefinieerde tabellen onvoldoende is voor betrouwbare UQ in LLM's. De betekenis van dit werk ligt in:

Het overbruggen van de mens-LLM kloof: Het onthult dat "zeer waarschijnlijk" niet hetzelfde betekent voor een LLM als voor een mens, wat een kritieke disconnect in huidige vertrouwensmechanismen benadrukt.
Efficiëntie en Praktische Bruikbaarheid: VOCAL biedt een sterke trade-off tussen nauwkeurigheid en efficiëntie. Het biedt onzekerheidsdiscriminatie van state-of-the-art niveau zonder de latentie en kosten van multi-sample semantische consistentie-pipelines, wat het praktischer maakt voor real-world implementatie.
Metacognitief Inzicht: De bevindingen suggereren dat hoewel LLM's onzekerheid verbaal kunnen uitdrukken, hun interne mapping van deze expressies naar vertrouwsniveaus verschillend is van de menselijke cognitie. VOCAL biedt een mechanisme om deze expressies af te stemmen op de werkelijke betrouwbaarheid van het model, wat bijdraagt aan meer betrouwbare AI-interacties.

De auteurs concluderen dat het funderen van LLM-onzekerheid in verbale expressies, wanneer deze correct gekalibreerd is aan het specifieke model, een levensvatbaar pad biedt naar meer betrouwbare en verantwoorde generatieve AI.