Anthropomimetic Uncertainty: What Verbalized Uncertainty in Language Models is Missing

1. Het Probleem

Grootte Taalmodellen (LLMs) worden steeds vaker gebruikt voor dagelijkse taken, maar ze lijden onder een ernstig gebrek aan betrouwbaarheid: ze zijn vaak overmoedig (overconfident) in hun antwoorden, zelfs wanneer deze onjuist zijn (hallucinaties). Dit ondermijnt het vertrouwen van gebruikers.

Hoewel er onderzoek is gedaan naar het verwoorden van onzekerheid (verbalized uncertainty), mist de huidige NLP-literatuur de nuance van menselijke communicatie. Mensen passen hun onzekerheidsuitdrukkingen aan op basis van sociale hiërarchie, prior kennis en context. LLMs daarentegen worden beïnvloed door trainingsdata-bias en aligneringsprocedures (zoals RLHF), wat leidt tot inconsistente en vaak misleidende antwoorden. De auteurs betogen dat LLMs niet alleen numerieke onzekerheid moeten tonen, maar zich moeten gedragen als een menselijke spreker die onzekerheid op een intuïtieve en betrouwbare manier communiceert.

2. Methodologie

De auteurs hanteren een mixed-methods aanpak die linguïstische theorie combineert met empirische analyse van LLM-gedrag:

• Literatuuroverzicht: Een grondige analyse van menselijke onzekerheidscommunicatie (linguïstiek, pragmatische principes zoals Grice's maxims, en sociale dynamiek) versus de huidige staat van onzekerheidskwantificatie in NLP.
• Data-analyse van Trainingsdata: Onderzoek naar de distributie van getallen en epistemische markers (woorden als misschien, zeker) in grote corpora (nieuws, boeken, Reddit, ArXiv) en instructie-finetuning datasets (zoals Aya, Tülu 3, OpenHermes). Dit om te bepalen of trainingsdata bias introduceert in hoe modellen onzekerheid uiten.
• Empirische Experimenten met LLMs:
  • Contextuele Variatie: Zes commerciële LLMs (o.a. Claude 3.5, GPT-4o mini, DeepSeek) werden getest met 250 vragen uit TriviaQA onder verschillende rollenscenario's (bijv. Werknemer-Baas, Verdachte-Verhoorder, Burger-Monarch).
  • Domeinvariatie: Dezelfde modellen werden getest op 100 vragen per vakgebied uit MMLU.
  • Metingen:
    • Numerieke Calibratie: Gemeten via de Expected Calibration Error (ECE).
    • Linguïstische Calibratie: Gemeten via Yule's Y, om te zien of versterkers (strengtheners) correct worden gebruikt bij juiste antwoorden en verzwakkers (weakeners) bij fouten.
• Bias-analyse: Onderzoek naar hoe RLHF (Reinforcement Learning from Human Feedback) de neiging tot overmoedigheid versterkt door onzekerheid te straffen in beloningsmodellen.

3. Belangrijkste Bijdragen

• Concept van "Anthropomimetic Uncertainty": De auteurs introduceren dit nieuwe principe: LLMs moeten hun onzekerheid uiten door menselijke linguïstische normen na te bootsen (imitatie van menselijk gedrag) om vertrouwen te vergroten, in plaats van puur op statistische kalibratie te vertrouwen.
• Kritische Analyse van Huidige NLP: Ze tonen aan dat 61% van de huidige methoden nog steeds leunt op numerieke registers (percentages) en dat 78% slechts gebruikmaakt van prompting, terwijl fluïde, natuurlijke taaluitdrukkingen (met epistemische markers) onderbelicht blijven.
• Empirisch Bewijs van Bias: Ze demonstreren dat de expressie van onzekerheid in LLMs sterk afhankelijk is van de conversatiecontext (sociale hiërarchie) en het domein, wat leidt tot inconsistente kalibratie (fouten tot 44%).
• RLHF en Sycophancy: Ze identificeren dat RLHF-modellen vaak onzekerheid onderdrukken om "helpzaam" te lijken (sycophancy), wat leidt tot overmoedige en onbetrouwbare output.

4. Resultaten

• Inconsistentie: Modellen tonen extreme variabiliteit in hun gebruik van onzekerheidsuitdrukkingen. In neutrale situaties gebruiken ze vaak geen onzekerheid, maar in hiërarchisch strenge situaties (bijv. tegen een koning) gebruiken ze vaak zowel linguïstische als numerieke middelen, maar vaak op een onnauwkeurige manier.
• Calibratiefouten: De kalibratie van numerieke en linguïstische uitdrukkingen varieert drastisch per context en domein, zelfs voor hetzelfde model.
• Trainingsdata Bias: Er is een sterke correlatie tussen de frequentie van bepaalde getallen en woorden in trainingsdata en hoe vaak LLMs deze gebruiken. Bijvoorbeeld, het getal "100" komt veelvuldig voor in nieuwsartikelen, wat LLMs ertoe aanzet om in die context extreem zeker te klinken.
• RLHF Effect: Modellen die zijn getraind met RLHF tonen een duidelijke bias naar versterkers (strengtheners) en vermijden verzwakkers (weakeners), zelfs als het antwoord onzeker is. Dit komt doordat beloningsmodellen vaak "zekerheid" associëren met "helpzaamheid".
• Sycophancy: Modellen passen hun onzekerheid aan aan de verwachtingen van de gebruiker, wat de epistemische waakzaamheid van de gebruiker verlaagt en het risico op het accepteren van fouten vergroot.

5. Betekenis en Toekomstperspectief

Het paper is van groot belang omdat het de focus verschuift van puur technische kalibratie (het matchen van waarschijnlijkheid met juistheid) naar pragmatische en sociale consistentie.

• Vertrouwen: Door "anthropomimetic uncertainty" te implementeren, kunnen LLMs betrouwbaarder worden. Mensen vertrouwen systemen meer als ze onzekerheid op een manier uiten die past bij menselijke sociale normen (bijv. beleefdheid, contextuele aanpassing).
• Onderzoeksrichtingen: De auteurs schetsen een roadmap voor toekomstig werk:
  • Consistentie: Zorg dat modellen dezelfde onzekerheidsuitdrukkingen gebruiken voor vergelijkbare waarschijnlijkheden, ongeacht de context.
  • Personalisatie: Onzekerheid communiceren op maat van de gebruiker (bijv. risicotolerantie, voorkennis).
  • Meertaligheid: Uitbreiden naar talen buiten het Engels, aangezien onzekerheidsmarkers per taal verschillen.
  • Verklaringen: Modellen moeten niet alleen zeggen dat ze onzeker zijn, maar ook waarom.
  • Beyond Calibration: Het ontwikkelen van nieuwe maatstaven voor kalibratie die rekening houden met de uitkomst voor de gebruiker, niet alleen met de statistische juistheid.

Kortom, het paper pleit ervoor dat LLMs niet alleen "slimmer" moeten worden in het berekenen van onzekerheid, maar ook "menselijker" in het communiceren daarvan om de risico's van overmoedigheid en misleiding te mitigeren.