Why Don't You Know? Evaluating the Impact of Uncertainty Sources on Uncertainty Quantification in LLMs

Probleemstelling

Hoewel Large Language Models (LLMs) steeds vaker in kritieke domeinen zoals geneeskunde en recht worden ingezet, blijft het betrouwbaar kwantificeren van onzekerheid (Uncertainty Quantification of UQ) een uitdaging. Bestaande UQ-methoden genereren doorgaans één enkele scalar-waarde (een confidence score) om de waarschijnlijkheid aan te geven dat een antwoord correct is.

Het fundamentele probleem is dat onzekerheid in natuurlijke taalopgaven voortkomt uit verschillende, kwalitatief verschillende bronnen, die echter door bestaande methoden niet worden onderscheiden:

1. Kennisonzekerheid: Het model kent het antwoord niet (feitelijke onwetendheid).
2. Output-variabiliteit: Er zijn meerdere geldige antwoorden mogelijk (bijv. "Noem een dier dat in de woestijn leeft").
3. Input-ambiguïteit: De vraag is vaag of onvolledig (bijv. ontbrekende context of referenties).

Deze verschillende bronnen vereisen verschillende downstream-acties (bijv. weigeren te antwoorden, meerdere opties bieden, of om verduidelijking vragen). Bestaande UQ-methoden falen vaak omdat ze deze bronnen niet kunnen onderscheiden, wat leidt tot misleidende scores en suboptimale systeemgedragingen.

Methodologie

1. Dataset Creatie

Om een gecontroleerde analyse mogelijk te maken, introduceerden de auteurs een nieuwe dataset bestaande uit triplets van vragen. Elke triplet bevat drie varianten van een onderliggend thema, elk geïsoleerd rond één specifieke onzekerheidsbron:

• Type 1 (Kennisonzekerheid): Een eenduidige vraag met één correct antwoord, maar het model heeft de kennis niet (gebaseerd op MAQA-dataset, omgezet naar single-answer).
• Type 2 (Output-variabiliteit): Een vraag die meerdere geldige antwoorden toelaat (bijv. "Noem één van de..."), waarbij elke geldige optie correct is.
• Type 3 (Input-ambiguïteit): Een vraag waarbij essentiële context is verwijderd, waardoor het antwoord zonder verduidelijking onmogelijk is.

De dataset bevat in totaal 1.617 vragen (539 per type), handmatig gevalideerd door annotators om zekerheid te hebben over de juistheid en de aard van de onzekerheid.

2. Experimenteel Opzet

• Modellen: Drie open-weight instruct-modellen werden getest: Llama-3.1-8b-Instruct, Gemma-3-12b-Instruct en Qwen-2.5-14b-Instruct.
• UQ-methoden: Een breed scala aan methoden werd geëvalueerd, ingedeeld in vijf categorieën:
  • Token-probabiliteit gebaseerd: (bijv. Sequence Probability, Perplexity, Mean Token Entropy).
  • Consistentie gebaseerd: (bijv. Number of Semantic Sets, Graph Laplacian eigenvalues).
  • Hybride methoden: (bijv. Semantic Entropy, CoCoA, SAR).
  • Verbalized methoden: (bijv. P(True), 2S-Verbalized Uncertainty).
• Evaluatiemetrics:
  • Prediction Rejection Ratio (PRR): De primaire metric om te meten hoe goed een methode slechte antwoorden kan filteren op basis van onzekerheidsscores.
  • Spearman-correlatie: Om de correlatie te meten tussen de onzekerheidsscore en de daadwerkelijke kwaliteit van het gegenereerde antwoord.

Belangrijkste Resultaten

De experimenten onthulden dat de prestaties van UQ-methoden sterk afhankelijk zijn van de bron van onzekerheid:

1. Prestaties bij Kennisonzekerheid: Veel methoden (vooral hybride en consistentie-gebaseerde) presteren goed wanneer de onzekerheid puur voortkomt uit gebrek aan kennis van het model. In deze scenario's correleren lage probabilities of inconsistentie goed met foutieve antwoorden.
2. Falen bij Output-variabiliteit: Methodes die gebaseerd zijn op consistentie (waarbij een model verwacht dat het dezelfde antwoord geeft bij herhaling) falen hier. Omdat er meerdere correcte antwoorden mogelijk zijn, zal het model verschillende, maar correcte, antwoorden genereren. Consistentie-methoden interpreteren deze legitieme diversiteit ten onrechte als hoge onzekerheid (over-schatting).
3. Falen bij Input-ambiguïteit: Modellen neigen er vaak toe om bij vage vragen een willekeurige interpretatie te kiezen en daar zelfverzekerd op te antwoorden. Token-probabiliteit methoden zien deze hoge waarschijnlijkheid voor een specifiek antwoord als lage onzekerheid, terwijl de vraag eigenlijk onbeantwoordbaar is zonder verduidelijking. Verbalized methoden (waar het model zelf zijn zekerheid inschat) presteren hier relatief beter, vooral bij grotere modellen.
4. Geen Universele Oplossing: Geen enkele methode presteert consistent het beste over alle scenario's heen. De beste methode voor kennisonzekerheid is vaak niet de beste voor input-ambiguïteit.

Bijdragen

1. Nieuwe Dataset: Een publiek beschikbaar gestelde, mens-gevalideerde dataset met gecontroleerde vraagtriplets die specifieke onzekerheidsbronnen isoleert.
2. Systematische Evaluatie: De eerste uitgebreide studie die de prestaties van bestaande UQ-methoden analyseert onder gecontroleerde, gescheiden onzekerheidsbronnen.
3. Diepgaande Analyse van Fouten: Een gedetailleerd inzicht in waarom bepaalde methoden falen (bijv. hoe consistentie-gebaseerde methoden legitieme output-variabiliteit verwarren met onzekerheid).

Betekenis en Conclusie

De studie concludeert dat de huidige aanpak van UQ in LLMs, die uitmondt in één enkele scalar-score, onvoldoende is voor veilige en effectieve implementatie in de praktijk. Omdat verschillende onzekerheidsbronnen verschillende acties vereisen (bijv. weigeren vs. verduidelijking vragen), is het cruciaal om de bron van de onzekerheid te kunnen identificeren.

De auteurs pleiten voor een verschuiving van scalar confidence scores naar gestructureerde onzekerheidsrepresentaties die kennis, variabiliteit en ambiguïteit kunnen ontkoppelen. Dit zou systemen in staat stellen om contextbewuste beslissingen te nemen, zoals het vragen om verduidelijking bij vage input of het bieden van meerdere opties bij open-ended vragen, in plaats van blindelings te vertrouwen op een enkel confidence-getal.