Technische Samenvatting: Over Verbaliseren van Zekerheidsscores voor LLM's

Probleemstelling

De toenemende integratie van Large Language Models (LLM's) in het dagelijks leven heeft een kritieke behoefte aan betrouwbaarheidsmechanismen gecreëerd. In tegenstelling tot traditionele zoekmachines of Q&A-forums die gebruikmaken van menselijke stemming of relevantieranking om betrouwbaarheid aan te geven, missen LLM-antwoorden vaak inherente vertrouwensindicatoren. Blinde afhankelijkheid van deze systemen brengt risico's met zich mee, wat robuuste methoden voor Uncertainty Quantification (UQ) noodzakelijk maakt.

Bestaande UQ-benaderingen vertrouwen doorgaans op:

1. Interne Kennis: Het nemen van meerdere steekproeven van antwoorden om consistentie te meten of het gebruik van interne token-logits. Deze methoden blijken vaak niet model-agnostisch (logits zijn ontoegankelijk bij black-box modellen) of veroorzaken hoge rekenkosten (steekproeven).
2. Externe Kennis: Het gebruik van proxy-modellen of kennisbanken. Deze missen vaak generalisatievermogen over verschillende prompts en taken.

Het artikel onderzoekt verbaliseren van zekerheidsscores, een methode waarbij de LLM wordt gevraagd expliciet een zekerheidsscore naast zijn antwoord te genereren. Hoewel deze aanpak prompt-agnostisch, model-agnostisch is en lage overhead met zich meebrengt, wordt de betrouwbaarheid ervan betwist. Eerdere studies hebben tegenstrijdige resultaten gerapporteerd over de kalibratie van deze scores, wat suggereert dat de manier van prompten de doorslaggevende factor kan zijn.

Methodologie

De auteurs voeren een uitgebreide empirische analyse uit om te bepalen hoe datasetkenmerken, modelcapaciteit en prompt-engineering de betrouwbaarheid van verbaliseren van zekerheidsscores beïnvloeden.

Experimentele Opstelling

• Datasets: 10 diverse datasets (bijv. ARC, MMLU, TruthfulQA, CommonsenseQA) die verschillende domeinen (wetenschap, logica, sociaal gezond verstand) en moeilijkheidsgraden bestrijken. De evaluatie is beperkt tot gesloten-boek, gesloten-eindige, objectieve vragen om te waarborgen dat de grondwaarheid van de correctheid kan worden bepaald.
• Modellen: 11 LLM's variërend van kleine open-source modellen (bijv. Gemma 2B, Llama 3 8B) tot grote modellen (bijv. Llama 3 70B, Qwen 110B, GPT-4o).
• Prompt-methoden: 17 verschillende promptvariaties, gecategoriseerd op basis van:
  • Scorebereik: Percentages (0-100), decimalen (0-1), discrete letters (A-E) of tekstlabels.
  • Scoreformulering: Vragen om "zekerheid" versus "kans op correctheid".
  • Geavanceerde Beschrijving: Het model expliciet instrueren om promptonzekerheid, taakmoeilijkheid en kennisbeschikbaarheid te overwegen.
  • Few-Shot Prompting: Het verstrekken van 1 of 5 voorbeelden van antwoord-zekerheidsparen.
  • Complexiteit: Variaties met inbegrip van Chain-of-Thought (CoT) of het rangschikken van meerdere gokken.

Evaluatiemetrics

De betrouwbaarheid van de scores wordt beoordeeld aan de hand van drie hoog-niveau criteria:

1. Kalibratie: Gemeten door de Expected Calibration Error (ECE) en SmoothECE (smECE). Een gekalibreerde score $C$ impliceert $P(\text{correct} | C=c) = c$.
2. Informativiteit: Gemeten door de variantie en het aantal verschillende waarden in de voorspelde zekerheidsscores. Een model dat altijd dezelfde score output, is niet-informatief.
3. Betekenisvolheid: Gemeten door de Kullback-Leibler (KL)-divergentie tussen de zekerheidsverdeling van een specifieke dataset en de globale verdeling. Dit beoordeelt of het model zijn zekerheid aanpast op basis van taakmoeilijkheid.

Belangrijkste Resultaten

1. Afhankelijkheid van Promptstrategie

De studie bevestigt dat de betrouwbaarheid van verbaliseren van zekerheidsscores niet inherent is aan het model, maar sterk afhankelijk is van hoe aan het model wordt gevraagd.

• Oplossen van Meningsverschillen: Het artikel lost tegenstrijdige literatuur op (bijv. Tian et al. versus Xiong et al.) door aan te tonen dat verschillende promptformuleringen aanzienlijk verschillende kalibratieresultaten opleveren.
• Kleine versus Grote Modellen:
  • Kleine LLM's: Profiteren het meest van eenvoudige promptformuleringen. Complexe methoden zoals few-shot prompting of het rangschikken van meerdere gokken verslechteren de betrouwbaarheid aanzienlijk. De "kansscore"-formulering (vragen om een kans van 0-1) bood de beste verbetering.
  • Grote LLM's: Profiteren van complexe promptmethoden. Het combineren van kansformulering, geavanceerde beschrijvingen (expliciet noemen van bronnen van onzekerheid) en few-shot voorbeelden leverde de beste resultaten op.

2. Kalibratieprestaties

• Oververtrouwen: De meeste modellen vertonen oververtrouwen, waarbij zekerheidsscores hoog blijven, zelfs naarmate de nauwkeurigheid daalt op moeilijke datasets.
• Modelcapaciteit: Hoewel de nauwkeurigheid toeneemt met de modelgrootte, worden verbeteringen in kalibratie voornamelijk gedreven door een toename in nauwkeurigheid en niet door een vermindering van oververtrouwen.
• Beste Prestaties: Voor grote LLM's bereikte de "combinatie"-methode (kansformulering + geavanceerde beschrijving + few-shot voorbeelden) een gemiddelde afwijking van 7% van de empirische nauwkeurigheid (ECE $\approx$ 0,07), wat een aanzienlijke kwalitatieve verbetering in kalibratiegedrag vertegenwoordigt.

3. Informativiteit en Betekenisvolheid

• Eenvoudige prompts leiden vaak tot lage variantie (informativiteit), waarbij modellen zich clusteren rond hoge zekerheid.
• Complexe prompts voor grote modellen stimuleerden succesvol het genereren van diverse zekerheidsscores die de moeilijkheid van de onderliggende dataset beter weerspiegelden (hogere betekenisvolheid).

Belangrijkste Bijdragen

1. Intuïtieve Onzekerheidsdecompositie: De auteurs stellen een decompositie van LLM-onzekerheid voor in Input-, Model- en Output-onzekerheid, met name gericht op de outputonzekerheid met betrekking tot objectieve correctheid.
2. Precisie Specificatie van Betrouwbaarheid: Het artikel definieert en evalueert betrouwbaarheid via een triade van metrics: Kalibratie, Informativiteit en Betekenisvolheid, en gaat verder dan eenvoudige nauwkeurigheidscontroles.
3. Empirische Inzichten: De studie biedt een gedetailleerde analyse van hoe datasetmoeilijkheid, modelcapaciteit en specifieke prompt-engineeringtechnieken met elkaar interageren om de kwaliteit van verbaliseren van zekerheid te bepalen.
4. Open Source: De evaluatiecode en prompttemplates zijn publiek beschikbaar gesteld om verder onderzoek te faciliteren.

Betekenis en Beweringen

Het artikel betoogt dat verbaliseren van zekerheidsscores een veelbelovende, eenvoudige en veelzijdige methode voor onzekerheidskwantificatie vertegenwoordigt die voldoet aan de eisen van prompt-agnostisch, model-agnostisch en lage overhead te zijn.

Echter, handhaven de auteurs een bescheiden houding met betrekking tot de huidige staat van de technologie:

• Geen Zilveren Kogel: De betrouwbaarheid van deze scores wordt momenteel "sterk beïnvloed door de manier van vragen". Ze zijn nog niet volledig betrouwbaar voor implementatie in de echte wereld zonder zorgvuldige prompt-engineering.
• Toekomstpotentieel: De auteurs suggereren dat hoewel LLM's via eenvoudige prompting kunnen worden aangeleerd om diverse en betekenisvolle zekerheidsscores tot expressie te brengen, het bereiken van volledige kalibratie en zelfbewustzijn mogelijk verdere vooruitgang vereist in promptoptimalisatie, door LLM's geleide engineering of fine-tuning.
• Scope-beperking: Het huidige werk is beperkt tot objectieve correctheid. Het behandelt geen subjectieve vragen of open-ended generatietaken waar "correctheid" slecht gedefinieerd is.

Concluderend stelt het artikel vast dat verbaliseren van zekerheid een haalbare weg vooruit is voor de betrouwbaarheid van LLM's, mits de promptstrategie zorgvuldig is afgestemd op de specifieke modelgrootte en taakcomplexiteit.