Technische Samenvatting: Calibratie Is Niet Voldoende: Evaluatie van Confidence Schatting Onder Taalvariaties

Probleemstelling

Confidence Schatting (CS) is cruciaal voor het vestigen van gebruikersvertrouwen in Large Language Models (LLM's), met name in hoog-risico domeinen zoals geneeskunde en recht. Huidige evaluatieparadigma's richten zich voornamelijk op calibratie (de afstemming tussen gestelde zekerheid en werkelijke nauwkeurigheid, gemeten met metrics zoals ECE en Brier-score) en discriminatie (het vermogen om correcte antwoorden hoger te rangschikken dan incorrecte antwoorden, gemeten met AUROC).

Deze bestaande metrics negeren echter een fundamentele eigenschap van taal: variabiliteit. Natuurlijke taaluitdrukkingen kunnen aanzienlijk variëren in oppervlaktevorm (woordkeuze, formulering) terwijl ze identieke semantische betekenis behouden, of omgekeerd, licht variëren in woordkeuze terwijl ze volledig verschillende betekenissen vertegenwoordigen. Bestaande CS-methoden worden vaak geëvalueerd onder statische omstandigheden, waardoor ze niet beoordelen of zekerheidsscores consistent blijven onder semantisch equivalente prompt-perturbaties of of ze op passende wijze verschuiven wanneer de semantische betekenis van een antwoord verandert. Een methode kan gemiddeld goed gekalibreerd zijn, maar toch fluctuerende zekerheidsscores produceren voor semantisch identieke invoer, of falen in het onderscheiden tussen semantisch verschillende antwoorden, wat leidt tot onbetrouwbaar gedrag in real-world toepassingen waar prompt engineering en antwoordvariaties veelvoorkomend zijn.

Methodologie

De auteurs stellen een nieuw evaluatiekader voor dat gebaseerd is op drie complementaire eigenschappen die specifiek taalvariatie adresseren. Deze metrics vereisen geen ground-truth correctheidlabels, maar vertrouwen in plaats daarvan op meerdere gegenereerde responsen onder verschillende omstandigheden.

1. Voorgestelde Metrics

• Robuustheid tegen Prompt-perturbaties (P-RB): Meet of een CS-methode dezelfde zekerheidsscore output wanneer de invoer-prompt wordt gewijzigd (bijvoorbeeld verschillende instructies of formuleringen) terwijl de gegenereerde respons constant blijft. Dit isoleert prompt-variatie van generatieruis.
• Stabiliteit over Semantisch Equivalent Antwoorden (A-STB): Evalueert of de CS-methode consistente zekerheidsscores toekent aan verschillende gegenereerde responsen die semantisch equivalent zijn (bijvoorbeeld "Concave lens" versus "Concave").
• Sensitiviteit voor Semantisch Verschillende Antwoorden (A-SST): Meet of de CS-methode onderscheidende zekerheidsscores toekent wanneer de betekenis van het antwoord verandert. Een sensitieve methode moet semantische verschuivingen detecteren, zelfs als de oppervlaktevorm vergelijkbaar is.

2. Experimentele Opzet

• Modellen: 11 LLM's uit vijf grote families (Mistral, Llama 3, Qwen 2.5, OLMo 2, GPT-4o) variërend van 7B tot 123B parameters.
• Datasets: Vier open-ended QA-benchmarks (Natural Questions, SciQ, TriviaQA, PopQA) met elk 1.000 teststalen.
• CS-methoden: 10 diverse methoden gecategoriseerd in:
  • Logit-gebaseerd: Sequence Likelihood, Boosted Probabilities, Platt Scaling, P(True).
  • Linguïstisch: Verbalized Confidence.
  • Auxiliair: Calib-1 (getrainde classifier).
  • Interne Staten: Attention Score, Hidden Score, SAPLMA, P(IK).
• Procedure:
  • Robuustheid: Greedy decoding met 10 semantisch equivalente promptvariaties.
  • Stabiliteit/Sensitiviteit: Stochastische decoding (temperatuur 0.7) om 10 gesampelde antwoorden per prompt te genereren. Semantische equivalentie wordt bepaald met een LLM-as-a-judge (GPT-4o).

Belangrijkste Resultaten

1. Onafhankelijkheid van Traditionele Metrics

De voorgestelde metrics (P-RB, A-STB, A-SST) zijn grotendeels onafhankelijk van traditionele calibratie- en discriminatiemetrics (ECE, Brier, AUROC). Correlatieanalyse (Kendall's $\tau$) toont zwakke correlaties aan (bijvoorbeeld $\tau=0.26$ tussen Sensitiviteit en AUROC), wat aangeeft dat de nieuwe metrics aspecten van zekerheidskwaliteit vangen die eerder over het hoofd werden gezien.

2. Prestaties van CS-methoden

• Hoge Robuustheid en Stabiliteit: De meeste CS-methoden behalen hoge scores in robuustheid en stabiliteit, wat suggereert dat ze over het algemeen consistent zijn wanneer prompts of semantisch equivalente antwoorden variëren.
• Kritisch Gebrek aan Sensitiviteit: De meest significante bevinding is dat bijna alle methoden worstelen met sensitiviteit. Ze slagen er niet in zekerheidsscores aan te passen wanneer de antwoordbetekenis verandert.
  • Methoden die vertrouwen op informatie aan de generatiezijde (bijvoorbeeld P(True), SAPLMA, Sequence Likelihood) tonen hogere sensitiviteit.
  • Methoden die uitsluitend vertrouwen op informatie aan de vraagzijde of laatste vraag-tokens (bijvoorbeeld P(IK)) zijn bijna volledig ongevoelig voor antwoordveranderingen (A-SST $\approx$ 0).
  • Post-hoc schaalmethodes (bijvoorbeeld Platt Scaling) hebben de neiging om zekerheidsverschillen te comprimeren, wat de sensitiviteit verder vermindert.

3. Scaling Laws

Hoewel grotere modellen over het algemeen een verbeterde calibratie tonen, is de verbetering in de voorgestelde metrics (robuustheid, stabiliteit, sensitiviteit) met modelgrootte licht en inconsistent. Schalen alleen lost het sensitiviteitsprobleem niet op, wat suggereert dat modelgrootte geen voldoende proxy is voor het hanteren van taalvariatie in confidence schatting.

4. Geen Universeel Beste Methode

Geen enkele CS-methode presteert beter dan andere over alle metrics en datasets heen. Bijvoorbeeld, P(IK) behaalt de beste algehele Mean Reciprocal Rank (MRR), maar presteert slecht op robuustheid en sensitiviteit. Dit benadrukt een trade-off: methoden die geoptimaliseerd zijn voor calibratie missen vaak sensitiviteit, en omgekeerd.

Betekenis en Claims

Het artikel betoogt dat calibratie niet voldoende is voor het evalueren van confidence schatters in real-world toepassingen. De auteurs claimen:

1. Over het hoofd Geziene Beperkingen: Huidige evaluaties detecteren niet dat CS-methoden vaak onbetrouwbare zekerheidsscores produceren onder taalvariaties, specifiek door te falen in het onderscheiden tussen semantisch verschillende antwoorden.
2. Richting voor Toepassing: De keuze van een CS-methode moet applicatie-specifiek zijn.
   • Gebruikersgerichte QA-systemen kunnen robuustheid prioriteren om consistent gedrag te behouden onder promptvariaties.
   • Multi-candidate herordening of LLM-as-a-judge settings vereisen sensitiviteit om effectief onderscheid te maken tussen concurrerende antwoorden.
   • Gecontroleerde omgevingen* met vaste prompts kunnen nog steeds vertrouwen op traditionele calibratiemetrics.
3. Toekomstige Richting: De waargenomen gebrek aan sensitiviteit suggereert dat CS-methoden beter informatie aan de generatiezijde moeten benutten (bijvoorbeeld de volledige gegenereerde tekst of intermediaire staten) in plaats van uitsluitend te vertrouwen op prompt-gebaseerde of vraag-token representaties.

De auteurs concluderen dat hun kader een noodzakelijke, complementaire lens biedt voor het evalueren van CS, beperkingen blootlegt die traditionele metrics missen en praktische richtlijnen biedt voor het selecteren van schatters op basis van specifieke implementatiebehoeften.