Technische Samenvatting: Evaluatie en Kalibratie van LLM-vertrouwen bij Vragen met Meerdere Correcte Antwoorden

Probleemstelling

Vertrouwenskalibratie is cruciaal voor de betrouwbaarheid van Large Language Models (LLM's), omdat het ervoor zorgt dat de door een model geuite vertrouwensgraad overeenkomt met de werkelijke voorspellende prestaties. Hoewel bestaande kalibratiemethoden zonder training uitgebreid zijn bestudeerd voor vraagbeantwoording (QA) met één enkel antwoord, identificeert dit artikel een kritieke foutmodus wanneer deze worden toegepast op vragen met meerdere geldige antwoorden.

Het kernprobleem is de verdeling van de waarschijnlijkheidsmassa (probability mass split). In situaties met één antwoord is responsconsistentie (overeenstemming tussen verschillende samples) een betrouwbare indicator voor vertrouwen; als een model het antwoord "weet", convergeren de outputs. Echter, in situaties met meerdere antwoorden kan een model meerdere even correcte maar tekstueel verschillende antwoorden genereren (bijv. "Ibuprofen" en "Acetaminophen" voor een hoofdpijnmedicijn). Bestaande consistentiegebaseerde methoden interpreteren deze natuurlijke diversiteit als onzekerheid of onenigheid, wat leidt tot een systematische onderschatting van het vertrouwen. Als gevolg hiervan worden modellen als onbetrouwbaar aangemerkt terwijl ze feitelijk correct zijn, wat ernstige miskalibratie veroorzaakt. Dit fenomeen is bijzonder uitgesproken bij grotere modellen (bijv. 70B+ parameters) die over een bredere kennisdekking beschikken en daarom een grotere variëteit aan correcte reacties genereren.

Methodologie

1. De MACE Benchmark

Om dit fenomeen systematisch te bestuderen, introduceren de auteurs MACE (Multi-Answer Confidence Estimation), een benchmark bestaande uit 12.000 feitelijke vragen over zes domeinen: Honorable Award, Political Office, Regional Affiliation, Mathematical Concept, Natural River, en Linguistic Culture.

• Constructie: Vragen worden gegenereerd uit Wikidata-triplets met behulp van gecontroleerde templates.
• Cardinaliteitcontrole: De benchmark categoriseert vragen expliciet op basis van het aantal grondwaarheid-antwoorden: 1, 2, 4 of 6 correcte antwoorden (aangeduid als 1a, 2a, 4a, 6a).
• Kwaliteitscontrole: Een rigoureuze pipeline bestaande uit heuristische filtering (populariteit en validiteit) en handmatige verificatie door domeinexperts zorgt voor uitputtende en correcte grondwaarheid-sets, waarmee de beperkingen van bestaande benchmarks die een gebrek hebben aan uitputtende grondwaarheid of gecontroleerde cardinaliteit, worden geadresseerd.

2. Experimentele Evaluatie

De auteurs evalueerden 15 representatieve kalibratiemethoden over vier LLM-families (LLaMA, Qwen, DeepSeek, en GPT) variërend van 7B tot 72B parameters.

• Geteste methoden:
  • Single-turn: Token-niveau waarschijnlijkheden (Entropie, Perplexity), geverbaliseerd vertrouwen (Verb), en consistentiegebaseerde methoden (Consistency, Semantic Entropy).
  • Double-turn: Zelfevaluatiemethoden (PTrue, Self-Ask) waarbij het model zijn eigen antwoord in een tweede ronde verifieert.
• Metrieken: Nauwkeurigheid (Accuracy) en AUROC (Area Under the Receiver Operating Characteristic Curve) om de kwaliteit van de vertrouwensinschatting te meten.

3. Voorgestelde Oplossing: Semantic Confidence Aggregation (SCA)

Om de miskalibratie veroorzaakt door de verdeling van de waarschijnlijkheidsmassa aan te pakken, stellen de auteurs Semantic Confidence Aggregation (SCA) voor.

• Kernidee: In plaats van te vertrouwen op de meest zelfverzekerde enkele respons of diversiteit te bestraffen, aggregeert SCA het vertrouwen van alle hoog-waarschijnlijke geldige antwoorden.
• Mechanisme:
  1. Sample meerdere responsen ($N$) voor een vraag.
  2. Cluster de responsen op basis van semantische gelijkenis.
  3. Bereken het vertrouwen van elk cluster ($C_m$) door de token-niveau generatiewaararschijnlijkheden van alle responsen binnen dat cluster op te tellen: $P(C_m) = \sum_{s \in C_m} p(s)$.
  4. Filter laag-waarschijnlijke clusters (ruis) uit met behulp van een drempelwaarde $\tau$ (hoewel experimenten laten zien dat $\tau=0$ vaak volstaat).
  5. De uiteindelijke vertrouwensscore is de som van de waarschijnlijkheden van de resterende geldige clusters: $Conf_{SCA} = \sum_{C_m \in C_{valid}} P(C_m)$.
• Voordeel: Deze aanpak behandelt de diversiteit van correcte antwoorden als een kenmerk in plaats van een fout, waardoor een hoog vertrouwen behouden blijft, zelfs wanneer het model zijn waarschijnlijkheidsmassa verdeelt over meerdere geldige semantische clusters.

Belangrijkste Resultaten

1. De Vertrouwens-Nauwkeurigheidsparadox

Experimenten onthullen een contra-intuïtieve trend: naarmate het aantal correcte antwoorden toeneemt (van 1a naar 6a), verbetert de QA-nauwkeurigheid (vragen worden empirisch makkelijker), maar de geschatte vertrouwensgraad daalt consistent over bijna alle bestaande methoden.

• Impact op grotere modellen: Grotere modellen (bijv. LLaMA-70B) lijden onder een ernstiger degradatie van het vertrouwen dan kleinere modellen (bijv. LLaMA-8B). Dit wordt toegeschreven aan "kennisdekking": grotere modellen internaliseren meer kennis en genereren daarom een breder scala aan geldige antwoorden, wat le leidt tot een grotere verdeling van de waarschijnlijkheidsmassa en lagere consistentiescores.

2. Falen van Bestaande Methoden

In gemengde-antwoordsettings (combinaties van vragen met 1, 2, 4 en 6 antwoorden) storten state-of-the-art (SOTA) kalibratiemethoden in.

• Consistentiegebaseerde methoden (bijv. Semantic Entropy, Consistency) dalen aanzienlijk in AUROC omdat ze antwoorddiversiteit onterecht interpreteren als onzekerheid.
• Double-turn methoden (bijv. PTrue) tonen een grotere stabiliteit omdat ze verificatie loskoppelen van generatie, maar falen nog steeds om de voorgestelde SCA te overtreffen in algehele kalibratieprestaties.

3. Prestaties van SCA

SCA bereikt state-of-the-art kalibratieprestaties in gemengde-antwoordsettings, terwijl het sterke prestaties behoudt op single-answer vragen.

• Op het LLaMA-3.1-70B-Instruct model bereikte SCA (met $\tau=0$) een AUROC van 76,7 in de volledig gemengde setting ([1,2,4,6]), waarmee het de op één na beste baseline (Perplexity met 73,8) verslaat.
• SCA is robuust tegen de drempelwaarde $\tau$ en vereist geen complexe clustering of filtering om effectief te zijn; simpelweg de token-niveau waarschijnlijkheden over alle gesamplede responsen optellen levert vaak al optimale resultaten op.
• De methode generaliseert over modelgroottes (7B tot 72B) en families (Qwen, LLaMA).

Betekenis en Claims

Het artikel claimt de vertrouwenskalibratie te hebben voortbewogen van de beperkte single-answer QA-setting naar een algemener, realistischer scenario met een wisselend aantal grondwaarheid-antwoorden.

• Bijdrage van de Benchmark: MACE vult een kritiek gat in de literatuur door de eerste benchmark te bieden met uitputtende grondwaarheid, multi-answer vragen en gecontroleerde antwoordcardinaliteit, wat de diagnose van de verdeling van de waarschijnlijkheidsmassa mogelijk maakt.
• Methodologische Inzicht: Het werk toont aan dat responsinconsistentie niet noodzakelijkerwijs een lage vertrouwensgraad impliceert; in multi-answer contexten reflecteert het vaak het vermogen van het model om toegang te krijgen tot een bredere set van geldige kennis.
• Praktische Impact: Door SCA voor te stellen, bieden de auteurs een training-vrije, computationeel efficiënte methode die voorkomt dat de "vertrouwenscrisis" optreedt waarbij correcte, diverse responsen onterecht als onbetrouwbaar worden bestempeld. Dit is essentieel voor de inzet van LLM's in real-world applicaties waar vragen vaak meerdere geldige oplossingen hebben.

De auteurs blijven bescheiden over beperkingen en merken op dat hun benchmark gebruikmaakt van formuleuze prompt-templates om de moeilijkheid te controleren, wat ten koste gaat van de naturalistische diversiteit, en dat de huidige evaluatie beperkt is tot Engelse kortvorm feitelijke responsen. Zij identificeren het uitbreiden naar meertalige contexten en long-form generatie als noodzakelijk toekomstig werk.