Technische Samenvatting: CaliDist

Probleemstelling

Large Language Models (LLMs), in het bijzonder die zijn verfijnd met Reinforcement Learning from Human Feedback (RLHF), vertonen vaak ernstige miskalibratie, waarbij ze de neiging hebben tot overmatige zelfverzekerdheid. Bestaande kalibratieparadigma's kampen met significante beperkingen:

1. Logit-afhankelijke methoden: Traditionele post-hoc technieken zoals Temperature Scaling (TS) vereisen directe toegang tot de logits van het model, waardoor ze ontoepasbaar zijn voor propriëtaire black-box API's.
2. Consistentie-gebaseerde methoden: Benaderingen die vertrouwen op zelfconsistentie (bijv. het meten van de responsstabiliteit over meerdere stochastische forward passes) brengen hoge computationele kosten met zich mee en meten interne consistentie in plaats van robuustheid tegen externe uitdagingen.
3. Gedragsmatige Robuustheidsgap: Een kritieke dimensie van betrouwbaarheid blijft onderbelicht: de gedragsmatige robuustheid van een model tegen irrelevante of misleidende informatie. Recente studies wijzen erop dat LLM's broos zijn en vaak hun voorspellingen wijzigen wanneer ze worden blootgesteld aan plausibele maar irrelevante "distractoren" (afleiders). Deze broosheid weerspiegelt menselijke cognitieve fenomenen zoals het Misinformatie-effect (waarbij het geheugen wordt aangetast door informatie die na de gebeurtenis volgt) en het Dunning-Kruger-effect (waarbij lage competentie gepaard gaat met een opgeblazen zelfinschatting).

Methodologie: CALIDIST

De auteurs stellen CALIDIST voor, een nieuw post-hoc kalibratiekader dat de vatbaarheid van een model voor afleiding kwantificeert en bestraft. De methode werkt zonder dat toegang tot de interne werking van het model (logits of hidden states) vereist is, wat het toepasbaar maakt voor zowel white-box als black-box LLM's.

Kernmechanisme

Het kader volgt een proces van drie stadia voor elke input-sample:

1. Generatie van Distractoren:
   De oorspronkelijke prompt $\pi_o$ wordt uitgebreid met $k$ semantische distractoren ($D = \{d_1, \dots, d_k\}$). Deze distractoren worden geconstrueerd op basis van niet-geselecteerde klassenlabels en vallen uiteen in drie verschillende stijlen:

   • Assertion-stijl: Autoritaire maar misleidende beweringen (bijv. "Een expert zegt dat het antwoord... is").
   • Probe-stijl: Directe vragen die de zekerheid van het model uitdagen (bijv. "Denk je dat het antwoord ... zou kunnen zijn?").
   • Sample-Corruption-stijl: Misleidende signalen die direct in de inputdata zijn ingebed (bijv. het corrumperen van een hypothese in een NLI-taak).

2. Kwantificering van Instabiliteit:
   Het model genereert voorspellingen en betrouwbaarheidsscores voor zowel de oorspronkelijke prompt als de $k$ gedistracteerde prompts. Twee metrieken worden berekend:

   • Voorspellingsinstabiliteit ($\mu$): De gewogen frequentie van veranderende voorspellingen wanneer het model wordt afgeleid. Een hoge $\mu$ geeft aan dat het model gemakkelijk beïnvloedbaar is.
   • Betrouwbaarheidsinstabiliteit ($\delta$): De omvang van de verschuiving tussen de oorspronkelijke betrouwbaarheid en de gemiddelde betrouwbaarheid onder afleiding. Een hoge $\delta$ duidt op volatiele zekerheid.

3. Betrouwbaarheidsscore en Kalibratie:
   Deze metrieken worden gesynthetiseerd in een Betrouwbaarheidsscore ($\lambda$):
   $$\lambda_{raw} = \frac{1 - \mu}{\delta + \epsilon}$$
   Hier fungeert $(1-\mu)$ als een gating-mechanisme (het laat de betrouwbaarheid instorten als voorspellingen omdraaien), terwijl $\delta$ fungeert als een gevoeligheidsversterking in de noemer. De ruwe score wordt genormaliseerd en via een geparametriseerde sigmoidfunctie gemapt naar een schalfactor $\sigma$ (gebaseerd op Platt Scaling):
   $$\sigma(\lambda) = \frac{1}{1 + e^{-\beta(\lambda - \alpha)}}$$
   De uiteindelijke gekalibreerde betrouwbaarheid wordt verkregen door de oorspronkelijke betrouwbaarheid te schalen: $Conf_{\sigma} = \sigma \cdot P(y|x)$. De parameters $\alpha$ en $\beta$ worden geleerd op een onafhankelijke validatieset om de Brier Score te minimaliseren.

Belangrijkste Bijdragen

1. Gedragsmatige Robuustheid als Kalibratiesignaal: Het artikel introduceert gedragsmatige robuustheid tegen afleiding als een nieuwe, cruciale dimensie voor LLM-kalibratie, en toont empirisch aan dat er een sterke negatieve correlatie bestaat tussen voorspellingsinstabiliteit en nauwkeurigheid.
2. Het CALIDIST-kader: Een nieuw post-hoc methode die nauwkeurigheid behoudt en de betrouwbaarheidsscores adaptief aanpast op basis van de stabiliteit van een model tegen semantische distractoren.
3. Black-Box Toepasbaarheid: In tegenstelling tot logit-afhankelijke methoden vereist CALIDIST geen toegang tot de interne werking van het model, waardoor het effectief werkt op propriëtaire API's (bijv. GPT-4o, Gemini) via log-probabiliteiten of verbale betrouwbaarheid.
4. Empirische Superieuriteit: Uitgebreide experimenten op zeven Natural Language Understanding (NLU) benchmarks en zes verschillende LLM's tonen aan dat CALIDIST consequent beter presteert dan sterke baselines, inclus\u00zaand Temperature Scaling en diverse consistentie-gebaseerde methoden.

Experimentele Resultaten

De auteurs evalueerden CALIDIST op datasets waaronder MNLI, MSciNLI, PPDB, HellaSwag, Commonsense QA, Yahoo Answers en AQuA-RAT met modellen zoals Llama-3.1, Qwen-3, Phi-4-mini, Gemma-3, GPT-4o-Mini en Gemini-2.0-Flash.

• Reductie van Kalibratiefout: CALIDIST bereikte een relatieve verbetering van 70% in Expected Calibration Error (ECE) gemiddeld, waarbij de ECE werd teruggebracht van 23% naar 7%.
• Vergelijking met Baselines:
  • CALIDIST behaalde consequent lagere ECE en Brier Scores dan Temperature Scaling (TS), Self-Consistency, Entropy-gebaseerde Consistentie en First-Second-Distance (FSD).
  • In black-box settings met verbale betrouwbaarheid presteerde CALIDIST aanzienlijk beter dan ongekalibreerde verbale baselines.
  • Op propriëtaire modellen (GPT-4o-Mini, Gemini-2.0-Flash) behaalde CALIDIST state-of-the-art kalibratieresultaten en presteerde het aanzienlijk beter dan alle baselines.
• Efficiëntie: CALIDIST is computationeel efficiënter dan consistentie-gebaseerde methoden. Terwijl self-consistency vaak 15–40 forward passes vereist, bereikt CALIDIST superieure resultaten met aanzienlijk minder passes (bijv. $k \approx 3$ tot $9$, afhankelijk van de labelruimte), wat het tokengebruik met ongeveer 5x vermindert ten opzichte van self-consistency baselines.
• Generaliseerbaarheid: De geleerde sigmoidparameters ($\alpha, \beta$) vertoonden een sterke generaliseerbaarheid over domeinen en vertaalden zich effectief van bron-taken (bijv. MNLI) naar meer uitdagende doel-taken (bijv. MSciNLI).

Betekenis en Claims

Het artikel claimt dat gedragsmatige stabiliteit een krachtige, meetbare proxy is voor de waarschijnlijkheid van een fout bij een model. Door psychologische concepten zoals het Misinformatie-effect en het Dunning-Kruger-effect te operationaliseren in engineering-metrieken, biedt CALIDIST een direct, instantie-specifiek maat voor betrouwbaarheid.

De auteurs benadrukken dat hun aanpak de focus van kalibratie verschuift van louter statistische aanpassingen naar een evaluatie van gedragsmatige robuustheid. Dit is bijzonder significant voor scenario's met een hoog risico waar:

• Toegang tot de interne werking van het model beperkt is (black-box scenario's).
• Computationele efficiëntie essentieel is.
• Betrouwbaarheid vereist hoe een model reageert onder cognitieve druk.

Het werk suggereert dat om de betrouwbaarheid van een model echt te kunnen vertrouwen, men eerst moet begrijpen hoe het model zich onder druk gedraagt. De auteurs merken op dat hoewel hun evaluatie zich richt op modellen in de categorie <10B parameters om kosteneffectieve edge-toepassingen te targeten, het framework een fundament biedt voor het ontwikkelen van model-specifieke "stress tests" en het integreren van gedragsmatige signalen in toekomstige trainingsdoelstellingen.