Stable Miscalibration in Large Language Models: A Practical View of High-Confidence Errors

Technische Samenvatting: Stabiele Miscalibratie in Large Language Models

Probleemstelling
Hoog-betrouwbare fouten (hallucinaties) in Large Language Models (LLM's) worden vaak geïnterpreteerd als bewijs voor "fragiele interne inferentie"—het idee dat een kleine perturbatie aan de prompt of context de modelrespons doet omslaan. Dit paper daagt deze enkelvoudige visie uit door stabiele miscalibratie voor te stellen: een staat waarin een model een zelfverzekerd, onjuist antwoord produceert dat lokaal stabiel blijft onder kleine perturbaties. De auteur voert aan dat als hoog-betrouwbare fouten stabiel in plaats van fragiel zijn, ze via gevoeligheidsanalyse alleen niet te onderscheiden zijn van correcte hoog-betrouwbare antwoorden, maar nog steeds aanzienlijke risico's vormen voor beslissingssystemen. De kernvraag is: wat kan er over deze fouten worden afgeleid met behulp van meetbare betrouwbaarheidsresponsen en kleine interne probes, gegeven dat volledige mechanistische verklaringen vaak ontoegankelijk zijn?

Methodologie
De studie hanteert een veelzijdige aanpak die een gelabelde audit-set, diagnostiek op outputniveau en interne gevoeligheidsprobing combineert over drie open-weight modellen (Llama-3.1-8B, DeepSeek-R1 en Qwen2.5-7B).

1. Audit Dataset: Een bevroren set van 532 binaire feitelijke items over 11 domeinen (bijv. medische epidemiologie, sociale statistiek, geschiedenis) werd gebruikt. De items werden geëvalueerd onder drie verschillende policies:

   • C0 (Gedwongen Antwoord): Het model moet "Ja" of "Nee" antwoorden.
   • C1 (Voorzichtige Onthouding): Het model mag onthouden als het item ondergespecificeerd is.
   • C2 (Zelfkritische Onthouding): Het model voert een expliciete zelfkritische controle uit voordat het een beslissing neemt, waarbij het potentieel kan onthouden.

2. Output-Level Diagnostic ($H_{proxy}$): De auteur introduceert een label-bewuste audit-score ontworpen om domeinen op basis van risico te rangschikken. Deze score combineert twee signalen:

   • Betrouwbaarheidsvariatie: De standaarddeviatie van de gerapporteerde betrouwbaarheid ($P(\text{correct})$) over de drie policies.
   • Overconfident-Wrong (OCW) Massa: Een binaire indicator waar de C0-baseline onjuist is maar een betrouwbaarheid > 0,8 rapporteert.
   • De score wordt gedefinieerd als $H_{proxy}(d) = \frac{1}{|D_d|} \sum_{i \in D_d} [\text{Std}_{c \in \{C0,C1,C2\}}(p_{i,c}) + \lambda \cdot \text{OCW}(i)]$.
   • Deze metriek wordt expliciet bestempeld als een retrospectieve audit-diagnostic, niet als een tijdens de inzet werkende estimator voor ongelabelde data.

3. Interne Gevoeligheidsprobe: Om de "fragiliteit"-hypothese te testen, injecteerde de auteur Gaussische ruis ($\sigma=0.01$) in de embedding-ruimte van de drie open-weight modellen. Ze maten de beweging van de final-token hidden states ($S_\ell$) over lagen heen. Dit werd uitgevoerd op items die door de C0-auditlogs waren geclassificeerd als ofwel Confidently Correct (CC) of Overconfidently Wrong (OCW). De studie testte ook het effect van self-critical prompting op deze gevoeligheid.

Belangrijkste Bijdragen

1. Theoretische Abstractie: Het paper stelt "stabiele miscalibratie" voor als een geldige onzekerheidshypothese. Gebruikmakend van een lineair-Gaussische closed-loop abstractie, demonstreert het dat lokale stabiliteit (gedempte perturbaties) en correctheid niet noodzakelijkerwijs samenvallen; een systeem kan convergeren naar een stabiele staat die systematisch onjuist is.
2. Audit Score voor Interventie: De auteur stelt $H_{proxy}$ voor als een praktisch instrument om domeinen te identificeren waar onthoudings-bewuste zelfkritiek (C2) het meest waarschijnlijk de policy-aware loss vermindert. De score correleert met waar interventie helpt, waardoor onderscheid wordt gemaakt tussen domeinen die gemiddeld veilig lijken maar risicovol zijn onder policy-verschuivingen.
3. Discrepantie tussen Intern en Output: De studie levert empirisch bewijs dat hoewel self-critical prompting leidt tot lokale stabilisatie (het reduceren van de hidden-state gevoeligheid over alle lagen), dit geen duidelijk gevoeligheidsverschil creëert tussen overconfidently wrong items en confidently correct items.

Resultaten

• Bevindingen op Output-niveau: De $H_{proxy}$-score vertoont een sterke positieve correlatie (Spearman $\rho = 0,71$) met de winst die de self-critical policy (C2) behaalt ten opzichte van de forced-answer baseline (C0). Domeinen zoals medische epidemiologie en sociale statistiek vertoonden de grootste verbeteringen met C2, terwijl entertainment- en literatuurdomeinen weinig tot geen voordeel lieten zien. Echter, directe gelabelde baselines (C0 foutpercentage en Brier-risico) rangschikten de domeinen nog sterker, wat bevestigt dat $H_{proxy}$ een gestructureerde diagnostic is en geen superieure voorspeller van ruwe prestaties.
• Interne Bevindingen:
  • Stabilisatie: Self-critical prompting reduceerde consistent de layer-wise hidden-state gevoeligheid in alle drie de modellen, wat de visie ondersteunt dat dergelijke prompts lokale stabilisatie induceren.
  • Geen Fragiliteitsgat: Cruciaal is dat het verschil in gevoeligheid tussen de OCW- en CC-groepen verwaarloosbaar was (gestandaardiseerd gat $\approx 0,13$ gepoolde standaarddeviaties of minder, met betrouwbaarheidsintervallen die nul bevatten). Dit suggereert dat audit-gedefinieerde overconfidente fouten niet uniek fragiel zijn vergeleken met correcte antwoorden onder de geteste perturbaties.
  • Robuustheid: Densere noise sweeps en semantische rewrite-checks bevestigden dat het gebrek aan een fragiliteitsgat geen artefact was van de specifieke perturbatie-instellingen.

Significantie en Claims
Het paper concludeert met een bescheiden, praktische les in plaats van een volledige mechanistische reductie. De primaire significantie is dat onzekerheidsgerelateerd gedrag dat relevant is voor beslissingen, bestudeerd kan worden via betrouwbaarheidsresponsen, zelfs wanneer interne mechanismen slechts gedeeltelijk begrepen worden.

• Stabiele Miscalibratie als Risico: De bevindingen suggereren dat hoog-betrouwbare fouten mogelijk "stabiel en misgecalibreerd" zijn in plaats van "fragiel". Een systeem kan robuust lijken omdat de antwoorden lokaal stabiel zijn, maar toch zelfverzekerde onjuiste antwoorden produceren in domeinen met een hoge impact.
• Rol van Diagnostiek: De voorgestelde audit-score is bedoeld voor periodieke gelabelde evaluatie om risico's te triëren en interventies (zoals onthouding, retrieval, menselijke review) toe te wijzen waar de massa van overconfidente fouten geconcentreerd is. Het is niet ontworpen als een live veiligheidsfilter of een label-vrije estimator.
• Beperkingen: De auteur erkent dat de studie gebruikmaakt van een bevroren, door de auteur gecureerde audit-set, die mogelijk niet generaliseert naar grotere datasets of open eind generatie. Het resultaat "geen duidelijk gat" is specifiek voor de huidige probe en sluit niet uit dat er instabiliteit bestaat in andere contexten, maar daagt de aanname uit dat fragiliteit de primaire handtekening is van hoog-betrouwbare hallucinaties.

Samenvattend verschuift het werk de focus van het beschouwen van hoog-betrouwbare fouten uitsluitend als tekenen van instabiliteit, naar het herkennen van hen als potentieel stabiele miscalibraties, wat auditstrategieën vereist die verder kijken dan eenvoudige gevoeligheidsanalyse.