Calibrating Overconfidence Without Sacrificing Confidence: Probe-Conditioned Head Intervention for LLMs

Technische Samenvatting: Probe-Conditioned Head Intervention voor LLM's

Probleemstelling
Grote taalmodellen (LLM's) vertonen vaak "verbale overmoed" (verbalized overconfidence), waarbij ze een hoge mate van vertrouwen uitdrukken bij onjuiste antwoorden. Standaard kalibratietechnieken, zoals temperatuur-scaling of post-hoc instructie-tuning, passen doorgaans globale aanpassingen toe op de output-distributie. Hoewel deze methoden de aggregatieve kalibratiemetrieken kunnen verbeteren, lijden ze aan een kritieke beperking: ze kunnen niet selectief ongegronde moed onderdrukken bij foutieve antwoorden zonder tegelijkertijd de gegronde moed bij correcte antwoorden te eroderen. Dit creëert een spanning waarbij het verminderen van vals positieven (foutief-maar-zelfverzekerd) onvermijdelijk leidt tot een toename van vals negatieven (correct-maar-onzeker). Het artikel stelt dat een meer selectieve aanpak vereist is—één die alleen ingrijpt wanneer een respons waarschijnlijk foutief-maar-zelfverzekerd is, waardoor de onderdrukking van ongegronde moed wordt ontkoppeld van het verlies van gegronde moed.

Methodologie: Probe-Conditioned Head Intervention (PCHI)
De auteurs stellen PCHI voor, een methode tijdens de inferentie die intern binnen het model werkt om de outputs van attention-heads selectief te herschalen op basis van bewijs van overmoed. De methode bestaat uit drie kerncomponenten:

1. Gestructureerde Zelfevaluatie: Het model krijgt de instructie om een gestructureerde JSON-respons te genereren met reasoning, answer en een binair is_confident veld (yes/no). De interventie richt zich op de "wrong-yes" (WY) groep (onjuiste antwoorden met een hoge mate van zelfvertrouwen) met als doel de "correct-yes" (CY) groep te behouden.
2. Confidence-Template Probes: Een bevroren lineaire probe wordt getraind om latent bewijs van WY-responsen te detecteren. Deze probe leest de verborgen toestanden (hidden states) bij specifieke "confidence-template" tokens (het token-bereik tussen het antwoord en de uiteindelijke confidence-waarde). De probe voorspelt de waarschijnlijkheid dat een zelfverzekerde respons feitelijk onjuist is. De probe-laag ($\ell_p$) wordt geselecteerd in het midden van het netwerk waar de scheidbaarheid tussen WY en CY sterk is, zodat downstream-lagen beschikbaar blijven voor interventie.
3. Conditionele Head Rescaling: Tijdens de inferentie reguleert de probe-score de geleerde herschaling van downstream attention-head outputs.
   • Voor elke attention head $h$ in de lagen downstream van $\ell_p$ wordt een geleerde scalaire coëfficiënt $g_h$ (geïnitialiseerd op 1) toegepast.
   • De interventiekracht $s_{i,t}$ wordt bepaald door de probe-score $p_{i,t}$. Als de score een drempelwaarde $\tau$ (bijv. 0.5) overschrijdt, wordt de head output $z_{i,t,h}$ herschaald: $z'_{i,t,h} = (1 + (g_h - 1)s_{i,t}) z_{i,t,h}$.
   • Als de probe de respons niet als waarschijnlijk foutief-zelfverzekerd markeert ($s_{i,t} = 0$), gedraagt het model zich identiek aan de baseline.
   • Een optionele attention mask kan post-probe worden toegepast om te beperken naar welke contextregio's (prompt, reasoning, answer) de template queries attention besteden, wat het interventiesignaal potentieel kan versterken.

Het leerdoel maakt gebruik van een hinge-stijl loss om WY-voorbeelden onder een confidence-marge te duwen terwijl CY-voorbeelden worden beschermd tegen degradatie, geregulariseerd door een L1-penalty om onnodige head-coëfficiënten nabij de identiteit te houden.

Belangrijkste Bijdragen

• Selectieve Interne Interventie: In tegen tegenstelling tot globale post-hoc kalibratie, grijpt PCHI conditioneel in op basis van intern bewijs, waardoor het mogelijk is om specifieke fouttypen (WY) te corrigeren zonder de globale zelfverzekerdheid te onderdrukken.
• Ontkoppeling van Kalibratie en Accuraatheid: De methode laat zien dat ongegronde moed kan worden verminderd terwijl de gegronde moed grotendeels behouden blijft, waarmee het dilemma van uniforme herschalingsmethoden wordt aangepakt.
• Mechanistisch Inzicht: De aanpak behandelt verbale zelfverzekerdheid als een intern computationeel proces dat op specifieke punten (template tokens) kan worden gecontroleerd, in plaats van enkel als een output-distributie die gemapt moet worden.

Experimentele Resultaten
De methode werd geëvalueerd op OpenMathInstruct problemen met gebruik van Qwen3-4B-Instruct en Gemma3-4B-it modellen met een gestructureerd binair confidence-veld.

• Readout-Token Interventie: Het toepassen van PCHI op het laatste confidence-token leverde significante verbeteringen op. Op Qwen3-4B daalde de Expected Calibration Error (ECE) van 21,9% naar 11,7%, en de Area Under the Receiver Operating Characteristic (AUROC) steeg van 66,5 naar 90,3. Cruciaal was dat 82,2% van de oorspronkelijk wrong-yes readouts werd omgezet naar "no", terwijl slechts 10,8% van de oorspronkelijk correct-yes readouts werd aangetast.
• Upstream Interventie: Interventie bij upstream confidence-template tokens toonde variabele resultaten. Op Qwen3-4B reduceerde een gezamenlijke interventie over tokens 1–5 de ECE naar 9,2% met 63,3% WY-correctie en slechts 5,1% CY-schade. Op Gemma3-4B waren de upstream effecten zwakker en sterker afhankelijk van attention masking; het beperken van de zichtbare context tot het antwoordveld verbeterde de WY-correctie naar 40,4%, maar met een lichte toename in CY-schade.
• Ablatie: Controles bevestigden dat de winst niet louter te danken is aan attention masking of generieke activatie-steering. De combinatie van het bewijs van de probe en de geleerde head-specifieke herschaling is noodzakelijk voor de geobserveerde selectiviteit.

Betekenis en Claims
Het artikel beweert dat PCHI een levensvatbaar pad biedt naar modellen die onzekerheid op een betrouwbare manier kunnen uitdrukken zonder hun vermogen op te offeren om zelfverzekerd te zijn wanneer ze correct zijn. Door kalibratie te behandelen als een selectief controleprobleem in plaats van een globale mapping, demonstreren de auteurs dat interne interventies de onderdrukking van ongegronde zelfverzekerdheid gedeeltelijk kunnen ontkoppelen van het verlies van gegronde zelfverzekerdheid.

De auteurs hanteren een bescheiden reikwijdte en merken op dat hun resultaten specifiek zijn voor wiskundige vraagbeantwoording met gestructureerde JSON-outputs en binaire confidence-velden. Ze erkennen dat de methode afhankelijk is van model- en data-specifieke probe-training en dat het uitbreiden hiervan naar vrije tekstuele uitingen van zelfverzekerdheid of open eind-taken een openstaand vraagstuk blijft. Het werk claimt geen volledige mechanistische verklaring te bieden voor verbale zelfverzekerdheid, maar biedt wel bewijs dat dergelijk bewijs decodeerbaar en actieerbaar is voor selectieve correctie.