Confidence and Calibration of Activation Oracles for Reliable Interpretation of Language Model Internals

Technische Samenvatting: Vertrouwen en Kalibratie van Activeringsorakels voor Betrouwbare Interpretatie van Taalmodel-Interne Representaties

Probleemstelling
Activeringsorakels zijn taalmodellen die zijn fijngefineerd om de verborgen toestanden van een doelmodel te vertalen naar natuurlijke taalbeschrijvingen, waardoor interpretatie mogelijk wordt van interne representaties zoals onthouden feiten, verborgen doelen of geheime woorden. Hoewel deze orakels veelbelovend zijn gebleken bij het terugvinden van informatie die uitsluitend in activeringen naar boven komt, ontbreekt het aan hun output momenteel een begrip van zekerheid. Het ontbreken van gekalibreerd vertrouwen is kritiek voor downstream toepasbare beslissingen, zoals auditie van uitlijning, detectie van bedrog en het opwekken van verborgen doelen. Standaard technieken voor onzekerheidskwantificatie (UQ), ontwikkeld voor niet-gestuurde modellen, zijn niet rigoureus geëvalueerd op activeringsorakels, die fungeren als "gestuurde" modellen waarbij de residustroom tijdens de inferentie wordt overschreven met vectoren van een doelmodel. Het centrale probleem dat wordt aangepakt, is het identificeren van welke methoden voor schatting van vertrouwen geldig en goed gekalibreerd blijven onder deze specifieke stuur-perturbatie.

Methodologie
De auteurs hebben zes verschillende UQ-methoden geëvalueerd op twee activeringsorakels: een uitgegeven Qwen3-8B-orakel en een nieuw getraind Qwen3.6-27B-orakel (aangepast voor een hybride architectuur met lineaire plus volledige aandacht). De evaluatie gebruikte de taak "geheim woord taboe", waarbij doelmodellen zijn fijngefineerd om één van 20 specifieke woorden geheim te houden. Voor elk van de 6.000 samples per orakel (bestaande uit 20 doelwoorden, 100 contextprompts en 3 verbalizer-prompts) probeert het orakel het geheime woord te decoderen uit de geïnjecteerde verborgen toestand.

De zes geëvalueerde methoden waren:

1. Log-kans (Basislijn): De gezamenlijke token log-kans van het voorspelde antwoordwoord.
2. Temperatuur Bootstrap: Het nemen van $k=20$ steekproeven van antwoorden bij variërende temperaturen ($T \in \{0.3, \dots, 1.5\}$) en het gebruik van de empirische frequentie van het modale antwoord als vertrouwen.
3. Direct Numeriek Zelfrapportage: Het vragen aan het orakel om na het genereren van het antwoord een numerieke vertrouwensscore (0–100) uit te geven.
4. MCMC Power-Sampling Acceptatie: Het gebruik van een enkele blok Metropolis-Hastings (MH)-keten met power sampling ($\alpha > 1$) en het meten van de empirische acceptatiekans.
5. MCMC Power-Sampling Overeenstemming: Het draaien van $k=10$ onafhankelijke MH-ketens en het meten van de overeenstemming tussen ketens (analoog aan zelfconsistentie).
6. Stuurgevoeligheid: Het afstomen van de stuurcoëfficiënt ($c$) rond de standaardwaarde en het meten van de stabiliteit van het gedecodeerde antwoord.

De prestaties werden gemeten aan de hand van Nauwkeurigheid, Verwachte Kalibratiefout (ECE), Brier Score, Negatieve Log-Kans (NLL) en AUROC (rangschikkingsvermogen).

Belangrijkste Resultaten

• Best Presterende Methode: De modale frequentie van temperatuur-bootstrap bleek de best gekalibreerde methode op beide modellen. Bij Qwen3-8B was de optimale temperatuur $T=1.0$ (ECE 5,7%), en bij Qwen3.6-27B was dit $T=1.5$ (ECE 10,3%). De optimale temperatuur correleert met taaknauwkeurigheid; naarmate het model minder nauwkeurig wordt (moeilijkere taak), levert een hogere temperatuur (vlakkere steekproefneming) een betere kalibratie op.
• Log-kans als Triage: Hoewel log-kans een hogere ECE had dan de optimale bootstrap-configuratie, behaalde het een hoge AUROC (rangschikkingsvermogen) en dient het als een snelle, laagkosten triage-signaal, vooral wanneer post-hoc kalibratie (bijvoorbeeld isotone herschaling) wordt toegepast.
• Mislukking van Zelfrapportage: Vrij vormbaar numeriek zelfrapportage was de slechtst gekalibreerde methode. Bij het 27B-orakel was het "anti-gekalibreerd", waarbij het model meer vertrouwen uitte in verkeerde antwoorden (gemiddeld 98,9%) dan in juiste antwoorden (97,6%). Dit bevestigt de waargenomen kloof tussen "probe" en "verbalized" vertrouwen in standaard LLM's, wat suggereert dat het kanaal voor het opwekken van natuurlijke taal wordt gedomineerd door trainingspriors in plaats van het door activeringen onderbouwde signaal.
• Mislukking van MCMC Acceptatie: De acceptatieverhouding van de enkele-keten MCMC slaagde er niet in om te onderscheiden tussen juiste en onjuiste outputs (AUROC ~0,53–0,60). De auteurs schrijven dit toe aan het feit dat de gestuurde conditionele verdeling scherp gepiekt is bij het greedy-antwoord; bijgevolg accepteert de MH-keten voorstellen ongeacht de juistheid, waardoor de acceptatiekans verzadigt.
• Stuurgevoeligheid: Deze methode produceerde grove, discrete vertrouwenswaarden (0,2, 0,4, etc.) en slechte kalibratie (ECE > 40%), waardoor deze ongeschikt is als probabilistisch signaal, hoewel het mogelijk dienst kan doen als binaire diagnose.

Bijdragen

1. Eerste UQ-Benchmark voor Activeringsorakels: Het artikel vestigt de eerste systematische evaluatie van onzekerheidskwantificatie specifiek voor gestuurde activeringsorakels, waarbij zes methoden worden behandeld over twee modellen en vier kalibratiemetrics.
2. Evaluatie van Nieuwe Methoden: Het introduceert en evalueert drie methoden die specifiek zijn ontworpen voor de gestuurde-orakel-setting (MCMC acceptatie, MCMC overeenstemming en stuurgevoeligheid), en biedt mechanistische verklaringen waarom MCMC acceptatie en stuurgevoeligheid negatieve resultaten opleveren in deze context.
3. Praktisch Recept: De auteurs stellen een praktische afstemstrategie voor: selecteer de bootstrap-temperatuur zodanig dat de gemiddelde modale frequentie op een vastgehouden woord-slice overeenkomt met de empirische nauwkeurigheid op die slice.
4. Replicatie van Vertrouwenskloven: De studie bevestigt dat de kloof tussen interne activeringssignalen en verbaal uitgedrukt vertrouwen bestaat in activeringsorakels, waarbij vrij vormbaar zelfrapportage faalt in het vastleggen van het onzekerheidssignaal dat aanwezig is in de verborgen toestanden.
5. Nieuwe Orakel-Release: Het artikel publiceert het eerste activeringsorakel voor een hybride architectuur met lineaire plus volledige aandacht (Qwen3.6-27B), samen met de gepatchte trainer en verbalizer-gewichten.

Betekenis en Claims
Het artikel stelt dat voor praktici die systemen bouwen op activeringsorakels, modale frequentie van temperatuur-bootstrap het productieklaar vertrouwenssignaal is, met de temperatuur afgestemd om de empirische nauwkeurigheid te matchen. Hoewel log-kans minder gekalibreerd is, blijft het een haalbaar, laagkosten alternatief voor triage als het wordt gecombineerd met post-hoc herschaling.

De auteurs stellen expliciet dat MCMC acceptatieverhoudingen geen geschikte vertrouwenssignalen zijn voor deze taak vanwege de mode-gepiekte aard van de gestuurde posterior. Bovendien waarschuwen zij dat vrij vormbaar numeriek zelfrapportage onbetrouwbaar en anti-gekalibreerd is in deze setting. De studie suggereert dat als introspectieve UQ vereist is, beperkte label-scoren (het omzeilen van vrije tekstgeneratie) het signaal kan herstellen, zoals aangetoond in een klein pilot-onderzoek.

Het werk is bescheiden in omvang, met de opmerking dat de resultaten gebaseerd zijn op twee Qwen-familie modellen en één trainingsrecept. Hoewel de consistentie tussen modellen wijst op een claim op paradigma-niveau, stellen de auteurs geen generaliteit over alle architecturen. De bevindingen benadrukken dat betrouwbare interpretatie van taalmodel-interne representaties niet alleen het decoderen van de verborgen toestand vereist, maar ook een rigoureuze kwantificatie van het vertrouwen in die decoding, waarvoor bootstrap-methoden momenteel de meest robuuste oplossing bieden.