Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B

1. Probleemstelling

Grote Taalmodellen (LLM's), met name die in het bereik van 3–9B parameters, vertonen een "degeneratief verbaal zelfvertrouwen-probleem". Wanneer ze worden gevraagd om hun zelfvertrouwen als percentage te verwoorden, rapporteren deze modellen consequent bijna-maximaal zelfvertrouwen (plafondpercentages >90%), ongeacht of hun antwoord correct is.

• De Kloof: Hoewel interne representaties (verborgen toestanden) en logit-entropie van een enkele doorgang aanzienlijke informatie bevatten over juistheid (AUROC2 ~0,6–0,8), faalt het verbale kanaal om deze informatie over te dragen (AUROC2 ~0,5, dicht bij toeval).
• Het Doel: De studie onderzoekt of Zelfvertrouwens-geconditioneerde Supervised Fine-Tuning (CSFT) de informatie uit multi-sample zelfconsistentie (een robuuste maar computationeel dure methode) kan distilleren naar een betrouwbaar, single-pass verbaal zelfvertrouwenssignaal.

2. Methodologie

De studie gebruikte Gemma 3 4B-it en volgde een rigoureuze psychometrische evaluatiepipeline gebaseerd op het CMM-programma (Type-2 Signaaldetectietheorie).

Experimenteel Ontwerp

• Data: Items afkomstig uit TriviaQA (kalibratie/training en vastgehouden evaluatie) en MMLU (cross-benchmark transfer).
• Doelafleiding: Voor elk trainingsitem werden 10 samples gegenereerd bij temperatuur $T=0,7$. Het aantal correcte samples ($n_{correct}$) werd gekoppeld aan een zelfvertrouwen-doel (bijv. $n_{correct}=10 \rightarrow 95\%$, $n_{correct}=0 \rightarrow 5\%$).
• Training: LoRA fine-tuning (rank 16) op de chat-prompt, waarbij het model werd getraind om het antwoord gevolgd door het afgeleide zelfvertrouwenspercentage te outputten.
• Controles: Een geshuffelde-doelcontrole werd getraind met identieke architectuur maar willekeurig gepermuteerde zelfvertrouwenslabels om onderscheid te maken tussen het leren van het formaat versus het leren van het signaal.

Twee Fasen

1. Pre-Registered Protocol (Fase 0): Bevatte een modale filter, die trainingsdata beperkte tot items waarbij het meest voorkomende antwoord over 10 samples correct was.
2. Post-Hoc Rescue: De modale filter werd verwijderd, waardoor het model mocht trainen op alle 2.000 kalibratie-items, inclusief die met onjuiste modale antwoorden (bimodale verdeling).

3. Belangrijkste Resultaten

A. Pre-Registered Resultaat (Negatief)

• Uitkomst: Het protocol faalde.
• Metingen: Verbaal AUROC2 daalde van 0,554 (baseline) naar 0,509. De nauwkeurigheid verslechterde met 7,6%. De Validity Rating Scale (VRS) bleef "Ongeldig".
• Diagnose: Label-entropie-inzakking. De modale filter verwijderde alle items waarbij het model onzeker was of fout zat ($n_{correct} < 10$). De resulterende trainingsset had bijna-uniforme hoge zelfvertrouwensdoelen (meestal 95%). Het model leerde de input te negeren en de modus (95%) te outputten, en faalde om te leren wanneer het lage zelfvertrouwen moest uiten.

B. Post-Hoc Rescue (Exploratief Positief)

Door de modale filter te verwijderen, bevatte de trainingsset een bimodale verdeling: 48,2% van de items had $n_{correct}=10$ (doel 95%) en 36,5% had $n_{correct}=0$ (doel 5%).

• TriviaQA Prestaties:
  • AUROC2: Verbeterde significant van 0,554 (baseline) naar 0,774.
  • Plafondpercentage: Instortte van 97,7% naar 49,8%, wat aangeeft dat het model leerde zijn zelfvertrouwen te variëren.
  • Natuur van het Signaal: Het model leerde een binair discriminator (output van ofwel 5% of 95%) in plaats van continue kalibratie. Het slaagde erin een 10-sample zelfconsistentiesignaal (AUROC2 = 0,999) te comprimeren naar een single-pass verbaal afleesbaar resultaat, waarbij ongeveer 77,5% van het discriminatievermogen werd hersteld.
  • Vergelijking: Het gedistilleerde verbale signaal (0,774) presteerde beter dan single-pass logit-entropie (0,701).
• MMLU Cross-Benchmark Transfer:
  • Nauwkeurigheid: Verbeterde dramatisch van 54,2% naar 77,4%.
  • AUROC2: Verbeterde van 0,535 naar 0,616.
  • Controle: Het geshuffelde-doelmodel toonde geen verbetering (nauwkeurigheid 56,1%, AUROC2 0,523) en produceerde uitgebreide, onleesbare outputs, wat bevestigt dat de winst te wijten was aan de inhoud van de zelfvertrouwendoelen, en niet alleen aan de LoRA-procedure.

4. Belangrijkste Bijdragen & Ontwerpprincipes

1. Label-entropie is cruciaal: De studie identificeert label-entropie-inzakking als een primaire faalmodus in zelfvertrouwentraining. Om een model te trainen om onzekerheid uit te drukken, moet de trainingsset noodzakelijkerwijs voorbeelden van onzekerheid bevatten (lage zelfvertrouwendoelen). Het filteren van "moeilijke" of "verkeerde" voorbeelden garandeert falen.
2. Distillatie van Zelfconsistentie: Het is mogelijk om informatie uit multi-sample zelfconsistentie (die normaal gesproken 10 forward passes vereist) te distilleren naar een single-pass verbaal signaal. Hoewel er een compressieverlies is (~22,5%), is het resulterende signaal informatiever dan standaard logit-entropie en toegankelijk via standaard API's.
3. Format Regularisatie: Training op correcte zelfvertrouwendoelen leek de outputformat te regulariseren. Het model met echte doelen produceerde beknopte, parseerbare antwoorden, terwijl het model met geshuffelde doelen uitgebreide, ongestructureerde tekst produceerde. Dit suggereert dat zelfvertrouwendoelen kunnen fungeren als een regularisator voor outputstructuur.
4. Nauwkeurigheids-Zelfvertrouwen Trade-off: De interventie verbeterde de discriminatie maar veroorzaakte een daling van 7,5% in TriviaQA-nauwkeurigheid. Dit suggereert dat het model een nieuw "antwoord-zelfvertrouwensbeleid" aannam dat prioriteit gaf aan discriminatief signaleren boven ruwe antwoordgeneratie, of dat het zelfvertrouwenssignaal hielp om confabulaties op andere benchmarks (MMLU) te filteren.

5. Betekenis en Beperkingen

• Betekenis: Dit werk biedt een praktische route om LLM's in staat te stellen hun onzekerheid betrouwbaar "te spreken" zonder toegang tot interne logits of meerdere sampling-passen. Het benadrukt dat het "verbale kanaal" trainbaar is, maar specifieke data-distributies (hoge entropie) vereist om te functioneren.
• Beperkingen:
  • Binair Output: Het model leerde een binaire classifier (5% versus 95%) in plaats van continue kalibratie (bijv. 60% zelfvertrouwen).
  • Post-Hoc Aard: Het positieve resultaat was niet pre-registered en vereist replicatie.
  • Enkel Model/Seed: Resultaten zijn specifiek voor Gemma 3 4B en een enkele willekeurige seed.
  • Afname in Nauwkeurigheid: De verbetering in MMLU-nauwkeurigheid en de daling in TriviaQA-nauwkeurigheid suggereren een complexe interactie tussen zelfvertrouwentraining en antwoordgeneratiebeleid die verdere ablatiestudies vereist.

Conclusie

Het artikel toont aan dat hoewel kleine LLM's van nature falen in het rapporteren van onzekerheid, dit kan worden verholpen via CSFT als de trainingsdata label-entropie behoudt. Door te trainen op het volledige spectrum van zelfconsistentie-uitkomsten (inclusief falen), kan het model complexe multi-sample redenering distilleren naar een betrouwbaar, single-pass verbaal zelfvertrouwenssignaal dat beter presteert dan standaard entropie-baselines en de prestaties verbetert op cross-benchmark taken zoals MMLU.