Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B

1. Enunciato del Problema

I Large Language Models (LLM), in particolare quelli nella fascia di parametri da 3 a 9 miliardi, presentano un problema di "degenerazione della fiducia verbale". Quando vengono invitati a esprimere la propria fiducia in percentuale, questi modelli riportano costantemente una fiducia vicina al massimo (tassi al soffitto >90%), indipendentemente dal fatto che la risposta sia corretta.

• Il Divario: Sebbene le rappresentazioni interne (stati nascosti) e l'entropia dei logit a passaggio singolo contengano informazioni significative sulla correttezza (AUROC2 ~0,6–0,8), il canale verbale fallisce nel trasmettere queste informazioni (AUROC2 ~0,5, vicino al caso).
• L'Obiettivo: Lo studio indaga se il Fine-Tuning Supervisionato Condizionato alla Fiducia (CSFT) possa distillare le informazioni dalla coerenza interna multi-campione (un metodo robusto ma computazionalmente costoso) in un segnale verbale di fiducia affidabile e a passaggio singolo.

2. Metodologia

Lo studio ha utilizzato Gemma 3 4B-it e ha seguito un rigoroso protocollo di valutazione psicometrica basato sul programma CMM (Teoria della Rilevazione del Segnale di Tipo 2).

Design Sperimentale

• Dati: Elementi estratti da TriviaQA (calibrazione/addestramento e valutazione su dati tenuti da parte) e MMLU (trasferimento tra benchmark).
• Derivazione del Target: Per ogni elemento di addestramento, sono stati generati 10 campioni con temperatura $T=0,7$. Il numero di campioni corretti ($n_{correct}$) è stato mappato su un target di fiducia (es. $n_{correct}=10 \rightarrow 95\%$, $n_{correct}=0 \rightarrow 5\%$).
• Addestramento: Fine-tuning LoRA (rank 16) sul prompt di chat, addestrando il modello a produrre la risposta seguita dalla percentuale di fiducia derivata.
• Controlli: È stato addestrato un controllo con target mescolati con architettura identica ma etichette di fiducia permutate casualmente per distinguere l'apprendimento del formato dall'apprendimento del segnale.

Due Fasi

1. Protocollo Pre-registrato (Fase 0): Includeva un filtro modale, limitando i dati di addestramento agli elementi in cui la risposta più frequente tra i 10 campioni era corretta.
2. Salvataggio Post-Hoc: Il filtro modale è stato rimosso, consentendo al modello di addestrarsi su tutti i 2.000 elementi di calibrazione, inclusi quelli con risposte modali errate (distribuzione bimodale).

3. Risultati Chiave

A. Risultato Pre-registrato (Negativo)

• Esito: Il protocollo ha fallito.
• Metriche: L'AUROC2 verbale è sceso da 0,554 (baseline) a 0,509. L'accuratezza è peggiorata del 7,6%. La Validity Rating Scale (VRS) è rimasta "Invalida".
• Diagnosi: Collasso dell'Entropia delle Etichette. Il filtro modale ha rimosso tutti gli elementi in cui il modello era incerto o errato ($n_{correct} < 10$). Il set di addestramento risultante aveva target di fiducia quasi uniformemente alti (principalmente 95%). Il modello ha imparato a ignorare l'input e a produrre la moda (95%), fallendo nell'imparare quando esprimere bassa fiducia.

B. Salvataggio Post-Hoc (Positivo Esplorativo)

Rimuovendo il filtro modale, il set di addestramento ha incluso una distribuzione bimodale: il 48,2% degli elementi aveva $n_{correct}=10$ (target 95%) e il 36,5% aveva $n_{correct}=0$ (target 5%).

• Prestazioni su TriviaQA:
  • AUROC2: Migliorato significativamente da 0,554 (baseline) a 0,774.
  • Tasso al Soffitto: Crollato dal 97,7% al 49,8%, indicando che il modello ha imparato a variare la propria fiducia.
  • Natura del Segnale: Il modello ha imparato un discriminatore binario (producendo o 5% o 95%) piuttosto che una calibrazione continua. Ha compresso con successo un segnale di coerenza interna a 10 campioni (AUROC2 = 0,999) in una lettura verbale a passaggio singolo, recuperando circa il 77,5% del potere discriminativo.
  • Confronto: Il segnale verbale distillato (0,774) ha superato l'entropia dei logit a passaggio singolo (0,701).
• Trasferimento Cross-Benchmark su MMLU:
  • Accuratezza: Migliorata drasticamente dal 54,2% al 77,4%.
  • AUROC2: Migliorata da 0,535 a 0,616.
  • Controllo: Il modello con target mescolati non ha mostrato miglioramenti (accuratezza 56,1%, AUROC2 0,523) e ha prodotto output verbosi e non parsabili, confermando che i guadagni erano dovuti al contenuto dei target di fiducia, non solo alla procedura LoRA.

4. Contributi Chiave e Principi di Progettazione

1. L'Entropia delle Etichette è Critica: Lo studio identifica il collasso dell'entropia delle etichette come un principale modo di fallimento nell'addestramento alla fiducia. Per addestrare un modello a esprimere incertezza, il set di addestramento deve includere esempi di incertezza (target a bassa fiducia). Filtrare gli esempi "difficili" o "errati" garantisce il fallimento.
2. Distillazione della Coerenza Interna: È possibile distillare le informazioni sulla coerenza interna multi-campione (che richiedono solitamente 10 passaggi in avanti) in un segnale verbale a passaggio singolo. Sebbene vi sia una perdita di compressione (~22,5%), il segnale risultante è più informativo dell'entropia standard dei logit e accessibile tramite API standard.
3. Regolarizzazione del Formato: L'addestramento su target di fiducia corretti ha apparentemente regolarizzato il formato di output. Il modello con target reali ha prodotto risposte concise e parsabili, mentre il modello con target mescolati ha prodotto testo verboso e non strutturato. Ciò suggerisce che i target di fiducia possono agire come regolarizzatori per la struttura dell'output.
4. Trade-off Accuratezza-Fiducia: L'intervento ha migliorato la discriminazione ma ha causato un calo del 7,5% nell'accuratezza su TriviaQA. Ciò suggerisce che il modello ha adottato una nuova "politica risposta-fiducia" che privilegiava il segnale discriminativo rispetto alla generazione grezza della risposta, oppure che il segnale di fiducia ha aiutato a filtrare le confabulazioni su altri benchmark (MMLU).

5. Significato e Limitazioni

• Significato: Questo lavoro fornisce un percorso pratico per abilitare gli LLM a "parlare" della propria incertezza in modo affidabile senza richiedere l'accesso ai logit interni o a passaggi di campionamento multipli. Evidenzia che il "canale verbale" è addestrabile ma richiede distribuzioni di dati specifiche (alta entropia) per funzionare.
• Limitazioni:
  • Output Binario: Il modello ha imparato un classificatore binario (5% vs 95%) piuttosto che una calibrazione continua (es. 60% di fiducia).
  • Natura Post-Hoc: Il risultato positivo non era pre-registrato e richiede replicazione.
  • Singolo Modello/Seme: I risultati sono specifici per Gemma 3 4B e un singolo seme casuale.
  • Calo dell'Accuratezza: Il miglioramento dell'accuratezza su MMLU e il calo dell'accuratezza su TriviaQA suggeriscono un'interazione complessa tra l'addestramento alla fiducia e le politiche di generazione delle risposte che richiede ulteriori studi di ablazione.

Conclusione

Il documento dimostra che, sebbene i piccoli LLM falliscano naturalmente nel riportare l'incertezza, ciò può essere rimediato tramite CSFT se i dati di addestramento preservano l'entropia delle etichette. Addestrando sull'intero spettro degli esiti di coerenza interna (inclusi i fallimenti), il modello può distillare un ragionamento complesso multi-campione in un segnale verbale di fiducia affidabile a passaggio singolo, che supera le baseline standard di entropia e migliora le prestazioni su compiti cross-benchmark come MMLU.