Calibrating Overconfidence Without Sacrificing Confidence: Probe-Conditioned Head Intervention for LLMs

Sintesi Tecnica: Intervento alla Testina Condizionato da Sonda per LLM

Definizione del Problema
I grandi modelli linguistici (LLM) mostrano frequentemente una "sovraonfidenza verbalizzata", esprimendo un'alta fiducia in risposte errate. Le tecniche di calibrazione standard, come la scalatura della temperatura o il fine-tuning post-hoc delle istruzioni, applicano tipicamente aggiustamenti globali alla distribuzione dell'output. Sebbene questi metodi possano migliorare le metriche di calibrazione aggregate, soffrono di un limite critico: non possono sopprimere selettivamente l'imotivata fiducia nelle risposte errate senza contemporaneamente erodere la fiducia giustificata nelle risposte corrette. Ciò crea una tensione in cui la riduzione dei falsi positivi (erronei-ma-sicuri) comporta inevitabilmente un aumento dei falsi negativi (corretti-ma-insicuri). Il documento postula che sia necessario un approccio più selettivo — uno che intervenga solo quando una risposta è probabilmente errata-ma-sicura, separando così la soppressione della fiducia imotivata dalla perdita di fiducia giustificata.

Metodologia: Intervento alla Testina Condizionato da Sonda (PCHI)
Gli autori propongono PCHI, un metodo di inferenza che opera internamente al modello per riscalare selettivamente gli output delle testine di attenzione basandosi sulle evidenze di sovraonfidenza. Il metodo consiste in tre componenti principali:

1. Autovalutazione Strutturata: Al modello viene chiesto di generare una risposta JSON strutturata contenente reasoning (ragionamento), answer (risposta) e un campo binario is_confident (yes/no). L'intervento mira al gruppo "wrong-yes" (WY) (risposte errate con alta fiducia) con l'obiettivo di preservare il gruppo "correct-yes" (CY) (risposte corrette con alta fiducia).
2. Sonde di Template di Confidenza: Una sonda lineare congelata viene addestrata per rilevare evidenze latenti di risposte WY. Questa sonda legge gli stati nascosti in specifici token di "template di confidenza" (lo span di token tra la risposta e il valore di confidenza finale). La sonda predice la probabilità che una risposta sicura sia in realtà errata. Lo strato della sonda ($\ell_p$) è selezionato a metà della rete, dove la separabilità tra WY e CY è forte, garantendo che gli strati successivi rimangano disponibili per l'intervento.
3. Riscalamento Condizionale della Testina: Durante l'inferenza, il punteggio della sonda controlla un riscalamento appreso degli output delle testine di attenzione a valle.
   • Per ogni testina di attenzione $h$ negli strati a valle di $\ell_p$, viene applicato un coefficiente scalare appreso $g_h$ (inizializzato a 1).
   • L'intensità dell'intervento $s_{i,t}$ è determinata dal punteggio della sonda $p_{i,t}$. Se il punteggio supera una soglia $\tau$ (ad es. 0,5), l'output della testina $z_{i,t,h}$ viene riscalato: $z'_{i,t,h} = (1 + (g_h - 1)s_{i,t}) z_{i,t,h}$.
   • Se la sonda non segnala la risposta come probabilmente errata-sicura ($s_{i,t} = 0$), il modello si comporta in modo identico al baseline.
   • Una maschera di attenzione opzionale può essere applicata post-sonda per limitare le regioni di contesto (prompt, ragionamento, risposta) a cui i query del template prestano attenzione, potenzialmente rafforzando il segnale di intervento.

L'obiettivo di apprendimento utilizza una perdita di tipo hinge per spingere gli esempi WY al di sotto di un margine di confidenza proteggendo al contempo gli esempi CY dal declassamento, regolarizzato da una penalità L1 per mantenere i coefficienti delle testine non necessari vicini all'identità.

Contributi Chiave

• Intervento Interno Selettivo: A differenza della calibrazione post-hoc globale, PCHI interviene condizionalmente in base a evidenze interne, permettendo di correggere tipi specifici di errore (WY) senza sopprimere globalmente la fiducia.
• Disaccoppiamento di Calibrazione e Accuratezza: Il metodo dimostra che la sovraonfidenza può essere ridotta preservando ampiamente la fiducia giustificata, affrontando il compromesso inerente ai metodi di riscalamento uniforme.
• Intuizione Meccanicistica: L'approccio tratta la confidenza verbalizzata come un processo di computazione interna che può essere controllato in punti specifici (token di template) piuttosto che come una semplice distribuzione di output da mappare.

Risultati Sperimentali
Il metodo è stato valutato su problemi di OpenMathInstruct utilizzando i modelli Qwen3-4B-Instruct e Gemma3-4B-it con un campo di confidenza binaria strutturato.

• Intervento sul Token di Lettura (Readout-Token): L'applicazione di PCHI sull'ultimo token di confidenza ha prodotto miglioramenti significativi. Su Qwen3-4B, l'Errore di Calibrazione Attesa (ECE) è sceso dal 21,9% all'11,7%, e l'Area Sotto la Curva ROC (AUROC) è aumentata da 66,5 a 90,3. Fondamentalmente, l'82,2% delle letture "wrong-yes" originali è stato convertito in "no", mentre solo il 10,8% delle letture "correct-yes" originali è stato danneggiato.
• Intervento a Monte (Upstream): L'intervento sui token di template di confidenza a monte ha mostrato risultati variabili. Su Qwen3-4B, un intervento congiunto su 5 token ha ridotto l'ECE al 9,2% con una correzione WY del 63,3% e solo il 5,1% di danno CY. Su Gemma3-4B, gli effetti a monte sono stati più deboli e dipendenti dalla maschera di attenzione; limitare il contesto visibile al campo della risposta ha migliorato la correzione WY al 40,4% ma con un leggero aumento del danno CY.
• Ablazione: I controlli hanno confermato che i guadagni non sono dovuti semplicemente alla maschera di attenzione o allo steering generico delle attivazioni. La combinazione dell'evidenza della sonda e del riscalamento specifico per testina appreso è necessaria per la selettività osservata.

Significatività e Rivendicazioni
Il documento sostiene che PCHI offre una via percorribile verso modelli capaci di esprimere incertezza in modo affidabile senza sacrificare la loro capacità di esprimere fiducia quando sono corretti. Trattando la calibrazione come un problema di controllo selettivo piuttosto che come una mappatura globale, gli autori dimostrano che gli interventi interni possono parzialmente disaccoppiare la soppressione della sovraonfidenza dalla perdita di fiducia giustificata.

Gli autori mantengono un ambito modesto, notando che i loro risultati sono specifici per il problem solving matematico con output JSON strutturati e campi di confidenza binari. Riconoscono che il metodo dipende dall'addestramento di sonde specifiche per il modello e i dati e che estendere questo approccio a espressioni di confidenza a testo libero o compiti aperti rimane una sfida aperta. Il lavoro non pretende di fornire una spiegazione meccanicistica completa della confidenza verbalizzata, ma offre piuttosto prove del fatto che tale evidenza è decodificabile e azionabile per una correzione selettiva.