Confidence and Calibration of Activation Oracles for Reliable Interpretation of Language Model Internals

Sintesi Tecnica: Fiducia e Calibrazione degli Oracoli di Attivazione per l'Interpretazione Affidabile degli Interni dei Modelli Linguistici

Enunciazione del Problema
Gli oracoli di attivazione sono modelli linguistici fine-tunati per tradurre gli stati nascosti di un modello target in descrizioni in linguaggio naturale, consentendo l'interpretazione di rappresentazioni interne come fatti memorizzati, obiettivi nascosti o parole segrete. Sebbene questi oracoli abbiano dimostrato potenziale nel recuperare informazioni che emergono solo nelle attivazioni, le loro uscite attualmente mancano di una nozione di certezza. Questa assenza di fiducia calibrata è critica per decisioni operative a valle, come l'audit di allineamento, il rilevamento di inganni e l'elicitazione di obiettivi nascosti. Le tecniche standard di quantificazione dell'incertezza (UQ), sviluppate per modelli non guidati, non sono state valutate rigorosamente sugli oracoli di attivazione, che operano come modelli "guidati" dove il flusso residuo viene sovrascritto al momento dell'inferenza con vettori provenienti da un modello target. Il problema centrale affrontato è identificare quali metodi di stima della fiducia rimangono validi e ben calibrati sotto questa specifica perturbazione di guida.

Metodologia
Gli autori hanno valutato sei distinti metodi UQ su due oracoli di attivazione: un oracolo Qwen3-8B rilasciato e un nuovo oracolo Qwen3.6-27B addestrato (adattato per un'architettura ibrida lineare-plus-full attention). La valutazione ha utilizzato il compito "tabù della parola segreta", dove i modelli target vengono fine-tunati per mantenere segreto uno di 20 parole specifiche. Per ciascuno dei 6.000 campioni per oracolo (comprendenti 20 parole target, 100 prompt di contesto e 3 prompt verbalizzatori), l'oracolo tenta di decodificare la parola segreta dallo stato nascosto iniettato.

I sei metodi valutati sono stati:

1. Log-probabilità (Baseline): La log-probabilità congiunta dei token della parola risposta prevista.
2. Temperature Bootstrap: Campionamento di $k=20$ risposte a temperature variabili ($T \in \{0.3, \dots, 1.5\}$) e utilizzo della frequenza empirica della risposta modale come fiducia.
3. Auto-segnalazione Numerica Diretta: Invito all'oracolo a produrre un punteggio numerico di fiducia (0–100) dopo aver generato la risposta.
4. Accettazione MCMC Power-Sampling: Utilizzo di una singola catena Metropolis-Hastings (MH) con power sampling ($\alpha > 1$) e misurazione del tasso di accettazione empirico.
5. Accordo MCMC Power-Sampling: Esecuzione di $k=10$ catene MH indipendenti e misurazione dell'accordo tra catene (analogo alla self-consistency).
6. Sensibilità alla Guida: Scansione del coefficiente di guida ($c$) attorno al valore predefinito e misurazione della stabilità della risposta decodificata.

Le prestazioni sono state misurate utilizzando Accuratezza, Errore di Calibrazione Atteso (ECE), Punteggio Brier, Log-Likelihood Negativa (NLL) e AUROC (capacità di ordinamento).

Risultati Chiave

• Metodo Migliore: La frequenza modale del bootstrap a temperatura è emersa come il metodo meglio calibrato su entrambi i modelli. Su Qwen3-8B, la temperatura ottimale era $T=1.0$ (ECE 5.7%), e su Qwen3.6-27B era $T=1.5$ (ECE 10.3%). La temperatura ottimale correla con l'accuratezza del compito; man mano che il modello diventa meno accurato (compito più difficile), una temperatura più alta (campionamento più piatto) produce una migliore calibrazione.
• Log-probabilità come Triage: Sebbene la log-probabilità avesse un ECE più alto rispetto alla configurazione ottimale di bootstrap, ha raggiunto un AUROC elevato (capacità di ordinamento) e funge da segnale di triage rapido e a basso costo, specialmente quando viene applicata una calibrazione post-hoc (ad esempio, ridimensionamento isotono).
• Fallimento dell'Auto-segnalazione: L'auto-segnalazione numerica libera è stata il metodo peggio calibrato. Sull'oracolo da 27B, era "anti-calibrata", con il modello che esprimeva una fiducia più alta nelle risposte errate (media 98.9%) rispetto a quelle corrette (97.6%). Questo replica il divario tra "probe" e "verbalizzato" osservato negli LLM standard, suggerendo che il canale di elicitazione in linguaggio naturale è dominato da prior di addestramento piuttosto che dal segnale basato sulle attivazioni.
• Fallimento dell'Accettazione MCMC: Il rapporto di accettazione della singola catena MCMC non è riuscito a distinguere tra output corretti e incorretti (AUROC ~0.53–0.60). Gli autori attribuiscono ciò al fatto che la distribuzione condizionata guidata è fortemente piccata sulla risposta greedy; di conseguenza, la catena MH accetta le proposte indipendentemente dalla correttezza, saturando il tasso di accettazione.
• Sensibilità alla Guida: Questo metodo ha prodotto valori di fiducia grossolani e discreti (0.2, 0.4, ecc.) e una scarsa calibrazione (ECE > 40%), rendendolo inadatto come segnale probabilistico, sebbene possa servire come diagnostica binaria.

Contributi

1. Primo Benchmark UQ per Oracoli di Attivazione: Il documento stabilisce la prima valutazione sistematica della quantificazione dell'incertezza specificamente per oracoli di attivazione guidati, coprendo sei metodi su due modelli e quattro metriche di calibrazione.
2. Valutazione di Metodi Novelli: Introduce e valuta tre metodi progettati specificamente per il setting degli oracoli guidati (accettazione MCMC, accordo MCMC e sensibilità alla guida), fornendo spiegazioni meccanicistiche sul perché l'accettazione MCMC e la sensibilità alla guida producano risultati negativi in questo contesto.
3. Ricetta Pratica: Gli autori propongono una strategia di tuning pratica: selezionare la temperatura di bootstrap in modo che la frequenza modale media su una fetta di parole tenute da parte corrisponda all'accuratezza empirica su quella fetta.
4. Replicazione dei Divari di Fiducia: Lo studio conferma che il divario tra segnali di attivazione interni e fiducia verbalizzata esiste negli oracoli di attivazione, con l'auto-segnalazione libera che non riesce a catturare il segnale di incertezza presente negli stati nascosti.
5. Nuovo Rilascio di Oracolo: Il documento rilascia il primo oracolo di attivazione per un'architettura ibrida lineare-plus-full attention (Qwen3.6-27B), insieme ai pesi dell'addestratore patchato e del verbalizzatore.

Significato e Affermazioni
Il documento afferma che per i praticanti che costruiscono sistemi su oracoli di attivazione, la frequenza modale del bootstrap a temperatura è il segnale di fiducia pronto per la produzione, con la temperatura sintonizzata per corrispondere all'accuratezza empirica. Sebbene la log-probabilità sia meno calibrata, rimane un'alternativa valida e a basso costo per il triage se combinata con un ridimensionamento post-hoc.

Gli autori affermano esplicitamente che i rapporti di accettazione MCMC non sono segnali di fiducia adatti per questo compito a causa della natura piccata sulla modalità della posterior guidata. Inoltre, avvertono che l'auto-segnalazione numerica libera è inaffidabile e anti-calibrata in questo setting. Lo studio suggerisce che se è richiesta una UQ introspectiva, la valutazione dei label vincolata (aggirando la generazione di testo libero) potrebbe recuperare il segnale, come dimostrato in un piccolo studio pilota.

Il lavoro è modesto nel suo ambito, notando che i risultati si basano su due modelli della famiglia Qwen e su una ricetta di addestramento. Sebbene la coerenza tra i modelli suggerisca un'affermazione a livello di paradigma, gli autori non asseriscono generalità su tutte le architetture. Le scoperte sottolineano che un'interpretazione affidabile degli interni dei modelli linguistici richiede non solo la decodifica dello stato nascosto, ma anche la quantificazione rigorosa della fiducia di tale decodifica, per la quale i metodi di bootstrap offrono attualmente la soluzione più robusta.