Closing the Confidence-Faithfulness Gap in Large Language Models

Titolo: Chiudere il divario tra Fiducia e Fedeltà nei Modelli Linguistici di Grande Dimensione (LLM)

1. Il Problema: Miscalibrazione Verbalizzata

I Large Language Models (LLM) tendono a essere sistematicamente sovraccerti. Sebbene le probabilità dei token siano spesso mal calibrate, il problema più critico per la sicurezza e l'uso pratico è la miscalibrazione verbalizzata: i modelli esprimono livelli di confidenza verbale (es. "sono sicuro al 95%") che non corrispondono alla loro accuratezza reale.

• Fenomeno: I modelli raggruppano le loro stime di confidenza vicino al limite superiore (alta certezza), indipendentemente dal fatto che la risposta sia corretta o meno.
• Causa Ipotesi: Gli autori sostengono che questo non sia dovuto a una mancanza di conoscenza interna, ma a un fallimento nel leggere i segnali (readout failure) già presenti nello stato interno del modello. Le informazioni sulla accuratezza esistono nel "residual stream" (flusso residuo), ma il processo di generazione non le utilizza correttamente per formulare dichiarazioni di confidenza.
• Aggravante: Il "Reasoning Contamination Effect" (Effetto di Contaminazione del Ragionamento): quando un modello viene istruito a risolvere un problema e esprimere la confidenza simultaneamente, il processo di ragionamento distorce la direzione della confidenza, peggiorando la miscalibrazione.

2. Metodologia

Il paper utilizza tecniche di interpretabilità meccanicistica per analizzare e correggere il comportamento del modello senza riaddestramento (fine-tuning).

• Strumenti Principali:

  1. Linear Probing (Sondaggio Lineare): Vengono addestrati regressori ridge sulle attivazioni del residual stream per verificare se l'accuratezza (gold calibration) e la confidenza verbalizzata sono codificate linearmente.
  2. Contrastive Activation Addition (CAA): Una tecnica di "steering" (guida) che aggiunge vettori di steering alle attivazioni nascoste durante la generazione per spostare causalmente il comportamento del modello.

• Setup Sperimentale:

  • Modelli: Tre famiglie di modelli open-weight (Llama-3.1-8B, Qwen2.5-7B, Mistral-7B-v0.3), analizzando sia le versioni base che quelle istruite (instruction-tuned).
  • Dataset: Quattro benchmark (MATH, MMLU, TriviaQA, TruthfulQA).
  • Prompt Design: Vengono utilizzati tre tipi di prompt per disaccoppiare le rappresentazioni:
    • Pure Correctness: Solo risposta, nessuna menzione di confidenza.
    • Pure Confidence: Solo stima della confidenza, senza risposta.
    • Joint: Risoluzione del problema e stima della confidenza simultanee.

3. Contributi Chiave e Risultati

A. Dissociazione Geometrica (Geometric Dissociation)

• Risultato: Le informazioni di accuratezza (gold calibration) e la confidenza verbalizzata sono codificate in direzioni lineari quasi ortogonali (similarità del coseno < 0.04).
• Significato: Il modello "sa" internamente quando è probabile che sbagli (l'informazione è presente e decodificabile), ma il processo di generazione utilizza una direzione diversa e separata per esprimere la confidenza, portando a un disallineamento.

B. Effetto di Contaminazione del Ragionamento (Reasoning Contamination Effect)

• Risultato: Quando il modello risolve un problema e stima la confidenza nello stesso passaggio (prompt congiunto), la relazione tra le direzioni di accuratezza e confidenza si inverte drasticamente. La similarità del coseno scende da +0.26 (debolmente allineata nel prompt puro) a -0.63 (fortemente anti-correlata).
• Significato: Il processo di ragionamento "contamina" la rappresentazione della confidenza, invertendo il segnale: il modello diventa più sicuro proprio quando sta lottando con il problema, peggiorando la calibrazione.

C. Steering Causale e Generalizzazione

• Risultato: I vettori di steering costruiti sui prompt di "pure confidence" spostano causalmente l'output verbale della confidenza in modo controllato e lineare.
• Generalizzazione: Questi vettori funzionano su dataset diversi da quelli su cui sono stati addestrati (es. vettori derivati da MATH funzionano su MMLU) e si trasferiscono dalle versioni base a quelle istruite, dimostrando che la direzione della confidenza è una caratteristica stabile e generale delle rappresentazioni dei LLM.

D. Pipeline di Steering Adattivo a Due Stadi
Per chiudere il divario di calibrazione, gli autori propongono una pipeline pratica:

1. Stima del Target: Un probe lineare legge lo stato interno del modello (dopo il prompt, prima della generazione) per stimare l'accuratezza empirica di ogni domanda.
2. Steering Adattivo: Viene calcolato un vettore di steering specifico per domanda per far sì che la confidenza verbalizzata corrisponda all'accuratezza stimata.

• Performance: Questa pipeline riduce l'Errore di Calibrazione Atteso (ECE) di 4-7 volte rispetto alla confidenza verbalizzata non guidata e supera significativamente metodi precedenti come SteerConf.
  • Esempio: Su Mistral-7B, l'ECE scende da 35.1 a 3.3.

4. Significato e Conclusioni

Il lavoro dimostra che la miscalibrazione verbalizzata negli LLM non è un difetto di conoscenza, ma un errore di lettura (readout failure) dei segnali interni.

• Implicazione Teorica: Le informazioni necessarie per dichiarazioni di confidenza fedeli sono già presenti nel residual stream, ma il processo di generazione le ignora o le interpreta erroneamente (specialmente durante il ragionamento congiunto).
• Implicazione Pratica: Invece di riaddestrare i modelli o usare prompt engineering complessi, è possibile correggere la calibrazione intervenendo direttamente sulle rappresentazioni interne tramite steering.
• Visione Futura: Questo approccio suggerisce un paradigma generale: quando l'output di un modello non corrisponde alle sue rappresentazioni interne, la soluzione più diretta è identificare il segnale interno e correggere il meccanismo di lettura, piuttosto che modificare l'addestramento.

In sintesi, il paper offre una soluzione meccanicistica elegante per rendere i LLM più affidabili nel comunicare la propria incertezza, separando il compito di ragionamento da quello di auto-valutazione della confidenza.