Sintesi Tecnica: La Confidenza Riportata dagli LLM Segue l'Impegno Più della Correttezza

Problema

I Large Language Models (LLM) sono spesso chiamati a riportare la confidenza nelle loro risposte per guidare la fiducia dell'utente e i processi decisionali a valle (ad esempio, il deferimento all'uomo o l'astensione). Sebbene la confidenza verbale (VC — auto-report espliciti di certezza) sia ampiamente utilizzata, specialmente in contesti black-box dove le probabilità interne sono inaccessibili, rimane poco chiaro se tali report funzionino come stime accurate della correttezza della risposta o come segnali di uno stato interno differente. L'assunto prevalente è che la confidenza debba seguire la probabilità di correttezza; questo articolo mette in discussione tale assunto, proponendo invece che la confidenza verbale possa funzionare primariamente come un segnale di "prontezza all'impegno" (commit-readiness), indicando la disposizione comportamentale del modello a sostenere una risposta piuttosto che la sua verità oggettiva.

Metodologia

Gli autori hanno impiegato un paradigma di astensione a due fasi, ispirato agli studi neuroscientifici sulla confidenza post-decisionale in roditori e primati, per disaccoppiare la generazione della risposta dalla decisione di impegnarsi.

1. Design Sperimentale:

   • Fase 1 (Risposta e Confidenza): I modelli hanno risposto a domande (a scelta multipla o a testo libero) e, in un passaggio separato, hanno riportato la confidenza verbale (Class-VC su una scala a 10 classi o Num-VC su una scala 0–100). Fondamentalmente, questa fase è avvenuta senza alcun riferimento a un compito di astensione successivo.
   • Fase 2 (Impegnarsi/Astenersi): Ai modelli è stata mostrata la risposta della Fase 1 e sono stati interrogati per prendere una decisione binaria: Impegnarsi (emettere la risposta all'utente) o Astenersi (emettere "Non lo so").
   • Segnale di Confronto: Lo studio ha confrontato la VC rispetto alla Log-Probabilità Calibrata (Cal-LP), un segnale di confidenza derivato dalla distribuzione softmax scalata per temperatura dei token della risposta, che funge da proxy per l'evidenza della risposta.

2. Modelli e Benchmark:

   • Modelli di Non-Ragionamento: Gemma 3 (27B), Gemma 4 (31B, modalità no-think), GPT-4o e Qwen 3 (235B, modalità no-think).
   • Modelli di Ragionamento: Gemini Flash 3, Kimi K2 Think, GPT-Oss-120B e Qwen 3 (235B, modalità think).
   • Dataset: SimpleQA, MMLU-Pro, SuperGPQA-hard e HLE (Humanities Last Exam), che coprono diversi livelli di difficoltà e formati.

3. Approcci Analitici:

   • Gap Decisione–Verità: Definito come $\Delta_{DT} = \text{AUROC}_{\text{astensione}} - \text{AUROC}_{\text{correttezza}}$. Questo metrica quantifica se un segnale predice la decisione di impegnarsi/astenersi meglio di quanto predica la correttezza oggettiva.
   • Analisi di Residualizzazione: Per determinare se l'allineamento della VC con il comportamento fosse riducibile al suo allineamento con la verità, gli autori hanno effettuato una regressione della VC sulla Cal-LP (il miglior proxy disponibile per la correttezza) e hanno analizzato il residuo. Hanno testato se la VC residua predicesse l'astensione o la correttezza.
   • Analisi Meccanicistica (Gemma 3 & 4): Sono stati addestrati probe lineari sulle attivazioni dello stream residuo post-risposta (PA) per decodificare la correttezza e la futura decisione di impegnarsi/astenersi.
   • Guida Causale (Causal Steering): In Gemma 4, gli autori hanno costruito vettori di guida dalle attivazioni PA e li hanno iniettati nello stream residuo durante la Fase 2 per testare se la manipolazione dello stato di "prontezza all'impegno" alterasse causalmente il comportamento di astensione.

Risultati Chiave

1. Il Gap Decisione–Verità

In quattro modelli di non-ragionamento e due dataset, la confidenza verbale ha costantemente mostrato un gap decisione–verità positivo, predicendo la decisione di impegno/astensione della Fase 2 sostanzialmente meglio di quanto predicesse la correttezza della Fase 1.

• Performance VC: Class-VC e Num-VC hanno mostrato gap mediani di +0,13 e +0,20, rispettivamente. In quasi tutte le celle, la VC ha predetto l'astensione significativamente meglio della correttezza.
• Performance Cal-LP: La Cal-LP ha mostrato gap vicini allo zero o negativi (mediana +0,018), indicando che la sua capacità di predire l'astensione era strettamente accoppiata alla sua capacità di predire la correttezza. Non ha mostrato un vantaggio sistematico nel predire il comportamento rispetto alla verità.

2. Decomposizione della Varianza e Residualizzazione

• Struttura della Varianza: L'analisi ANOVA ha rivelato che la varianza nella VC era dominata dalla decisione successiva di impegno/astensione (partial $\eta^2 \approx 0,11–0,48$) piuttosto che dalla correttezza ($\eta^2 \approx 0,00–0,05$). Al contrario, la Cal-LP manteneva una struttura più forte legata alla correttezza.
• Analisi dei Residui: Quando la varianza della VC condivisa con la Cal-LP è stata rimossa, la VC residua è rimasta un forte predittore dell'astensione (AUROC mediana = 0,64) ma ha perso la sua capacità di predire la correttezza (scendendo a livelli vicini al caso, AUROC mediana = 0,49).
• Interpretazione: Ciò suggerisce che la VC contenga una componente unica allineata con il comportamento di impegno che è indipendente dal segnale di evidenza della risposta catturato dalla Cal-LP. L'analisi inversa (residualizzando la Cal-LP sulla VC) ha mostrato che la Cal-LP rimaneva accoppiata sia alla verità che al comportamento, coerentemente con il fatto che sia un segnale primario di evidenza della risposta.

3. Generalizzazione ai Modelli di Ragionamento

La dissociazione decisione–verità si è generalizzata a quattro modelli di ragionamento attraverso quattro benchmark. Nonostante la complessità delle tracce di ragionamento, la VC ha continuato a mostrare un gap positivo robusto (mediana +0,16), mentre la Cal-LP (dove disponibile) non ha mostrato un pattern comparabile. Nei modelli di ragionamento, la Cal-LP era meno efficace nel discriminare la correttezza, probabilmente perché l'incertezza è distribuita lungo la traiettoria di ragionamento piuttosto che concentrata nell'ultimo token.

4. Evidenza Meccanicistica in Gemma 4

• Codifica dello Stato Interno: I probe lineari sulle attivazioni post-risposta (PA) (prima che venisse dato il prompt di astensione) potevano decodificare la futura decisione di impegno/astensione con alta accuratezza (AUROC $\approx$ 0,94), superando di gran lunga la decodifica della correttezza (AUROC $\approx$ 0,66).
• Ortogonalità: La direzione nello spazio delle attivazioni che codifica la decisione impegno/astensione era approssimativamente ortogonale alla direzione che codifica la correttezza.
• Controllo Causale: La guida (steering) lungo una direzione di attivazione specifica per la VC (ortogonale alla Cal-LP) alla posizione PA ha alterato causalmente il successivo comportamento di astensione del modello nella Fase 2. La guida a bassa confidenza ha aumentato i tassi di astensione, confermando che lo stato interno sottostante alla VC è causalmente operativo nelle decisioni di impegno.

Significato e Rivendicazioni

L'articolo conclude che la confidenza verbale e la confidenza basata sulla log-probabilità non sono misure di incertezza intercambiabili.

• Natura della Confidenza Verbale: La VC è meglio intesa non come una stima rumorosa della correttezza, ma come un output orientato al comportamento di uno stato interno di "prontezza all'impegno". Riflette la disposizione del modello a sostenere una risposta, un segnale che è solo parzialmente ancorato alla verità oggettiva.
• Natura della Cal-LP: La Cal-LP si comporta più come un segnale di evidenza della verità, la cui rilevanza per il comportamento è ereditata dalla sua capacità di tracciare la correttezza.
• Implicazioni:
  • Interpretazione: Gli utenti e i sistemi a valle non dovrebbero trattare la confidenza verbale come un proxy diretto della probabilità di correttezza. Un modello può esprimere alta confidenza in una risposta errata se è comportamentalmente "pronto" a impegnarsi con essa.
  • Addestramento: Gli attuali obiettivi di addestramento possono premiare segnali simili alla confidenza che regolano lo stile di risposta e la cautela senza ancorarli strettamente alla correttezza. Il lavoro futuro potrebbe dover mirare alla rappresentazione interna post-risposta per allineare meglio la confidenza alla verità pur preservando comportamenti adattivi come l'astensione.
  • Metacognizione: I risultati suggeriscono che i report di confidenza degli LLM possano funzionare in modo simile ai segnali metacognitivi di secondo ordine negli esseri umani, costruiti a valle dalla scelta iniziale e da altri indizi (ad esempio, la fluidità), piuttosto che essere un readout diretto dell'evidenza che ha guidato la scelta.

Gli autori sottolineano che, sebbene la VC tracci la correttezza sopra il livello del caso, il suo allineamento sproporzionato con il comportamento di impegno è una caratteristica fondamentale della sua organizzazione interna, che la distingue dalle misure derivate dalla distribuzione delle opzioni.