Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs

1. Il Problema: L'Overconfidence Verbalizzata

I Large Language Models (LLM) sono spesso non solo errati, ma sicuri dei propri errori. Quando producono risposte fattualmente scorrette, tendono a verbalizzare livelli di fiducia eccessivamente alti invece di segnalare incertezza. Questo fenomeno, definito "overconfidence verbalizzata", può fuorviare gli utenti e rendere i punteggi di fiducia inaffidabili come segnali di incertezza.
Sebbene la letteratura precedente abbia riconosciuto che i modelli possono esprimere incertezza, la calibrazione tra la fiducia verbalizzata e l'accuratezza fattuale rimane scarsa. La maggior parte degli approcci attuali tratta questo problema come un sintomo a livello di output, focalizzandosi su correzioni post-hoc (dopo la generazione) senza comprendere i meccanismi interni causali che guidano tale comportamento.

2. Metodologia: Un'Analisi Meccanicistica

Gli autori adottano un approccio di interpretabilità meccanicistica per localizzare i circuiti interni responsabili dell'overconfidence. Lo studio si articola su tre assi principali:

A. Setup Sperimentale e Elicitazione

• Modelli e Dataset: Lo studio è condotto su due modelli istruiti (Qwen2.5-3B-Instruct e Llama-3.2-3B-Instruct) su tre benchmark di domande fattuali (PopQA, MMLU, NQOpen).
• Setup a due passaggi: Il modello risponde prima a una domanda fattuale e successivamente viene chiesto di auto-valutare la propria risposta assegnando un punteggio di fiducia intero (0-99). Questo separa la generazione della risposta dalla verbalizzazione della fiducia, permettendo di tracciare le attivazioni interne durante la seconda fase.
• Design Controfattuale (Truth-Injection): Per ogni risposta errata, viene creata una coppia di prompt:
  • Clean: Contiene la risposta errata del modello.
  • Corrupted: Sostituisce la risposta errata con la verità fattuale (ground truth), mantenendo invariati tutti gli altri token.
    Questo isolamento permette di misurare l'effetto causale della correttezza della risposta sulla generazione della fiducia.

B. Metrica Interna: Target Set Logit Difference (TSLD)

Poiché la fiducia verbalizzata è un intero continuo e non un singolo token "golden", gli autori introducono il TSLD.

• È definito come la differenza media tra i logit di un insieme predefinito di valori ad alta fiducia ($H = \{70, \dots, 99\}$) e un insieme a bassa fiducia ($L = \{0, \dots, 30\}$) nella posizione dell'ultimo token.
• Il TSLD funge da proxy differenziabile e stabile della propensione interna del modello alla fiducia, compatibile con l'attribuzione basata su gradienti.
• Viene utilizzato $\Delta TSLD$ (la differenza tra il TSLD del prompt "corrupted" e quello "clean") per identificare i casi in cui l'iniezione della verità sopprime l'overconfidence.

C. Identificazione e Validazione dei Circuiti

• Attribuzione: Viene utilizzato il framework EAP-IG (Edge Attribution Patching with Integrated Gradients) per identificare quali componenti (MLP e Attention Heads) causano la variazione nel TSLD.
• Stratificazione dei Dati: Vengono selezionati solo i record in cui il modello è inizialmente "sicuro ma sbagliato" e la verità sopprime tale sicurezza (Bucket 1), per evitare cancellazioni di gradiente.
• Validazione Causale:
  • Sufficienza: Mantenendo solo le top-k connessioni (bordi) del circuito, il modello riesce a riprodurre il comportamento di overconfidence (curve di fedeltà > 85%).
  • Necessità: Rimuovendo (ablazione) il circuito scoperto, il segnale di overconfidence viene eliminato in modo significativo (74-79% di riduzione del TSLD di base).

3. Risultati Chiave

Identificazione dei Circuiti "Confidence Mover" (CMC)

• I circuiti responsabili dell'overconfidence sono compatti e localizzati principalmente negli strati medi e tardivi del modello.
• Qwen2.5-3B: Il circuito è dominato da blocchi MLP (strati 24-35).
• Llama-3.2-3B: Inizialmente sembra più distribuito, ma dopo la validazione causale (ablazione singola), emerge che i componenti causalmente necessari sono anch'essi concentrati negli strati medi-tardivi (es. M27, M25, L14H3).
• Conservazione Cross-Dataset: Esiste una forte sovrapposizione (>80%) dei componenti top tra i diversi dataset (PopQA, MMLU, NQOpen) per lo stesso modello. Questo suggerisce che l'overconfidence è guidata da un meccanismo interno stabile e non è un artefatto specifico del task.

Intervento e Ricalibrazione

Gli autori hanno testato due strategie di intervento durante l'inferenza sui componenti identificati:

1. Mean Ablation: Sostituzione dell'attivazione del componente con la media delle attivazioni ottenute dai prompt "corrupted".
2. Activation Steering: Sottrazione di una direzione vettoriale di overconfidence (calcolata come differenza tra clean e corrupted) dall'attivazione corrente, controllata da un parametro $\alpha$.

Risultati di Calibrazione:

• L'intervento mirato ha portato a miglioramenti drastici nella calibrazione.
• Su PopQA, l'Errore di Calibrazione Atteso (ECE) è stato ridotto fino al 97% per Llama e al 78% per Qwen.
• L'Activation Steering si è rivelato superiore alla semplice ablazione: offre un controllo più fine (dose-risposta), permettendo di trovare un punto ottimale (spesso $\alpha \approx 0.5$) che riduce l'overconfidence senza distruggere segnali di fiducia utili.
• Le curve di affidabilità (reliability curves) mostrano un allineamento molto più stretto con la diagonale di calibrazione perfetta dopo l'intervento.

4. Contributi e Significato

1. Mappatura Meccanicistica: Il paper fornisce la prima analisi a livello di circuito che identifica causalmente i componenti interni che generano l'overconfidence verbalizzata nei LLM.
2. Meccanismo Stabile: Dimostra che l'overconfidence non è un comportamento casuale o legato al dataset, ma è supportato da un "nucleo causale" compatto e conservato all'interno dell'architettura del modello.
3. Disallineamento Strutturale: I risultati suggeriscono un disallineamento tra il circuito di recupero fattuale (che attraversa strati più ampi e precoci) e il circuito di scrittura della fiducia (concentrato negli strati tardivi). Il modello calcola l'incertezza, ma il circuito di verbalizzazione della fiducia fallisce nel trasmetterla fedelmente, imponendo invece un bias verso l'alta fiducia.
4. Intervento Pratico: Dimostra che la ricalibrazione meccanica è fattibile ed efficace. Intervenendo su un piccolo set di componenti (top-10) durante l'inferenza, è possibile correggere il comportamento del modello senza riaddestramento, offrendo un complemento promettente ai metodi di calibrazione post-hoc.

In sintesi, il lavoro conclude che l'overconfidence verbalizzata è "cablata" nel modello attraverso circuiti identificabili e che la manipolazione mirata di questi circuiti può mitigare significativamente il problema, rendendo i LLM più affidabili in contesti ad alto rischio.