Riepilogo Tecnico: I Large Language Models sono eccessivamente sicuri nelle proprie risposte

Definizione del Problema

Sebbene i modelli di base (pre-addestrati) dei Large Language Models (LLM) esibiscano generalmente probabilità ben calibrate per la predizione del next-token, gli LLM sottoposti a instruction-tuning (post-addestramento) soffrono di una significativa miscalibrazione. Tendono a essere eccessivamente sicuri di sé, assegnando punteggi di confidenza elevati ad risposte errate. Ricerche precedenti hanno stabilito che i processi di post-addestramento (Supervised Fine-Tuning e Reinforcement Learning from Human Feedback) degradano la calibrazione, ma il contributo specifico del chat template — il formato conversazionale utilizzato per interagire con questi modelli — rimane scarsamente esplorato. Inoltre, non è chiaro se la miscalibrazione derivi dall'algoritmo di addestramento stesso o dallo stile di prompting conversazionale, e se metodi specifici di elicitazione della confidenza possano mitigare questo problema senza necessità di riaddestramento.

Metodologia

Gli autori hanno condotto un'indagine completa su sei recenti famiglie di LLM open-weight (Llama 3.1, Qwen3 e Gemma 3), utilizzando sia versioni base che istruite (instruction-tuned) di varie scale (da 4B a 70B). La valutazione è stata eseguita sul benchmark MMLU, un dataset di 57 discipline a scelta multipla.

La ricerca si è articolata in quattro fasi distinte:

1. Decoupling tra Addestramento e Formato: Gli autori hanno isolato gli effetti dell'instruction tuning e del chat template confrontando tre varianti di modello:

   • Modelli base (pre-addestrati, senza instruction tuning).
   • Modelli instruction-tuned invocati senza il chat template.
   • Modelli instruction-tuned invocati con lo standard chat template.
     La calibrazione è stata misurata utilizzando l'Expected Calibration Error (ECE) e il Brier Score, derivati direttamente dai logit del modello.

2. Elicitazione della Confidenza Esplicita: Per determinare se la miscalibrazione persista quando ai modelli viene esplicitamente chiesto di esprimere la propria certezza, gli autori hanno testato tre metodi di elicitazione della confidenza:

   • P(True): Chiedere al modello di predire la probabilità di un token "True" per una data risposta.
   • Percentuale Verbalizzata: Chiedere un punteggio di confidenza da 0 a 100%.
   • Linguistica Verbalizzata: Chiedere al modello di selezionare un livello di confidenza qualitativo da una scala Likert (ad esempio, "molto basso" a "molto alto").

3. Test dell'Ipotesi di "Ownership Bias": Gli autori hanno ipotizzato che gli LLM esibiscano un "ownership bias" (bias di proprietà), essendo significativamente più sicuri delle risposte che generano essi stessi rispetto a risposte identiche fornite da un utente. Per testare questo, hanno interrogato i modelli con la stessa coppia domanda-risposta, variando solo la fonte della risposta:

   • Condizione Assistant: La risposta era presentata come parte della risposta del modello stesso.
   • Condizione User: La risposta era presentata come parte dell'input dell'utente.
     Al modello veniva poi chiesto di valutare la correttezza della risposta fornita.

4. Strategia di Mitigazione Proposta: Sulla base dei risultati, gli autori hanno proposto una strategia di inferenza: inquadrare la risposta del modello come input dell'utente durante l'elicitazione della confidenza per aggirare l'ownership bias.

Risultati Chiave

1. Driver della Miscalibrazione

• Instruction Tuning: L'instruction tuning danneggia fondamentalmente la calibrazione. In media, ha aumentato l'ECE del 13,1% e il Brier score del 6,5% rispetto ai modelli base, nonostante abbia migliorato l'accuratezza del 3,7%.
• Chat Template: Il chat template aggrava ulteriormente il problema. Sebbene abbia fornito un modesto guadagno di accuratezza (+1,1%), ha aumentato l'ECE di un ulteriore 2,74% e il Brier score dell'1,5%.
• Conclusione: Sebbene l'instruction tuning sia la fonte primaria di miscalibrazione, il formato conversazionale del chat template esacerba significativamente il problema.

2. Metodi di Elicitazione della Confidenza

Chiedere esplicitamente la confidenza non ha risolto la miscalibrazione sottostante. I modelli instruction-tuned sono rimasti significativamente meno calibrati rispetto ai modelli base in tutti e tre i metodi di elicitazione (P(True), Percentuale Verbalizzata e Linguistica Verbalizzata), confermando che il processo di post-addestramento è la causa radice.

3. Evidenza dell'Ownership Bias

Gli esperimenti hanno confermato un forte "ownership bias":

• Eccessiva Sicurezza (Overconfidence): I modelli assegnano una confidenza significativamente più alta alle risposte che generano loro stessi (condizione Assistant) rispetto a risposte identiche fornite dall'utente (condizione User).
• Entità: La differenza di confidenza è sostanziale. Per il metodo Linguistico Verbalizzato, i modelli hanno mostrato un aumento medio di confidenza del 26,8% quando la risposta era la propria. Anche per il metodo P(True), l'aumento medio è stato del 15,8%.
• Impatto sulla Calibrazione: Questo bias ha portato a metriche di calibrazione peggiori. L'aumento medio dell'ECE per le risposte generate dall'assistant è stato del 9,8% (P(True)) e fino al 26,1% (Linguistica) rispetto alle risposte fornite dall'utente.
• Significatività Statistica: Queste differenze sono statisticamente significative (p < 0,01) nella stragrande maggioranza dei modelli e dei metodi.

4. Efficacia della Strategia Proposta

Riformulando la risposta del modello come input dell'utente durante l'elicitazione della confidenza, gli autori hanno dimostrato che:

• Riduzione dell'Overconfidence: La strategia riduce significativamente l'overconfidence intrinseca del modello.
• Miglioramento della Calibrazione: Questo approccio migliora la calibrazione fino al 26% senza alcun riaddestramento.
• Riduzione del Gap: Esso restringe efficacemente il divario di calibrazione tra i modelli base e quelli instruction-tuned, permettendo talvolta ai modelli instruction-tuned di raggiungere una calibrazione comparabile o addirittura superiore a quella dei modelli base in configurazioni specifiche.

Significato e Claim

Il paper sostiene di aver identificato un meccanismo fondamentale dietro la miscalibrazione degli LLM instruction-tuned: un ownership bias dove i modelli sono intrinsecamente eccessivamente sicuri dei propri output. Questa scoperta contrasta con la "sycophancy" (dove i modelli si allineano alle credenze dell'utente), suggerendo invece una forma di auto-coerenza in cui il modello assume che la propria generazione implichi correttezza.

Il contributo primario è una semplice strategia di inferenza che non richiede riaddestramento, reward modeling complessi o modelli ausiliari. Semplicemente alterando la struttura del prompt per presentare la risposta del modello come una query dell'utente, i praticanti possono migliorare significativamente l'affidabilità delle stime di confidenza. Ciò offre una soluzione pratica e a basso costo per implementare IA più sicure e affidabili in applicazioni ad alto rischio dove una quantificazione accurata dell'incertezza è critica.