Riassunto Tecnico: Saturazione della Fiducia Verbale nei Modelli LLM Open-Weight (3–9B)

Problema e Motivazione

L'estrazione di stime di incertezza tramite "elicitation verbale" (chiedere al modello di esprimere il proprio grado di confidenza in numeri o categorie) è una pratica comune per migliorare l'affidabilità dei Large Language Models (LLM). Tuttavia, l'efficacia di questa tecnica dipende dalla capacità del segnale emesso di discriminare tra risposte corrette e errate.

Il problema affrontato da Cacioli è se i modelli open-weight di piccole-medie dimensioni (3–9B parametri) siano in grado di produrre un segnale di confidenza valido dal punto di vista psicometrico. L'autore distingue tra mancata calibrazione (il segnale è presente ma errato) e fallimento di validità (il segnale è saturo o degenerato, rendendo impossibile qualsiasi analisi successiva).

Metodologia

Lo studio è stato pre-registrato (OSF) e utilizza un approccio di screening psicometrico rigoroso.

1. Campione di Modelli: Sono stati testati 8 modelli (7 istruiti e 1 base) appartenenti a quattro famiglie (Llama 3, Mistral, Qwen 2.5, Gemma 2, DeepSeek R1), con parametri compresi tra 3B e 9B.
2. Dataset e Task: Sono stati utilizzati 524 item del dataset TriviaQA.
3. Condizioni di Elicitazione:
   • Numerica (NUM): Richiesta di una percentuale da 0 a 100.
   • Categorica (CAT): Classificazione in una scala ordinale a 10 classi.
4. Protocollo di Validità (Screening): Invece di misurare solo l'accuratezza, l'autore applica un protocollo basato su indici psicometrici (adattati da test come MMPI-3) per classificare i modelli in tre categorie: Valid, Indeterminate o Invalid. I criteri includono la verifica della degenerazione (se il modello risponde quasi sempre con lo stesso valore) e la capacità di discriminazione (indici $L$ e $F_p$).
5. Parametri di Inferenza: Decodifica greedy (temperatura = 0) su hardware consumer per isolare il comportamento di default dell'interfaccia.

Risultati Principali

• Saturazione della Confidenza (H1 & H2 confermate): Tutti i 7 modelli istruiti sono stati classificati come Invalid nella modalità numerica. Il tasso medio di "ceiling" (confidenza $\ge 95\%$) è stato del 91.7%. In pratica, i modelli tendono a dichiararsi quasi sempre estremamente sicuri di sé, indipendentemente dalla correttezza della risposta.
• Fallimento del "Rescue" Categorico (H4 non confermata): L'uso di una scala categorica non ha risolto il problema della validità. Al contrario, ha causato un collasso delle prestazioni del task: in 6 modelli su 7, l'accuratezza nelle risposte è crollata sotto il 5% quando veniva chiesto di classificare la confidenza.
• Indipendenza dai Log-Probability (H5 confermata): La probabilità del token (logprob) non è un predittore utile della confidenza verbale espressa. Non esiste una relazione lineare significativa tra la certezza matematica del modello e la sua dichiarazione verbale.
• Effetto di Contaminazione del Ragionamento (E5): Nel modello di distillazione del ragionamento (DeepSeek-R1), è stata osservata una forte correlazione negativa tra la lunghezza della traccia di ragionamento e la confidenza espressa ($\rho = -0.36$). Più il modello "ragiona" a lungo, più la sua confidenza verbale tende a diminuire.

Contributi Chiave e Significato

1. Distinzione tra Validità e Calibrazione: Il contributo teorico più importante è l'argomentazione che la saturazione non è un problema di calibrazione, ma un fallimento di validità dell'interfaccia. Se un modello emette costantemente lo stesso valore (es. 99%), l'informazione necessaria per distinguere il vero dal falso è persa all'origine; nessun algoritmo di post-elaborazione può recuperarla.
2. Critica all'uso dei segnali di confidenza nei modelli piccoli: Lo studio avverte che utilizzare la confidenza verbale di modelli 3–9B per decisioni critiche (come il routing di query o l'astensione da risposte pericolose) è estremamente rischioso, poiché il segnale è spesso degenerato.
3. Necessità di Screening Psicometrici: L'autore propone che qualsiasi implementazione di sistemi basati sulla confidenza degli LLM debba essere preceduta da uno screening di validità psicometrica per garantire che il segnale sia effettivamente informativo.

Conclusione

Il paper dimostra che, nell'attuale regime di modelli open-weight di piccole dimensioni, la confidenza verbale è un segnale inaffidabile e saturo. Sebbene i modelli possiedano internamente informazioni sull'incertezza (come dimostrato dalla correlazione con la difficoltà degli item), queste informazioni non vengono trasmesse correttamente attraverso l'interfaccia del linguaggio naturale sotto modalità di elicitazione minimale.