Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident, Especially When They are Wrong

Sintesi Tecnica: Domande a Scelta Multipla: Il Ragionamento Rende i Modelli Linguistici di Grandi Dimensioni (LLM) Più Sicuri di Sé, Specialmente Quando Hanno Torto

Enunciato del Problema
La valutazione dei Modelli Linguistici di Grandi Dimensioni (LLM) si basa frequentemente su benchmark di Domande a Scelta Multipla (MCQ). Sebbene l'accuratezza sia la metrica standard, essa non riesce a catturare la fiducia del modello nelle sue risposte. La fiducia è spesso stimata utilizzando la probabilità (logprobs) assegnata al token selezionato. Esiste un divario critico nella comprensione di come la strategia di risposta – specificamente, l'uso del prompting a Catena di Pensiero (CoT) rispetto alla risposta diretta – influisca su queste stime di fiducia. Non è chiaro se i passaggi di ragionamento migliorino genuinamente la calibrazione della fiducia o se introducano bias sistematici, in particolare riguardo all'affidabilità dei punteggi di fiducia per le risposte errate.

Metodologia
Gli autori hanno condotto una valutazione completa su sette LLM (inclusi Meta's LLaMA3.1-8B e LLaMA3.2-11B, Mistral-7B, Google's Gemma-2-9B, 01.AI's Yi-1.5-9B, e OpenAI's GPT-4o-mini e GPT-4o) utilizzando il benchmark Massive Multitask Language Understanding (MMLU). MMLU copre 57 discipline distinte e oltre 15.000 domande.

Lo studio ha confrontato due condizioni di prompting per ogni modello:

1. Prompting Diretto: Al modello viene istruito di outputtare solo la lettera della soluzione in un formato strutturato, senza testo intermedio.
2. Prompting a Catena di Pensiero (CoT): Al modello viene istruito di "pensare passo dopo passo" (fornendo almeno tre passaggi di ragionamento) prima di outputtare la lettera della soluzione nello stesso formato strutturato.

I ricercatori hanno analizzato le log-probabilità delle opzioni selezionate per stimare la fiducia. Hanno impiegato test statistici (test t appaiati) per determinare la significatività e hanno utilizzato metriche di calibrazione standard, specificamente l'Errore di Calibrazione Atteso (ECE) e i punteggi Brier, per quantificare la relazione tra fiducia e correttezza. L'analisi è stata ulteriormente stratificata per correttezza (risposte corrette vs. errate) e per categoria di disciplina.

Risultati Chiave
La valutazione ha prodotto cinque risultati principali:

1. Aumento della Fiducia con il Ragionamento: Tutti i modelli testati hanno mostrato una fiducia sistematicamente più alta (probabilità assegnate più elevate) quando utilizzavano il prompting CoT rispetto alla risposta diretta. Questo aumento è stato statisticamente significativo ($p < 1 \times 10^{-10}$).
2. Fiducia Sproporzionata negli Errori: Sebbene i modelli fossero generalmente più sicuri quando avevano ragione, la magnitudine dell'aumento della fiducia è stata sistematicamente maggiore quando la risposta selezionata era errata. Il prompting CoT ha amplificato le previsioni ad alta fiducia specificamente per le risposte sbagliate.
3. Calibrazione Degradata: L'uso del prompting CoT ha peggiorato le metriche di calibrazione standard. Per cinque dei sette modelli, l'Errore di Calibrazione Atteso (ECE) è aumentato sotto CoT. Analogamente, i punteggi Brier sono aumentati per diversi modelli, indicando che le probabilità più elevate assegnate alle opzioni selezionate non si sono tradotte in previsioni meglio calibrate.
4. Coerenza tra Argomenti: L'inflazione della fiducia si è verificata in praticamente tutte le 57 categorie MMLU. Tuttavia, l'effetto è stato più pronunciato nelle discipline che richiedono ragionamento (ad esempio, le scienze) rispetto a quelle basate sui fatti, sebbene anche nelle discipline basate sui fatti dove l'accuratezza non è migliorata (o è diminuita), la fiducia nelle risposte errate sia aumentata significativamente.
5. Meccanismo dell'Eccessiva Fiducia: Lo studio ha osservato che l'effetto di eccessiva fiducia è guidato dal processo di ragionamento stesso, non semplicemente dal fatto che CoT selezioni opzioni diverse. Uno studio di ablazione che ha limitato l'analisi alle domande in cui entrambi i prompt hanno selezionato la stessa opzione ha mostrato che l'ECE è comunque aumentato per tutti i modelli sotto CoT.

Significato e Implicazioni
Il documento conclude che i processi di ragionamento alterano le probabilità dei token, probabilmente perché la previsione della risposta finale dipende congiuntamente dalla domanda e dal ragionamento generato autonomamente dal modello. Ciò porta a stime di fiducia gonfiate che non necessariamente correlano con la correttezza.

Gli autori evidenziano un'implicazione critica per la valutazione degli LLM: nei contesti MCQ che utilizzano il prompting CoT, le stime di fiducia basate sui logprob dovrebbero essere utilizzate con estrema cautela come base per la valutazione o per meccanismi metacognitivi. Il fenomeno riflette il comportamento umano in cui "spiegare equivale a credere", tuttavia negli LLM questo meccanismo può portare a uno stato in cui il modello è altamente sicuro di conclusioni errate. Lo studio suggerisce che, sebbene il CoT migliori l'accuratezza in molti compiti complessi, degrada simultaneamente l'affidabilità delle metriche di fiducia, rendendo potenzialmente le output errate più persuasive e meno sottoposte a scrutinio.

Gli autori notano le limitazioni, inclusa la focalizzazione su modelli open-weight relativamente piccoli (con l'eccezione dei modelli OpenAI) e la dipendenza da un singolo benchmark. Chiedono ricerche future per esplorare metodi robusti di stima della fiducia che tengano conto della lunghezza della risposta e della profondità del CoT, e per condurre studi comparativi sistematici tra umani e LLM per comprendere meglio questi comportamenti metacognitivi.