📊 statistics

When are likely answers right? On Sequence Probability and Correctness in LLMs

Questo articolo investiga la relazione tra la probabilità della sequenza e la correttezza nei grandi modelli linguistici, riscontrando che, sebbene una probabilità più elevata predica spesso la correttezza all'interno di un dataset fisso, essa non è un indicatore affidabile per migliorare l'accuratezza attraverso cambiamenti nei metodi di decodifica o per distinguere le risposte corrette allo stesso prompt.

Autori originali: Johannes Zenn, Jonas Geiping

Pubblicato 2026-06-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Johannes Zenn, Jonas Geiping

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Modello di Linguaggio di Grandi Dimensioni (LLM) come un narratore super-immaginativo che ha letto quasi ogni libro della biblioteca. Quando gli dai un prompt (l'inizio di una storia), non si limita a sputare fuori una sola conclusione possibile; può generare migliaia di finali diversi.

La grande domanda che questo articolo pone è: "Se la fine di una storia sembra molto 'probabile' o 'naturale' per il narratore, significa che è effettivamente la risposta corretta?"

Gli autori trattano la "probabilità" del modello (quanto un modello ritiene probabile una frase) come un misuratore di fiducia. Volevano sapere se alzare il volume di questo misuratore di fiducia portasse effettivamente a risposte migliori.

Ecco cosa hanno scoperto, suddiviso in semplici analogie:

1. L'analogia della "Biblioteca" (All'interno di un dataset)

La scoperta: Se osservi un intero mucchio di risposte generate per un tipo specifico di domanda (come un test di matematica), quelle che il modello ritiene più "probabili" sono solitamente quelle corrette.

La metafora: Immagina un bibliotecario che ha organizzato uno scaffale di libri. Se chiedi: "Quale di questi libri è la guida giusta per riparare un'auto?", il bibliotecario indica il libro di cui è più fiducioso che sia quello giusto. In un mucchio di domande diverse, il bibliotecario di solito ha ragione.
Il limite: Questo funziona solo se stai confrontando domande diverse tra loro. Non significa che il bibliotecario sia perfetto nel scegliere il libro giusto per una specifica domanda solo perché si sente sicuro.

2. L'analogia della "Manopola di Regolazione" (Cambiare le impostazioni)

La scoperta: Se provi a rendere il modello "più sicuro di sé" cambiando le sue impostazioni (come girare una manopola per renderlo meno casuale), non ottieni necessariamente risposte migliori. In realtà, spesso ottieni risposte peggiori che però sembrano più sicure.

La metafora: Immagina una radio. Puoi girare la manopola della "forza del segnale" per rendere la musica più forte e chiara. Ma se la giri troppo alta, potresti ottenere solo un fruscio che suona molto forte e chiaro, anche se non è la canzone giusta.
La realtà: Il paper ha scoperto che il tentativo di modificare le impostazioni del modello per costringerlo a scegliere sequenze "pi più probabili" spesso rende il modello più sicuro di sé, ma non lo rende più intelligente. A volte, il percorso "più probabile" è in realtà una trappola.

3. L'analogia del "Voto della Folla" (Stessa domanda, risposte diverse)

La scoperta: Se poni al modello la stessa identica domanda 32 volte, la risposta "più probabile" non è sempre quella giusta. Il modello potrebbe darti 32 risposte diverse, e quella che ritiene più probabile potrebbe essere sbagliata.

La metafora: Immagina di fare lo stesso indovinello a una stanza di 32 persone. Chiedi: "Chi è la persona più intelligente qui?". La persona che alza la mano più forte (probabilità più alta) non è necessariamente quella con la risposta giusta. A volte la stanza è divisa, e la risposta "rumorosa" è solo un'ipotesi popolare, non la verità.
L'eccezione: Il paper ha scoperto un tipo specifico di puzzle (problemi di Matematica) in cui la voce "più rumorosa" era solitamente la più intelligente. Ma per altri tipi di domande (come seguire istruzioni o consigli medici), la voce più rumorosa era spesso destinata a sbagliare tanto quanto quelle più silenziose.

4. La trappola dell' "Auto-miglioramento"

La scoperta: Alcune persone cercano di rendere l'IA più intelligente facendo sì che scelga le proprie "migliori" risposte e impari da esse. Questo articolo avverte che questo è rischioso.

La metafora: Immagina uno studente che cerca di migliorare in matematica studiando solo le risposte che pensa siano giuste. Se lo studente non è già abbastanza bravo in matematica, continuerà solo a rinforzare i propri errori, pensando: "Oh, questa risposta sbagliata mi sembra molto familiare, quindi deve essere giusta!".
La lezione: Puoi usare la "fiducia" per migliorare l'IA solo se l'IA è già brava nel compito assegnato. Se sta faticando, fidarsi della propria fiducia servirà solo a renderla più sicura dei propri errori.

Riassunto delle "Regole d'oro"

Il paper ci offre tre conclusioni principali per l'uso di questi modelli:

Non fidarti del "Volume": Solo perché il modello dice che una risposta è "altamente probabile", non significa che sia corretta.
Il contesto è importante: La relazione tra "sentirsi sicuri" ed "essere giusti" cambia a seconda del tipo di domanda (la matematica è diversa dal codice, che è diverso dalle istruzioni).
Non sovra-ottimizzare: Cercare di forzare il modello a essere "più probabile" cambiando le sue impostazioni di solito non aiuta e può anzi danneggiare le prestazioni.

In breve: Il "sentimento viscerale" del modello (la probabilità) è un indizio utile quando si guarda il quadro generale, ma è una bussola terribile per navigare in un singolo problema specifico. Non puoi semplicemente alzare la "manopola della fiducia" e aspettarti che le risposte migliorino.

Sintesi Tecnica: Quando le risposte probabili sono corrette? Sulla probabilità di sequenza e la correttezza nei LLM

Definizione del Problema

I Large Language Models (LLM) sono sistemi autoregressivi che assegnano probabilità a sequenze di token. I metodi di decodifica (ad esempio, beam search, top-k sampling, Best-of-N) sono spesso progettati per spostare la massa di probabilità verso output che siano più probabili secondo il modello, sia a livello locale (per ogni token) che globale (per l'intera sequenza). Un'assunzione fondamentale che guida questi metodi è che una maggiore probabilità di sequenza correli con la correttezza. Tuttavia, osservazioni empiriche suggeriscono che questa relazione non sia universale; ad esempio, la beam search, che approssima la sequenza più probabile, spesso degrada le prestazioni rispetto ai metodi di campionamento.

Questo articolo affronta la domanda centrale: quando la probabilità di sequenza (la probabilità condizionale di una continuazione dato un prompt) si allinea effettivamente con la correttezza? Gli autori mirano a quantificare questa relazione attraverso diversi metodi di decodifica, modelli e benchmark per determinare quando massimizzare la probabilità porta a risposte migliori e quando non lo fa.

Metodologia

Gli autori conducono uno studio empirico su larga scala che quantifica la correlazione tra la log-probabilità della sequenza e la correttezza su quattro distinti livelli di granularità:

Correlazione tra Metodi (Across-Method): Confronto tra diversi metodi di decodifica (e i loro iperparametri ottimali) su un modello e un dataset fissi.
Correlazione entro il Metodo (Within-Method): Analisi di come il cambiamento degli iperparametri all'interno di un singolo metodo di decodifica influenzi sia la probabilità che la correttezza.
Correlazione entro il Dataset (Within-Dataset): Esame della relazione tra log-probabilità e correttezza attraverso tutte le coppie prompt-risposta all'interno di un dataset, modello e metodo specifici.
Correlazione entro il Campione (Within-Sample): Investigazione della correlazione tra molteplici risposte generate per lo stesso prompt.

Configurazione Sperimentale:

Modelli: 14 modelli delle famiglie Qwen2.5, Qwen3 e Olmo3 (da 0.6B a 8B di parametri), inclusi varianti base e post-trained.
Dataset: 6 dataset di benchmark che coprono il ragionamento matematico (MATH500), la generazione di codice (HumanEval), il seguito di istruzioni (IFEval) e la conoscenza generale/ragionamento medico (GPQA, MedQA, MMLU).
Metodi di Decodifica: Sono stati valutati 8 metodi:
- Metodi locali: Low-temperature sampling (LTS), Top-k, Top-p, $\epsilon$ -sampling.
- Metodi globali: Beam search, Best-of-N (BoN), Scalable Power Sampling (SPS) e Power-SMC.
Metriche: Lo studio utilizza coefficienti di correlazione di Pearson (su dati raggruppati per classi) e coefficienti di correlazione di rango di Spearman per misurare la relazione tra log-probabilità ed etichette di correttezza binaria.

Contributi Chiave e Risultati

1. Inquadrare la Decodifica come Massimizzazione della Probabilità

Il documento inquadra formalmente i metodi di decodifica come approcci per massimizzare la probabilità di sequenza. Distingue tra metodi locali (che modificano la distribuzione del token successivo ad ogni passo, spesso fallendo nel massimizzare la probabilità globale della sequenza a causa delle costanti di normalizzazione locali) e metodi globali (che puntano alla moda o alla distribuzione di potenza dell'intera sequenza). Gli autori forniscono un obiettivo variazionale che mostra come la distribuzione di potenza agisca come un massimizzatore "morbido" della probabilità di sequenza, scambiando log-probabilità attesa ed entropia.

2. Correlazione Dipendente dalla Granularità

Il risultato centrale è che la relazione tra probabilità e correttezza non è uniforme; dipende fortemente dal livello di analisi:

Entro il Dataset (Risultato 1): Esiste una correlazione costante, spesso positiva, tra log-probabilità e correttezza all'interno di un dataset, modello e metodo fissi. Questa correlazione è determinata in gran parte dal dataset e dalla variante del modello piuttosto che dal metodo di decodifica. Ad esempio, MATH500 mostra una correlazione positiva quasi perfetta, mentre IFEval mostra spesso una correlazione negativa per i modelli base. I modelli post-trained mostrano generalmente correlazioni positive, mentre i modelli base sono più diversificati.
Entro il Metodo (Risultato 2): Ottimizzare gli iperparametri di un metodo di decodifica specifico per aumentare la probabilità di sequenza non migliora in modo affidabile la correttezza. Sebbene il cambiamento degli iperparametri (ad esempio, temperatura, ampiezza del beam) generi spesso sequenze con una log-probabilità più alta, queste sequenze sono spesso meno corrette. Non esiste un modo coerente per ottimizzare un metodo per massimizzare simultaneamente sia la probabilità che l'accuratezza attraverso i dataset.
Tra i Metodi (Risultato 3): Nessun singolo metodo di decodifica supera costantemente gli altri in termini di correttezza, anche scegliendo gli iperparametri ottimali. Sebbene molti metodi producano sequenze che sono sia più probabili che più corrette rispetto a una baseline a bassa temperatura (LTS), questa non è una regola affidabile. Nello specifico, aumentare la probabilità di sequenza passando a un altro metodo (ad esempio, al Power Sampling) non garantisce un'accuratezza superiore.
Entro il Campione (Risльно 5): Per un singolo prompt, la correlazione tra log-probabilità e correttezza tra campioni ripetuti è generalmente debole e distribuita simmetricamente attorno allo zero. Tuttavia, i prompt in cui il modello genera una frazione maggiore di risposte corrette tendono a mostrare correlazioni positive intra-campione più forti.

3. Implicazioni per l'Auto-Miglioramento e la Self-Consistency

Il documento collega questi risultati all'auto-miglioramento senza verificatore (verifier-free self-improvement) e alla self-consistency (SC):

Self-Consistency (Risultato 6): Per il campionamento a bassa temperatura, il voto di maggioranza (weighting uniforme) spesso supera il voto pesato sulla probabilità. Ciò è attribuito alle correlazioni intra-campione deboli o simmetriche, il che significa che un'alta probabilità non indica in modo affidabile la risposta corretta per un prompt specifico.
Self-Improvement (Risultato 4): I loop di auto-miglioramento ricorsivi basati sulla probabilità possono richiedere una accuratezza di base sufficiente per essere efficaci. La correlazione tra probabilità e correttezza scala con l'accuratezza complessiva del modello; se il modello non è già accurato, il rinforzo di campioni ad alta probabilità può rinforzare risposte errate.

Significato e Rivendicazioni

L'articolo sostiene di chiarire le condizioni in cui la decodifica può essere attesa di migliorare la correttezza. Il suo contributo primario è una comprensione sfumata del fatto che la probabilità di sequenza è un segnale utile per distinguere risposte corrette da errate attraverso un dataset, ma è un segnale scarso per selezionare iperparametri o metodi di decodifica per migliorare le prestazioni su un compito specifico.

Gli autori sottolineano che l'intuizione "maggiore probabilità equivale a maggiore correttezza" vale a livello di dataset (permettendo ai modelli di distinguere risposte buone da cattive in aggregato), ma fallisce a livello decisionale (selezionare la migliore risposta per un prompt specifico o ottimizzare un metodo). Di conseguenza, il documento sconsiglia di fare affidamento esclusivamente sulla probabilità di sequenza per:

Selezionare il metodo di decodifica o gli iperparametri ottimali senza validazione empirica.
L'aggregazione pesata sulla probabilità nella self-consistency (a meno che il modello non abbia un'accuratezza molto elevata).
I loop di auto-miglioramento senza verificatore senza garantire un'adeguata accuratezza di base del compito.

Il lavoro suggerisce che le future strategie di decodifica dovrebbero concentrarsi sulla granularità della correlazione: sfruttare i segnali di probabilità per il filtraggio a livello di dataset, riconoscendo al contempo i loro limiti per la selezione a livello di singola istanza.