💬 NLP

How Uncertainty Estimation Scales with Sampling in Reasoning Models

Lo studio dimostra che, sebbene l'auto-coerenza e la fiducia verbalizzata scalino nei modelli di ragionamento, la loro combinazione ibrida offre il massimo guadagno nell'accuratezza dell'incertezza con un numero limitato di campioni, specialmente nei domini matematici.

Autori originali: Maksym Del, Markus Kängsepp, Marharyta Domnich, Ardi Tampuu, Lisa Yankovskaya, Meelis Kull, Mark Fishel

Pubblicato 2026-03-20

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Maksym Del, Markus Kängsepp, Marharyta Domnich, Ardi Tampuu, Lisa Yankovskaya, Meelis Kull, Mark Fishel

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🧠 Il Problema: L'AI che "Pensa" troppo (e non sa se ha ragione)

Immagina di avere un assistente molto intelligente, ma un po' ansioso. Quando gli chiedi una cosa difficile (come un problema di matematica o una domanda di storia), lui non ti risponde subito. Invece, si mette a pensare ad alta voce per molto tempo, scrivendo lunghi ragionamenti, provando diverse strade, cancellando errori e riprovando.

Questo è ciò che fanno i Modelli di Ragionamento (RLM). Sono potenti, ma c'è un problema: quanto possiamo fidarci di loro?
Se l'AI dice "Sono sicuro al 100%", è davvero sicuro? O sta solo bluffando?

Gli scienziati di questo studio hanno voluto capire come misurare questa "sicurezza" (o incertezza) quando l'AI pensa molto.

🎲 La Soluzione: La "Squadra di Esperti" (Campionamento)

Per capire se l'AI è sicura, i ricercatori hanno usato un trucco semplice: hanno chiesto alla stessa AI di risolvere lo stesso problema più volte, come se avessero un gruppo di esperti che lavorano sullo stesso compito.

Hanno usato due metodi per valutare la fiducia:

La "Parola dell'AI" (Confidenza Verbale): Chiedono direttamente all'AI: "Quanto sei sicuro della tua risposta?" e lei risponde con un numero (es. 85%).
- Metafora: È come chiedere a un pilota: "Quanto sei sicuro che atterrerai bene?"
L'"Accordo del Gruppo" (Auto-consistenza): Chiedono all'AI di risolvere il problema 5 o 10 volte. Se in 9 casi su 10 dà la stessa risposta, significa che è molto probabile che sia corretta.
- Metafora: È come chiedere a 10 giudici di un concorso. Se 9 dicono che il primo cantante è il migliore, probabilmente lo è davvero.

🔍 Cosa hanno scoperto? (Le 3 Scoperte Chiave)

Ecco i risultati principali, spiegati con analogie:

1. Il "Gruppo" non è sempre il migliore (da solo)

Hanno scoperto che chiedere all'AI di pensare più volte (metodo 2) aiuta, ma non è la cosa più potente da sola.

L'analogia: Immagina di avere un gruppo di 10 amici che risolvono un indovinello. Se 9 dicono "A" e 1 dice "B", il gruppo è d'accordo. Ma se l'unico amico che dice "B" è quello che pensa di aver sbagliato e lo dice ad alta voce, quella sua esitazione è un segnale importante che il gruppo potrebbe ignorare.
Risultato: La "parola dell'AI" (quanto si sente sicura) è spesso un segnale migliore da sola rispetto al semplice "accordo del gruppo", specialmente all'inizio.

2. Il "Super-Eroe" è la Combinazione (Il vero segreto)

Il punto di svolta è stato unire i due metodi.

L'analogia: Immagina di avere un detective (l'AI che dice quanto è sicura) e un giudice (l'AI che controlla se gli altri detective sono d'accordo).
- Se il detective dice "Sono sicuro!" E il giudice conferma "Sì, tutti gli altri sono d'accordo", allora la fiducia è altissima.
- Se il detective dice "Sono sicuro!" Ma il giudice nota che gli altri hanno risposte diverse, allora c'è un problema.
Risultato: Usando solo due tentativi (due "pensieri" dell'AI) e combinando la sua auto-valutazione con l'accordo tra i due, si ottiene una precisione incredibile. È come se due tentativi facessero il lavoro di otto! Non serve far pensare l'AI per ore; due tentativi ben combinati bastano.

3. La Matematica è il loro "Campo di Giochi"

Hanno notato una differenza enorme tra i tipi di domande.

L'analogia: Immagina che l'AI sia un atleta olimpico.
- Matematica: È il suo evento principale. Qui corre veloce, salta alto e combina le sue abilità perfettamente. Quando fa matematica, i segnali di sicurezza funzionano benissimo e si migliorano rapidamente.
- Scienze Umane (Storia, Diritto): Qui l'atleta è meno allenato. Le risposte sono più sfumate, ci sono più opinioni diverse. Anche combinando i metodi, il miglioramento è più lento e si ferma prima.
Risultato: L'AI è stata addestrata principalmente sulla matematica, quindi lì è bravissima a capire quando ha ragione. Nelle materie umanistiche, è più confusa e i segnali di sicurezza sono meno affidabili.

💡 La Lezione Pratica per il Futuro

Se vuoi usare queste intelligenze artificiali per prendere decisioni importanti (in medicina, finanza, ecc.), ecco cosa dice lo studio:

Non fidarti ciecamente della prima risposta.
Non sprecare soldi facendo pensare l'AI 100 volte. I guadagni si fermano presto.
La ricetta magica: Fai pensare l'AI due volte. Prendi la sua stima di sicurezza e controlla se le due risposte coincidono. Se sì, e dice di essere sicura, allora puoi fidarti. Se no, o se le risposte sono diverse, fermati e chiedi a un umano di controllare.

In sintesi: Due menti (o due pensieri) valgono molto più di uno, ma solo se sanno ascoltarsi a vicenda.

1. Problema e Contesto

L'incertezza è un componente fondamentale per il dispiegamento affidabile dei modelli linguistici, specialmente nei sistemi critici. Tuttavia, la stima dell'incertezza nei Modelli di Ragionamento (RLM - Reasoning Language Models) rimane poco compresa quando questi utilizzano il ragionamento esteso tramite Chain-of-Thought (CoT).

A differenza dei modelli linguistici standard, i RLM eseguono una deliberazione interna estesa per ogni campione, esplorando e scartando potenziali soluzioni all'interno di un singolo percorso di ragionamento. Questo solleva domande cruciali:

Come scala la qualità della stima dell'incertezza all'aumentare del numero di campioni paralleli (parallel sampling)?
I segnali di incertezza basati sull'introspezione (confidenza verbale) e quelli basati sull'accordo tra campioni (auto-consistenza) si comportano diversamente rispetto ai modelli standard?
È più efficiente aumentare il budget di campionamento per un singolo segnale o combinare segnali diversi?

2. Metodologia

Gli autori hanno condotto uno studio empirico su larga scala utilizzando un approccio "black-box" (senza accesso ai pesi interni del modello).

Modelli e Compiti: Lo studio ha coinvolto tre modelli RLM open-source (gpt-oss-20b, Qwen3-30B-A3B, DeepSeek-R1-8B) su 17 compiti suddivisi in tre domini: Matematica, STEM (scienze, tecnologia, ingegneria, ecc., esclusa la matematica pura) e Scienze Umane.
Metodi di Stima:
1. Confidenza Verbale (VC): Il modello fornisce esplicitamente un punteggio di confidenza (0-100) insieme alla risposta finale, utilizzando prompt specifici per l'elicitazione (es. Epistemic Elicitation).
2. Auto-Consistenza (SC): L'incertezza è stimata dalla coerenza delle risposte finali tra $K$ campioni indipendenti (voto a maggioranza).
3. Segnale Ibrido (SCVC): Una combinazione lineare di VC e SC.
Protocollo di Valutazione:
- Per ogni domanda, sono stati generati $R=10$ campioni indipendenti.
- È stata utilizzata una procedura di bootstrap per simulare budget di campionamento $K$ variabili (da 1 a 8 e oltre).
- La metrica principale è l'AUROC (Area Under the Receiver Operating Characteristic), che misura la capacità discriminativa del segnale nel distinguere risposte corrette da quelle errate, indipendentemente dalla calibrazione assoluta.
Variabili: Sono stati testati diversi prompt per l'elicitazione della confidenza (Vanilla, Verifica, Epistemico) e sia metodi di "elicitation" (il modello si auto-valuta) che "judge" (un secondo passaggio valuta il ragionamento).

3. Contributi Chiave

Il paper offre il primo benchmark sistematico sulla scalabilità dell'incertezza nei modelli di ragionamento, evidenziando tre scoperte principali:

A. L'Auto-Consistenza (SC) è meno efficiente della Confidenza Verbale (VC) a basso budget

Sebbene entrambi i segnali migliorino con l'aumento dei campioni, la VC è un baseline molto più forte fin dal primo campione ( $K=1$ ).

La VC scala significativamente, specialmente in matematica (miglioramento di +10.1 AUROC da $K=1$ a $K=8$ ).
La SC parte da valori inferiori e rimane indietro rispetto alla VC anche con budget di campionamento maggiori (es. a $K=2$ , la SC in matematica è ~70.5 AUROC contro ~73.5 della VC).
Questo suggerisce che la deliberazione interna di un singolo campione in un RLM cattura già una parte significativa dell'incertezza che, nei modelli standard, richiederebbe campioni multipli.

B. La Complementarità dei Segnali domina la Scalabilità

La scoperta più significativa è che combinare i segnali è molto più efficace che aumentare il budget di campionamento per un singolo segnale.

Un estimatore ibrido (SCVC) che utilizza solo due campioni supera sia la VC che la SC scalate fino a $K=8$ .
In matematica, l'aggiunta di un secondo campione per creare SCVC porta a un miglioramento di +12.9 punti AUROC rispetto alla VC a campione singolo, superando di gran lunga i guadagni marginali ottenuti aumentando $K$ per la sola VC o SC.
Questo implica che l'informazione di incertezza contenuta nell'introspezione (VC) e nell'accordo tra campioni (SC) è complementare e non ridondante, anche dopo un ragionamento esteso.

C. Dipendenza dal Dominio

Le prestazioni e la scalabilità variano drasticamente in base al dominio:

Matematica: È il dominio dove i segnali scalano più velocemente e si combinano meglio. Questo è coerente con il fatto che i RLM sono spesso ottimizzati tramite Reinforcement Learning with Verifiable Rewards (RLVR) principalmente su dati matematici.
STEM e Scienze Umane: Mostrano guadagni iniziali minori e una saturazione più rapida (spesso già a $K=2$ o $K=5$ ). La complementarità è meno marcata rispetto alla matematica.

4. Risultati Dettagliati

Performance Assoluta: La combinazione ibrida SCVC con $K=2$ raggiunge AUROC medi di ~84.2 in matematica, ~80.2 in STEM e ~74.9 nelle scienze umane, superando le prestazioni massime ottenibili con singoli segnali anche a $K=8$ .
Analisi dei Prompt: Le varianti avanzate di elicitazione della confidenza (es. Epistemic o Verification) non offrono vantaggi significativi rispetto alla Vanilla Elicitation nei RLM, e talvolta peggiorano le prestazioni. I metodi basati su "Judge" (un secondo passaggio di valutazione) non giustificano il costo computazionale aggiuntivo rispetto alla semplice combinazione di VC e SC.
Correlazione: L'analisi della correlazione di Kendall tra VC e SC mostra che i segnali sono meno correlati all'inizio del campionamento (specialmente in matematica), il che spiega perché la loro combinazione iniziale porta a guadagni così elevati. La correlazione aumenta con $K$ , riducendo i benefici marginali aggiuntivi.

5. Significato e Implicazioni Pratiche

Questo studio fornisce linee guida concrete per l'uso efficiente dei RLM in scenari reali dove il costo computazionale è elevato:

Evitare la stima a campione singolo: Non affidarsi solo alla confidenza verbale di un singolo output.
Evitare la sola Auto-Consistenza: Usare solo SC è inefficiente e meno performante.
Ricetta Ottimale: La strategia migliore è generare due campioni, calcolare la confidenza verbale media per la risposta a maggioranza e combinarla con il tasso di accordo (SC). Questo approccio offre il miglior compromesso costo-beneficio, superando strategie che richiedono molti più campioni.
Efficienza dei Costi: Poiché ogni campione aggiuntivo in un RLM comporta un intero percorso di ragionamento (token costosi), la complementarità dei segnali permette di ottenere stime di alta qualità con un minimo aumento del costo computazionale.

In sintesi, il paper dimostra che nei modelli di ragionamento, la diversità dei segnali di incertezza (introspezione + accordo) è una risorsa molto più potente della semplice profondità di campionamento, specialmente nei domini in cui il modello è stato ottimizzato (matematica).