Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

).
2. Una risposta finale (<answer>).
3. Un'analisi dell'incertezza (<analysis>).
4. Un punteggio numerico di confidenza (<confidence>).

L'obiettivo di addestramento combina una ricompensa standard di correttezza con un punteggio di Brier, una regola di punteggio corretta per la stima della confidenza. La funzione di ricompensa $R_{RLCR}$ è definita come:
$$R_{RLCR}(y, q, y^*) = \mathbb{1}_{y \equiv y^*} - (q - \mathbb{1}_{y \equiv y^*})^2$$
Dove:

• $y$ è la risposta prevista dal modello.
• $y^*$ è la risposta vera (ground-truth).
• $q$ è il punteggio di confidenza verbalizzato ($q \in [0, 1]$).
• $\mathbb{1}_{y \equiv y^*}$ è la funzione indicatrice per la correttezza.

Garanzie Teoriche

Il documento dimostra che questa funzione di ricompensa incentiva sia l'accuratezza sia la calibrazione. Nello specifico, la ricompensa attesa è massimizzata quando:

1. Il modello produce la risposta con la probabilità più alta di essere corretta ($y = \arg\max_{y'} p(y' \equiv y^*)$).
2. Il punteggio di confidenza $q$ riflette accuratamente la probabilità vera di correttezza ($q = p(y \equiv y^*)$).

Gli autori dimostrano che ciò vale per qualsiasi regola di punteggio corretta e limitata. Mettono a confronto questo approccio con il punteggio Logaritmico (log-loss), che, sebbene sia una regola di punteggio corretta, è illimitato. L'analisi teorica e gli esperimenti su modelli giocattolo mostrano che l'uso di un punteggio illimitato come il log-loss combinato con un termine di correttezza può portare a "reward hacking", dove i modelli producono risposte errate con zero confidenza per massimizzare il termine di calibrazione a scapito dell'accuratezza.

Contributi e Risultati Chiave

1. Calibrazione Migliorata Senza Sacrificare l'Accuratezza

Gli esperimenti su HotpotQA (ragionamento multi-hop) e Big-Math (ragionamento matematico) dimostrano che RLCR corrisponde all'accuratezza del compito di RLVR standard migliorando sostanzialmente la calibrazione.

• In-Distribution: Su HotpotQA, RLCR ha ridotto l'Errore di Calibrazione Atteso (ECE) da 0,37 (RLVR) a 0,03. Sui dataset matematici, l'ECE è sceso da 0,26 a 0,10.
• Out-of-Distribution (OOD): Mentre RLVR standard spesso peggiora la calibrazione su compiti OOD, RLCR la migliora. Ad esempio, su benchmark OOD, RLCR ha raggiunto un ECE di 0,21 rispetto a 0,46 per RLVR, mantenendo un'accuratezza comparabile.

2. Il Ruolo del Ragionamento Esplicito sull'Incertezza

Gli studi di ablazione rivelano che il successo di RLCR deriva da due componenti indipendenti:

• Ricompensa Consapevole della Calibrazione: L'addestramento con la ricompensa del punteggio di Brier è il principale motore del miglioramento della calibrazione.
• Ragionamento Esplicito sull'Incertezza: Stimolare i modelli a generare un <analysis> della loro incertezza migliora ulteriormente la calibrazione, in particolare per modelli più piccoli o quando la capacità è limitata. Tuttavia, anche senza analisi esplicita, RLCR supera significativamente RLVR nella calibrazione.

3. Scaling al Momento del Test e Auto-Consistenza

Il documento mostra che i punteggi di confidenza verbalizzati da RLCR possono essere sfruttati al momento del test per migliorare le prestazioni:

• Scaling Ponderato sulla Confidenza: Utilizzare la confidenza verbalizzata per pesare i voti di maggioranza o selezionare le migliori risposte tra N (best-of-N) produce un'accuratezza più elevata e una migliore calibrazione rispetto alla selezione basata sulla verosimiglianza o al voto di maggioranza standard.
• Auto-Consistenza: I modelli RLCR mostrano una varianza inferiore nei punteggi di confidenza attraverso multiple catene di ragionamento per la stessa risposta, indicando una stima dell'incertezza più stabile e auto-consistente.

4. Generalizzazione

L'approccio è stato validato su diverse famiglie di modelli (Qwen2.5-7B, OlMo-2-7B e Qwen3-8B), mostrando miglioramenti coerenti nella calibrazione rispetto ai baseline RLVR.

Significato e Affermazioni

Il documento afferma che l'ottimizzazione esplicita per la calibrazione tramite regole di punteggio corrette è una modifica semplice alle pipeline di addestramento al ragionamento esistenti, che produce modelli di ragionamento più affidabili. Gli autori sostengono che:

• La calibrazione è apprendibile: I modelli possono essere addestrati non solo a rispondere correttamente, ma anche a valutare accuratamente la propria certezza.
• Robustezza: RLCR produce modelli più robusti agli spostamenti di distribuzione, mantenendo la calibrazione laddove i modelli RL standard falliscono.
• Utilità Pratica: I punteggi di confidenza verbalizzati non sono solo diagnostici; sono azionabili, permettendo metodi di scaling al momento del test che migliorano sia l'accuratezza sia l'affidabilità senza richiedere modelli di ricompensa esterni o supervisione aggiuntiva.

Gli autori rimangono modesti riguardo ai risultati, riconoscendo che, sebbene RLCR riduca significativamente l'errore di calibrazione, gli errori di calibrazione fuori dominio possono ancora essere elevati in termini assoluti, e i modelli potrebbero occasionalmente assegnare alta confidenza a risposte contraddittorie. Tuttavia, il lavoro stabilisce una strada verso sistemi di ragionamento che sono sia accurati sia capaci di comunicare l'incertezza.