Sintesi Tecnica: CALIBER – Calibrazione della Fiducia Prima e Dopo il Ragionamento nei Modelli di Linguaggio

Definizione del Problema

I modelli di linguaggio con capacità di ragionamento sono sempre più chiamati non solo a risolvere problemi complessi, ma anche a stimare la probabilità del proprio successo. I metodi di calibrazione esistenti solitamente elicitano una singola stima di fiducia in un punto specifico del processo di generazione: o prima che il modello inizi a riflettere (pre-thinking) o dopo che ha prodotto una risposta finale (post-thinking).

Gli autori sostengono che la fiducia nei modelli di ragionamento sia dipendente dallo stato.

• La fiducia pre-ragionamento (pre-thinking confidence) condiziona solo al prompt ($x$). Dovrebbe stimare la probabilità che l'attuale policy del modello possa risolvere il prompt, indipendentemente dal tracciato di ragionamento specifico che verrà generato.
• La fiducia post-ragionamento (post-thinking confidence) condiziona al prompt, al tracciato di ragionamento realizzato ($z$) e alla risposta finale ($\hat{y}$). Dovrebbe stimare la correttezza di quella specifica risposta realizzata.

Gli attuali metodi spesso confondono questi distinti stati informativi applicando un singolo obiettivo di supervisione a una singola stima, o utilizzando un obiettivo che non corrisponde allo stato informativo (ad esempio, addestrare una stima pre-ragionamento con un obiettivo di correttezza a livello di istanza). Questo disallineamento tra ciò che il modello è chiamato a stimare e ciò per cui viene addestrato a prevedere porta a una calibrazione subottimale, particolarmente sotto spostamento di distribuzione (distribution shift).

Metodologia: CALIBER

Gli autori introducono CALIBER (Calibration Before and After Reasoning), un framework che elisita due stime di fiducia distinte all'interno di una singola risposta e supervisiona ciascuna con un obiettivo corrispondente al proprio stato informativo.

1. Calibrazione Dipendente dallo Stato

CALIBER struttura l'output del modello includendo:

1. Pre-fiducia ($p_{pre}$): Emessa prima del tracciato di ragionamento. È condizionata solo dal prompt.
2. Tracciato di Ragionamento e Risposta: Il processo di ragionamento standard.
3. Post-fiducia ($p_{post}$): Emessa dopo il tracciato di ragionamento e la risposta. È condizionata dall'intera risposta realizzata.

2. Obiettivi di Supervisione

Il framework assegna obiettivi di calibrazione specifici in base alla posizione della stima:

• Obiettivo Pre-fiducia (Group-wise): Supervisionato rispetto al tasso di successo empirico della attuale policy sul prompt ($\hat{p}(x)$), calcolato come la media della correttezza di $N$ campionamenti (rollout) per quel prompt. Questo riflette la solvibilità del prompt.
• Obiettivo Post-fiducia (Instance-wise): Supervisionato rispetto alla correttezza binaria della specifica esecuzione ($c_i$). Questo riflette la correttezza della risposta realizzata.

3. Obiettivo di Addestramento

L'addestramento utilizza il Reinforcement Learning con Verifiable Rewards (RLVR). La ricompensa totale per un'esecuzione $i$ è la somma di quattro componenti equamente pesate:

• Ricompensa di Accuratezza ($R_{acc}$): Correttezza binaria della risposta.
• Ricompensa di Formato ($R_{fmt}$): Assicura che il modello produca i tag richiesti e valori di fiducia validi.
• Ricompensa di Calibrazione Pre-fiducia: $1 - (p_{pre} - \hat{p}(x))^2$.
• Ricompensa di Calibrazione Post-fiducia: $1 - (p_{post} - c_i)^2$.

Per affrontare le difficoltà di ottimizzazione in cui la ricompensa pre-fiducia (a bassa varianza e di gruppo) viene dominata dalle ricompense a livello di istanza (ad alta varianza), CALIBER impiega uno schema di addestramento a due fasi:

1. Warmup: Ottimizza solo la ricompensa pre-fiducia di gruppo per stabilire stime diversificate.
2. Addestramento Congiunto: Ottimizza simultaneamente la pre-fiducia, la post-fiducia e le ricompense di accuratezza.

Contributi Chiave

1. Inquadramento Dipendente dallo Stato: Il documento inquadra la fiducia nei modelli di ragionamento come quantità distinte basate sullo stato informativo: la fiducia pre-ragionamento corrisponde alla solvibilità della domanda (group-wise), mentre la fiducia post-ragionamento corrisponde alla correttezza della risposta (instance-wise).
2. Framework CALIBER: Un protocollo unificato che eliscita entrambi gli stimatori e allinea ciascuno al proprio appropriato obiettivo di supervisione, evitando il disallineamento presente nei precedenti metodi a singola fiducia.
3. Confronto Controllato: Gli autori isolano il contributo dell'allineamento posizione-obiettivo confrontando CALIBER contro un set controllato di baseline (RLCR, COREA-lite, CoCA-lite, DCPO-lite) sotto un protocollo di addestramento e valutazione condiviso, eliminando scelte di design confondenti come l'assegnazione del credito segmentata.
4. Gap Diagnostico: Il framework permette l'analisi del divario tra pre- e post-fiducia, fungendo da segnale per ogni esempio di come l'incertezza del modello evolva durante il ragionamento.

Risultati

Prestazioni In-Domain (BigMathDigits)

• Modello 7B: CALIBER riduce l'Errore di Calibrazione Attesa (ECE) del 52,5% rispetto alla più forte baseline a singola fiducia (DCPO-lite). Raggiunge i migliori valori di ECE, punteggio di Brier e AUROC, mantenendo l'accuratezza entro 2,1 punti percentuali rispetto alla migliore accuratezza.
• Modello 30B: CALIBER raggiunge il miglior ECE (0,022) pur mantenendo un AUROC competitivo (0,797), distinguendosi da metodi come CoCA-lite che ottengono un ECE basso ma una scarsa capacità discriminante (AUROC ~0,5).

Generalizzazione Out-of-Distribution (OOD)

Valutato su GPQA, TriviaQA e SimpleQA:

• Calibrazione: CALIBER raggiunge costantemente i migliori punteggi ECE e Brier su GPQA e TriviaQA per entrambe le dimensioni dei modelli.
• SimpleQA: Su questo spostamento di distribuzione estremo, CALIBER raggiunge il miglior ECE e punteggio di Brier per il modello 7B. Per il modello 30B, sebbene DCPO-lite raggiunga un ECE leggermente inferiore, CALIBER ottiene un AUROC sostanzialmente più alto, indicando un migliore compromesso tra calibrazione e discriminazione.
• Affidabilità: I diagrammi di affidabilità mostrano che CALIBER evita una severa eccessiva fiducia (overconfidence) e si allinea bene con la diagonale nelle regioni di alta fiducia.

Studi di Ablazione

Un'ablazione che scambia gli obiettivi (addestrando la pre-fiducia con obiettivi di istanza e la post-fiducia con obiettivi di gruppo) ha rivelato che:

• In-Domain: I risultati sono stati misti; il modello 30B ha beneficiato significativamente dell'allineamento corretto, mentre il modello 7B ha mostrato metriche miste.
• OOD: L'allineamento posizione-obiettivo si è dimostrato critico. CALIBER ha superato costantemente la baseline scambiata in tutti i dataset OOD e per tutte le dimensioni dei modelli, riducendo significativamente l'ECE. Ciò suggerisce che far corrispondere l'obiettivo di supervisione allo stato informativo è essenziale per una calibrazione robusta sotto spostamento di distribuzione.

Significato e Rivendicazioni

Il documento sostiene che CALIBER dimostra che la calibrazione per i modelli di ragionamento deve essere trattata come un problema dinamico piuttosto che come uno scalare statico attaccato a una risposta.

• L'Allineamento è la Chiave: Il significato primario è la dimostrazione che l' "allineamento posizione-obiettivo" (far corrispondere il pre-ragionamento al successo di gruppo e il post-ragionamento alla correttezza dell'istanza) è il fattore critico che guida i miglioramenti della calibrazione, specialmente sotto spostamento di distribuzione.
• Utilità Diagnostica: Il divario tra pre- e post-fiducia fornisce un diagnostico significativo di come l'incertezza del modello cambi dopo il ragionamento, invece di essere solo un punteggio di fiducia statico.
• Sicurezza e Fiducia: Migliorando la calibrazione senza sacrificare sostanzialmente l'accuratezza del compito, CALIBER supporta un deployment più sicuro dei modelli di ragionamento in contesti in cui le risposte errate sono costose, poiché consente agli utenti di fidarsi meglio dell'autovalutazione del modello.

Gli autori concludono che il lavoro futuro dovrebbe estendere questo approccio dipendente dallo stato oltre due punti, testare più direttamente l'ipotesi della solvibilità a livello di prompt e validare queste scoperte attraverso ulteriori famiglie di modelli e domini di task.