Sintesi Tecnica: Self-Verifying Refinement (SVR)

Definizione del Problema

Scalare il calcolo al tempo di test è una strategia centrale per migliorare il ragionamento dei modelli linguistici, tuttavia gli approcci attuali affrontano due limitazioni primarie:

1. Allocazione Inefficiente delle Risorse: I metodi a budget fisso (ad esempio, raffinamento multi-turno uniforme o campionamento con k fisso) sprecano computazione su input facili che sono già stati risolti e potrebbero non allocare risorse sufficienti per input difficili.
2. Dipendenza da Segnali Esterni: Gli esistenti metodi adattivi o di autocorrezione spesso si affidano a verificatori esterni, ambienti di esecuzione o feedback di un oracolo (correttezza della verità fondamentale) per decidere quando interrompere il raffinamento. Questi segnali sono spesso costosi, non disponibili durante la distribuzione (deployment) o introducono una discrepanza tra i confini informativi di addestramento e inferenza.

La sfida centrale consiste nel permettere a un modello di apprendere un segnale di controllo interno per decidere se mantenere una risposta attuale o allocare ulteriori turni di raffinamento, utilizzando solo segnali generati dalla policy stessa, senza accesso alla correttezza della verità fondamentale durante l'inferenza.

Metodologia: Self-Verifying Refinement (SVR)

Gli autori propongono il Self-Verifying Refinement (SVR), un framework di apprendimento per rinforzo multi-turno privo di oracolo, che apprende a utilizzare l'autoverifica come una policy di controllo del calcolo.

1. Formulazione del Raffinamento Adattivo

SVR tratta il calcolo al tempo di test come un problema di allocazione sequenziale. Ad ogni turno $t$, la policy $\pi_\theta$ genera un output strutturato $o_t = (r_t, a_t, v_t, c_t)$, composto da:

• $r_t$: Traccia di ragionamento (reasoning trace).
• $a_t$: Risposta al compito (task answer).
• $v_t$: Verdetto discreto (Corretto, Errato, o Incertezza).
• $c_t$: Punteggio di confidenza (stima della probabilità che $a_t$ sia corretto).

Meccanismo di Inferenza:
Il controllore al tempo di inferenza opera su un confine informativo privo di oracolo. Interrompe e restituisce la risposta corrente $a_t$ se e solo se:

1. La generazione non è troncata ($q_t = 0$).
2. Il verdetto è Corretto ($v_t = C$).
3. La confidenza supera una soglia di distribuzione $\gamma$ ($c_t \ge \gamma$).

Se queste condizioni non sono soddisfatte e il budget rimane, il modello costruisce il prompt successivo utilizzando il problema originale, la bozza conservata e lo stato di autoverifica della policy stessa, senza mai accedere alle etichette della verità fondamentale.

2. Addestramento: Reinforcement Learning Congiunto per Verdetto e Confidenza

SVR è addestrato utilizzando il Group Relative Policy Optimization (GRPO) su traiettorie a orizzonte fisso ($T_{tr}$). La correttezza della verità fondamentale viene utilizzata solo per costruire le ricompense di addestramento e non è mai esposta alla policy durante il processo di raffinamento.

Il ritorno a livello di traiettoria $R_{SVR}$ media tre segnali per turno:

• Ricompensa della Soluzione ($r_{solve}$): Premia la correttezza assoluta e il progresso tra i turni (ad esempio, correggere errori o preservare risposte corrette) penalizzando la regressione e il troncamento.
• Ricompensa di Autoverifica ($r_{verify}$): Un obiettivo composito progettato per allineare la coppia verdetto-confidenza con la correttezza empirica:
  • Calibrazione: Un obiettivo di tipo Brier per allineare la confidenza $c_t$ con la correttezza $y_t$.
  • Penalità di Sovraconfidenza: Penalizza i verdetti Corretto ad alta confidenza su risposte errate.
  • Rilevamento dell'Errore: Premia i verdetti espliciti Errato su risposte sbagliate.
  • Pronto all'Interruzione (Stop-Readiness): Incoraggia un'alta confidenza sulle risposte corrette per facilitare l'interruzione anticipata.
• Ricompensa di Formato ($r_{fmt}$): Garantisce un formato valido per la risposta al compito e strutture di auto-controllo analizzabili.

Design Chiave dell'Addestramento:

• Raccolta a Orizzonte Fisso: Durante l'addestramento, tutte le traiettorie eseguono tutti i turni $T_{tr}$, indipendentemente dai verdetti intermedi. Ciò evita che un'interruzione anticipata errata tagli l'esposizione della policy agli stati di raffinamento necessari.
• Ambito di Ottimizzazione: La perdita della policy-gradient è applicata solo ai token di completamento finali della traiettoria. I turni intermedi contribuiscono al ritorno della traiettoria (supervisionando il segnale di autoverifica) ma non sono trattati come campioni di ottimizzazione indipendenti.

3. Inferenza

All'inferenza, la policy addestrata viene distribuita con uno scheduler adattivo. Il modello genera i turni sequenzialmente, valutando la condizione di arresto dopo ogni turno. L'orizzonte di addestramento $T_{tr}$ e il budget di distribuzione $T_{max}$ sono indipendenti; $T_{tr}$ garantisce una copertura di supervisione sufficiente, mentre $T_{max}$ limita il costo nel caso peggiore.

Contributi Chiave

1. Framework a Ciclo Chiuso Privo di Oracolo: SVR introduce un metodo in cui una singola policy impara sia a raffinare le risposte sia a generare il segnale di autoverifica strutturato (verdetto + confidenza) necessario per il controllo al tempo di inferenza, eliminando la necessità di verificatori esterni o feedback di un oracolo durante la distribuzione.
2. Obiettivo RL Congiunto Verdetto-Confidenza: Gli autori sviluppano un obiettivo multi-turno che aggrega la qualità della soluzione, la calibrazione dell'autoverifica e la prontezza all'interruzione in un unico ritorno di traiettoria. Questo addestra la policy a produrre segnali di arresto azionabili senza ottimizzare direttamente il costo di inferenza realizzato durante l'addestramento.
3. Validazione Empirica: Il framework dimostra che l'autoverifica appresa può servire come un efficace segnale di controllo interno per l'allocazione adattiva del calcolo, ottenendo un rapporto accuratezza-computazione superiore rispetto ai baseline a budget fisso e guidati da un oracolo.

Risultati Sperimentali

Il metodo è stato valutato utilizzando Qwen3.5-2B su sette benchmark di ragionamento matematico (Countdown, GSM8K, MATH500, AIME26, AMC23, OlympiadBench, MinervaMath).

• Performance: SVR ha raggiunto un'accuratezza media macro di 0.563 sui 7 benchmark totali.
• Efficienza: Ha richiesto in media solo 2.99 turni di inferenza per esempio.
• Confronti:
  • Ha superato il più forte baseline multi-turno non-oracolo (Murphy) di 7.5 punti percentuali in termini di accuratezza.
  • Ha superato un riferimento a budget fisso guidato da un oracolo (che utilizza il feedback esterno della correttezza) di 4.4 punti percentuali, utilizzando significativamente meno token.
  • Ha eguagliato l'accuratezza della maggioranza di voto (majority voting) di 10 campioni GRPO consumando circa la metà dei token.
• Studi di Ablazione:
  • Rimuovere il blocco di ricompensa dell'autoverifica ($R_{verify}$) ha ridotto l'accuratezza di circa 3.5 punti, confermando la necessità del segnale di controllo.
  • Rimuovere la componente di "prontezza all'interruzione" ha aumentato i turni medi a 3.83 e ridotto l'accuratezza di 6.9 punti, evidenziando l'importanza di addestrare il modello a riconoscere quando è pronto a fermarsi.
  • L'SVR a turno singolo (senza raffinamento iterativo) ha causato un calo significativo dell'accuratezza, provando che il raffinamento iterativo è essenziale.
  • L'uso di soli verdetto o sola confidenza ha portato a prestazioni subottimali rispetto al segnale congiunto.

Significato e Rivendicazioni

L'articolo sostiene che l'SVR dimostra che l'autoverifica appresa può efficacemente sostituire i segnali esterni di un oracolo per il controllo del calcolo al tempo di test. Trattando l'autoverifica strutturata non solo come una descrizione post-hoc dell'incertezza, ma come un segnale a livello di policy, l'SVR permette ai modelli di:

• Mantenere risposte intermedie corrette che altrimenti verrebbero sovrascritte da un ulteriore raffinamento.
• Allocare la computazione in modo adattivo in base alla difficoltà dell'istanza, evitando lo spreco degli approcci a budget fisso.
• Operare in modo "privo di oracolo" durante l'inferenza, rendendo l'approccio distribuibile in contesti in cui i verificatori esterni non sono disponibili.

Gli autori osservano che, sebbene l'SVR migliori significativamente la frontiera accuratezza-computazione, la riduzione degli Errori di Arresto Prematuro (PSE) sui problemi difficili rimane una sfida aperta, poiché il modello occasionalmente termina il raffinamento su risposte errate con alta confidenza. Il lavoro suggerisce che l'integrazione dell'autoverifica nella stessa policy di ragionamento è una via percorribile verso un ragionamento adattivo ed efficiente senza supervisione esterna.