Riepilogo Tecnico: Scalare il Calcolo al Momento della Valutazione con Modelli di Ragionamento come Valutatori

Enunciato del Problema

Il documento affronta una lacuna nel paradigma attuale di sviluppo dei Large Language Model (LM). Sebbene sia ben consolidato che scalare il "calcolo al momento del test" (ad esempio, generando lunghe catene di pensiero, CoT, o campionando molteplici candidati) migliori significativamente le capacità di risoluzione dei problemi dei generatori, non è ancora chiaro se questo principio di scalabilità si applichi anche ai valutatori. I valutatori attuali spesso si affidano a punteggi diretti (Modelli di Ricompensa per l'Esito, ORM) o a ragionamenti CoT brevi (Modelli di Ricompensa per il Processo, PRM) senza sfruttare appieno la potenza di calcolo disponibile al momento dell'inferenza. Gli autori si chiedono: la capacità di valutazione di un LM può essere migliorata scalando il calcolo al momento del test e può questa valutazione migliorata conseguentemente potenziare le prestazioni del generatore?

Metodologia

Gli autori propongono un framework per la Scalabilità al Momento della Valutazione utilizzando Valutatori di Ragionamento. A differenza dei valutatori diretti tradizionali che prevedono punteggi senza ragionamento o dei valutatori generativi finemente sintonizzati con CoT brevi, i valutatori di ragionamento sono modelli di ragionamento pronti all'uso (addestrati tramite RL o distillazione per produrre lunghe CoT) istruiti ad agire come giudici.

La metodologia coinvolge tre componenti fondamentali:

1. Valutatori di Esito di Ragionamento: Il modello genera una lunga CoT per analizzare l'intera risposta prima di prevedere un punteggio di correttezza (0 o 1). Il punteggio è derivato dai logit dei token di previsione.
2. Valutatori di Processo di Ragionamento: Il modello valuta la risposta passo dopo passo.
   • Valutazione Multi-step: Invece di generare una singola CoT per l'intera risposta, il valutatore valuta ogni singolo passo di ragionamento individualmente, generando una CoT e un giudizio distinti per ciascuno.
   • Divisione basata sul Modello: Per gestire output non strutturati (ad esempio, codice), gli autori utilizzano un LM per inserire marcatori [SPLIT] tra i passi, piuttosto che affidarsi a una divisione euristica basata sulle nuove righe.
   • Aggregazione: I punteggi passo-passo sono aggregati utilizzando una funzione mean_logit invece di un semplice minimo, che si è rivelato più efficace negli esperimenti.
3. Valutazione Combinata: Il punteggio finale è un'interpolazione ponderata del punteggio di esito e del punteggio di processo aggregato ($s_{final} = \alpha \cdot s_{outcome} + (1-\alpha) \cdot s_{process}$), con $\alpha=0.5$ utilizzato per bilanciare entrambi i segnali.

Gli autori confrontano questi valutatori di ragionamento con:

• Valutatori Diretti: PRM e ORM standard che prevedono punteggi direttamente senza CoT.
• Valutatori di Ragionamento Single-step: Modelli che generano una singola CoT per giudicare tutti i passi simultaneamente (un'ablazione del loro metodo proposto).

Contributi Chiave

1. Dimostrazione della Scalabilità al Momento della Valutazione: Il documento stabilisce che forzare i valutatori a generare più token di ragionamento (scalando il calcolo al momento della valutazione) porta a miglioramenti monotoni nelle prestazioni di valutazione.
2. Superiorità della Valutazione di Processo Multi-step: Gli autori dimostrano che valutare ogni passo individualmente (multi-step) è significativamente più efficace rispetto alla valutazione single-step o alla coerenza self-consistency (generare multiple CoT per lo stesso compito) sotto budget di calcolo fissi.
3. Prestazioni Zero-Shot: I valutatori di ragionamento, che non sono esplicitamente addestrati come valutatori, superano i PRM all'avanguardia pesantemente finemente sintonizzati (ad esempio, un valutatore di ragionamento da 32B supera un PRM da 72B su ProcessBench) esclusivamente attraverso la scalabilità al momento del test.
4. Miglioramento del Generatore tramite Valutazione: Il documento dimostra che allocare più calcolo alla valutazione (utilizzando Best-of-8 con valutatori di ragionamento) produce prestazioni del generatore migliori rispetto all'allocare lo stesso calcolo alla generazione di più candidati (Best-of-64 con valutatori diretti). Ciò suggerisce che un valutatore più forte e più intensivo dal punto di vista computazionale mitiga l'"over-optimization del modello di ricompensa".

Risultati Sperimentali

Valutazione del Processo (ProcessBench)

• Metrica: Punteggio F1 nell'identificare il primo passo errato in una soluzione.
• Risultati:
  • I modelli di ragionamento (ad esempio, DeepSeek-R1-Distill-Qwen-32B) superano significativamente i modelli istruiti di dimensioni simili o maggiori.
  • Multi-step vs Single-step: La valutazione di processo multi-step produce guadagni sostanziali rispetto ai metodi single-step. Ad esempio, il modello di ragionamento da 32B ha raggiunto un F1 di 78.6 con la valutazione multi-step, superando il Qwen2.5-Math-PRM da 72B (78.3), che era il precedente stato dell'arte.
  • Coerenza Self-Consistency: Sebbene la coerenza self-consistency aiuti, la valutazione multi-step fornisce benefici complementari. La combinazione di entrambe produce i punteggi più alti (ad esempio, 82.8 per il modello da 32B).

Risoluzione dei Problemi (Campionamento Best-of-N)

• Impostazione: I generatori (Eurus-2, Llama-3.1-70B, Qwen2.5-7B) generano $N$ risposte. I valutatori le classificano.
• Confronto: Valutatori di ragionamento (Best-of-8) vs Valutatori diretti (Best-of-64) sotto un budget totale di calcolo fisso.
• Risultati:
  • I valutatori di ragionamento che utilizzano Best-of-8 superano i valutatori diretti che utilizzano Best-of-64 dal 4.30% al 6.63% attraverso i benchmark (AIME, MATH, LeetCode, ecc.).
  • Prestazioni nel Codice: I valutatori di ragionamento mostrano guadagni particolarmente forti nelle attività di codifica (LeetCode), dove i PRM diretti spesso soffrono di over-optimization e scarso trasferimento di dominio.
  • Punteggi Combinati: Integrare i punteggi di processo e di esito potenzia ulteriormente le prestazioni, agendo come arbitro per le risposte che i valutatori di esito non riescono a distinguere.

Auto-Valutazione

• Il documento esplora anche l'uso di un modello di ragionamento per generare e valutare le proprie output. I risultati indicano che i modelli di ragionamento possono auto-valutarsi efficacemente, recuperando una porzione significativa del divario tra le loro prestazioni Best-of-1 e quelle oracolo, superando spesso i generatori istruiti valutati dallo stesso modello di ragionamento.

Significato e Affermazioni

Il documento afferma che la scalabilità al momento della valutazione è una strategia vitale e potente che parallela la scalabilità al momento del test per i generatori. Il significato principale risiede nella scoperta che spendere più calcolo nella valutazione può essere più efficace che spenderlo nella generazione per un budget fisso.

Gli autori sostengono che:

1. Il Capacità di Ragionamento si Trasferisce: La capacità di ragionare (tramite lunghe CoT) non serve solo a risolvere problemi ma è intrinseca a una valutazione di alta qualità.
2. Robustezza: I valutatori di ragionamento sono meno soggetti all'over-optimization del modello di ricompensa, fornendo segnali più robusti per selezionare il miglior candidato.
3. Generalizzazione: Questo approccio funziona attraverso i domini della matematica e del codice e si estende persino ai modelli non di ragionamento quando istruiti a valutare passo dopo passo.

Il documento conclude che, sebbene i attuali valutatori di ragionamento non siano esplicitamente addestrati per la valutazione, i loro pattern nativi di ragionamento (auto-verifica, backtracking) li rendono giudici superiori. Si suggerisce un lavoro futuro per esplorare l'addestramento di questi modelli specificamente come valutatori e per estendere la metodologia a compiti non verificabili come la scrittura creativa.