Sintesi Tecnica: Comprendere il Collasso della Diversità in RLVR attraverso la lente dell'Overtraining

Definizione del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è diventato un metodo primario per potenziare le capacità di ragionamento dei Large Language Models (LLM) su compiti con esiti oggettivamente verificabili. Tuttavia, un problema persistente noto come collasso della diversità affligge questo paradigma: mentre l'accuratezza a singolo campione (Pass@1) del modello migliora, la sua capacità di trovare una soluzione corretta attraverso molteplici tentativi (alto-k Pass@k) spesso degrada man mano che l'addestramento procede.

Le spiegazioni precedenti attribuiscono ciò alla natura auto-rinforzante degli aggiornamenti on-policy, dove le traiettorie già probabilmente di successo vengono campionate e rinforzate più frequentemente, restringendo la distribuzione della policy su un sottoinsieme di soluzioni sempre più piccolo. Questo articolo sostiene che questo "bias di affilamento" (sharpening bias) sia una proprietà universale degli aggiornamenti RLVR, ma non spiega pienamente quando un aggiornamento espande il confine di ragionamento del modello rispetto a quando si limita a rimodellare la massa di probabilità tra soluzioni già raggiungibili. Gli autori propongono di osservare il collasso della diversità attraverso la lente dell'overtraining (sovra-addestramento): una volta che il contributo di un problema a una metrica di riferimento (specificamente l'alto-k Pass@k) si è saturato, ulteriori aggiornamenti non possono espandere il confine di ragionamento, ma continuano a concentrare la massa di probabilità, causando il collasso.

Metodologia

Analisi Teorica: Overtraining e Saturazione

Gli autori formalizzano il confine di ragionamento utilizzando il Pass@k, definito come $1 - (1-p)^k$ per un problema con probabilità di successo $p$. Dimostrano che, sotto le tipiche configurazioni RLVR (solitamente $n=8$ rollout per problema), il tasso di successo empirico $\hat{p}$ è quantizzato (es. $0/8, 1/8, \dots$).

• Saturazione Aggressiva: Per un $k$ elevato (es. $k=256$), anche un singolo successo osservato ($\hat{p}=1/8$) produce un valore Pass@256 $\approx 1$.
• Regime di Overtraining: Di conseguenza, qualsiasi problema che abbia prodotto almeno un rollout corretto è effettivamente in un regime di "saturazione" rispetto al confine di ragionamento. Gli aggiornamenti su questi problemi (sia nel rinforzare le traiettorie corrette che nel sopprimere quelle errate) forniscono un guadagno marginale trascurabile al Pass@k elevato, ma continuano ad affilare la policy, causando il collasso della diversità.
• Il Bucket a Successo Zero: L'unico bucket dove gli aggiornamenti possono significativamente espandere il confine di ragionamento è $B_{0/n}$, dove non sono stati osservati rollout corretti.

Investigazione Empirica

Lo studio impiega due approcci complementari per validare che l'RLVR espanda effettivamente il confine di ragionamento, anche se le metriche aggregate suggeriscono il contrario:

1. Monitoraggio Osservativo: Tracciando i problemi inizialmente irrisolvibili (Pass@256 = 0) sotto il modello base. Gli autori riscontrano che una frazione non trascurabile di questi problemi diventa risolvibile durante l'addestramento standard, anche mentre un numero maggiore di problemi precedentemente risolvibili esce dal confine.
2. Restrizione Interventistica: Varianti di addestramento in cui gli aggiornamenti sono limitati a specifici bucket di successo dei rollout ($B_{m/8}$). Limitare gli aggiornamenti a $B_{0/8}$ (l'unico bucket non saturato) produce miglioramenti del Pass@256 rispetto al modello base su benchmark difficili, mentre gli aggiornamenti su bucket con successo superiore portano a un declino.

Soluzione Proposta: Bayesian Boundary Gating (BBG)

Per mitigare l'overtraining, gli autori propongono il Bayesian Boundary Gating (BBG), un metodo a livello di problema che reindirizza l'ottimizzazione lontano dai problemi saturi.

• Meccanismo: BBG stima il contributo marginale atteso di un problema al confine di ragionamento utilizzando un modello Bayesiano Beta-Binomiale. Dato $m$ successi in $n$ rollout, la distribuzione a posteriori della vera probabilità di successo $p$ è $Beta(m+1, n-m+1)$.
• Calcolo dell'Utilità: L'utilità marginale attesa $u(m; n, k)$ è calcolata come l'aspettativa della derivata dell'obiettivo Pass@k: $E[k(1-p)^{k-1}]$.
• Strategia di Gating: I problemi con utilità di confine trascurabile (dove il contributo marginale stimato scende sotto una soglia $\tau$) vengono esclusi tramite hard-gating e non ricevono backpropagation. Solo i problemi con significativa utilità stimata (primariamente quelli nei bucket a basso successo) ricevono aggiornamenti.
• Implementazione: BBG viene applicato come coefficiente sulla perdita a livello di problema, compatibile con i design di obiettivi esistenti come W-RF (Weighted Reinforcement with Negative Reinforcement).

Risultati Chiave

Gli esperimenti sono stati condotti utilizzando Qwen2.5-Math-7B addestrato sul dataset MATH, valutato su quattro benchmark: MATH-500, OlympiadBench, MinervaMath e AIME 2025.

• Prestazioni Baseline: I metodi RLVR standard (REINFORCE, GRPO, W-RF) migliorano costantemente il Pass@1 ma soffrono di un significativo degrado nel Pass@k elevato (es. Pass@256) su benchmark di difficoltà intermedia, confermando il fenomeno del collasso della diversità.
• Prestazioni BBG:
  • BBG raggiunge il più alto Pass@k medio nell'intervallo $k \in [1, 256]$ su tutti i benchmark.
  • Crucialmente, BBG è l'unico metodo che mantiene o migliora il Pass@256 rispetto al modello base in tutti e quattro i benchmark, prevenendo efficacemente il collasso osservato negli altri metodi.
  • Sul benchmark più difficile (AIME 2025), BBG mostra guadagni sostanziali in tutto l'intervallo valutato, mentre altri metodi degradano ad alti valori di $k$.
• Insight dalle Ablazioni: Gli autori dimostrano che interventi semplici come l'early stopping (fermare l'addestramento quando il Pass@1 di validazione satura) o il bucket masking (escludere i bucket ad alto successo) possono recuperare parzialmente la prestazione ad alto-k, validando l'ipotesi dell'overtraining. Tuttavia, BBG fornisce una soluzione più fondata ed efficace tramite la ponderazione dinamica degli aggiornamenti basata sull'utilità del confine stimata.

Significato e Rivendicazioni

Il documento rivendica tre contributi primari:

1. Formalizzazione del Collasso della Diversità: Inquadra il collasso della diversità non solo come un problema di bias di campionamento, ma come una conseguenza dell'overtraining rispetto al confine di ragionamento. Dimostra che, sotto i normali budget di rollout, la stragrande maggioranza degli aggiornamenti RLVR è overtraining per il Pass@k elevato.
2. Reinterpretazione del Declino Aggregato: Il lavoro fornisce prove che il declino aggregato ampiamente riportato nel Pass@k elevato non implica un fallimento nell'acquisizione di nuove capacità di ragionamento. Al contrario, riflette un risultato netto in cui i guadagni sui problemi inizialmente irrisolvibili sono mascherati dalle perdite sui problemi già risolvibili causate dall'overtraining.
3. Mitigazione Efficace tramite BBG: Reindirizzando l'ottimizzazione verso i problemi con contributi di confine non saturi, BBG riesce a disaccoppiare il miglioramento del Pass@1 dal degrado del Pass@k elevato, migliorando la diversità di ragionamento complessiva del modello.

Gli autori mantengono un tono modesto riguardo ai limiti, notando che i loro esperimenti sono limitati a modelli di scala 7B e un singolo set di addestramento. Riconoscono che il collasso della diversità può avere altre cause (es. assegnazione del credito a livello di token) e che la soppressione degli aggiornamenti sui problemi ad alto successo da parte di BBG potrebbe ridurre il Pass@1 in scenari in cui l'accuratezza del singolo campione è l'unica priorità. Tuttavia, il lavoro stabilisce una nuova prospettiva sulla dinamica di addestramento RLVR, suggerendo che l' "affilamento" della policy è spesso un sottoprodotto dell'ottimizzazione di una metrica che è già stata massimizzata per specifici problemi.