Consolidating Rewarded Perturbations for LLM Post-Training

Sintesi Tecnica: Consolidamento delle Perturbazioni Premializzate per il Post-Training di LLM

Definizione del Problema
Il post-training dei grandi modelli linguistici (LLM) è tipicamente inquadrato come un ciclo di campionamento-punteggio-aggiornamento implementato tramite discesa del gradiente (es. PPO, GRPO). Una recente alternativa, RandOpt (Gan e Isola, 2026), sposta questo processo nello spazio dei pesi. Invece di aggiornare i pesi tramite gradienti, RandOpt campiona perturbazioni gaussiane attorno a un modello pre-addestrato, ne valuta il punteggio su un set di supporto e crea un ensemble dei top-$K$ specialisti premiati durante l'inferenza. Sebbene sia competitivo con i metodi basati sul gradiente a parità di calcolo, questo approccio comporta costi di inferenza significativi ($K$ passaggi forward per esempio) e fatica ad estendersi a compiti di generazione a forma libera dove il voto categorico non è applicabile. La questione centrale affrontata da questo articolo è se la "popolazione premiata" di perturbazioni possa essere ripiegata in un singolo aggiornamento di peso deployable, sostituendo così l'ensemble in fase di inferenza con un unico aggiornamento consolidato.

Metodologia: CoRP (Consolidating Rewarded Perturbations)
Gli autori propongono CoRP, un operatore privo di gradienti che consolida una popolazione di perturbazioni premiate in un singolo aggiornamento di peso. Il metodo si basa su due intuizioni primarie derivate da un'analisi split-half su 25 coppie modello-compito:

1. Struttura a Basso Rango: La ricerca casuale guidata dal reward attorno a un modello base concentra la varianza utile su un sottospazio a basso rango riproducibile in ogni caso esaminato, sebbene una singola direzione media non sia sempre riproducibile.
2. Compatibilità vs. Utilità: Le perturbazioni ad alto reward agiscono spesso come "specialisti quasi ortogonali". La media ponderata dal reward in modo ingenuo fallisce perché combina direzioni incompatibili, causando l'annullamento dei segnali utili nel modello.

CoRP affronta queste sfide attraverso un processo in tre fasi, privo di gradienti:

1. Generazione di Candidati Ponderata dal Reward:
   Il metodo seleziona prima il quantile top-$q$ delle perturbazioni in base ai punteggi di reward. Calcola una direzione provvisoria ($m^{(1)}$) come la media ponderata dal reward di queste perturbazioni d'élite. Questo passaggio identifica le direzioni utili ma non assicura ancora che siano compatibili tra loro.

2. Riponderazione Consapevole della Compatibilità:
   Per evitare che segnali incompatibili si annullino a vicenda, CoRP ricalcola i pesi delle perturbazioni d'élite in base al loro allineamento con la direzione provvisoria e alla loro dispersione ortogonale.

   • Allineamento ($a_i$): Misura quanto fortemente una perturbazione supporta la direzione proposta.
   • Dispersione ($d_i$): Misura quanto della perturbazione giace ortogonale alla proposta.
     I pesi finali ($w^{(2)}_i$) combinano il reward originale con penalità per l'alta dispersione e bonus per l'alto allineamento. Ciò garantisce che l'aggiornamento consolidato preservi la struttura condivisa sopprimendo al contempo le variazioni incompatibili.

3. Validazione e Iterazione:

   • Gate di Hold-Out: Per prevenire l'overfitting sul set di supporto, CoRP utilizza una strategia di validazione split-fold. Un aggiornamento candidato viene impegnato solo se dimostra un guadagno di accuratezza positivo su un fold di validazione tenuto da parte (Fold B) con un limite di confidenza inferiore statisticamente significativo.
   • Calibrazione della Sonda: Un set di sonde separato (Fold P) viene utilizzato per calibrare il passo di aggiornamento ($\eta$).
   • Iterazione: Se un aggiornamento viene accettato, il processo può iterare. Nuove perturbazioni vengono campionate attorno al nuovo centro utilizzando una distribuzione adattiva della covarianza che concentra l'esplorazione nelle direzioni in cui le popolazioni premiate precedenti variavano, mantenendo un pavimento isotropo per la copertura.

Contributi Chiave

• Scoperta di una Struttura a Basso Rango Riproducibile: Il paper dimostra che, attraverso 25 diverse coppie modello-compito (che spaziano da 0.5B a 8B di parametri e compiti di matematica, codice e scrittura), le perturbazioni premiate condividono costantemente una struttura a basso rango, anche quando non esiste una singola direzione media.
• Operatore CoRP: L'introduzione di un operatore di consolidamento privo di gradienti che riesce a fondere una popolazione di perturbazioni premiate in un singolo modello. Esso separa esplicitamente l'identificazione di direzioni "utili" dalla valutazione della "compatibilità", una distinzione spesso trascurata nella fusione dei modelli (model merging) ingenua.
• Efficienza: CoRP raggiunge prestazioni comparabili a grandi ensemble con un singolo passaggio forward all'inferenza, eliminando il costo di inferenza $K$-fold dei metodi come RandOpt.

Risultati Sperimentali
Gli autori hanno valutato CoRP su cinque modelli istruiti (varianti di Qwen2.5, OLMo3, Llama3.1) attraverso cinque compiti (Countdown, GSM8K, OlympiadBench, ROCStories, MBPP).

• Performance: CoRP migliora il modello base in media di 8.1 punti in tutti i compiti.
• Confronto con RandOpt: Utilizzando solo 1/10 del budget di perturbazione di RandOpt (500 contro 5000 campioni), CoRP supera il RandOpt a singola inferenza (K=1) di 6.5 punti. Inoltre, recupera più della metà del guadagno ottenuto dall'ensemble a maggioranza di voto a 50 passaggi (RandOpt K=50) richiedendo solo un passaggio forward per ogni esempio di test.
• Confronto con Metodi Basati sul Gradiente: CoRP è competitivo con PPO e GRPO quando il calcolo di training è appaiato, spesso superandoli in compiti specifici (es. ROCStories) evitando l'overhead computazionale della backpropagation attraverso il modello linguistico.
• Analisi degli Errori: La decomposizione dei risultati mostra che i guadagni di CoRP derivano da reali correzioni di ragionamento (correzione del contenuto della risposta) piuttosto che da semplici correzioni di formato, e riduce significativamente le "regressioni" (casi in cui il modello base era corretto ma l'aggiornamento lo ha reso errato) rispetto alla selezione di una singola migliore perturbazione.

Significatività e Rivendicazioni
Il paper sostiene che il "vicinato premiato" di un modello ben pre-addestrato contiene una struttura condivisa sufficiente per essere ripiegata in un singolo modello, anche quando non esiste una singola direzione che riassuma l'intera popolazione. Chiudendo il ciclo nello spazio dei pesi — passando dal campionamento di perturbazioni al consolidamento delle stesse in un aggiornamento deployable — CoRP offre un'alternativa pratica al post-training basato sui gradienti. Dimostra che è possibile ottenere sostanziali miglioramenti di allineamento e ragionamento senza backpropagation, utilizzando un singolo modello che è efficiente da distribuire.

Gli autori rimangono modesti riguardo ai limiti, notando che CoRP richiede attualmente reward verificabili (limitandolo a compiti con output categorici o facilmente controllabili) e che il divario rispetto agli ensemble completi è maggiore su modelli più piccoli dove gli specialisti potrebbero essere più disgiunti. Suggeriscono che il lavoro futuro potrebbe combinare il campionamento nello spazio dei pesi con il campionamento nello spazio delle traiettorie (come usato in RLVR) per esporre diverse sfaccettature delle capacità pre-addestrate.