Riepilogo Tecnico: Serve Solo un Minimo Addestramento RLVR: Estrapolazione di LLM tramite Traiettorie di Rango 1

Enunciato del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) si è affermato come un paradigma dominante per potenziare le capacità di ragionamento dei Modelli Linguistici di Grandi Dimensioni (LLM), in particolare in domini come la matematica. Tuttavia, la pipeline RLVR standard è computazionalmente proibitiva, richiedendo spesso giorni di tempo GPU per raggiungere plateau prestazionali. Il processo comporta la generazione di una traiettoria di checkpoint su centinaia di passi di ottimizzazione, con costi che scalano linearmente con il numero di passi. Sebbene lavori precedenti suggeriscano che l'RLVR amplifichi comportamenti latenti piuttosto che insegnare capacità completamente nuove, la struttura geometrica sottostante di queste traiettorie di parametri rimane poco esplorata. La domanda centrale affrontata è se i futuri checkpoint RLVR possano essere previsti a partire da un breve prefisso delle dinamiche di addestramento, bypassando così la necessità di un ulteriore addestramento estensivo.

Metodologia: RELEX

Gli autori propongono RELEX (REinforcement Learning EXtrapolation), un metodo senza addestramento che sfrutta la regolarità geometrica degli aggiornamenti dei pesi RLVR per prevedere i futuri checkpoint. Il metodo opera sull'ipotesi che le traiettorie RLVR siano estremamente di basso rango e quasi lineari.

La pipeline RELEX consiste in tre passaggi, applicati ai primi $T_{cut}$ checkpoint osservati (ad esempio, i primi 15–20% dei passi di addestramento):

1. Stima del Sottospazio di Rango 1:
   Per ogni tensore di pesi $W^{(\ell)}$, il metodo calcola i delta dei parametri $\Delta \theta_t = \theta_t - \theta_0$ rispetto al modello di base. Questi delta vengono appiattiti e impilati in una matrice di traiettoria $M^{(\ell)}$. Viene eseguita una Decomposizione ai Valori Singolari (SVD) su $M^{(\ell)}$ ed estratto il vettore singolare superiore destro $v_1^{(\ell)}$. Questo vettore definisce la direzione dominante del cambiamento dei parametri nella finestra di osservazione.

2. Estrapolazione dei Coefficienti Lineari:
   I delta osservati vengono proiettati sul vettore singolare dominante per ottenere una traiettoria di coefficienti scalari $c_t = \langle \text{flatten}(\Delta \theta_t), v_1 \rangle$. L'analisi empirica mostra che questi coefficienti evolvono quasi linearmente con il passo di addestramento ($R^2 > 0.98$). Una semplice regressione lineare ($c(t) = at + b$) viene adattata a questi coefficienti utilizzando il prefisso osservato.

3. Previsione dei Pesi Futuri:
   Per prevedere un checkpoint a un passo target $T$, il metodo estrapola il coefficiente $\hat{c}_T = aT + b$ e ricostruisce il tensore dei pesi come $\hat{W}_T = W_0 + \hat{c}_T \cdot v_1$. Questo processo viene ripetuto per tutti i tensori per assemblare il checkpoint previsto completo $\hat{\theta}_T$.

Crucialmente, RELEX non richiede predittori appresi, nessun ulteriore addestramento RLVR e coinvolge solo operazioni in forma chiusa (SVD troncata e adattamento ai minimi quadrati).

Contributi Chiave

1. Scoperta Empirica della Linearità a Basso Rango: Gli autori dimostrano che le traiettorie di aggiornamento dei pesi RLVR sono estremamente di basso rango e prevedibili. Nello specifico, un'approssimazione SVD di rango 1 cattura la vasta maggioranza dei cambiamenti dei parametri rilevanti a valle, e i corrispondenti coefficienti scalari evolvono quasi linearmente con i passi di addestramento su diverse famiglie di modelli (Qwen2.5-Math-1.5B, Qwen3-4B-Base, Qwen3-8B-Base).
2. Framework RELEX: L'introduzione di un metodo di estrapolazione semplice ed efficiente dal punto di vista computazionale che prevede i futuri checkpoint utilizzando esclusivamente il prefisso iniziale dell'addestramento.
3. Meccanismo di Denoising Spettrale: Il documento identifica che la proiezione di rango 1 agisce come un "denoiser spettrale". Proiettando gli aggiornamenti sul sottospazio dominante, il metodo scarta il rumore stocastico dell'ottimizzazione (catturato dai componenti di rango superiore) che altrimenti degraderebbe le prestazioni durante l'estrapolazione.
4. Sufficienza Minimalista: Gli studi di ablazione confermano che aumentare il rango del sottospazio (ad esempio, a rango 5 o rango 10) o impiegare modelli non lineari (polinomi, reti neurali) non produce ulteriori guadagni e spesso degrada le prestazioni, validando la sufficienza dell'approccio lineare di rango 1.

Risultati Sperimentali

Il metodo è stato valutato su tre modelli basati su Qwen su benchmark in dominio (MATH) e cinque benchmark fuori distribuzione (OOD) (AIME 2025/2026, HMMT 2025, OlympiadBench, AMC 2023).

• Prestazioni vs Costo: Utilizzando solo il 15–20% dell'intero costo di addestramento RLVR (osservando i primi 75–125 passi), RELEX produce checkpoint che eguagliano o superano le prestazioni dei modelli RLVR completamente addestrati.
  • Qwen2.5-Math-1.5B: RELEX ha ottenuto il 71,6% su MATH (contro il 71,5% per l'RLVR completo) e ha superato l'RLVR su 4 dei 5 benchmark OOD.
  • Qwen3-4B-Base: RELEX ha ottenuto l'85,6% su MATH (contro l'85,5% per l'RLVR completo).
  • Qwen3-8B-Base: RELEX ha ottenuto l'87,4% su MATH (contro l'88,5% per l'RLVR completo), restando entro l'1,1% delle prestazioni dell'addestramento completo.
• Estrapolazione a Lungo Orizzonte: RELEX estrapola con successo ben oltre la finestra di osservazione. Ad esempio, osservare solo i primi 50 passi ha permesso previsioni stabili fino a 1000 passi (20 volte la finestra di osservazione), con un continuo miglioramento delle prestazioni.
• Confronto con le Baseline: RELEX ha superato uniformemente altre baseline di estrapolazione, tra cui Weight Extrapolation (interpolazione lineare nello spazio grezzo dei pesi), Logits Extrapolation, ExPO e AlphaRL. La superiorità rispetto alla Weight Extrapolation sottolinea l'importanza del passaggio SVD nel filtrare il rumore.

Significato e Affermazioni

Il documento afferma che l'addestramento RL, nonostante la sua natura stocastica e non convessa, traccia percorsi sorprendentemente semplici nello spazio dei parametri a basso rango. Il significato di questo lavoro risiede in:

• Efficienza: Offre un modo per raggiungere prestazioni RLVR quasi ottimali con una frazione del costo computazionale, "saltando" efficacemente la maggior parte dei passi di addestramento senza re-addestramento.
• Insight Teorico: Fornisce prove che il "segnale" dell'apprendimento RLVR è concentrato in una singola direzione dominante, mentre i componenti di rango superiore rappresentano principalmente rumore di ottimizzazione.
• Generalizzazione: Il metodo dimostra che i checkpoint estrapolati catturano guadagni di ragionamento trasferibili, come evidenziato dalle forti prestazioni sui benchmark OOD, suggerendo che il modello non sta semplicemente sovradattando la distribuzione di addestramento.

Gli autori notano le limitazioni, riconoscendo che lo studio attuale è limitato a GRPO su compiti di ragionamento matematico con modelli Qwen. Suggeriscono che la finestra di osservazione ottimale ($T_{cut}$) dipende dal modello e che una selezione adattiva del rango potrebbe essere necessaria per una generalizzazione più ampia ad altri algoritmi (ad esempio, PPO) o famiglie di modelli.