Sintesi Tecnica: Geometria dello Spazio dei Pesi dell'Addestramento al Ragionamento Offline

Definizione del Problema

Le perdite di reinforcement learning (RL) offline — come RFT, RIFT, DFT, Offline GRPO e DPO — vengono utilizzate sempre più spesso per distillare le capacità di ragionamento da grandi modelli teacher in modelli student più piccoli. Sebbene questi metodi vengano regolarmente confrontati in base all'accuratezza sui benchmark a valle, la loro distinzione meccanicistica rimane ignota. Nello specifico, non è chiaro se diverse formulazioni di perdita producano aggiornamenti dei pesi qualitativamente differenti o se convergano semplicemente verso direzioni simili nello spazio dei pesi. Questa distinzione è critica per i professionisti che selezionano le funzioni di perdita e per i ricercatori che interpretano se l'"offline RL" rappresenti un singolo meccanismo o una famiglia diversificata di approcci.

Metodologia

Gli autori hanno condotto un confronto controllato dello spazio dei pesi su sei metodi di addestramento al ragionamento offline: SFT (Supervised Fine-Tuning), RFT (Reward Fine-Tuning), DFT (Down-weighted Fine-Tuning), RIFT (Reward-Weighted In-Context Fine-Tuning), Offline GRPO e DPO (Direct Preference Optimization).

Configurazione Sperimentale:

• Modello Base: Qwen3-4B-Instruct.
• Dati: Rollout matematici identici generati da un modello teacher (DeepSeek-V4-Flash) su prompt DeepScaleR (~40k problemi matematici verificati). Tutti i metodi utilizzano gli stessi dati, eccetto DPO che consuma ~1.8K campioni accoppiati (scelto, rifiutato) derivati dagli stessi rollout, mentre gli altri usano ~75K righe.
• Architettura: LoRA applicato solo alle proiezioni dell'attenzione (q, k, v, o) con rank 32 e $\alpha=64$ su 144 moduli.
• Protocollo di Addestramento: Iperparametri identici (batch size 32, schedule coseno, 5% warmup) eccetto per i tassi di apprendimento (learning rate). Tutti i metodi utilizzano un picco di learning rate (LR) di $5 \times 10^{-6}$, tranne DPO, che usa $5 \times 10^{-7}$ (un LR 10$\times$ più piccolo secondo la convenzione standard). L'addestramento è durato 1.500 step, con i risultati riportati allo step 1.000.
• Metriche di Analisi: Lo studio ha analizzato i delta dei pesi LoRA ($\Delta W$) risultanti utilizzando:
  1. Similarità del coseno (globale e per livello).
  2. Analisi dello spazio sub-spaziale dell'angolo principale (SVD dei primi 10 vettori singolari).
  3. Connettività del modo lineare (interpolazione dei delta e misurazione della cross-entropy su GSM8K).
  4. Centered Kernel Alignment (CKA) degli stati nascosti.

Contributi Chiave e Risultati

1. Convergenza dei Metodi MLE Pesati per Reward

Gli autori hanno scoperto che SFT, RFT e RIFT convergono verso delta dei pesi quasi collineari.

• Geometria: Le similarità del coseno tra questi metodi sono $\ge 0,97$, con angoli principali top-1 intorno a $7^\circ$ (mediana).
• Performance: Raggiungono un'accuratezza su GSM8K statisticamente indistinguibile (87–88%, $p \ge 0,15$ tramite test di McNemar).
• Implicazione: Filtrare i campioni negativi (RFT) o ponderarli in base al reward (RIFT) non cambia la direzione dell'aggiornamento rispetto al semplice SFT; modifica principalmente la dimensione del passo (norma di Frobenius).

2. Divergenza di DFT

Nonostante sia una modifica minima di SFT (de-ponderazione dei token sicuri tramite un singolo fattore moltiplicativo), DFT produce un aggiornamento significativamente più distinto rispetto a qualsiasi metodo esplicitamente pesato per il reward.

• Geometria: DFT mostra un coseno di $\sim 0,57$ rispetto a SFT, divergendo più dei metodi pesati per reward.
• Performance: L'accuratezza rimane comparabile a SFT/RFT/RIFT, suggerendo che il bacino di perdita sia condiviso nonostante lo spostamento direzionale.

3. Offline GRPO: Componenti Ortogonali all'interno di un Bacino

Offline GRPO introduce una componente sostanziale ortogonale alla direzione SFT pur rimanendo all'interno dello stesso bacino di perdita.

• Geometria: Aggiunge una componente globalmente ortogonale di $\sim 67\%$, che sale a $\sim 86\%$ negli strati tardivi. Il coseno rispetto al cluster SFT è $\sim 0,74$.
• Connettività: L'interpolazione lineare tra Offline GRPO e SFT/RIFT non mostra barriere, indicando che condividono lo stesso bacino di ottimizzazione.
• Performance: L'accuratezza è comparabile a SFT/RFT/RIFT (87,3%).

4. DPO: Un Sub-spazio Distinto e un Picco di Accuratezza

DPO occupa un sub-spazio quasi ortogonale e raggiunge l'accuratezza più alta nel protocollo di studio.

• Geometria: DPO è quasi ortogonale a tutti gli altri metodi (coseno $\le 0,065$ rispetto a SFT/RFT/RIFT). Opera in un sub-spazio con rank effettivo più elevato (rank $\sim 24,5$ rispetto a $\sim 16$ degli altri) ma con una norma di Frobenius molto più piccola.
• Connettività: L'interpolazione lineare tra DPO e gli altri metodi rivela una barriera netta (aumento non monotono della perdita), indicando bacini di soluzione distinti.
• Similarità Rappresentazionale: La CKA collassa a $\sim 0,46$ negli strati tardivi, confermando rappresentazioni interne distinte.
• Performance: DPO raggiunge il 93,5% su GSM8K e il 30,0% su AIME26, superando significativamente tutti gli altri metodi ($p < 10^{-9}$ su GSM8K).
• Cautela: Gli autori notano che la superiorità di DPO è intrecciata con il suo learning rate 10$\times$ più piccolo e l'uso di circa 40$\times$ meno righe di addestramento. Il divario di accuratezza non può essere attribuito esclusivamente alla funzione di perdita senza un confronto con lo stesso learning rate.

5. Il Ruolo del Campionamento On-Policy

Un risultato critico riguarda il confronto tra Offline GRPO e Online GRPO.

• Offline GRPO (addestrato su rollout fissi) rimane parzialmente allineato con SFT (frazione ortogonale 0,67).
• Online GRPO (addestrato su rollout on-policy) diventa quasi interamente ortogonale a SFT (frazione ortogonale 0,998).
• Conclusione: La convergenza direzionale osservata tra SFT e Offline GRPO è in parte un artefatto dell'addestramento sugli stessi rollout fissi. Sostituirli con campioni on-policy rompe questa convergenza, spingendo l'aggiornamento in un sub-spazio completamente diverso.

Significato e Rivendicazioni

L'articolo sostiene che il panorama del "ragionamento offline" non è monolitico ma consiste in regimi geometrici distinti:

1. Cluster MLE Pesato per Reward: SFT, RFT e RIFT sono meccanicisticamente simili, differendo solo nella magnitudo del passo.
2. Spostatori Intermedi: DFT e Offline GRPO spostano la direzione ma rimangono all'interno dello stesso bacino di perdita di SFT.
3. Regimi Ortogonali: DPO e i metodi on-policy (come Online GRPO) operano in sub-spazi quasi ortogonali con geometrie rappresentazionali distinte.

Gli autori sottolineano che, sebbene DPO raggiunga l'accuratezza più elevata, questo risultato è confuso dall'impostazione dell'ottimizzatore (specificamente il learning rate). Pertanto, l'articolo non afferma che DPO sia causalmente superiore a causa della sua funzione di perdita, ma piuttosto che occupa uno spazio geometrico unico che, sotto il protocollo specifico utilizzato, produce risultati migliori. Lo studio evidenzia che l'"offline RL" non dà il nome a un singolo meccanismo; piuttosto, la scelta dei dati (fissi vs on-policy) e della funzione di perdita determinano congiuntamente la traiettoria nello spazio dei pesi.

Limitazioni: Lo studio è limitato a un singolo dominio (matematica), un singolo checkpoint di modello base e LoRA applicato solo all'attenzione. Il confronto con DPO è riconosciuto come imperfetto a causa della discrepanza del learning rate, e un'analisi completa della famiglia contrastiva (IPO, KTO, SimPO) è lasciata ai lavori futuri.