Technische Samenvatting: Geometrie van de Gewichtsruimte bij Offline Reasoning Training

Probleemstelling

Offline reinforcement learning (RL) losses—zoals RFT, RIFT, DFT, Offline GRPO en DPO—worden steeds vaker gebruikt om redeneer-capaciteiten van grote teacher-modellen te distilleren naar kleinere student-modellen. Hoewel deze methoden routinematig worden vergeleken op basis van downstream benchmark-nauwkeurigheid, blijft hun mechanistische onderscheidend vermogen onbekend. Specifiek is het onduidelijk of verschillende loss-formuleringen kwalitatief verschillende gewicht-updates produceren of dat ze slechts convergeren naar vergelijkbare richtingen in de gewichtsruimte. Dit onderscheid is cruciaal voor praktici die loss-functies selecteren en voor onderzoekers die interpreteren of "offline RL" één enkel mechanisme vertegenwoordigt of een diverse familie van benaderingen is.

Methodologie

De auteurs voerden een gecontroleerde vergelijking in de gewichtsruimte uit tussen zes offline reasoning training-methoden: SFT (Supervised Fine-Tuning), RFT (Reward Fine-Tuning), DFT (Down-weighted Fine-Tuning), RIFT (Reward-Weighted In-Context Fine-Tuning), Offline GRPO en DPO (Direct Preference Optimization).

Experimentele Opzet:

• Base Model: Qwen3-4B-Instruct.
• Data: Identieke math rollouts gegenereerd door een teacher-model (DeepSeek-V4-Flash) op DeepScaleR prompts (~40k geverifieerde wiskundeproblemen). Alle methoden gebruikten dezelfde data, behalve DPO, die ~1.8K gepaarde (chosen, rejected) samples consumeerde afgeleid van dezelfde rollouts, terwijl anderen ~75K rijen gebruikten.
• Architectuur: LoRA toegepast uitsluitend op attention projecties (q, k, v, o) met rank 32 en $\alpha=64$ over 144 modules.
• Trainingsprotocol: Identieke hyperparameters (batch size 32, cosine schedule, 5% warmup) behalve voor de learning rates. Alle methoden gebruikten een peak learning rate (LR) van $5 \times 10^{-6}$, behalve DPO, die $5 \times 10^{-7}$ gebruikte (een 10$\times$ kleinere LR volgens de standaard conventie). De training liep gedurende 1.500 stappen, met resultaten gerapporteerd bij stap 1.000.
• Analyse Metrieken: De studie analyseerde de resulterende LoRA gewichts-delta's ($\Delta W$) met behulp van:
  1. Cosinus-gelijkenis (globaal en per laag).
  2. Principal-angle subspace analyse (SVD van de top-10 singuliere vectoren).
  3. Lineaire mode connectivity (interpolatie van delta's en meten van cross-entropy op GSM8K).
  4. Centered Kernel Alignment (CKA) van hidden states.

Belangrijkste Bijdragen en Resultaten

1. Convergentie van Reward-Weighted MLE Methoden

De auteurs vonden dat SFT, RFT en RIFT bijna colineaire gewichts-delta's convergeren.

• Geometrie: De cosinus-gelijkenissen tussen deze methoden zijn $\ge 0,97$, met top-1 principal angles rond de $7^\circ$ (mediaan).
• Prestaties: Ze bereiken statistisch ononderscheidbare GSM8K-nauwkeurigheid (87–88%, $p \ge 0,15$ via McNemar's test).
• Implicatie: Het filteren van negatieve samples (RFT) of het gewichten van deze met beloningen (RIFT) verandert de richting van de update ten opzichte van gewone SFT niet; het past primair de stapgrootte aan (Frobenius norm).

2. DFT Divergentie

Ondanks dat DFT een minimale modificatie van SFT is (het down-wegen van zelfverzekerde tokens via een enkele multiplicatieve factor), produceert het een significant meer onderscheidende update dan enige expliciet reward-gewogen methode.

• Geometrie: DFT vertoont een cosinus van $\sim 0,57$ ten opzichte van SFT, wat meer divergeert dan reward-gewogen methoden.
• Prestaties: De nauwkeurigheid blijft vergelijkbaar met SFT/RFT/RIFT, wat suggereert dat de loss-basin gedeeld wordt ondanks de directionele verschuiving.

3. Offline GRPO: Orthogonale Componenten binnen een Basin

Offline GRPO introduceert een substantiële component die orthogonaal is aan de SFT-richting, maar blijft binnen dezelfde loss-basin.

• Geometrie: Het voegt een globaal orthogonale component toe van $\sim 67\%$, oplopend tot $\sim 86\%$ in de latere lagen. De cosinus ten opzichte van de SFT-cluster is $\sim 0,74$.
• Connectivity: Lineaire interpolatie tussen Offline GRPO en SFT/RIFT toont geen barrière, wat aangeeft dat ze dezelfde optimalisatie-basin delen.
• Prestaties: De nauwkeurigheid is vergelijkbaar met SFT/RFT/RIFT (87,3%).

4. DPO: Een Distinct Subspace en Nauwkeurigheidspiek

DPO bezet een bijna orthogonale subspace en bereikt de hoogste nauwkeurigheid in het protocol van deze studie.

• Geometrie: DPO is bijna orthogonaal aan alle andere methoden (cosinus $\le 0,065$ ten opzichte van SFT/RFT/RIFT). Het opereert in een subspace met een hogere effectieve rank (rank $\sim 24,5$ vs. $\sim 16$ voor anderen), maar met een veel kleinere Frobenius norm.
• Connectivity: Lineaire interpolatie tussen DPO en andere methoden onthult een scherpe barrière (niet-monotone toename in loss), wat wijst op verschillende oplossing-basins.
• Representatieve Gelijkenis: CKA stort in tot $\sim 0,46$ in de latere lagen, wat bevestigt dat de interne representaties verschillend zijn.
• Prestaties: DPO bereikt 93,5% op GSM8K en 30,0% op AIME26, waarmee het alle andere methoden significant overtreft ($p < 10^{-9}$ op GSM8K).
• Kanttekening: De auteurs merken op dat de superieure prestaties van DPO verstrengeld zijn met de 10$\times$ kleinere learning rate en het gebruik van ongeveer 40$\times$ minder trainingsrijen. De nauwkeurigheidsgap kan niet puur aan de loss-functie worden toegeschreven zonder een learning-rate-gematchte vergelijking.

5. De Rol van On-Policy Sampling

Een kritische bevinding betreft de vergelijking tussen Offline GRPO en Online GRPO.

• Offline GRPO (getraind op vaste rollouts) blijft deels uitgelijnd met SFT (orthogonale fractie 0,67).
• Online GRPO (getraind op on-policy rollouts) wordt bijna volledig orthogonaal aan SFT (orthogonale fractie 0,998).
• Conclusie: De directionele convergentie die wordt waargenomen tussen SFT en Offline GRPO is deels een artefact van het trainen op dezelfde vaste rollouts. Het vervangen hiervan door on-policy samples verbreekt deze convergentie en duwt de update naar een volledig ander subspace.

Betekenis en Claims

Het artikel betoogt dat het "offline reasoning" landschap niet monolithisch is, maar bestaat uit verschillende geometrische regimes:

1. Reward-Weighted MLE Cluster: SFT, RFT en RIFT zijn mechanistisch vergelijkbaar en verschillen alleen in stapgrootte.
2. Intermediate Shifters: DFT en Offline GRPO verschuiven de richting, maar blijven binnen de SFT loss-basin.
3. Orthogonale Regimes: DPO en On-Policy methoden (zoals Online GRPO) opereren in bijna orthogonale subspaces met verschillende representatieve geometrieën.

De auteurs benadrukken dat hoewel DPO de hoogste nauwkeurigheid bereikt, dit resultaat wordt beïnvloed door de optimizer-instellingen (specifiek de learning rate). Daarom beweert het papier niet dat DPO causaal superieur is vanwege de loss-functie alleen, maar eerder dat het een unieke geometrische ruimte inneemt die, onder het specifieke gebruikte protocol, betere resultaten oplevert. De studie onderstreept dat "offline RL" niet één enkel mechanisme benoemt; eerder bepalen de keuze van de data (fixed vs. on-policy) en de loss-functie gezamenlijk het traject in de gewichtsruimte.

Beperkingen: De studie is beperkt tot één domein (wiskunde), één base model checkpoint en attention-only LoRA. De DPO-vergelijking wordt erkend als imperfect vanwege de discrepantie in de learning rate, en een volledige sweep van de contrastieve familie (IPO, KTO, SimPO) is overgelaten aan toekomstig werk.