Post-Training is About States, Not Tokens: A State Distribution View of SFT, RL, and On-Policy Distillation

Technische Samenvatting: Post-training als Vormgeving van Staatsdistributie

Probleemstelling

Huidige analyses van post-trainingmethoden voor Large Language Models (LLM) – specifiek Supervised Fine-Tuning (SFT), Reinforcement Learning (RL) en Distillatie – richten zich voornamelijk op optimalisatiedoelstellingen (zoals maximum likelihood, policy gradients en KL-divergentie). Deze op doelstellingen gerichte visie heeft echter moeite om verschillende empirische fenomenen te verklaren:

• Waarom milde SFT prestaties kan verbeteren met minimaal vergeten, terwijl agressieve ("stress") SFT leidt tot catastrofaal vergeten en verslechterde doelprestaties.
• Waarom RL, ondanks het gebruik van schaarse of ruisachtige beloningen, vaak stabiele verbeteringen oplevert.
• Waarom een studentmodel bij distillatie soms een gedegradeerde leraar kan overtreffen, zelfs wanneer de leraar de enige supervisiebron is.

Het artikel stelt dat deze discrepanties ontstaan omdat standaardanalyses een kritieke variatie-as over het hoofd zien: de staatsdistributie waarop supervisie wordt toegepast. In autoregressieve modellen wordt een "staat" gedefinieerd als de prompt plus de gegenereerde prefix ($s_t = (x, y_{<t})$). Verschillende post-trainingmethoden passen hun signalen toe op fundamenteel verschillende staatsdistributies (vaste dataset-prefixen versus door de leerling gegenereerde rollouts), wat de modelgedrag, localiteit en retentie aanzienlijk beïnvloedt.

Methodologie

De auteurs stellen een unifyend kader voor dat post-training ziet als vormgeving van staatsdistributie. Ze ontleden elke post-trainingmethode in twee onderscheiden assen:

1. Staatsbron ($q_k$): Waar de trainingscontexten (staten) vandaan komen.
2. Signaalbron ($S$): Welk supervisie (tokens, beloningen, logits) op die staten wordt geboden.

Theoretische Formulering:

• SFT: Off-policy staatanpassing. Het model minimaliseert tokenverlies op vaste datasetstaten ($d_{data}$). Dit creëert een mismatch als datasettrajecten afwijken van de eigen rollouts van het model, wat leidt tot exposure bias en potentiële instabiliteit onder stress.
• RL: On-policy lokale verbetering. Het model steekt trajecten uit zijn huidige beleid ($d_{\pi_\theta}$) en werkt bij op basis van beloningen. Updates zijn van nature gelokaliseerd tot staten die het model daadwerkelijk bezoekt.
• On-Policy Distillatie (OPD): Een hybride waarbij de student staten steekt ($d_{\pi_S}$) maar de leraar het signaal levert (logits of voortzettingen). Dit ontkoppelt de staatsbron van de signaalbron, waardoor de student lokale reparaties kan leren zonder de globale trajectdistributie van de leraar te erven.

Experimentele Opstelling:

• Model: Qwen3-0.6B-Base met LoRA-adapters.
• Hardware: Eén RTX 3090 GPU.
• Taken:
  • Doel: GSM8K (wiskundig redeneren).
  • Retentie: TruthfulQA en MMLU (om catastrofaal vergeten te meten).
• Metrieken: Doelnauwkeurigheid, retentieverhouding, omvang van vergeten en staatafwijking (gemeten via Maximum Mean Discrepancy, MMD, op lexicaal kenmerken van rolloutstaten).

Experimentele Voorwaarden:

1. Milde SFT: Standaard training op GSM8K.
2. Stress SFT: Agressieve training (5 epochen, hoge LR, hoge LoRA-rang) om degradatie te induceren.
3. OPD: Training van een student met een gedegradeerde "Stress SFT"-leraar als signaalbron, maar met staten die worden gestoken vanuit het eigen beleid van de student.
4. On-Policy RL: Lichtgewicht RL met groepsrelatieve exacte-antwoordbeloningen op GSM8K.

Belangrijkste Resultaten

1. SFT is Context-afhankelijk: Milde SFT verbeterde GSM8K (0,448 $\to$ 0,512) met verwaarloosbaar retentieverlies. Omgekeerd degradeerde Stress SFT zowel de doeltaak (0,420) als retentietaken (TruthfulQA/MMLU daalden aanzienlijk), wat aantoont dat SFT niet inherent destructief is, maar dat wordt onder off-policy druk die niet overeenkomt met de natuurlijke staatsdistributie van het model.
2. OPD Overtreft Gedegradeerde Leraren: Een student die via OPD werd getraind met het "Stress SFT"-model als leraar, presteerde op alle metrieken beter dan de leraar (GSM8K: 0,466 versus 0,420; MMLU: 0,430 versus 0,364). Dit bevestigt dat studenten de globale trajectfalen van de leraar niet erven als ze worden getraind op hun eigen staten en slechts lokale conditionele begeleiding ontvangen.
3. RL Behoudt Localiteit: Lichtgewicht on-policy RL verbeterde GSM8K (0,472) terwijl het retentieniveaus dicht bij de basis behield. Dit ondersteunt het idee dat RL werkt als een lokaal verbeteringsproces dat is verankerd in de bereikbare staten van de leerling.
4. Afwijkingsmetrieken zijn ontoereikend: Methoden met bijna identieke scalar staatafwijking (MMD) vertoonden sterk verschillende retentieresultaten. Bijvoorbeeld, Stress SFT en OPD vanuit de Stress-leraar hadden vergelijkbare MMD-waarden (~0,0109) maar zeer verschillende retentieverhoudingen (0,82 versus 0,95). Dit geeft aan dat de bron en localiteit van trainingsstaten belangrijker zijn dan de grootte van de distributieverandering alleen.

Bijdragen

1. Unifyend Kader: SFT, RL en OPD geformuleerd onder een gemeenschappelijk "staatsdistributieperspectief", waarbij de staatsbron expliciet wordt gescheiden van de signaalbron.
2. Gereguleerde Empirische Pijplijn: Implementatie van een experimentele opstelling met één GPU die doelnauwkeurigheid, retentie, vergeten en rollout-staatafwijking meet om de effecten van staatsdistributie te isoleren.
3. Bewijs voor Staatsgerichte Claims: Empirisch bewijs geleverd dat:
   • OPD prestaties kan herstellen en een gedegradeerde leraar kan overtreffen door staatsteek te ontkoppelen van signaalgeneratie.
   • On-policy RL de doelprestatie verbetert met minimaal retentieverlies vanwege zijn localiteit.
   • Scalar afwijkingsmetrieken (zoals MMD) post-trainingdynamiek niet volledig kunnen karakteriseren zonder rekening te houden met de staatsbron.

Betekenis en Claims

Het artikel stelt dat post-traininggedrag wordt bepaald door de interactie tussen het supervisiessignaal en de trainingsstaatsdistributie. De auteurs betogen dat de "bron, localiteit en leerling-afhankelijkheid van trainingsstaten" even kritiek zijn als de vorm van het supervisiessignaal zelf.

• Herformulering van SFT: Catastrofaal vergeten is niet uitsluitend een functie van maximum likelihood, maar ontstaat wanneer dichte off-policy-updates het model in gebieden duwen die onverenigbaar zijn met zijn eigen toekomstige staatsdistributie.
• Herformulering van Distillatie: Een student kan een leraar overtreffen omdat de fouten van de leraar vaak gekoppeld zijn aan de eigen trajectdistributie van de leraar. Door de leraar te bevragen op de staten van de student, krijgt de student nuttige lokale reparaties zonder globale trajectfalen te erven.
• Herformulering van RL: De stabiliteit van RL wordt deels toegeschreven aan zijn on-policy aard, wat ervoor zorgt dat updates alleen worden toegepast op staten die het model daadwerkelijk kan bereiken en waaruit het kan herstellen.

Het artikel concludeert dat een staatsgerichte visie noodzakelijk is om stabiliteit en prestatieomkeringen te verklaren die alleen op doelstellingsniveau niet kunnen worden verklaard. De auteurs benadrukken dat deze bevindingen gebaseerd zijn op een kleinschalige studie en moeten worden gezien als bewijs voor een mechanistische hypothese in plaats van een definitieve benchmarkclaim.