Post-Training is About States, Not Tokens: A State Distribution View of SFT, RL, and On-Policy Distillation

Sintesi Tecnica: Post-Training come Modellazione della Distribuzione degli Stati

Enunciato del Problema

Le analisi attuali dei metodi di post-training per i Modelli Linguistici di Grande Dimensione (LLM) — in particolare il Fine-Tuning Supervisionato (SFT), l'Apprendimento per Rinforzo (RL) e la Distillazione — si concentrano principalmente sugli obiettivi di ottimizzazione (ad esempio, massima verosimiglianza, gradienti di politica, divergenza KL). Tuttavia, questa visione incentrata sull'obiettivo fatica a spiegare diversi fenomeni empirici:

• Perché un SFT lieve può migliorare le prestazioni con una minima perdita di conoscenze, mentre un SFT aggressivo ("stress") causa una dimenticanza catastrofica e un degrado delle prestazioni sul compito target.
• Perché il RL, nonostante utilizzi ricompense sparse o rumorose, spesso produce miglioramenti stabili.
• Perché un modello studente nella distillazione può talvolta superare un insegnante degradato, anche quando l'insegnante è l'unica fonte di supervisione.

Il paper sostiene che queste discrepanze derivano dal fatto che le analisi standard trascurano un asse critico di variazione: la distribuzione degli stati su cui viene applicata la supervisione. Nei modelli autoregressivi, uno "stato" è definito come il prompt più il prefisso generato ($s_t = (x, y_{<t})$). Diversi metodi di post-training applicano i loro segnali a distribuzioni di stati fondamentalmente diverse (prefissi di dataset fissi vs. rollout indotti dall'apprendente), il che influisce significativamente sul comportamento del modello, sulla località e sulla ritenzione.

Metodologia

Gli autori propongono un quadro unificato che vede il post-training come modellazione della distribuzione degli stati. Decompongono qualsiasi metodo di post-training in due assi distinti:

1. Fonte dello Stato ($q_k$): Da dove originano i contesti di addestramento (stati).
2. Fonte del Segnale ($S$): Quale supervisione (token, ricompense, logit) viene fornita in quegli stati.

Formulazione Teorica:

• SFT: Adattamento degli stati off-policy. Il modello minimizza la perdita di token sugli stati fissi del dataset ($d_{data}$). Ciò crea un disallineamento se le traiettorie del dataset divergono dai rollout del modello stesso, portando a un bias di esposizione e a potenziale instabilità sotto stress.
• RL: Miglioramento locale on-policy. Il modello campiona traiettorie dalla sua politica corrente ($d_{\pi_\theta}$) e aggiorna in base alle ricompense. Gli aggiornamenti sono naturalmente localizzati agli stati che il modello visita effettivamente.
• Distillazione On-Policy (OPD): Un ibrido in cui lo studente campiona stati ($d_{\pi_S}$) ma l'insegnante fornisce il segnale (logit o continuazioni). Questo disaccoppia la fonte degli stati dalla fonte del segnale, permettendo allo studente di apprendere riparazioni locali senza ereditare la distribuzione delle traiettorie globali dell'insegnante.

Configurazione Sperimentale:

• Modello: Qwen3-0.6B-Base con adattatori LoRA.
• Hardware: Singola GPU RTX 3090.
• Compiti:
  • Target: GSM8K (ragionamento matematico).
  • Ritenzione: TruthfulQA e MMLU (per misurare la dimenticanza catastrofica).
• Metriche: Accuratezza sul target, rapporto di ritenzione, entità della dimenticanza e deriva degli stati (misurata tramite Maximum Mean Discrepancy, MMD, su caratteristiche lessicali degli stati di rollout).

Condizioni Sperimentali:

1. SFT Lieve: Addestramento standard su GSM8K.
2. SFT Stress: Addestramento aggressivo (5 epoche, alto learning rate, alto rank LoRA) per indurre degradazione.
3. OPD: Addestramento di uno studente utilizzando un insegnante degradato ("SFT Stress") come fonte del segnale, ma campionando stati dalla politica dello studente stesso.
4. RL On-Policy: RL leggero che utilizza ricompense esatte basate su risposte relative al gruppo su GSM8K.

Risultati Chiave

1. SFT Dipendente dal Contesto: Lo SFT lieve ha migliorato GSM8K (da 0,448 a 0,512) con una perdita di ritenzione trascurabile. Al contrario, lo SFT stress ha degradato sia il compito target (0,420) sia i compiti di ritenzione (TruthfulQA/MMLU sono scesi significativamente), dimostrando che lo SFT non è intrinsecamente distruttivo ma lo diventa sotto pressione off-policy che disallinea la distribuzione naturale degli stati del modello.
2. OPD Supera gli Insegnanti Degradati: Uno studente addestrato tramite OPD utilizzando il modello "SFT Stress" come insegnante ha superato l'insegnante su tutte le metriche (GSM8K: 0,466 vs 0,420; MMLU: 0,430 vs 0,364). Ciò conferma che gli studenti non ereditano i fallimenti globali delle traiettorie dell'insegnante se vengono addestrati sui propri stati, ricevendo solo una guida condizionale locale.
3. RL Preserva la Località: Il RL on-policy leggero ha migliorato GSM8K (0,472) mantenendo livelli di ritenzione vicini alla base. Ciò supporta la visione secondo cui il RL agisce come una procedura di miglioramento locale fondata sugli stati raggiungibili dall'apprendente.
4. Le Metriche di Deriva sono Insufficienti: Metodi con deriva scalare degli stati quasi identica (MMD) hanno mostrato esiti di ritenzione molto diversi. Ad esempio, SFT Stress e OPD dall'insegnante Stress avevano valori MMD simili (~0,0109) ma rapporti di ritenzione molto diversi (0,82 vs 0,95). Ciò indica che la fonte e la località degli stati di addestramento contano più della sola entità dello spostamento distribuzionale.

Contributi

1. Quadro Unificato: Formulazione di SFT, RL e OPD sotto una comune "visione basata sulla distribuzione degli stati", separando esplicitamente la fonte degli stati dalla fonte del segnale.
2. Pipeline Empirica Controllata: Implementazione di una configurazione sperimentale su singola GPU che misura accuratezza sul target, ritenzione, dimenticanza e deriva degli stati di rollout per isolare gli effetti della distribuzione degli stati.
3. Evidenza per Affermazioni Centrati sugli Stati: Fornitura di prove empiriche che:
   • L'OPD può recuperare le prestazioni e superare un insegnante degradato disaccoppiando il campionamento degli stati dalla generazione del segnale.
   • Il RL on-policy migliora le prestazioni sul target con una minima perdita di ritenzione grazie alla sua località.
   • Le metriche di deriva scalare (come l'MMD) non possono caratterizzare completamente le dinamiche del post-training senza considerare la fonte degli stati.

Significato e Affermazioni

Il paper afferma che il comportamento del post-training è governato dall'interazione tra il segnale di supervisione e la distribuzione degli stati di addestramento. Gli autori sostengono che la "fonte, la località e la dipendenza dall'apprendente degli stati di addestramento" sono critiche quanto la forma del segnale di supervisione stesso.

• Riformulazione dello SFT: La dimenticanza catastrofica non è una funzione esclusiva della massima verosimiglianza, ma sorge quando aggiornamenti densi off-policy spingono il modello in regioni incompatibili con la sua futura distribuzione degli stati.
• Riformulazione della Distillazione: Uno studente può superare un insegnante perché gli errori dell'insegnante sono spesso accoppiati alla propria distribuzione delle traiettorie. Interrogando l'insegnante sugli stati dello studente, quest'ultimo accede a riparazioni locali utili senza ereditare i fallimenti globali delle traiettorie.
• Riformulazione del RL: La stabilità del RL è parzialmente attribuita alla sua natura on-policy, garantendo che gli aggiornamenti vengano applicati solo agli stati che il modello può effettivamente raggiungere e da cui può recuperare.

Il paper conclude che una visione centrata sugli stati è necessaria per spiegare stabilità e inversioni di prestazioni che l'analisi a livello di obiettivo da sola non può giustificare. Gli autori sottolineano che questi risultati si basano su uno studio su piccola scala e dovrebbero essere considerati come evidenza per un'ipotesi meccanicistica piuttosto che come un'affermazione definitiva di benchmark.