Proximal Supervised Fine-Tuning

1. Il Problema

Il Supervised Fine-Tuning (SFT) è una fase cruciale nel post-training dei modelli linguistici di base (Foundation Models), spesso utilizzata per allineare i modelli a compiti specifici o per distillare le capacità di ragionamento apprese tramite Reinforcement Learning (RL). Tuttavia, l'SFT standard presenta due limiti fondamentali:

• Scarsa Generalizzazione: L'SFT tende a comportarsi come un "cloning comportamentale" (behavior cloning). Se il dataset di fine-tuning è subottimale o non allineato con la distribuzione dei dati pre-addestrati, il modello può dimenticare le capacità generali (catastrophic forgetting) e mostrare prestazioni inferiori su compiti fuori dominio (out-of-domain).
• Collasso dell'Entropia: L'SFT standard porta spesso a un rapido collasso dell'entropia della distribuzione di output. Il modello diventa eccessivamente sicuro e deterministico, riducendo la diversità delle risposte. Questo limita la capacità di esplorazione necessaria per le fasi successive di ottimizzazione tramite RL (come PPO o GRPO), rendendo il modello meno adattabile.

2. Metodologia: Proximal Supervised Fine-Tuning (PSFT)

Gli autori propongono PSFT, un nuovo obiettivo di ottimizzazione che integra i principi del Trust Region (tipici del RL) nel contesto supervisionato.

• Ispirazione Teorica: Il metodo si ispira a TRPO (Trust Region Policy Optimization) e PPO (Proximal Policy Optimization). Gli autori riformulano l'SFT come un caso speciale di Policy Gradient dove i vantaggi (advantages) sono costanti e positivi (pari a 1 per i token corretti).
• Obiettivo Clipped: PSFT introduce un obiettivo surrogate "clipped" (troncato) simile a quello di PPO, ma applicato a un dataset offline. La funzione di perdita è definita come:
  $$L_{PSFT}(\theta) = \mathbb{E}_{(s_t, a_t) \sim D} \left[ \min \left( r_t(\theta), \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \right) \right]$$
  Dove $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ è il rapporto tra la nuova politica e quella vecchia.
• Meccanismo di Vincolo: Il meccanismo di clipping impedisce che il rapporto di probabilità superi un intervallo definito da $\epsilon$ (tipicamente 0.28). Questo crea una "regione di fiducia" morbida che limita gli aggiornamenti eccessivi della politica, prevenendo cambiamenti drastici nella distribuzione dei token.
• Aggiornamento Dinamico: A differenza di alcuni approcci che fissano una politica di riferimento statica, PSFT aggiorna dinamicamente la politica vecchia ($\pi_{\theta_{old}}$) durante l'addestramento, permettendo un apprendimento graduale e stabile dal dataset.
• Fase di Warm-up: Viene introdotta una fase iniziale di SFT standard per allineare la politica iniziale alla distribuzione del dataset prima di attivare il meccanismo di clipping di PSFT, mitigando potenziali bias iniziali.

3. Contributi Chiave

1. Nuovo Paradigma di Ottimizzazione: PSFT è il primo metodo a trasferire esplicitamente i benefici delle regioni di fiducia (trust regions) dall'RL all'SFT supervisionato, utilizzando un obiettivo clipped per regolare gli aggiornamenti.
2. Prevenzione del Collasso dell'Entropia: Il metodo dimostra di mantenere un'entropia stabile durante l'addestramento, evitando la sovracconfidenza tipica dell'SFT standard e preservando la diversità delle risposte.
3. Fondazione per l'RL: PSFT crea un punto di partenza ("cold start") superiore per le fasi successive di RL. Mantenendo un'entropia più alta e capacità generali intatte, permette alle fasi RL di esplorare più efficacemente e ottenere guadagni maggiori rispetto a modelli addestrati con SFT standard.
4. Validazione Estensiva: Il metodo è stato testato su modelli di diverse dimensioni (Qwen, Llama), domini (matematica, allineamento umano, visione artificiale) e metriche, dimostrando robustezza e generalità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su task di ragionamento matematico, allineamento ai valori umani e modelli visione-linguaggio (VLM).

• Prestazioni In-Domain: PSFT raggiunge prestazioni paragonabili o superiori all'SFT standard sui task specifici di addestramento (es. AIME, MATH-500), specialmente quando combinato con una fase di warm-up.
• Generalizzazione Out-of-Domain: PSFT supera significativamente l'SFT standard su task fuori dominio (es. GPQA, ARC-C, TruthfulQA). Mentre l'SFT standard spesso degrada le capacità generali, PSFT le preserva o le migliora leggermente.
• Stabilità e Entropia: Le curve di entropia mostrano che PSFT evita il collasso osservato nell'SFT standard. Questo permette un addestramento a lungo termine senza perdita di diversità.
• Impatto sulle Fasi RL: Quando i modelli PSFT vengono utilizzati come base per il RL (es. GRPO o DPO), mostrano un miglioramento più rapido e raggiungono prestazioni finali superiori rispetto ai modelli basati su SFT standard. In particolare, nei task di allineamento umano, PSFT riduce il "tax di allineamento" (il degrado delle capacità generali dovuto all'allineamento).
• Modelli Multimodali: L'applicazione di PSFT ai VLM (Vision Language Models) dimostra che è possibile iniettare capacità di ragionamento testuale a lungo (Long CoT) senza distruggere la comprensione visiva o le capacità generali del modello.

5. Significato e Implicazioni

Il lavoro di PSFT è significativo perché colma il divario teorico e pratico tra SFT e RL. Dimostra che i principi di stabilità e limitazione degli aggiornamenti derivanti dal RL possono essere applicati direttamente alla fase supervisionata per ottenere modelli più robusti.

• Alternativa all'SFT Standard: PSFT si propone come un'alternativa superiore all'SFT convenzionale, offrendo un miglior compromesso tra specializzazione su un task e mantenimento delle capacità generali.
• Efficienza del Post-Training: Fornendo un punto di partenza migliore per l'RL, PSFT riduce la necessità di esplorazione complessa nelle fasi successive, rendendo l'intero processo di post-training più efficiente e stabile.
• Scalabilità: La metodologia è semplice da implementare (richiede modifiche minime ai framework RL esistenti) e si è dimostrata efficace su modelli di diverse scale, suggerendo un potenziale ampio per l'industria e la ricerca sui LLM.

In sintesi, Proximal Supervised Fine-Tuning rappresenta un passo avanti fondamentale per la stabilizzazione del fine-tuning supervisionato, trasformandolo da un processo di semplice memorizzazione a un'ottimizzazione controllata che preserva l'intelligenza generale del modello.