Riepilogo Tecnico: Fine-Tuning Superviso Conservativo della Rotazione (RPSFT)

1. Enunciato del Problema

Il Fine-Tuning Superviso (SFT) è una fase standard di post-addestramento per i Modelli Linguistici di Grande Dimensione (LLM) utilizzata per adattare i modelli a compiti specifici. Tuttavia, lavori precedenti indicano che l'SFT può degradare la generalizzazione Fuori Dominio (OOD), un fenomeno spesso attribuito alla "dimenticanza catastrofica". Studi recenti suggeriscono che tale degradazione è legata a una deriva geometrica nelle matrici di peso pre-addestrate, specificamente alla rotazione eccessiva dei sottospazi singolari dominanti. Queste direzioni dominanti sono associate a strutture ad alta varianza e ad alta curvatura che codificano capacità di scopo generale.

Identificare e preservare direttamente le direzioni sensibili alla perdita utilizzando l'informazione di Hessian o Fisher è computazionalmente proibitivo alla scala degli LLM moderni. Di conseguenza, esiste la necessità di un metodo di regolarizzazione efficiente che limiti la deriva geometrica non necessaria durante l'SFT, mantenendo al contempo la capacità di adattarsi al compito target, migliorando così il compromesso tra le prestazioni in dominio (ID) e la ritenzione OOD.

2. Metodologia: SFT Conservativo della Rotazione (RPSFT)

Gli autori propongono l'SFT Conservativo della Rotazione (RPSFT), una tecnica di regolarizzazione che ancora i sottospazi singolari dominanti delle matrici di peso pre-addestrate.

Meccanismo Principale

L'RPSFT opera sull'ipotesi che i vettori singolari top-$k$ delle matrici di peso pre-addestrate si sovrappongano significativamente alle direzioni sensibili a Fisher (direzioni in cui gli aggiornamenti causano grandi aumenti della perdita OOD). Invece di congelare i parametri o proiettare i gradienti (cosa che può essere rigida o costosa), l'RPSFT aggiunge un termine di penalità alla funzione di perdita standard SFT.

Per una matrice di peso selezionata $W$ con inizializzazione pre-addestrata $W_0$, il metodo precalcola le basi dei vettori singolari destri e sinistri top-$k$, $U^{(k)}_0$ e $V^{(k)}_0$, tramite Decomposizione ai Valori Singolari (SVD). Il termine di regolarizzazione penalizza la variazione del blocco proiettato della matrice di peso all'interno di questa base:

$$\mathcal{L}_{RPSFT} = \mathcal{L}_{SFT} + \lambda \sum_{\ell \in \mathcal{M}} \| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$$

Dove:

• $\mathcal{L}_{SFT}$ è la perdita standard di verosimiglianza negativa.
• $\lambda$ è la forza di regolarizzazione.
• Il termine $\| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$ misura la deriva della matrice di peso all'interno del sottospazio singolare top-$k$.
• $\mathcal{M}$ è l'insieme dei livelli selezionati (tipicamente tutti i livelli nel fine-tuning a parametri completi).

Razionale di Progettazione

• Protezione Parziale: A differenza dell'ancoraggio a rango completo (equivalente alla regolarizzazione $L_2$ attorno ai pesi iniziali), l'RPSFT ancora solo il blocco top-$k$. Le direzioni complementari rimangono libere di adattarsi, permettendo l'apprendimento specifico del compito.
• Efficienza Computazionale: Il metodo richiede il precalcolo e la memorizzazione in cache delle basi singolari ($O((m+n)k + k^2)$ di memoria per livello) e il calcolo del blocco proiettato durante l'addestramento ($O(mnk)$ FLOPs per valutazione). Gli autori notano che ciò aggiunge un sovraccarico minimo rispetto all'SFT standard, specialmente quando la proiezione viene calcolata ogni $s$ passi.
• Giustificazione Teorica: Gli autori analizzano l'espansione del secondo ordine locale della perdita. Sostengono che mentre il termine del primo ordine guida l'adattamento, il termine del secondo ordine (curvatura) guida la dimenticanza. Poiché l'informazione di Fisher (un proxy per la curvatura) è costosa da calcolare, dimostrano empiricamente che i blocchi singolari top dei pesi pre-addestrati catturano una porzione significativa (circa il 20%) dell'energia del gradiente proiettato su Fisher, rendendoli un proxy strutturale valido e a basso costo per le direzioni sensibili alla perdita.

3. Configurazione Sperimentale

Gli autori hanno valutato l'RPSFT su tre famiglie e scale di modelli: Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct e Qwen2.5-3B-Instruct.

• Dati di Addestramento: Il fine-tuning supervisionato è stato eseguito su OpenR1-Math (dati di ragionamento matematico).
• Baseline: I confronti sono stati effettuati contro SFT a parametri completi standard, Fine-Tuning Dinamico (DFT), SFT Ponderato per Importanza (IW) e ancoraggio di inizializzazione $L_2$.
• Valutazione:
  • In-Dominio (ID): Benchmark matematici (AIME, AMC, MATH-500, ecc.).
  • Fuori Dominio (OOD): Benchmark di ragionamento generale, sicurezza e conoscenza (GPQA, MMLU-Pro, TruthfulQA, ecc.).
  • RL a valle: I checkpoint SFT hanno servito come inizializzazioni per il Fine-Tuning con Apprendimento per Rinforzo (RLFT) utilizzando DAPO (una variante di GRPO).

4. Risultati Chiave

Compromesso In-Dominio e Fuori Dominio

• L'RPSFT migliora costantemente il compromesso ID/OOD. Per tutte le dimensioni del modello, l'RPSFT ha ottenuto le prestazioni ID migliori o competitive (Avg@k e Pass@k) riducendo significativamente la dimenticanza OOD rispetto all'SFT standard.
• Confronto con le Baseline: Sebbene DFT e IW mostrassero una certa ritenzione OOD, spesso soffrivano di sottoadattamento sul compito ID. L'RPSFT ha mantenuto una forte adattamento ID preservando meglio le capacità OOD rispetto all'SFT standard. Ad esempio, su Llama-8B, l'RPSFT ha migliorato l'Avg@k OOD del +1,83% rispetto al modello base, mentre l'SFT standard lo ha migliorato del +1,73% ma con minore robustezza in altre metriche.
• Sensibilità al Rango: Gli esperimenti che variavano il rango protetto $k$ hanno mostrato che i ranghi intermedi (ad esempio, $k=768$) offrono il miglior equilibrio. Ranghi eccessivamente grandi (avvicinandosi all'ancoraggio a rango completo) ostacolavano l'adattamento al compito, mentre $k=0$ ricadeva nell'SFT standard.

Prestazioni RL a Valle

• Inizializzazioni più Forti: I checkpoint RPSFT hanno servito come inizializzazioni superiori per l'RLFT a valle. I modelli inizializzati con RPSFT hanno raggiunto prestazioni RL finali più elevate sia sui benchmark ID che OOD rispetto a quelli inizializzati con SFT standard o altre baseline.
• Preservazione delle Capacità: I miglioramenti nella ritenzione OOD nella fase SFT non sono stati annullati dalla successiva fase RL; al contrario, si sono trasferiti, portando a punteggi finali costantemente più alti.

Analisi Geometrica e delle Rappresentazioni

• Ridotta Rotazione: L'analisi della deriva nello spazio dei pesi ha mostrato che l'RPSFT ha ridotto significativamente la rotazione dei sottospazi singolari sinistri dominanti rispetto a SFT standard, DFT e IW.
• Stabilità degli Stati Nascosti: L'RPSFT ha preservato meglio la geometria delle rappresentazioni nascoste. I centroidi degli stati nascosti per i modelli tarati con RPSFT sono rimasti più vicini ai centroidi del modello base attraverso vari benchmark, mentre SFT standard e DFT hanno mostrato derive maggiori. Ciò suggerisce che vincolare la rotazione nello spazio dei pesi si traduce direttamente nella preservazione dello spazio di rappresentazione interno del modello.

5. Significato e Affermazioni

Il documento afferma che l'RPSFT fornisce un regolarizzatore semplice ed efficiente dal punto di vista computazionale che mitiga efficacemente la dimenticanza delle capacità di scopo generale durante il fine-tuning supervisionato.

• Meccanismo: Il lavoro fornisce prove empiriche e teoriche che preservare i sottospazi singolari pre-addestrati dominanti riduce la rotazione geometrica, protegge le rappresentazioni degli stati nascosti e migliora il compromesso dimenticanza-adattamento.
• Praticità: A differenza di metodi che richiedono stime di Hessian o proiezioni di gradienti complesse, l'RPSFT si integra direttamente nelle pipeline standard di SFT a parametri completi senza richiedere dati aggiuntivi o confini di compito.
• Generalità: Il metodo dimostra miglioramenti coerenti attraverso diverse architetture di modelli (Llama e Qwen) e scale (da 3B a 8B parametri).

Gli autori concludono che il controllo della deriva nei sottospazi singolari pre-addestrati è una strategia pratica ed efficace per mantenere la generalizzazione OOD abilitando al contempo un rapido adattamento al compito, offrendo una base più solida per le successive fasi di apprendimento per rinforzo.

6. Limitazioni

Gli autori riconoscono che l'RPSFT applica attualmente una regola di rango protetto uniforme su tutte le matrici di peso. Suggeriscono che lavori futuri potrebbero investigare la regolarizzazione selettiva per livello (ad esempio, concentrandosi sui primi livelli di attenzione self) per ridurre ulteriormente il sovraccarico. Inoltre, gli esperimenti attuali si concentrano su dataset di addestramento matematico e modelli nella gamma 3B–8B; l'estensione a dati non matematici e a scale di modello più grandi è identificata come una direzione per la ricerca futura.