Fora: From Weight-Space to Function-Space Protection in Capability-Preserving Fine-Tuning

Sintesi Tecnica: Fora: Dalla protezione dello spazio dei pesi alla protezione dello spazio delle funzioni nel fine-tuning con preservazione delle capacità

1. Definizione del problema

Il fine-tuning completo di modelli linguistici di grandi dimensioni (LLM) offre un'elevata espressività per l'adattamento a nuovi compiti, ma comporta un rischio significativo: i gradienti non vincolati possono sovrascrivere i percorsi funzionali delle capacità che il modello già possiede. Le strategie di rimedio esistenti — che spaziano dalla regolarizzazione (es. EWC, L2-SP) alla distillazione e alla proiezione del gradiente — proteggono le capacità attraverso dei proxy. Questi proxy includono distanze tra parametri, penalità di importanza, matching degli output o le direzioni singolari dominanti della matrice dei pesi ($V_1$ da SVD).

L'articolo sostiene che questi proxy non riescono a rispondere alla domanda operativa: a quali direzioni di attivazione la capacità preservata dipende realmente? I vettori singolari dominanti di una matrice di pesi pre-addestrata ($W_0$) riassumono dove il peso è grande (un aggregato su tutte le capacità apprese), il che potrebbe non allinearsi con i pattern di attivazione specifici richiesti da una singola capacità (ad esempio, la traduzione potrebbe dipendere da componenti singolari moderate o orientamenti diagonali). Di conseguenza, proteggere $V_1$ spesso vincola un sottospazio disallineato con la capacità, portando a una preservazione subottimale.

2. Metodologia: Fora (Adattamento residuo ortogonale nello spazio delle funzioni)

Il metodo proposto, Fora, inquadra la preservazione delle capacità come protezione dello spazio delle funzioni. Invece di proteggere la geometria della matrice dei pesi, Fora protegge il sottospazio di attivazione indotto dalla capacità stessa.

Meccanismo Core:

1. Proiezione dello Spazio delle Funzioni ($P_Q$):

   • Utilizzando input di calibrazione privi di etichette provenienti dalla capacità preservata ($D_{pres}$), il metodo raccoglie le attivazioni di input per ogni livello.
   • Calcola la covarianza di queste attivazioni ed estrae gli autovettori top-$k$ ($Q$), che rappresentano le direzioni principali della firma funzionale della capacità.
   • Viene formato un proiettore a destra: $P_Q = I - QQ^\top$. Questo proiettore impedisce all'aggiornamento di "leggere" (agire sulle) direzioni funzionali della capacità.

2. Proiezione dello Spazio dei Pesi ($P_U$):

   • Derivato dalla SVD del peso pre-addestrato $W_0 = U\Sigma V^\top$, viene costruito un proiettore a sinistra $P_U = I - U_1U_1^\top$ per bloccare le scritture nelle direzioni di output principali del peso originale.

3. La Regola di Aggiornamento:
   L'aggiornamento a rango completo $\Delta W$ è decomposto in due canali complementari:
   $$\Delta W_{\text{Fora}} = \underbrace{P_U M P_Q}_{\text{Alta capacità, funzione protetta}} + \underbrace{U_2 D_\delta V_2^\top}_{\text{Canale spettrale controllato}}$$

   • Ramo ad Alta Capacità ($P_U M P_Q$): Una matrice densa $M$ che mantiene il pieno potere espressivo per tutte le direzioni, eccetto le direzioni di input della capacità ($P_Q$) e le direzioni di output dominanti del peso ($P_U$).
   • Canale Spettrale ($U_2 D_\delta V_2^\top$): Un canale stretto, a basso grado di libertà, derivato dai valori singolari residui di $W_0$. Fondamentalmente, questo è l'unico componente autorizzato a rispondere agli input nel sottospazio protetto ($\text{span}(Q)$). Ciò fornisce una plasticità calibrata, permettendo aggiustamenti controllati senza congelare interamente la capacità.

4. Estensione a Basso Rango:
   Il metodo si estende al fine-tuning efficiente dei parametri (PEFT) sostituendo la matrice densa $M$ con un prodotto di basso rango $\frac{\alpha}{r} BA$, ottenendo Fora-LR.

3. Contributi Chiave

1. Riformulazione della Preservazione: L'articolo propone che la preservazione delle capacità sia meglio ottenuta proteggendo il sottospazio di attivazione ($Q$) indotto dalla capacità, piuttosto che la geometria singolare della matrice dei pesi ($V_1$).
2. Design Strutturale (Fora): Introduce un aggiornamento a rango completo strutturalmente vincolato che separa protezione e plasticità. Il ramo ad alta capacità è strutturalmente precluso dalla lettura delle direzioni sensibili alla capacità, mentre un canale spettrale dedicato fornisce un adattamento controllato su quelle specifiche direzioni.
3. Insight Meccanicistico: Attraverso ablazioni controllate, l'articolo dimostra che il guadagno di performance deriva specificamente dalla fonte della proiezione (derivata dalla capacità vs derivata dal peso), non semplicemente dall'atto di proiettare.
4. Validazione Empirica: Il metodo è istanziato su Qwen3-1.7B in tre scenari, mostrando una superiorità costante rispetto alla proiezione nello spazio dei pesi e alla regolarizzazione standard.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Qwen3-1.7B utilizzando tre scenari distinti:

• Trans $\to$ COGS: Apprendimento del parsing semantico composizionale preservando la traduzione.
• Trans $\to$ GSM8K: Apprendimento della matematica scolastica preservando la traduzione.
• Math $\to$ Trans: Apprendimento della traduzione preservando il ragionamento matematico.

Risultati Chiave:

• Preservazione Superiore: Fora supera costantemente la proiezione nello spazio dei pesi ($P_V$), la regolarizzazione (EWC, L2-SP) e la distillazione (LwF) nella preservazione della capacità originale.
  • Esempio: In Trans $\to$ COGS, Fora ha mantenuto la perplessità (PPL) della traduzione a 4.39 (vicino al baseline di 4.35), mentre la proiezione nello spazio dei pesi l'ha degradata a 4.86 (peggio del fine-tuning non protetto).
  • Esempio: In Math $\to$ Trans, Fora ha mantenuto l'accuratezza di GSM8K entro 0.86 punti dal baseline, rispetto a un calo di 2.27 punti per il fine-tuning completo.
• Performance sul Nuovo Compito: Fora raggiunge prestazioni competitive o superiori sul nuovo compito. Nell'impostazione Trans $\to$ GSM8K, Fora ha ottenuto l'Exact Match (EM) più alto su GSM8K (46.87%) tra tutti i metodi.
• Insight dalle Ablazioni:
  • Fonte della Proiezione: Sostituire il proiettore a destra da $P_V$ (derivato dal peso) a $P_Q$ (derivato dalla funzione) è stato il fattore decisivo per il miglioramento della preservazione.
  • Canale Spettrale: L'aggiunta del canale spettrale ($\delta$) ha fornito guadagni piccoli ma costanti nelle performance del nuovo compito (es. +0.21 GSM8K EM) senza danneggiare la preservazione, validando il design della "plasticità limitata".
• Generalizzazione a Basso Rango: La variante Fora-LR ha dimostrato che il meccanismo di protezione si trasferisce alle impostazioni efficienti dei parametri, superando le varianti LoRA dello spazio dei pesi (OPLoRA) nelle metriche di preservazione.

5. Significato e Rivendicazioni

L'articolo sostiene che i sottospazi funzionali derivati dall'attivazione siano target più fedeli per la protezione rispetto alle direzioni singolari derivate dai pesi. Spostando il target di protezione dalla geometria della matrice dei pesi alla reale impronta di attivazione della capacità, Fora evita il disallineamento che affligge i metodi esistenti di proiezione nello spazio dei pesi.

Gli autori sottolineano che si tratta di una soluzione strutturale: la protezione è garantita dalla parametrizzazione ($P_U M P_Q$) piuttosto che dipendere dalla traiettoria di ottimizzazione o da specifici stati del gradiente. Sebbene il metodo richieda dati di calibrazione privi di etichette, non richiede la memorizzazione di dati o etichette del compito durante l'addestramento, distinguendosi dagli approcci basati sul replay. L'articolo conclude che la protezione nello spazio delle funzioni offre un modo principato per bilanciare plasticità e stabilità, ottenendo una forte preservazione con un minimo compromesso sull'apprendimento del nuovo compito.