FGGM: Fisher-Guided Gradient Masking for Continual Learning

Sintesi Tecnica: Fisher-Guided Gradient Masking (FGGM) per il Continual Learning

1. Definizione del Problema

Il documento affronta il problema dell'oblio catastrofico (catastrophic forgetting) nei Large Language Models (LLM) durante il Continual Learning (CL). Mentre gli LLM vengono adattati a un flusso di nuovi task, tendono ad sovrascrivere bruscamente i parametri critici per i task appresi precedentemente, portando a una perdita della conoscenza pregressa.

Le strategie di mitigazione esistenti presentano limitazioni significative:

• I metodi basati sul replay (Replay-based methods) richiedono la conservazione o la generazione di dati storici, sollevando preoccupazioni relative alla privacy e alla scalabilità.
• I metodi di congelamento dei parametri (Parameter-freezing methods) (es. LoRA, Prompt Tuning) spesso congelano i parametri base, potenzialmente limitando le prestazioni sui task a valle.
• I metodi basati sulla regolarizzazione (Regularization-based methods) come EWC si affidano a dati storici, mentre altri come l'Orthogonal Gradient Descent (OGD) impongono costi di memoria proibitivi per il fine-tuning completo degli LLM.
• MIGU, un recente metodo senza replay, seleziona i parametri in base alle magnitudo empiriche dell'output, ma manca di un fondamento teorico per stimare l'importanza dei parametri.

2. Metodologia: Framework FGGM

Gli autori propongono il Fisher-Guided Gradient Masking (FGGM), un framework che mitiga l'oblio catastrofico selezionando strategicamente i parametri da aggiornare utilizzando la Fisher Information diagonale, senza richiedere l'accesso ai dati storici. Il framework opera in due fasi:

A. Inizializzazione della Maschera Fisher-Guided
Per un nuovo task $T_t$, FGGM stima gli elementi diagonali della Matrice di Informazione di Fisher (FIM) utilizzando i dati del nuovo task. La voce diagonale della FIM $\hat{F}^{(t)}_i$ quantifica l'importanza del parametro $\theta_i$ misurando il quadrato del gradiente della log-likelihood:
$$\hat{F}^{(t)}_i = \frac{1}{M_t} \sum_{j=1}^{M_t} \left( \frac{\partial \log p(y_j|x_j, \theta)}{\partial \theta_i} \right)^2$$
Per gestire la distribuzione non stazionaria dell'importanza dei parametri attraverso i layer, FGGM impiega un soglia adattiva (adaptive thresholding). Viene generata una maschera binaria $M^{(t)}$ in cui un parametro viene mantenuto (valore 1) se il suo punteggio Fisher supera il $(1-\alpha)$-esimo quantile dei valori Fisher empirici, e mascherato (valore 0) altrimenti.

B. Normalizzazione della Maschera tramite Aggregazione della Dimensione di Input (IA)
Un'innovazione chiave è la normalizzazione delle maschere basata sull'architettura della rete neurale. Per i layer completamente connessi con matrice di peso $W \in \mathbb{R}^{D_{out} \times D_{in}}$, i punteggi Fisher sono aggregati lungo la dimensione di input per ogni neurone di output:
$$\hat{F}^{(t)}_r = \sum_{c=1}^{D_{in}} \hat{F}^{(t)}_{r,c}$$
Questa strategia preserva l'integrità funzionale dei neuroni di output come unità computazionali atomiche. Il documento sostiene che l'aggregazione attraverso gli input (IA) sia superiore all'aggregazione attraverso gli output (OA) perché impedisce la dispersione dei segnali di sensibilità specifici per i feature e mantiene confini di task distinti, mentre l'OA può sfumare le distinzioni tra i task e aumentare l'oblio.

C. Proiezione del Gradiente
Durante la backpropagation, i gradienti grezzi $g^{(t)}$ vengono moltiplicati elemento per elemento per la maschera binaria $M^{(t)}$:
$$\tilde{g}^{(t)} = g^{(t)} \odot M^{(t)}$$
Ciò restringe gli aggiornamenti solo ai parametri critici identificati dall'informazione di Fisher, congelando efficacemente le regioni non critiche dello spazio dei parametri.

3. Contributi Chiave

1. Framework Innovativo: Introduzione di FGGM, un metodo senza replay per il continual learning degli LLM che si basa sulla Fisher Information, teoricamente fondata, anziché su osservazioni empiriche della magnitudo.
2. Stima dell'Importanza Teorica: Un meccanismo che misura direttamente la rilevanza parametro-task tramite la Fisher Information, consentendo un gating dinamico del gradiente per bilanciare plasticità (acquisizione di nuove capacità) e stabilità (ritenzione della conoscenza preesistente).
3. Normalizzazione Architetturale: La proposta di Aggregazione della Dimensione di Input (IA) per allineare la generazione della maschera con la struttura funzionale dei layer feedforward, garantendo una selezione robusta dei parametri.
4. Validazione Empirica: Dimostrazione che FGGM supera i baseline allo stato dell'arte, incluso MIGU, su benchmark standard senza compromettere l'adattabilità del modello.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark TRACE (che copre capacità generali e diversi task downstream) e su task di generazione di codice (HumanEval/BBH) utilizzando modelli Qwen2 (scale 1.5B e 7B).

• Capacità Generali (Stabilità): Sul metrica aggregata General (MMLU, BBH, TyDiQA, ecc.), FGGM ha raggiunto 55.75, superando MIGU (55.21) e superando significativamente SFT (50.89) e LoRA (49.48). Notevolmente, FGGM ha superato i metodi basati sul replay (REP, EWC) sulle metriche General nonostante non acceda ai dati storici, evidenziando i vantaggi di privacy e scalabilità dell'approccio.
• Performance Complessiva TRACE (Plasticità): FGGM ha ottenuto 46.00 su TRACE-OP, mostrando un miglioramento relativo del 4.4% rispetto a MIGU (44.08) e un miglioramento relativo del 9.6% rispetto a SFT (49.22) nel mantenere le capacità generali mentre apprende nuovi task.
• Generazione di Codice: Negli esperimenti sul benchmark HumanEval, FGGM ha costantemente ottenuto un'accuratezza superiore in tutte le metriche di valutazione rispetto a SFT e MIGU, dimostrando simultaneamente un ridotto oblio sul benchmark BBH.
• Scalabilità: Il divario di performance tra FGGM e MIGU si è ampliato all'aumentare della dimensione del modello da 1.5B a 7B, indicando la superiore scalabilità di FGGM.
• Studi di Ablazione:
  • Aggregazione della Dimensione: La rimozione dell'Aggregazione della Dimensione di Input (senza IA) ha ridotto la performance General da 55.75 a 54.85. L'applicazione dell'Aggregazione della Dimensione di Output (OA) ha causato un calo più severo (53.16), confermando la necessità di IA per preservare le sensibilità specifiche del task.
  • Tasso di Mascheramento ($\alpha$): È stato osservato un compromesso in cui un $\alpha$ più piccolo (più aggiornamenti) aumentava la plasticità (TRACE-OP) ma diminuiva la stabilità (General). Gli autori hanno impostato $\alpha=0.7$ per un confronto equo con MIGU.

5. Significato e Rivendicazioni

Il documento afferma che FGGM stabilisce una soluzione efficace per il continual learning negli LLM offrendo un approccio matematicamente fondato alla stima dell'importanza dei parametri. A differenza dei metodi basati sulla magnitudo come MIGU, FGGM utilizza la Fisher Information per quantificare il contributo dei parametri alla perdita del task.

Gli autori sottolineano che FGGM raggiunge un equilibrio dinamico tra stabilità e plasticità senza la necessità di dati storici, affrontando i colli di bottiglia di privacy e scalabilità dei metodi basati sul replay. I risultati suggeriscono che le strategie di gradient masking basate su principi sono uno strumento versatile ed efficace per mantenere le prestazioni degli LLM nel tempo, particolarmente in scenari in cui i dati storici sono non disponibili o limitati. Il documento conclude che FGGM rappresenta un approccio allo stato dell'arte per la stabilità tra i metodi che non accedono ai dati dei task precedenti.