Riassunto Tecnico: L'oblio catastrofico è a basso rango

Definizione del Problema

L'adattamento continuo — l'affinamento di grandi modelli pre-addestrati su nuovi task mantenendo al contempo le prestazioni sui vecchi — è limitato dal oblio catastrofico (catastrophic forgetting). Sebbene le strategie di mitigazione esistenti spazino dalla regolarizzazione dei parametri (EWC, SI), al replay, alla distillazione e alla proiezione del gradiente, il campo manca di una spiegazione meccanicistica su quali direzioni dello spazio di output siano vulnerabili alla deriva. Il precedente lavoro teorico (es. Doan et al., 2021; Bennani et al., 2020) ha stabilito limiti scalari sull'entità dell'oblio basandosi sull'allineamento dei task, ma non è riuscito a identificare la specifica struttura dello spazio degli autovettori del vettore di oblio, né a spiegare perché certe direzioni di output derivino mentre altre rimangano stabili.

Metodologia: Teoria dello Spazio delle Funzioni nel regime NTK

Il documento inquadra l'oblio catastrofico come interferenza a basso rango nello spazio delle funzioni all'interno del regime del Neural Tangent Kernel (NTK). Il nucleo del quadro teorico si basa sull'analisi dello spostamento nelle predizioni per un task precedente (Task A) indotto dall'addestramento su un nuovo task (Task B).

1. Il Predittore dell'Oblio

Gli autori derivano un predittore in forma chiusa per il vettore di oblio $\Delta f_A$ (lo spostamento nelle predizioni del Task A) prima che venga compiuto qualsiasi passo di gradiente per il nuovo task. Sotto la linearizzazione NTK attorno ai parametri $\theta_A$ del vecchio task, e assumendo che l'addestramento del Task B converga a un minimizzatore di una perdita MSE regolarizzata, il vettore di oblio è dato da:

$$\Delta f_A = -K_{AB} (K_{BB} + \lambda I)^{-1} r_B$$

Dove:

• $K_{AB} = J_A J_B^\top$ è il kernel cross-task (interazione tra i Jacobian del Task A e del Task B).
• $K_{BB} = J_B J_B^\top$ è il kernel del Task B.
• $r_B = f_B(\theta_A) - y_B$ è il residuo del Task B all'inizio dell'addestramento.
• Il predittore è esatto (fino alla precisione numerica) nel regime di un backbone congelato con un testa lineare addestrabile (lineare nei parametri). Per gli adapter non lineari o per il fine-tuning completo, funge da approssimazione locale NTK.

2. Caratterizzazione Strutturale

Il predittore rivela che l'oblio non è uniforme ma si concentra in un sottospazio a basso rango dello spazio di output:

• Concentrazione a basso rango: Il vettore di oblio giace nell'immagine del Jacobian del Task A ($Im(J_A)$). Quando espanso nella base degli autovettori del kernel del Task A ($K_{AA}$), l'energia del vettore di oblio si concentra in un piccolo numero di modi superiori (1–6 modi trasportano il 50–90% dell'energia su benchmark standard).
• Regola di Scalatura di Kronecker: Per una mappa di feature congelata $\phi(x)$ e un testa lineare addestrabile $W \in \mathbb{R}^{C \times F}$, il kernel $K_{AA}$ ammette una fattorizzazione di Kronecker esatta $K_{AA} = I_C \otimes G$, dove $G$ è la matrice di Gram delle feature. Ciò implica che la dimensione del sottospazio vulnerabile scala come:
  $$k^\star \approx C \cdot k_G$$
  dove $C$ è il numero di classi di output e $k_G$ è il rango effettivo della matrice di Gram delle feature.

3. Soluzione Proposta: Regolarizzazione Spettrale

Sulla base della teoria secondo cui l'oblio è concentrato in un sottospazio specifico a bassa dimensione, gli autori propongono la Regolarizzazione Spettrale. Invece di penalizzare la deriva attraverso tutti i parametri o tutte le direzioni di output (come in EWC o LwF), questo metodo penalizza esplicitamente la deriva solo lungo i top-$k$ autovettori del kernel del vecchio task. Ciò concede piena plasticità al sottospazio complementare proteggendo al contempo le direzioni vulnerabili.

Contributi Chiave

1. Predittore dell'Oblio in Forma Chiusa: Una formula (Proposizione 1) che predice la direzione e l'entità del vettore di oblio utilizzando solo quantità pre-addestramento. La validazione empirica mostra una similarità del coseno > 0.99 con gli spostamenti reali su backbone transformer e ResNet sotto adattamento con testa congelata.
2. Caratterizzazione Strutturale della Vulnerabilità: L'identificazione del fatto che l'oblio si concentra in un manipolo di modi autovettorali NTK. Il documento fornisce una fattorizzazione di Kronecker esatta per i testa lineari con backbone congelato, stabilendo una regola di scalatura ($k^\star \approx C \cdot k_G$) che collega il numero di output e il rango delle feature alla dimensione del sottospazio vulnerabile.
3. Lente Diagnostica per il Design dei Metodi: La teoria spiega perché i regolarizzatori nello spazio dei parametri (come EWC) falliscono su benchmark con testa condivisa: essi vincolano la deriva dei parametri ma non si allineano con i specifici modi autovettoriali dello spazio di output dove avviene l'interferenza. Al contrario, spiega perché i metodi ampi nello spazio delle funzioni (come LwF) abbiano successo ma possano essere inefficienti, poiché penalizzano le direzioni non vulnerabili.

Risultati Sperimentali

Il documento valuta la teoria e la proposta di Regolarizzazione Spettrale su Split-MNIST, Split-CIFAR-10 e Split-CIFAR-100 (regime di testa lineare con backbone congelato).

• Fallimento dei Metodi nello Spazio dei Parametri: Su benchmark con testa condivisa, i metodi nello spazio dei parametri (EWC, SI) non performano meglio della mancanza di regolarizzazione, confermando che la vulnerabilità risiede nello spazio di output, non nello spazio dei parametri.
• Protezione Mirata vs. Ampia:
  • Split-MNIST: La regolarizzazione spettrale raggiunge un rapporto di deriva (Altro/Vulnerabile) di 75:1, il che significa che sopprime quasi interamente la deriva vulnerabile lasciando la deriva degli altri elementi non vincolata. Al contrario, i baseline come EWC e LwF mostrano rapporti vicini a 0.5:1 o 0.8:1, indicando una soppressione uniforme o una mancanza di precisione.
  • Split-CIFAR-100: Quando il numero di output $C$ è grande (100), la dimensione del sottospazio vulnerabile $k^\star$ cresce. In queste condizioni, la penalità "ampia" di LwF si sovrappone naturalmente in modo significativo al sottospazio vulnerabile, causando la convergenza delle prestazioni tra la Regolarizzazione Spettrale e LwF (circa 40% di accuratezza).
• Precisione: Il predittore raggiunge un'accuratezza di precisione macchina ($1 - \cos \text{sim} \approx 10^{-6}$) su backbone ViT e DINOv2 con teste lineari congelate.

Significato e Rivendicazioni

Il documento sostiene di fornire un account meccanicistico dell'oblio catastrofico, andando oltre i limiti scalari verso una comprensione strutturale del vettore di oblio.

• Riformulazione: L'oblio è identificato come interferenza a basso rango nello spazio delle funzioni, guidata dal kernel cross-task che agisce sul residuo del nuovo task.
• Spiegazione del Fallimento: Il lavoro chiarisce perché i regolarizzatori nello spazio dei parametri (come EWC) falliscano su task con testa condivisa: non possono proteggere selettivamente i specifici modi autovettoriali dello spazio di output dove si concentra l'interferenza.
• Euristica di Design: La regola di scalatura derivata ($k^\star \approx C \cdot k_G$) offre un modo principato per calibrare i regolarizzatori spettrali. Spiega la convergenza dei metodi mirati e di quelli ampi all'aumentare della dimensione dell'output.
• Ambito: Gli autori sono modesti riguardo l'applicabilità, notando che il predittore è esatto per le teste lineari su backbone congelati e un'approssimazione locale per gli adapter non lineari. Riconoscono i limiti riguardanti il fine-tuning completo di backbone profondi, le perdite di cross-entropy (che rompono il rigoroso disaccoppiamento a blocchi) e le lunghe sequenze di task dove l'errore può accumularsi.

Il documento conclude che, sebbene non proponga una nuova architettura PEFT, offre una base teorica e uno strumento diagnostico (Regolarizzazione Spettrale) che allinea la regolarizzazione con la reale geometria dell'oblio.