Riepilogo Tecnico: SAE-FD per l'Apprendimento Continuo di Modelli Linguistici di Grande Dimensione

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) affrontano la sfida dell'oblio catastrofico quando si adattano sequenzialmente a più compiti. I metodi esistenti di apprendimento continuo (CL) operano tipicamente in spazi di rappresentazione densi (spazi dei pesi, dei gradienti o delle uscite). Una limitazione fondamentale di questi approcci è la sovrapposizione delle caratteristiche (feature superposition), in cui più concetti sono codificati in dimensioni sovrapposte all'interno dello spazio di attivazione denso. Questo intreccio rende difficile proteggere selettivamente le conoscenze apprese in precedenza senza vincolare involontariamente l'apprendimento di nuovi compiti, portando a un compromesso plasticità-stabilità subottimale.

Metodologia: SAE-FD

Gli autori propongono SAE-FD (Distillazione delle Caratteristiche tramite Autoencoder Sparsi), un metodo che ancorà le rappresentazioni del modello nello spazio delle caratteristiche sparse di un Autoencoder Spars (SAE) pre-addestrato. Decomponendo le attivazioni dense in una base sparsa e sovracompleta, SAE-FD mira a disintrecciare le rappresentazioni sovrapposte, consentendo una regolarizzazione più mirata.

Il metodo opera come una pipeline a tre fasi:

1. Addestramento SAE (Fase 1)

Prima dell'inizio della sequenza di apprendimento continuo, viene addestrato un Gated SAE su attivazioni testuali diversificate provenienti dal modello base.

• Input: Attivazioni MLP dell'ultimo strato ($h \in \mathbb{R}^d$) da fonti diversificate (classificazione, QA, benchmark di conoscenza).
• Architettura: Il Gated SAE separa la codifica in un percorso di gating ($g$) e un percorso di magnitudine ($m$), producendo caratteristiche pre-ReLU ($f_{pre}$) e caratteristiche post-ReLU ($f$).
• Obiettivo: Minimizzare la perdita di ricostruzione ($\|\hat{h} - h\|_2^2$) e una penalità di sparsità L1 ($\lambda_{\ell1}\|f\|_1$).
• Risultato: Un SAE congelato che scompone le attivazioni dense in caratteristiche sparse ($D \gg d$), disintrecciando efficacemente i concetti.

2. Addestramento del Compito e Acquisizione di Ancore (Fase 2)

Per ogni compito $t$ nella sequenza:

• Fine-tuning: Il modello viene affinato utilizzando LoRA con l'obiettivo standard di modellazione linguistica.
• Acquisizione di Ancore: Dopo l'addestramento su un compito, il modello esegue un passaggio in avanti su un piccolo insieme di campioni di ancoraggio ($N_a$). Le uscite MLP per token ($H_i$) vengono estratte e memorizzate.
• Buffer: Questi ancoraggi si accumulano attraverso i compiti. Durante l'addestramento successivo, un batch viene campionato in modo uniforme dal buffer per calcolare la perdita di distillazione, ammortizzando il costo su tutti i compiti precedenti.

3. Distillazione delle Caratteristiche Consapevole della Sparsità (Fase 3)

Durante l'addestramento di un nuovo compito ($t+1$), il modello viene regolarizzato confrontando le sue rappresentazioni correnti con gli ancoraggi memorizzati, entrambi codificati attraverso il SAE congelato. La perdita di distillazione ($L_{FD}$) è composta da due termini complementari:

• Perdita di Direzione Cosine ($L_{cos}$): Penalizza la deviazione angolare tra il vettore di caratteristiche pre-ReLU corrente e il vettore di caratteristiche di ancoraggio. Ciò preserva la direzione globale della rappresentazione.
• Perdita di Magnitudine Attiva ($L_{mag}$): Applica l'Errore Quadratico Medio (MSE) solo sulle caratteristiche che erano attive (post-ReLU $> 0$) nell'ancoraggio. Ciò vincola la magnitudine delle caratteristiche che contribuiscono ai compiti precedenti, lasciando le caratteristiche inattive libere di essere reclutate per nuovi compiti.

Meccanismo Adattivo di $\lambda$

Per bilanciare l'apprendimento del compito e la regolarizzazione, gli autori introducono un meccanismo adattivo per il coefficiente di ponderazione $\lambda$ nella perdita totale $L = L_{task} + \lambda \cdot L_{FD}$.

• Invece di un $\lambda$ fisso, il sistema mira a un rapporto di contributo fisso $\rho$ della perdita di distillazione sulla perdita totale.
• $\lambda$ viene aggiornato tramite media mobile esponenziale (EMA) per soddisfare $\rho = \frac{\lambda L_{FD}}{\lambda L_{FD} + L_{task}}$.
• Comportamento: $\lambda$ inizia alto quando inizia un nuovo compito (quando $L_{task}$ è grande e il rischio di oblio è elevato) e si rilassa man mano che il modello converge, prevenendo vincoli eccessivi durante il fine-tuning.

Contributi Chiave

1. Framework SAE-FD: Il primo metodo di apprendimento continuo che esegue la regolarizzazione nello spazio delle caratteristiche sparse e disaccoppiato degli SAE, affrontando il problema della sovrapposizione delle caratteristiche intrinseco negli spazi densi.
2. Funzione di Perdita di Distillazione Consapevole della Sparsità: Una nuova funzione di perdita che combina la preservazione della direzione cosinica con la corrispondenza selettiva della magnitudine sulle caratteristiche attive, sfruttando la sparsità delle rappresentazioni SAE per minimizzare l'interferenza con i nuovi compiti.
3. Regolarizzazione Adattiva: Un meccanismo adattivo di $\lambda$ che regola dinamicamente la forza della regolarizzazione in base alla magnitudine relativa delle perdite del compito e di distillazione, garantendo una forte protezione durante i periodi ad alto rischio senza ostacolare la convergenza.

Risultati Sperimentali

Gli autori hanno valutato SAE-FD su due benchmark attraverso tre architetture di modello (LLaMA-2-7B, Vicuna-7B, Mistral-7B).

• Benchmark TRACE (8 Compiti Eterogenei):
  • Su LLaMA-2-7B, SAE-FD ha raggiunto una Precisione Media (AA) del 52,70% con solo −0,46% di Trasferimento Inverso (BWT).
  • Questo supera la baseline basata sulla regolarizzazione più forte pubblicata (GORP) di +2,3% AA e riduce l'oblio del 34% (−0,46 vs −0,70 BWT).
  • Supera significativamente altri metodi basati su LoRA (EWC, O-LoRA, TreeLoRA), che hanno mostrato un BWT peggiore di −3%.
• Generalizzazione:
  • SAE-FD ha costantemente ottenuto la migliore AA e BWT su tutte e tre le famiglie di modelli.
  • Su Vicuna-7B, ha superato O-LoRA del +10,1% AA e ha ottenuto il miglior BWT (−0,69%) tra tutti i metodi, inclusi i baseline di fine-tuning completo.
• Studi di Ablazione:
  • Componenti della Perdita: Sia la perdita di direzione cosinica che quella di magnitudine attiva sono necessarie; l'uso di una sola ha portato a una AA inferiore o a un oblio maggiore.
  • $\lambda$ Adattivo: Sostituire il meccanismo adattivo con un $\lambda$ fisso di 1,0 ha degradato il BWT da −0,46% a −2,38%.
  • SAE vs MSE Grezzo: La distillazione nello spazio delle caratteristiche SAE ha superato la distillazione MSE grezza sulle attivazioni dense, confermando il beneficio dello spazio disaccoppiato.
• Efficienza: Il sovraccarico computazionale è circa 1,85 volte quello di SeqLoRA, con un costo costante per passo indipendentemente dal numero di compiti precedenti. L'archiviazione richiede circa 0,8 GB per compito per le attivazioni di ancoraggio.

Significato e Affermazioni

Il paper afferma che SAE-FD collega con successo l'interpretabilità meccanicistica (tramite SAE) con l'apprendimento continuo. Sfruttando le rappresentazioni sparse e disintrecciate originariamente sviluppate per la comprensione delle reti neurali, il metodo fornisce un pregiudizio induttivo efficace per il loro controllo.

Gli autori affermano che operare in uno spazio di caratteristiche sparse consente una preservazione più mirata della conoscenza, risolvendo il problema della "sovrapposizione delle caratteristiche" che affligge la regolarizzazione negli spazi densi. Il metodo raggiunge un compromesso plasticità-stabilità superiore, permettendo agli LLM di adattarsi a compiti in evoluzione senza riaddestramento da zero, mantenendo al contempo alte prestazioni sui compiti appresi in precedenza.

Limitazioni notate dagli autori:

• Richiede un costo di addestramento una tantum per un SAE specifico del modello.
• I requisiti di archiviazione per le attivazioni di ancoraggio crescono linearmente con il numero di compiti (sebbene comprimibili).
• Gli esperimenti sono stati condotti su un ordine fisso dei compiti per il benchmark TRACE, sebbene la coerenza multi-modello suggerisca robustezza.
• I confronti con alcune baseline devono essere interpretati con cautela a causa delle differenze nelle impostazioni sperimentali (ad es. fine-tuning completo vs LoRA, conteggi delle epoche).