Soft-TransFormers for Continual Learning

1. Enunciato del Problema

L'Apprendimento Continuo (CL) mira ad addestrare modelli su una sequenza di compiti nel tempo senza dimenticare le conoscenze apprese in precedenza. Una sfida maggiore nel CL è la Dimenticanza Catastrofica (CF), in cui gli aggiornamenti per nuovi compiti sovrascrivono i parametri essenziali per i compiti vecchi.

Sebbene l'Apprendimento Continuo basato su Prompt (ad es. L2P, DualPrompt) sia emerso come una soluzione efficiente in termini di parametri congelando il backbone e apprendendo prompt leggeri, incontra limitazioni significative:

• Espressività Limitata: I prompt modificano le rappresentazioni solo implicitamente attraverso la condizionamento dell'input, mancando del controllo fine-granularità tipico del fine-tuning completo.
• Problemi di Scalabilità: La gestione di grandi pool di prompt diventa ingombrante all'aumentare del numero di compiti.
• Interferenza tra Compiti: I prompt faticano a catturare le variazioni in sequenze di compiti altamente eterogenee o non correlate.

I metodi esistenti di Fine-Tuning Efficiente in Parametri (PEFT) come Adapters e LoRA offrono una migliore adattabilità ma spesso accumulano moduli specifici per compito o soffrono di interferenza quando la similarità tra compiti è bassa.

2. Metodologia: Soft-TransFormer (Soft-TF)

Gli autori propongono Soft-TransFormer (Soft-TF), un framework che combina la stabilità dei backbone congelati con la flessibilità dell'adattamento completo dei parametri, fondato sull'Ipotesi delle Biglietti della Lotteria Ben Inizializzati (WLTH).

Ipotesi Fondamentale: Ipotesi delle Biglietti della Lotteria Ben Inizializzati (WLTH)

L'ipotesi postula che una rete neurale densa ben inizializzata contenga:

1. Soluzioni globalmente stabili che preservano la conoscenza dei compiti precedenti.
2. Sottospazi locali (sottoreti soft a valori reali) che possono essere adattati selettivamente per nuovi compiti senza sovrascrivere le informazioni del backbone congelato.

Architettura e Meccanismo

Soft-TF opera su un Transformer pre-addestrato congelato (ad es. ViT) e introduce due componenti principali:

1. Maschere Moltiplicative Soft (Soft-Sottoreti):

   • Invece di aggiungere nuovi strati (come Adapters) o matrici a basso rango (come LoRA), Soft-TF apprende maschere moltiplicative a valori reali ($m_t$) applicate direttamente alle proiezioni di Chiave ($K$), Query ($Q$), Valore ($V$) e Output ($O$) all'interno degli strati di self-attention.
   • Inizializzazione: Le maschere sono inizializzate a 1.0. Questo garantisce che, all'inizio dell'addestramento, il calcolo sia identico al modello pre-addestrato, preservando la struttura globale.
   • Operazione: Per un compito $t$, il peso effettivo diventa $\theta \odot m_t$. Ciò permette al modello di "governare" o modulare "morbidamente" percorsi specifici all'interno dei pesi congelati, abilitando l'adattamento specifico per compito mantenendo il backbone fisso.

2. Meccanismo Dual-Prompt:

   • Soft-TF integra un sistema leggero Dual-Prompt composto da:
     • Prompt Generali (G-Prompts): Condivisi tra tutti i compiti per mantenere il contesto globale.
     • Prompt Esperti (E-Prompts): Prompt specifici per compito inseriti in strati specifici.
   • Questa combinazione garantisce una forte separazione e stabilità tra i compiti senza richiedere ID di compito espliciti durante l'inferenza (tramite meccanismi di inferenza del compito).

Ottimizzazione e Inferenza

• Addestramento: Vengono aggiornati solo i prompt, le maschere soft, le chiavi dei compiti e un classificatore leggero. Il backbone rimane congelato.
• Inferenza del Compito: Al momento del test, il modello inferisce l'identità del compito utilizzando:
  • ID Prompt: Corrispondenza della query di input con le chiavi dei compiti apprese tramite similarità del coseno.
  • ID Gradiente: Un metodo di inferenza one-shot che assegna pesi alle sottoreti e seleziona il compito che minimizza l'entropia.

3. Contributi Chiave

1. Nuovo Framework: Introduzione di Soft-TF, un paradigma CL efficiente in parametri che apprende compatti sottoreti soft specifiche per compito (maschere) all'interno di Transformer congelati, ispirato alla WLTH.
2. Fondamento Teorico: Fornisce un'analisi teorica che dimostra come inizializzare le maschere a 1.0 e ottimizzare in uno spazio di parametri soft a bassa dimensionalità limiti la deriva dei parametri, garantendo convergenza e stabilità.
3. Prestazioni all'Avanguardia: Dimostra che Soft-TF supera le baseline basate su prompt (L2P, DualPrompt, NoRGa), basate su adapter e basate su LoRA su molteplici benchmark.
4. Superiorità rispetto all'Addestramento Congiunto: Remarkabilmente, Soft-TF raggiunge prestazioni che superano il "Limite Superiore Congiunto" (addestramento di tutti i compiti simultaneamente con una soluzione condivisa), dimostrando la sua capacità di isolare e ottimizzare sottospazi distinti per ogni compito.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark di Apprendimento Incrementale per Classe (CIL) utilizzando Vision Transformers (ViT).

• Dataset: 10/20-Split-CIFAR100, 10-Split-TinyImageNet, 10-Split-ImageNet-R e 5-Split-CUB200.
• Metriche di Prestazione:
  • Accuratezza: Soft-TF ha costantemente raggiunto la più alta accuratezza. Ad esempio, su 10-Split-CIFAR100, Soft-TF ha raggiunto un'accuratezza del 92,35% (contro l'86,50% di DualPrompt e il 94,48% di NoRGa, ma con una dimenticanza significativamente inferiore).
  • Dimenticanza: Ha drasticamente ridotto la dimenticanza catastrofica. Su 10-Split-CIFAR100, la dimenticanza è stata ridotta al 2,98% (rispetto al 5,77% di DualPrompt e all'1,44% di NoRGa, ma con un'accuratezza assoluta molto più alta).
  • Efficienza: Nonostante l'uso di circa 6,93 milioni di parametri addestrabili (comparabile a LoRA/Adapter), ha mantenuto una bassa latenza di inferenza.
• Studi di Ablazione:
  • Inizializzazione: L'inizializzazione uniforme (impostando le maschere a 1.0) ha prodotto i migliori risultati, validando la WLTH.
  • Backbone: Le prestazioni sono cresciute con la dimensione del modello (da ViT-Ti a ViT-L), con ViT-L/16 che ha raggiunto un'accuratezza del 78,86% su ImageNet-R con dimenticanza minima.
  • Selezione degli Strati: L'applicazione di Soft-TF agli strati superiori (ad es. 10-12) nelle impostazioni DualPrompt ha prodotto risultati ottimali.

5. Significato

Questo paper affronta un divario critico nell'Apprendimento Continuo superando i limiti della condizionamento basato solo su prompt.

• Colmare il Divario: Colma con successo il divario tra la stabilità dei backbone congelati e l'espressività del fine-tuning completo.
• Cambiamento di Meccanismo: Spostandosi dall'"aggiunta" di parametri (Adapters/LoRA) o dal "condizionamento" degli input (Prompt) alla modulazione dei pesi esistenti tramite maschere soft, offre un modo più diretto ed efficiente per adattare modelli pre-addestrati.
• Impatto Pratico: Soft-TF fornisce una soluzione robusta per scenari reali in cui i modelli devono apprendere continuamente da flussi di dati diversificati senza dimenticare, raggiungendo una specializzazione quasi ottimale per ogni compito mantenendo una singola struttura di modello compatta.

In sintesi, Soft-TransFormer rappresenta un avanzamento significativo nel PEFT per l'Apprendimento Continuo, dimostrando che sottoreti soft ben inizializzate possono sbloccare il pieno potenziale dei Transformer congelati per l'apprendimento per tutta la vita.