Riepilogo Tecnico: Mamba-CL

Definizione del Problema

L'apprendimento continuo (Continual Learning, CL) mira a consentire ai modelli di IA di apprendere una sequenza di task nel tempo senza dimenticare la conoscenza precedentemente acquisita, affrontando il dilemma stabilità-plasticità. Sebbene i modelli State Space Models (SSM), in particolare l'architettura Mamba, abbiano ottenuto un successo notevole nella visione artificiale e nella modellazione di sequenze, l'applicazione degli SSM al CL presenta sfide uniche. I metodi CL esistenti, come la proiezione in sottospazi ortogonali, sono stati sviluppati principalmente per le reti neurali convoluzionali (CNN) e i Vision Transformers (ViT). L'applicazione diretta di tali metodi a Mamba è difficile a causa della sua struttura di spazio di stato ricorrente di ordine superiore e del suo meccanismo di discretizzazione non lineare. Nello specifico, l'oblio nei modelli SSM selettivi può essere compreso come variazioni nei processi di aggiornamento dello stato e di generazione dell'output attivati dagli input di task precedenti. Il problema centrale è come perfezionare (fine-tuning) un modello fondazionale Mamba pre-addestrato per nuovi task garantendo matematicamente che gli output per i task precedenti rimangano coerenti.

Metodologia

Gli autori propongono Mamba-CL, un framework che ottimizza gli SSM selettivi nel nucleo nullo (null space) per mitigare l'oblio catastrofico. Il metodo si concentra sul fine-tuning dei blocchi SSM centrali all'interno di un backbone Mamba pre-addestrato (specificamente De-focus Mamba), mantenendo congelati gli altri componenti.

Derivazione Teorica

Il cuore di Mamba-CL è la derivazione di quattro condizioni di coerenza sufficienti per i parametri del blocco SSM. L'obiettivo è garantire che l'output dell'SSM per gli input dei task precedenti ($X_t$) rimanga invariato dopo l'apprendimento di un nuovo task. Analizzando il processo forward dell'SSM, che coinvolge un parametro invariante rispetto all'input $A$ e parametri condizionati dall'input $B$, $C$ e $\delta$ (passo di discretizzazione), gli autori decompongono il requisito di coerenza in vincoli sui parametri di aggiornamento ($\Delta$):

1. Passo di Discretizzazione ($\delta$) e Proiezione di Input ($W_\delta$): L'aggiornamento $\Delta W_\delta$ deve essere ortogonale allo spazio delle caratteristiche di input $X_t$ ($X_t \Delta W_\delta = 0$).
2. Transizione di Stato ($A$): L'aggiornamento $\Delta A$ deve essere ortogonale al parametro del passo di discretizzazione $\delta_t$ ($\delta_t \Delta A = 0$).
3. Iniezione di Input ($W_B$): L'aggiornamento $\Delta W_B$ deve essere ortogonale al prodotto del passo di discretizzazione e delle caratteristiche di input ($\delta_t X_t \Delta W_B = 0$).
4. Lettura dell'Output ($W_C$): L'aggiornamento $\Delta W_C$ deve essere ortogonale allo spazio delle caratteristiche di input $X_t$ ($X_t \Delta W_C = 0$).

Queste condizioni garantiscono che i processi di aggiornamento dello stato e di generazione dell'output attivati dagli input dei vecchi task siano preservati.

Strategia di Ottimizzazione

Per implementare questi vincoli in modo efficiente, Mamba-CL impiega la proiezione nel nucleo nullo (null-space projection):

• Matrici di Proiezione: Gli autori calcolano matrici di covarianza non centrate per gli spazi delle caratteristiche ($X_t$, $\delta_t$ e $\delta_t X_t$) derivati dai task precedenti. Utilizzando la decomposizione ai valori singolari (SVD), derivano matrici di proiezione ($H_1, H_2, H_3$) che proiettano i gradienti del nuovo task sui nuclei nulli di questi sottospazi di caratteristiche.
• Fattore di Bilanciamento: Viene introdotto un iperparametro $\eta \in [0, 1]$ per rilassare i vincoli di ortogonalità. Ciò consente un compromesso tra stabilità (mantenimento della vecchia conoscenza) e plasticità (apprendimento di nuovi task). Quando $\eta=1$, viene applicata una proiezione rigorosa nel nucleo nullo; valori inferiori consentono una maggiore plasticità.
• Implementazione: Durante l'addestramento, i gradienti per i parametri SSM ($A, W_B, W_C, W_\delta$) e il successivo strato di proiezione lineare vengono proiettati utilizzando queste matrici prima del passaggio di aggiornamento dei parametri.

Contributi Chiave

1. Prospettiva di Preservazione dell'Output: Il documento formula l'adattamento continuo degli SSM selettivi da una prospettiva di preservazione dell'output, collegando il meccanismo di scansione selettiva con i vincoli di sottospazio ortogonale.
2. Derivazione Teorica: Gli autori derivano teoricamente quattro condizioni di coerenza sufficienti per il blocco SSM all'interno del modello Mamba, affrontando le complessità della sua struttura ricorrente e della discretizzazione non lineare.
3. Approssimazione del Nucleo Nullo: Sulla base di queste condizioni, viene introdotta un'approssimazione basata sul nucleo nullo per implementare efficientemente le proiezioni ortogonali dei gradienti, consentendo l'adattamento continuo di modelli fondazionali Mamba su larga scala senza memorizzare campioni di task precedenti (senza esemplari/exemplar-free).
4. Validazione Empirica: Esperimenti estesi dimostrano l'efficacia dell'approccio su molteplici benchmark.

Risultati Sperimentali

Gli autori hanno valutato Mamba-CL su quattro benchmark di apprendimento incrementale di classe:

• Dataset: 10-split e 20-split ImageNet-R, 10-split CIFAR-100 e 10-split DomainNet.
• Baseline: Il metodo è stato confrontato con metodi di CL allo stato dell'arte (es. L2P, DualPrompt, CODA-Prompt, EvoPrompt, EASE) e con una baseline Mamba senza proiezione ortogonale (Mamba-Seq).
• Prestazioni:
  • Mamba-CL ha ottenuto prestazioni superiori rispetto ai metodi esistenti. Su ImageNet-R 10-split, ha raggiunto l'81,67% di accuratezza con il 4,07% di oblio, superando significativamente il secondo miglior metodo (CL-LoRA con 78,48% di accuratezza).
  • Ha mostrato miglioramenti sostanziali rispetto alla baseline Mamba-Seq, aumentando l'accuratezza del 18%-45% e riducendo l'oblio del 24%-61% attraverso i benchmark.
  • Il metodo ha dimostrato robustezza in scenari di CL a lunga sequenza (50 e 100 task), mantenendo il primato rispetto agli altri metodi.
  • Gli studi di ablazione hanno confermato che la proiezione del passo di discretizzazione ($\delta$) è la componente più critica per l'anti-oblio.
  • L'approccio è stato validato su diverse varianti di Mamba (MambaVision, Vim, VMamba) e persino in uno scenario di "addestramento da zero", confermandone la generalizzabilità.

Significato e Rivendicazioni

Il documento afferma che Mamba-CL fornisce un modo efficace per adattare continuamente i moduli SSM selettivi centrali di grandi modelli fondazionali mitigando l'interferenza con la conoscenza precedentemente acquisita. A differenza degli approcci precedenti che richiedono meta-addestramento episodico, espansione del backbone specifica per il task o la ritenzione di esemplari, Mamba-CL opera in un contesto senza esemplari (exemplar-free) senza operazioni aggiuntive durante l'inferenza.

Gli autori sottolineano che il loro metodo non è una semplice applicazione diretta di tecniche di proiezione esistenti, ma un adattamento necessario alla specifica struttura matematica degli SSM. Derivando condizioni di coerenza specifiche per i parametri invarianti nel tempo del modello Mamba, colmano il divario tra i requisiti teorici dell'apprendimento continuo e l'implementazione pratica dei modelli di spazio di stato. I risultati suggeriscono che proteggere esplicitamente i processi di discretizzazione dipendenti dall'input, transizione di stato, iniezione di input e lettura dell'output tramite la proiezione nel nucleo nullo è cruciale per ottenere prestazioni di apprendimento continuo elevate nelle architetture basate su Mamba.