Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

Sintesi Tecnica di Mamba-FSCIL: Adattamento Dinamico con Modello di Spazio degli Stati Selettivo per l'Apprendimento Incrementale di Classe con Pochi Esempi

Definizione del Problema
L'apprendimento incrementale di classe con pochi esempi (Few-Shot Class-Incremental Learning, FSCIL) mira a consentire ai modelli di apprendere continuamente nuove classi da un numero limitato di esempi, mantenendo al contempo la conoscenza delle classi base precedentemente apprese. Gli approcci esistenti affrontano un dilemma critico relativo al compromesso tra stabilità e plasticità. I metodi di adattamento statico impiegano proiettori a capacità fissa condivisi tra tutte le sessioni; tuttavia, l'aggiornamento di questi pesi condivisi per le nuove classi spesso sovrascrive i parametri che codificano la conoscenza base, portando a un catastrofico oblio. Al contrario, i metodi di adattamento dinamico con architetture in espansione allocano nuovi parametri per ogni sessione per preservare la stabilità, ma ciò comporta una crescita illimitata del modello, aumentando i costi computazionali e limitando la scalabilità. La sfida centrale è ottenere un adattamento dinamico alle nuove classi e preservare la vecchia conoscenza senza l'espansione dei parametri per sessione.

Metodologia
Gli autori propongono Mamba-FSCIL, un framework che sfrutta i Modelli di Spazio degli Stati (SSM) Selettivi, specificamente Mamba, per abilitare una computazione dinamica dipendente dall'input all'interno di un'architettura a capacità fissa. Invece di espandere la dimensione del modello, il metodo sfrutta la capacità di Mamba di generare parametri core ($B_i, C_i, \Delta_i$) on-the-fly in base al contenuto dell'input. Il framework è composto da tre componenti primarie:

1. Proiettore SSM Selettivo Duale:
   Per separare strutturalmente stabilità e plasticità, il proiettore è diviso in due rami paralleli:

   • Ramo SSM Selettivo Base ($g_{base}$): Questo ramo funge da "ancora di stabilità". Viene addestrato esclusivamente durante la sessione base e poi congelato. A differenza dei tradizionali moduli statici congelati, $g_{base}$ rimane computazionalmente dinamico; continua a generare parametri condizionati dall'input anche quando è congelato, fornendo trasformazioni stabili e consapevoli del contesto che preservano le rappresentazioni fondamentali delle classi base.
   • Ramo SSM Selettivo Incrementale ($g_{inc}$): Questo ramo funge da "abilitatore di plasticità". È un modulo Mamba a capacità singola e fissa, riutilizzato in tutte le sessioni incrementali. Sfrutta il meccanismo di Mamba dipendente dall'input per catturare gli spostamenti residui delle caratteristiche richiesti dalle nuove classi. Generando parametri dinamici distinti in base al contesto dell'input, $g_{inc}$ si adatta alle nuove classi senza aggiungere nuovi rami specifici per sessione.

2. Meccanismo di Scansione Selettiva Sensibile alla Classe:
   Per garantire che l'adattamento dinamico di $g_{inc}$ sia sensibile alla classe piuttosto che meramente consapevole del contenuto, gli autori introducono due perdite di regolarizzazione:

   • Perdita di Soppressione ($\mathcal{L}_{supp}$): Questa perdita minimizza l'ampiezza di attivazione dello stream di gating ($Z_{inc}$) per gli input delle classi base. Sopprimendo il contributo del ramo incrementale per le classi note, evita l'interferenza con l'ancora di stabilità congelata. Al contrario, incoraggia un norm maggiore per gli input delle nuove classi per facilitare l'adattamento.
   • Perdita di Separazione ($\mathcal{L}_{sep}$): Questa perdita minimizza la similarità del coseno assoluta tra i parametri medi dello spazio degli stati ($B, C, \Delta$) generati per le classi base rispetto alle nuove classi. Ciò incoraggia il modello a formare percorsi di trasformazione distinti per i nuovi concetti, riducendo la sovrapposizione rappresentativa e migliorando la plasticità.

3. Strategia di Ottimizzazione:
   Il framework utilizza un classificatore Simplex Equiangular Tight Frame (ETF) fisso. Durante la sessione base, l'architettura (backbone), il ramo di identità e $g_{base}$ sono ottimizzati congiuntamente. Nelle sessioni incrementali, l'architettura e $g_{base}$ sono congelati, e solo $g_{inc}$ viene ottimizzato utilizzando una combinazione di perdita di Dot Regression (DR), perdita di soppressione e perdita di separazione. Il sistema opera senza memorizzare o riprodurre immagini grezze dalle sessioni precedenti, affidandosi invece a una memoria compatta a livello di caratteristiche dei prototipi medi di classe.

Contributi Chiave

• Framework Mamba-FSCIL: Il primo framework che applica la computazione dinamica dipendente dall'input di Mamba al FSCIL, ottenendo un adattamento sensibile alla classe all'interno di un modello a capacità fissa.
• Proiettore SSM Selettivo Duale: Un'innovazione strutturale che separa l'elaborazione delle classi base e delle nuove classi tramite un ramo base congelato ma computazionalmente dinamico e un ramo incrementale riutilizzabile, bilanciando stabilità e plasticità senza espansione dei parametri.
• Meccanismo di Scansione Selettiva Sensibile alla Classe: Una nuova strategia di regolarizzazione che utilizza perdite di soppressione e separazione per guidare esplicitamente la generazione di parametri dinamici del ramo incrementale, garantendo pattern di elaborazione distinti per le classi base e le nuove classi.
• Prestazioni allo Stato dell'Arte: Esperimenti estesi dimostrano che Mamba-FSCIL supera i metodi statici e dinamici esistenti su miniImageNet, CIFAR-100 e CUB-200.

Risultati Sperimentali
Il documento riporta valutazioni estese su tre dataset benchmark:

• miniImageNet: Utilizzando un backbone ResNet-12, Mamba-FSCIL raggiunge un'accuratezza media (AVG) del 69,74% e un'accuratezza della sessione finale del 59,29%, superando lo stato dell'arte precedente (NC-FSCIL) rispettivamente di 1,92 e 0,98 punti.
• CIFAR-100: Con ResNet-12, il metodo raggiunge un AVG del 68,19% e un'accuratezza finale del 57,52%, migliorando significativamente rispetto a NC-FSCIL e FeSSSS.
• CUB-200: Su questo dataset fine-grained, Mamba-FSCIL raggiunge un AVG del 68,11% e un'accuratezza finale del 61,52%. Utilizzando backbone Transformer (es. Swin-T, ViT-B/16), il metodo ottiene costantemente prestazioni elevate o altamente competitive, riducendo notevolmente il calo di prestazioni (PD) rispetto ai metodi basati sull'espansione come DSN.
• Studi di Ablazione: Gli esperimenti confermano che il design a doppio ramo e le perdite sensibili alla classe sono critici, con il modello completo che supera le varianti che utilizzano proiettori statici, singoli rami SSM o che mancano di regolarizzazione. L'analisi qualitativa tramite mappe di attivazione e visualizzazioni t-SNE valida ulteriormente la capacità del modello di mantenere rappresentazioni stabili delle classi base pur adattandosi dinamicamente alle nuove classi.

Significatività
Il paper sostiene che Mamba-FSCIL offra un'alternativa pratica e scalabile sia ai paradigmi di condivisione dei parametri che a quelli di espansione dei parametri. Utilizzando la computazione dinamica dipendente dall'input, risolve il dilemma stabilità-plasticità senza l'overhead computazionale di espandere continuamente le architetture del modello. Il lavoro dimostra che i Modelli di Spazio degli Stati Selettivi possono mitigare efficacementamente l'oblio catastrofico negli scenari di apprendimento incrementale con pochi esempi, generando pattern di elaborazione distinti e sensibili alla classe per i nuovi dati, preservando al contempo l'integrità della conoscenza stabilita.