STAER: Temporal Aligned Rehearsal for Continual Spiking Neural Network

Sintesi Tecnica di STAER: Temporal Aligned Rehearsal per Spiking Neural Network Continual

Problematica
Le Reti Neurali Spiking (SNN) possiedono una dinamica temporale intrinseca e capacità di elaborazione event-driven che, teoricamente, le rendono particolarmente adatte all'Apprendimento Continuo (CL), specialmente in scenari di Apprendimento Incrementale di Classe (CIL) dove nuove classi vengono introdotte sequenzialmente senza identificatori di task. Tuttavia, l'applicazione delle SNN al CIL è stata ostacolata da due problemi primari: l'oblio catastrofico e il disallineamento temporale. Sebbene le ANN standard (Reti Neurali Artificiali) abbiano fatto progressi utilizzando tecniche come l'Experience Replay (ER) e la distillazione della conoscenza (ad es., DER, DER++), questi metodi spesso non riescono ad affrontare la natura unica dell'informazione basata su spike. Nelle SNN, la conoscenza è codificata non solo nei tassi di scarica (firing rates), ma anche nella precisione temporale degli spike. Mentre si apprendono nuovi task, la struttura temporale dei pattern di spike che codificano le classi passate subisce una deriva, portando a interferenze. Le funzioni di perdita standard (ad es., basate sul conteggio degli spike) e le strategie di replay naive falliscono nel penalizzare queste derive temporali o nel recuperare la corretta dinamica temporale, risultando in prestazioni scarse rispetto ai baseline delle ANN.

Metodologia
Gli autori propongono STAER (Spiking Temporal Alignment with Experience Replay), un framework progettato per preservare esplicitamente la struttura temporale delle rappresentazioni apprese nelle SNN. La metodologia integra tre componenti principali:

1. Backbone Spiking Profondo: L'approccio utilizza un'architettura ResNet19 profonda adattata per le SNN, impiegando neuroni Leaky Integrate-and-Fire (LIF) addestrati tramite gradiente surrogato. Ciò garantisce la scalabilità a benchmark d'immagine complessi come Sequential-MNIST e Sequential-CIFAR10.
2. Meccanismo di Espansione e Contrazione Temporale: Ispirandosi ai processi di memoria biologica dove le tracce di richiamo possono subire compressione o dilatazione, il metodo memorizza i campioni di replay nel buffer con tre distinte risoluzioni temporali: $T$ (originale), $T/2$ (contrazione) e $2T$ (espansione). Ciò viene ottenuto replicando le immagini statiche su diverse finestre temporali durante la fase di codifica.
3. Perdita di Allineamento Temporale Soft-DTW: Per affrontare la deriva temporale, STAER introduce una perdita di allineamento differenziabile basata su Soft Dynamic Time Warping (Soft-DTW). Durante l'addestramento su un nuovo task, la rete calcola una perdita di Cross-Entropy sui dati correnti e una perdita di Allineamento Temporale ($L_{TA}$) sui dati di replay. La $L_{TA}$ confronta i logit in uscita della rete corrente (alla risoluzione $T$) contro i logit memorizzati dei modelli passati a tutte e tre le risoluzioni ($T, T/2, 2T$). Questo costringe la rete a mantenere la fedeltà delle sue risposte temporali attraverso i task, indipendentemente dai tassi di campionamento.

La funzione obiettivo totale è definita come $L = L_{CE} + \beta \cdot L_{TA}$, dove $\beta$ bilancia l'apprendimento del task e la coerenza temporale.

Contributi Chiave

• Nuovo Framework di Allineamento Temporale: Il documento presenta il primo metodo SNN-CL che utilizza il Soft-DTW differenziabile per allineare esplicitamente i tempi degli spike tra i task. Questo affronta direttamente la deriva temporale che causa l'oblio catastrofico nei domini spiking.
• Strategia di Codifica Ibrida: L'approccio adotta un duplice principio di codifica, codificando congiuntamente l'informazione tramite tassi di scarica (logit mediati) e tempismo degli spike (allineamento temporale), allineandosi ai principi biologici del calcolo neurale.
• Scalabilità a Architetture Profonde: A differenza dei precedenti lavori SNN-CL che spesso si affidano a reti superficiali, questo metodo implementa con successo l'apprendimento continuo su un backbone ResNet19 profondo, dimostrando che le SNN profonde possono essere addestrate efficacemente per il CIL.

Risultati Sperimentali
Il metodo è stato valutato sui benchmark Sequential-MNIST e Sequential-CIFAR10 sotto protocolli di Apprendimento Incrementale di Classe.

• Performance: STAER raggiunge prestazioni state-of-the-art tra i metodi SNN, arrivando fino al 98,48% di accuratezza su Sequential-MNIST e all'83,53% su Sequential-CIFAR10 (con una dimensione del buffer di 5120 e $T=4$).
• Confronto con i Baseline: Il metodo supera costantemente le varianti spiking di ER, DER e DER++. Notevolmente, STAER colma il divario di performance tra le SNN e le forti basi ANN, raggiungendo un'accuratezza competitiva o superiore ai modelli ANN in determinati contesti vincolati.
• Riduzione dell'Oblio: I risultati empirici mostrano che STAER produce i tassi di oblio più bassi nella maggior parte delle configurazioni, superando persino i baseline ANN negli scenari più vincolati (piccole dimensioni del buffer).
• Studi di Ablazione: Gli esperimenti confermano che l'allineamento temporale esplicito è critico. Rimuovere i termini di contrazione/espansione (impostando $\alpha_1 = \alpha_2 = 0$) degrada significativamente le prestazioni, validando l'utilità dell'allineamento temporale a multiresoluzione. Il metodo è più efficace con un peso di allineamento moderato ($\beta = 10^{-4}$) e pesi bilanciati di compressione/dilatazione.

Significatività e Rivendicazioni
Il documento afferma che STAER posiziona le SNN come soluzioni scalabili e percorribili per l'apprendimento a vita (lifelong learning) nativo degli spike. Esplicitando la preservazione della struttura temporale attraverso l'allineamento Soft-DTW e l'espansione/contrazione temporale ispirata alla biologia, il framework mitiga l'oblio catastrofico e l'interferenza temporale che hanno precedentemente limitato le SNN nel CIL. Gli autori asseriscono che il loro lavoro dimostra che le SNN profonde possono eguagliare o superare le tradizionali basi ANN preservando al contempo dinamiche biologicamente plausibili, aprendo la strada a future applicazioni su dataset neuromorfici reali. Il lavoro suggerisce che mantenere sia l'informazione basata sul tasso che quella temporale è cruciale per un comportamento adattivo robusto nelle reti neurali spiking.