Riepilogo Tecnico: Compressione del secondo ordine post-training per le Reti Neurali Spiking

1. Definizione del problema

Le Reti Neurali Spiking (SNN) offrono significativi vantaggi in termini di efficienza energetica per l'hardware neuromorfico (ad es., Loihi, SpiNNaker, TrueNorth) grazie alla loro natura sparsa ed event-based. Tuttavia, queste piattaforme hardware possiedono risorse di memoria e computazionali limitate, rendendo necessaria la compressione dei modelli.

Le attuali metodologie di compressione allo stato dell'arte (SOTA) per le SNN affrontano due limitazioni primarie:

1. Alto costo computazionale: La maggior parte delle tecniche esistenti di pruning e quantizzazione si basa su cicli iterativi di pruning-e-riaddestramento o richiede l'addestramento da zero (ad es., approcci basati sulla Lottery Ticket Hypothesis). Questo è proibitivamente costoso per le SNN su larga scala e pre-addestrate, come SEW-ResNet152 o gli Spiking Transformer.
2. Inapplicabilità dei metodi ANN: L'applicazione ingenua di metodi di compressione post-training one-shot progettati per le Reti Neurali Artificiali (ANN), come l'Optimal Brain Compression (OBC), produce risultati subottimali. Ciò è dovuto a un disconnessione fondamentale tra gli obiettivi di output continui delle ANN e i treni di spike discreti e dipendenti dal tempo delle SNN.

Il documento affronta la necessità di un framework di compressione post-training one-shot computazionalmente efficiente che possa gestire moderne architetture SNN su larga scala senza richiedere il riaddestramento.

2. Metodologia: Spiking Brain Compression (SBC)

Gli autori propongono la Spiking Brain Compression (SBC), un algoritmo di compressione del secondo ordine a livello di layer che estende il framework Optimal Brain Surgeon (OBS) alle SNN.

2.1. Formulazione per modulo

Le SNN sono compresse modulo per modulo, dove un modulo consiste in layer lineari/convoluzionali seguiti da un layer di neuroni Leaky-Integrate-and-Fire (LIF). L'obiettivo è trovare pesi compressi $\hat{W}$ che minimizzino la distorsione tra il treno di spike originale $S$ e lo spike train compresso $\hat{S}$.

2.2. Funzione di perdita: Distanza di Van Rossum (VRD)

A differenza delle ANN che minimizzano l'errore quadratico sulle attivazioni continue, la SBC minimizza la distanza quadratica di Van Rossum (VRD) tra i treni di spike. La VRD tiene conto della distanza temporale tra gli spike utilizzando un kernel esponenziale in decadimento $k(t)$.
La funzione di perdita è definita come:
$$L(W) = ||MS - M\hat{S}||_2^2$$
dove $M$ è una matrice di convolzione che rappresenta il kernel $k(t)$ su step temporali. Questa formulazione assicura che la perdita rifletta la rilevanza biologica della temporizzazione degli spike piuttosto che la semplice coincidenza binaria.

2.3. Potenziale di membrana surrogato (SMP) e derivazione dell'Esseniana

Il calcolo diretto dell'Esseniana (Hessian) della perdita VRD è complesso a causa della funzione di Heaviside non differenziabile nel meccanismo di generazione dello spike ($S[t] = \Theta(U[t] - V_{th})$).
Per affrontare questo problema, gli autori introducono il Potenziale di Membrana Surrogato (SMP):

• Sostituiscono la funzione di spike non differenziabile con un gradiente surrogato differenziabile $g(u)$.
• Assumono un gradiente surrogato costante $g(u) = c$ (trattando efficacemente il neurone come attivo entro una specifica finestra), il che semplifica il calcolo dell'Esseniana.
• Sotto questa ipotesi, l'Esseniana $H$ diventa il valore atteso di $2(MX)^T(MX)$, dove $X$ è la corrente in ingresso.
• Ciò produce un'Esseniana facilmente computabile e analiticamente trattabile, consentendo un singolo passaggio all'indietro (backward pass) per stimare gli aggiornamenti ottimali dei pesi.

2.4. Algoritmi di compressione

• Pruning: La SBC utilizza l'Esseniana derivata per eseguire un pruning non strutturato. Utilizza un Layer-Adaptive Sparsity per il Magnitude-based Prang Score (LAMPS) per determinare i target di sparsità per modulo. I pesi vengono rimossi in batch utilizzando l'Identità di Woodbury per aggiornare l'Esseniana inversa in modo efficiente, evitando il costo $O(N^3)$ della piena inversione di matrice ad ogni step.
• Quantizzazione: Il framework adatta l'algoritmo GPTQ (Greedy Post-Training Quantization), sostituendo l'Esseniana standard delle ANN con l'Esseniana basata su SMP ($H_{SMP}$). Ciò consente una compensazione ottimale dei pesi durante la quantizzazione per minimizzare la distorsione del treno di spike.

3. Contributi chiave

1. Formalizzazione della perdita basata su VRD: Il documento formalizza una funzione di perdita basata sulla Distanza di Van Rossum per la compressione delle SNN a livello di layer e deriva una matrice di Esseniana efficiente e campionabile.
2. Algoritmo SBC: Sviluppo di un algoritmo di compressione del secondo ordine one-shot (SBC) che supporta moderne architetture, inclusi i deep spiking CNN (SEW-ResNet) e gli Spiking Transformer.
3. Prestazioni allo stato dell'arte (SOTA): Dimostrazione di risultati di compressione post-training one-shot SOTA attraverso benchmark neuromorfici (N-MNIST, CIFAR10-DVS) e dataset statici su larga scala (CIFAR-100, ImageNet).
4. Robustezza alla scarsità di dati: Studi di ablazione che mostrano prestazioni stabili anche con dimensioni di dati di calibrazione inferiori a un campione per classe.

4. Risultati sperimentali

Gli autori hanno valutato la SBC su vari dataset e architetture, confrontandola con il pruning basato sulla magnitudo (MBP) ingenuo, ExactOBS (OBC adattata per SNN) e i metodi iterativi PAT (Post-Training).

4.1. Prestazioni di Pruning

• Benchmark Neuromorfici: La SBC supera significativamente ExactOBS e MBP, specialmente ad alti livelli di sparsità. Ad esempio, su N-MNIST al 97% di sparsità, la SBC ha mantenuto l'accuratezza con una riduzione solo del 1,59%, mentre ExactOBS ha subito un calo del 45,07%.
• Dataset Statici (ImageNet): La SBC ha compresso con successo SEW-ResNet152 e gli Spike-Driven Transformer. Ha eguagliato o superato l'accuratezza di ExactOBS e, in alcuni casi, si è avvicinata all'accuratezza dei metodi iterativi PAT (come UPF e STDS), ma con da 1 a 3 ordini di grandezza in meno di tempo computazionale.
• Scala: Il lavoro rappresenta il primo noto pruning non strutturato di SNN con oltre 34 layer e il primo pruning di uno Spiking Transformer addestrato su un dataset di scala ImageNet.

4.2. Prestazioni di Quantizzazione

• La SBC è stata testata su quantizzazione a 4, 3 e 2 bit.
• Sebbene la SBC non abbia costantemente superato i baseline ad ampi numeri di bit (4-bit) su tutti i dataset, ha ottenuto i migliori risultati alla larghezza di bit più bassa (2-bit), superando significativamente il metodo successivo (es. 28,11% su N-MNIST).
• Il metodo ha dimostrato che la compensazione dei pesi tramite l'Esseniana è cruciale per l'implementazione a basso numero di bit, pur notando un problema di "fuori intervallo" (out-of-bounds) in cui i pesi compensati talvolta eccedevano l'intervallo della griglia di quantizzazione.

4.3. Efficienza e Calibrazione

• Operazioni Sinaptiche (SOPs): La SBC ha ridotto efficacemente le SOP (un proxy del consumo energetico) pur mantenendo l'accuratezza. Ad esempio, il pruning di SEW-ResNet18 al 72,26% di sparsità ha ridotto le SOP da 1134,4M a 697,24M con una perdita minima di accuratezza.
• Dimensione di Calibrazione: Il metodo si è dimostrato robusto con set di calibrazione molto piccoli. Per SEW-ResNet18 su ImageNet, è stata ottenuta una prestazione competitiva con appena 100 immagini di calibrazione (0,1 immagini per classe).

5. Significato e Rivendicazioni

Il documento sostiene che la SBC fornisca un alternativa computazionalmente efficiente ai pipeline di riaddestramento completo. Sfruttando un'approssimazione del secondo ordine adattata ai treni di spike, la SBC consente l'implementazione di SNN pre-addestrate su larga scala su hardware neuromorfico con risorse limitate senza il costo proibitivo del riaddestramento iterativo.

Gli autori posizionano la SBC come un passo necessario verso l'applicazione pratica delle SNN di prossima generazione (inclusi i deep network e i Transformer) nel calcolo edge a basso consumo e nella robotica. Riconoscono i limiti, specificamente il problema "out-of-bounds" nella quantizzazione e l'elevata complessità spaziale delle matrici di Esseniana personalizzate per dimensioni di output molto grandi, identificandoli come aree per il lavoro futuro.