Direct-to-Event Spiking Neural Network Transfer

Riepilogo Tecnico: Trasferimento di Reti Neurali a Spiking da Diretto a Evento

Enunciato del Problema
Le Reti Neurali a Spiking (SNN) sono ampiamente riconosciute per il loro potenziale nel consentire calcoli a basso consumo energetico su hardware neuromorfico, in particolare quando si utilizzano schemi di codifica basati su eventi come il Tempo al Primo Spike (TTFS). Tuttavia, esiste un divario significativo tra l'addestramento e il dispiegamento. La maggior parte delle SNN ad alta accuratezza è attualmente addestrata utilizzando la "codifica diretta", dove rappresentazioni in virgola mobile degli input vengono impiegate per simulare attivazioni surrogate a valore continuo tramite backpropagation. Sebbene efficace per raggiungere alta precisione nella simulazione, le SNN con codifica diretta sono sostanzialmente meno efficienti dal punto di vista energetico al momento del dispiegamento rispetto alle loro controparti basate su eventi.

Il problema centrale affrontato in questo lavoro è la mancanza di un metodo sistematico per convertire un SNN ad alta accuratezza pre-addestrato con codifica diretta in una rappresentazione equivalente ed efficiente dal punto di vista energetico basata su eventi. Il semplice riaddestramento da zero è inefficiente, e un affinamento (fine-tuning) ingenuo del modello pre-addestrato su dati basati su eventi spesso comporta un grave degrado delle prestazioni. Gli autori inquadrano questo come un problema di ottimizzazione novel: Trasferimento da Diretto a Evento (D2E).

Metodologia
Gli autori propongono un'indagine sistematica sul problema del trasferimento D2E, confrontando due strategie principali:

1. Affinamento Specifico per Attività (TSF): Questo approccio di base tratta il trasferimento D2E come un problema standard di adattamento di dominio. Prevede di prendere un SNN con codifica diretta pre-addestrato e affinare l'intero modello utilizzando input basati su eventi e la standard funzione di perdita a entropia incrociata. Gli autori notano che, sebbene semplice, il TSF manca di garanzie teoriche di ottimalità per questo specifico scenario di trasferimento.

2. Distillazione della Conoscenza Auto-Generata (SKD): Per affrontare le limitazioni del TSF, gli autori propongono la SKD, un metodo fondato sulla teoria dell'adattamento di dominio e sulla distillazione della conoscenza tradizionale.

   • Base Teorica: Gli autori stabiliscono un limite teorico (Teorema 1) che collega il divario di accuratezza tra domini incrociati tra il modello con codifica diretta ($f_X$) e il modello basato su eventi ($f_S$) alla divergenza di Kullback-Leibler (KL) tra le loro distribuzioni di output e alla distanza di variazione totale tra le distribuzioni di input.
   • Meccanismo: La SKD utilizza il modello pre-addestrato con codifica diretta come "insegnante" per guidare lo "studente" (la stessa architettura che viene affinata per input basati su eventi). L'obiettivo di addestramento combina la standard funzione di perdita a entropia incrociata sulla verità fondamentale basata su eventi con una funzione di perdita a divergenza KL che minimizza il divario distribuzionale tra gli output con codifica diretta dell'insegnante e gli output basati su eventi dello studente.
   • Funzione di Perdita: L'ottimizzazione minimizza una somma ponderata: $\alpha \cdot L_{CE} + (1-\alpha) \cdot D_{KL}$, dove $\alpha$ bilancia la supervisione sulla verità fondamentale e il segnale di auto-distillazione.

Contributi Chiave

• Formulazione del Problema: Il documento introduce e definisce esplicitamente il problema del trasferimento D2E, distinguendolo dall'affinamento standard, dall'adattamento di dominio e dall'oblio machine (machine unlearning) grazie al suo focus sulla conservazione del compito e dello spazio delle etichette, spostando solo la rappresentazione dell'input da diretta a basata su eventi.
• Quadro Teorico: Gli autori forniscono una derivazione teorica (Teorema 1) che dimostra come la minimizzazione della divergenza KL tra implementazioni dirette ed eventi serva da proxy per la minimizzazione del divario di accuratezza tra domini incrociati.
• Quadro SKD: Propongono il metodo SKD come soluzione pratica al problema D2E, offrendo una via razionale per trasferire rappresentazioni apprese sotto codifica diretta all'apprendimento basato su eventi.
• Valutazione Completa: Lo studio fornisce la prima indagine empirica sistematica di questo problema di trasferimento su più architetture (Spiking-ResNet, Spiking-VGG, Spiking-WideResNet, SEW-ResNet) e dataset (CIFAR-10, CIFAR-100, ImageNet e dati simulati del Sensore Visivo Dinamico).

Risultati Sperimentali
Gli autori hanno valutato i loro metodi su benchmark standard e sensori neuromorfici simulati:

• Miglioramenti di Accuratezza: Su CIFAR-10 e CIFAR-100, la SKD ha costantemente superato il TSF ingenuo su tutte le architetture testate. Ad esempio, su CIFAR-10, la SKD ha ottenuto guadagni di accuratezza che vanno da circa il 25% al 51% rispetto alle prestazioni di base basate su eventi, superando significativamente il TSF. Su architetture più profonde come Spiking-VGG16, la SKD ha prodotto un miglioramento del 51% rispetto alla baseline.
• Generalizzazione: Il metodo ha dimostrato robustezza su dati del Sensore Visivo Dinamico (DVS) simulati e su dataset ImageNet su larga scala, ottenendo costantemente la massima accuratezza di validazione rispetto al TSF.
• Efficienza Energetica: La transizione dalla codifica diretta alla codifica TTFS ha comportato una sostanziale riduzione del consumo energetico (riduzione di circa il 45% in millijoule per inferenza) dovuta alla riduzione delle operazioni sinaptiche (SOP), validando gli obiettivi di efficienza energetica del trasferimento.
• Studi di Ablazione: Esperimenti che variavano il coefficiente di bilanciamento della perdita $\alpha$ hanno mostrato che la SKD è robusta rispetto alle scelte degli iperparametri, con prestazioni ottimali tipicamente riscontrate tra $\alpha = 0.2$ e $0.4$. La distillazione pura ($\alpha=0$) ha funzionato leggermente peggio rispetto all'approccio bilanciato, indicando l'utilità della supervisione sulla verità fondamentale come ancoraggio.

Significato e Affermazioni
Il documento afferma di presentare la prima indagine sistematica sul problema del trasferimento D2E. Il suo significato principale risiede nel colmare il divario tra simulazioni SNN ad alta precisione (che si affidano alla codifica diretta) e dispiegamenti neuromorfici efficienti dal punto di vista energetico (che richiedono codifica basata su eventi).

Gli autori affermano che l'affinamento convenzionale è insufficiente per trasferire modelli attraverso modalità di input eterogenee (diretto vs. evento). Al contrario, il quadro SKD proposto trasferisce efficacemente le rappresentazioni, stabilendo sia una solida baseline empirica che una fondazione teorica solida per la ricerca futura. Il lavoro evidenzia che, sebbene la perdita di informazione intrinseca nella mappa di codifica imponga un limite teorico all'accuratezza basata su eventi, la SKD fornisce un meccanismo robusto per avvicinarsi a questo limite preservando le prestazioni del modello e consentendo inferenze efficienti dal punto di vista energetico.

Il documento riconosce le limitazioni, notando che la SKD introduce un sovraccarico computazionale aggiuntivo durante l'addestramento rispetto al TSF e dipende fortemente dalla qualità del modello insegnante pre-addestrato. Tuttavia, posiziona la SKD come un passo necessario verso la riutilizzabilità pratica dei database SNN pre-addestrati in scenari sensibili all'energia.