Riepilogo Tecnico: Trasformatori a Spiking Elastici per la Comprensione Efficiente dei Gestualità

1. Enunciato del Problema

Il dispiegamento di Reti Neurali a Spiking (SNN), in particolare i Trasformatori a Spiking, su hardware neuromorfico (ad esempio Intel Loihi, IBM TrueNorth) per l'assistenza sanitaria e il riconoscimento dei gesti si scontra con due colli di bottiglia critici:

1. Rigidità Architetturale: Le architetture SNN esistenti sono statiche, con conteggi di parametri fissi e grafi computazionali immutabili. Il dispiegamento di questi modelli su chip neuromorfici diversi, con vincoli di memoria e potenza variabili, richiede l'addestramento e il dispiegamento di modelli completamente separati per ciascun target hardware, annullando i benefici di efficienza di un approccio unificato.
2. Incompatibilità Hardware e Inefficienza Energetica: Molti Trasformatori a Spiking attuali si basano su moltiplicazioni di matrici globali (GEMM) o operazioni di Moltiplicazione di Matrici in Batch (BMM). Queste non sono supportate nativamente dai chip neuromorfici guidati da spike, costringendo i carichi di lavoro a essere scaricati su CPU ad alto consumo energetico, il che erode i risparmi energetici. Inoltre, le strategie di scaling standard (riduzione della larghezza/profondità del modello) spesso non riescono a ridurre proporzionalmente il consumo energetico perché la fase iniziale di estrazione delle caratteristiche (patch embedding) rimane una fonte dominante di attività a spike indipendentemente dalle dimensioni del modello.

2. Metodologia: L'Architettura NESTformer

Gli autori propongono NESTformer (Neuromorphic Elastic Spiking Transformer), un'architettura innovativa progettata per incorporare l'adattabilità runtime direttamente nel paradigma a spiking. Il framework si basa su tre principi fondamentali:

• Architettura Annidata: Configurazioni più piccole sono sottoinsiemi rigorosi di quelle più grandi, consentendo la condivisione dei pesi.
• Elasticità Consapevole degli Spike: La riduzione delle dimensioni è ottimizzata per minimizzare sia i parametri che l'attività degli spike.
• Progettazione Consapevole dell'Hardware: L'architettura evita operazioni dipendenti dalla CPU, utilizzando strutture native dell'hardware neuromorfico.

Il modello elabora input basati su eventi attraverso tre blocchi costruttivi elastici controllati da un parametro di granularità $g$:

A. Self-Attention a Spiking Elastica

Ispirata all'apprendimento di rappresentazioni Matryoshka, questo blocco consente lo slicing dinamico dei tensori Query ($Q$), Key ($K$) e Value ($V$) per regolare il numero di teste di attenzione attive ($h_g$) durante l'inferenza.

• Compatibilità Neuromorfica: Per eliminare le moltiplicazioni di matrici globali, gli autori introducono un meccanismo di Attenzione Riga per Riga. Invece di calcolare una mappa di attenzione densa, l'operazione è scomposta in una sequenza di due operazioni Leaky Integrate-and-Fire (LIF): $attng = LIF(Q_g \cdot K_g^T)$ seguita da $O_g = LIF(attng \cdot V_g)$. Questo converte i punteggi di attenzione in spike binari, assicurando che la moltiplicazione successiva sia un'accumulazione strettamente guidata da spike, compatibile con l'hardware basato su eventi.

B. MLP a Spiking Elastico

Il modulo Multi-Layer Perceptron (MLP) utilizza dimensioni nascoste variabili basate su conteggi di filtri spaziati logaritmicamente. Regolando dinamicamente la dimensione nascosta ($h_g$) da un minimo a un massimo, il modello può ridurre significativamente il conteggio dei parametri (che costituisce circa il 60% dei trasformatori standard) senza riaddestramento.

C. Estrazione di Caratteristiche Elastica (XiSPS)

Affrontando il collo di bottiglia in cui l'embedding delle patch genera la maggior parte degli spike, gli autori introducono XiSPS (Elastic Spiking Patch Splitting). A differenza degli embedding statici, XiSPS supporta compromessi dinamici a runtime tra granularità delle caratteristiche e consumo energetico. Adatta un fattore di compressione regolabile $\gamma$ per ridurre il carico computazionale e il conteggio dei parametri nella fase di input, garantendo che i risparmi energetici scalino linearmente con le dimensioni del modello.

D. Strategia di Addestramento

Il modello impiega una strategia di campionamento stocastico piuttosto che il tradizionale addestramento "a panino". Durante l'addestramento, una singola configurazione di granularità viene campionata per passo da una distribuzione distorta $P(g)$ che favorisce configurazioni più grandi. Questo assicura che l'intero set di parametri riceva aggiornamenti frequenti, stabilizzando i pesi condivisi utilizzati da tutte le sotto-reti più piccole. Forme di tensori statiche con mascheramento binario sono utilizzate per mantenere un grafo computazionale coerente.

3. Contributi Chiave

1. Primo Trasformatore a Spiking Elastico: NESTformer è il primo trasformatore SNN capace di adattabilità runtime (scalatura dell'impronta di memoria e calcolo) senza riaddestramento, coprendo un intervallo energetico di 3,8$\times$.
2. Attenzione Nativa Neuromorfica: Un nuovo schema di calcolo dell'attenzione riga per riga sostituisce le moltiplicazioni di matrici globali con operazioni sinaptiche sequenziali, abilitando un vero dispiegamento su hardware neuromorfico senza scaricamento sulla CPU.
3. Scalabilità Energetica Lineare: Gli autori dimostrano che, a differenza delle architetture precedenti dove i risparmi energetici sono sub-lineari, l'elasticità di NESTformer riduce direttamente il tasso totale di emissione degli spike. Ciò si traduce in una riduzione proporzionale del consumo energetico man mano che le dimensioni del modello diminuiscono.
4. Prestazioni all'Avanguardia: L'approccio raggiunge accuratezza competitiva o superiore su benchmark di gesti e immagini, consumando significativamente meno energia rispetto alle architetture attuali all'avanguardia (SOTA).

4. Risultati Sperimentali

Gli autori hanno validato NESTformer sul dataset clinico EHWGesture, nonché su benchmark standard: DVS128 Gesture, CIFAR10-DVS e statici CIFAR-10/100.

• EHWGesture (Gestualità Clinica):

  • La configurazione più grande ($g_3$) ha raggiunto un'accuratezza del 75,98%, superando QKFormer-5-320 (75,28%) e l'efficiente CNN PhiNet (71,25%) all'avanguardia.
  • Efficienza Energetica: NESTformer ($g_3$) ha consumato 46,1 $\mu$J per inferenza, meno della metà dell'energia di QKFormer-5-320 (100,9 $\mu$J) e ordini di grandezza inferiore rispetto alle linee di base CNN (6.900–460.000 $\mu$J).
  • Elasticità: La configurazione $g_2$ ha mantenuto il 99,8% dell'accuratezza di picco (75,86%) riducendo l'energia di quasi il 40% (28,7 $\mu$J). La configurazione più piccola ($g_0$) ha mantenuto un'accuratezza del 71,01% a soli 13,3 $\mu$J.

• Benchmark Generali:

  • DVS128 Gesture: NESTformer ($g_3$) ha pareggiato il Trasformatore a Spiking all'avanguardia (99,30%) e superato QKFormer (98,60%). La configurazione ultra-leggera $g_0$ ha raggiunto un'accuratezza del 97,57% con 5,3$\times$ parametri in meno rispetto alla configurazione più grande.
  • CIFAR10-DVS: Ha raggiunto un'accuratezza dell'83,61% ($g_3$), superando lo Spikformer standard (80,90%).
  • CIFAR-100: La configurazione $g_3$ ha raggiunto un'accuratezza dell'81,30%, stabilendo un nuovo SOTA per i trasformatori a spiking su questo dataset.

• Compromessi Temporali: L'analisi su EHWGesture ha rivelato che la Valutazione della Qualità dell'Azione (AQA) beneficia di una risoluzione temporale più alta ($T=64$), mentre il riconoscimento dei gesti raggiunge il picco a timestep più bassi ($T=16$ a $32$). NESTformer consente agli utenti di selezionare la combinazione ottimale di granularità e timestep per requisiti specifici del compito.

5. Significato e Affermazioni

Il documento afferma che NESTformer colma il divario tra calcolo neuromorfico efficiente e architetture di trasformatori elastici. Il suo significato principale risiede nel consentire a un singolo modello unificato di essere dispiegato su tutto lo spettro dell'hardware neuromorfico, dai dispositivi edge a bassissimo consumo energetico ai server ad alta accuratezza, senza la necessità di riaddestramento.

Risolvendo il problema vincolato dalla memoria attraverso lo slicing dinamico e riducendo direttamente il tasso totale di emissione degli spike, NESTformer offre un duplice vantaggio unico:

1. Flessibilità di Dispiegamento: Scalatura istantanea delle impronte dei parametri per adattarsi a specifiche hardware diverse.
2. Vera Efficienza Energetica: Una riduzione lineare del consumo energetico proporzionale alla riduzione delle dimensioni del modello, una capacità precedentemente non disponibile nelle Reti Neurali Artificiali (ANN) standard e nelle SNN fisse.

Gli autori concludono che questo approccio abilita il riconoscimento continuo e in tempo reale dei gesti su dispositivi edge con risorse limitate, preservando la privacy dell'utente e riducendo la latenza di comunicazione mantenendo al contempo un'alta accuratezza.