Sintesi Tecnica: Codifica Adattiva Speech-to-Spike per Reti Neurali Spiking

Problematica

Il collo di bottiglia primario nell'elaborazione neuromorfica del parlato è il disallineamento tra i segnali acustici continui e la natura discreta ed event-driven delle Reti Neurali Spiking (SNN). A differenza del dominio visivo, che utilizza sensori di visione dinamica (DVS) per fornire flussi di eventi asincroni nativi, l'acquisizione audio si affida a microfoni standard che producono forme d'onda dense e ad alta larghezza di banda. Gli attuali sistemi impiegano tipicamente encoder speech-to-spike a passo fisso con soglie statiche scelte manualmente. Questa rigidità costringe le architetture SNN a valle a compensare rappresentazioni di input subottimali, richiedendo spesso modelli più grandi per estrarre caratteristiche discriminanti. Inoltre, l'addestramento di queste reti spesso si basa sulla Backpropagation Through Time (BPTT) con gradienti surrogati, il che richiede una propagazione dell'errore computazionalmente costosa e un trasporto simmetrico dei pesi, ponendo sfide per l'implementazione hardware.

Metodologia

Gli autori propongono un meccanismo di codifica speech-to-spike (S2S) residua apprendibile e completamente differenziabile, addestrato congiuntamente end-to-end con un backbone Recurrent Leaky Integrate-and-Fire (R-LIF).

1. Encoder Step-Forward Apprendibile

L'encoder trasforma le caratteristiche dello spettrogramma log-mel in treni di spike binari sparsi utilizzando una gerarchia a due fasi:

• Codifica Coarse (Grossolana): Una traccia grossolana segue il segnale di input con una dimensione del passo apprendibile $\delta^{(1)}$. Gli spike vengono emessi se l'errore di tracciamento supera questo passo.
• Codifica Residua Fine: Una traccia fine cattura l'errore residuo dalla fase grossolana utilizzando una dimensione del passo più piccola e apprendibile $\delta^{(2)}$.
• Parametrizzazione: Le dimensioni dei passi sono derivate da variabili scalari globali ($\rho, \kappa$) condivise tra tutte le bande di frequenza, garantendo che $\delta^{(2)} < \delta^{(1)}$.
• Output: Il sistema emette quattro flussi di spike (positivo/negativo sia per le tracce grossolane che per quelle fini), risultando in una rappresentazione di eventi a 4 canali per ogni banda di frequenza.
• Differenziabilità: Poiché la funzione gradino di Heaviside non è differenziabile, gli autori utilizzano uno stimatore straight-through con una forma di backpropagation sigmoidale per l'encoder e una fast-sigmoid surrogate per il backbone.

2. Backbone Ricorrente e Readout

I treni di spike codificati sono elaborati da un backbone R-LIF multistrato per catturare le dipendenze temporali. Il backbone utilizza parametri di leak (perdita) e soglia apprendibili. Un modulo di readout MLP leggero a due strati mappa l'attività degli spike mediata nel tempo nelle probabilità di classe.

3. Obiettivi di Addestramento e Regole di Apprendimento

L'obiettivo di addestramento combina la perdita di cross-entropy con una penalità di attività per indurre la sparsità. Il paper confronta due strategie di assegnazione del credito sotto architetture identiche:

• Surrogate-Gradient BPTT: Propaga i gradienti attraverso il grafo temporale srotolato utilizzando derivate surrogate.
• Direct Feedback Alignment (DFA): Un'alternativa ispirata alla biologia e più amichevole per l'hardware che decoppia la fase di backward pass proiettando un segnale di errore globale agli strati nascosti tramite matrici casuali fisse, evitando il trasporto simmetrico dei pesi.

Contributi Chiave

1. Encoder Residuo Apprendibile: Introduzione di un encoder ottimizzato congiuntamente che sostituisce le soglie fisse con parametri apprendibili, ottenendo prestazioni competitive con significativamente meno parametri.
2. Analisi dell'Encoder: Dimostrazione che l'encoder appreso non mira a una ricostruzione fedele del segnale. Al contrario, costruisce rappresentazioni di spike allineate al compito che migliorano la separabilità delle classi, come evidenziato dal linear probing e dall'ispezione del gradiente-residuo.
3. Benchmark delle Regole di Apprendimento: Un confronto controllato tra surrogate-gradient BPTT e DFA su compiti di parlato neuromorfico, quantificando il compromesso tra accuratezza e regole di apprendimento più adatte all'hardware.

Risultati Sperimentali

L'approccio è stato validato sul benchmark Google Speech Commands v2 (GSC-v2) (35 classi).

• Guadagni di Accuratezza: L'encoder apprendibile ha migliorato l'accuratezza di test dal 90,70% (baseline fissa) al 94,97% (modello Large) quando accoppiato con lo stesso backbone R-LIF.
• Efficienza: L'encoder appreso ha ridotto l'attività di eventi di input da 2.982 a 2.119 spike per utterance, aumentando la sparsità di input dal 90,7% al 93,4%.
• Efficienza dei Parametri: Un modello "Tiny" altamente vincolato con soli 35k parametri ha raggiunto un'accuratezza dell'89,8%, eguagliando o superando i precedenti baseline che richiedono un ordine di grandezza in più di parametri (es. SIDC-KWS con 403k parametri).
• Compromesso delle Regole di Apprendimento: In condizioni identiche, DFA ha raggiunto il 91,5% di accuratezza, rispetto al 94,97% di BPTT. Ciò evidenzia un chiaro divario di accuratezza per le regole di apprendimento locali ispirate alla biologia in questo dominio.
• Proxy di Energia: Il modello Large ha raggiunto una sparsità globale del 95,5%, riducendo le operazioni da 82,9M dense a 3,9M SynOps attivi, con un'energia attiva stimata di 16 µJ (basata su stime a 45nm).

Significato e Rivendicazioni

Il paper sostiene che il limite fondamentale nell'attuale elaborazione del parlato neuromorfico non è solo l'architettura SNN, ma l'encoding di input fisso e non adattivo. Sostituendo le soglie statiche con un meccanismo residuo apprendibile, il sistema può regolare più efficacemente il "budget di spike", preservando le informazioni rilevanti per il compito e scartando eventi non necessari.

Gli autori sottolineano che l'encoder appreso dà priorità alla separabilità delle classi rispetto alla fedeltà del segnale, modellando le caratteristiche specificamente per il compito di classificazione a valle. Inoltre, il benchmarking di DFA rispetto a BPTT fornisce una visione quantificata delle attuali limitazioni delle regole di apprendimento locali per l'audio neuromorfico, suggerendo che, sebbene DFA offra vantaggi hardware, rimane un significativo divario di accuratezza da colmare. Il lavoro conclude che il miglioramento dell'encoding front-end è una via critica per ridurre il budget di parametri richiesto per un'alta accuratezza nel keyword spotting neuromorfico.