Technische Samenvatting: Adaptieve Speech-to-Spike Codering voor Spiking Neurale Netwerken

Probleemstelling

De primaire flessenhals in neuromorfische spraakverwerking is de mismatch tussen continue akoestische signalen en de discrete, gebeurtenisgestuurde aard van Spiking Neurale Netwerken (SNN's). In tegenstelling tot het visuele domein, dat gebruikmaakt van Dynamic Vision Sensors (DVS) om natuurlijke asynchrone event-stromen te leveren, berust audiogaring op standaard microfoons die dichte, breedbandige golfvormen produceren. Huidige systemen maken doorgaans gebruik van vaste, stap-voorwaartse speech-to-spike encoders met handmatig gekozen, statische drempelwaarden. Deze starheid dwingt downstream SNN-architecturen om een suboptimale inputrepresentatie te compenseren, wat vaak grotere modellen noodzakelijk maakt om onderscheidende kenmerken te extraheren. Daarnaast leunt de training van deze netwerken vaak op Backpropagation Through Time (BPTT) met surrogate gradiënten, wat computationeel dure foutpropagatie en symmetrische gewichtstransport vereist, wat uitdagingen vormt voor hardware-implementatie.

Methodologie

De auteurs stellen een volledig differentieerbare, leerbare residuele speech-to-spike (S2S) coderingsmechanisme voor dat gezamenlijk end-to-end wordt getraind met een Recurrent Leaky Integrate-and-Fire (R-LIF) backbone.

1. Leerbare Stap-voorwaartse Encoder

De encoder transformeert log-mel spectrogram-kenmerken naar ijle binaire spike-treinen met behulp van een twee-fasen hiërarchie:

• Coarse Encoding: Een grove trace volgt het ingangssignaal met een leerbare stapgrootte $\delta^{(1)}$. Spikes worden uitgezonden als de trackingfout deze stap overschrijdt.
• Fine Residual Encoding: Een fijne trace vangt de residuele fout van de grove fase op met een kleinere, leerbare stapgrootte $\delta^{(2)}$.
• Parametrisering: De stapgroottes zijn afgeleid van globale scalaire variabelen ($\rho, \kappa$) die gedeeld worden over alle frequentiebanden, waardoor $\delta^{(2)} < \delta^{(1)}$ wordt gegarandeerd.
• Output: Het systeem zendt vier stromen van spikes uit (positief/negatief voor zowel de grove als de fijne trace), wat resulteert in een 4-kanaals event-representatie per frequentieband.
• Differentieerbaarheid: Omdat de Heaviside-stapfunctie niet-differentieerbaar is, gebruiken de auteurs een straight-through estimator met een sigmoid backward-vorm voor de encoder en een fast-sigmoid surrogate voor de backbone.

2. Recurrente Backbone en Readout

De gecodeerde spike-treinen worden verwerkt door een multi-layer R-LIF backbone om temporele afhankelijkheden te vangen. De backbone maakt gebruik van leerbare lek- en drempelparameters. Een lichtgewicht, twee-laagse MLP readout-kop brengt de tijdgemiddelde spike-activiteit in kaart naar klasse-waarschijnlijkheden.

3. Trainingsdoelstellingen en Leersregels

De trainingsdoelstelling combineert cross-entropy loss met een activiteitsstraf om ijlheid (sparsity) te induceren. Het artikel vergelijkt twee credit assignment strategieën onder identieke architecturen:

• Surrogate-Gradient BPTT: Propageert gradiënten door de ontrolde temporele graaf met behulp van surrogate derivaten.
• Direct Feedback Alignment (DFA): Een bio-geïnspireerd, hardware-vriendelijk alternatief dat de backward pass ontkoppelt door een globale foutsignaal naar verborgen lagen te projecteren via vaste random matrices, waardoor symmetrisch gewichtstransport wordt vermeden.

Belangrijkste Bijdragen

1. Leerbare Residuele Encoder: Introductie van een gezamenlijk geoptimaliseerde encoder die vaste drempelwaarden vervangt door leerbare parameters, waarmee competitieve prestaties worden behaald met aanzienlijk minder parameters.
2. Encoder Analyse: Demonstratie dat de geleerde encoder niet streeft naar getrouwe signaalreconstructie. In plaats daarvan construeert het taak-gealigneerde spike-representaties die de klasse-scheidbaarheid verbeteren, zoals aangetoond door lineaire probing en gradient-residual inspectie.
3. Leersregel Benchmark: Een gecontroleerde vergelijking van surrogate-gradient BPTT en DFA op neuromorfische spraaktaken, waarbij de prestatie-afweging tussen nauwkeurigheid en hardware-vriendelijke leersregels wordt gekwantificeerd.

Experimentele Resultaten

De aanpak werd gevalideerd op de Google Speech Commands v2 (GSC-v2) benchmark (35 klassen).

• Nauwkeurigheidswinst: De leerbare encoder verbeterde de testnauwkeurigheid van 90,70% (vaste baseline) naar 94,97% (Large model) wanneer deze werd gekoppeld aan dezelfde R-LIF backbone.
• Efficiëntie: De geleerde encoder verminderde de input event-activiteit van 2.982 naar 2.119 spikes per utterance, waardoor de input-ijlheid toenam van 90,7% naar 93,4%.
• Parameter Efficiëntie: Een zeer beperkt "Tiny" model met slechts 35k parameters bereikte 89,8% nauwkeurigheid, wat gelijk staat aan of beter is dan eerdere baselines die een orde van grootte meer parameters vereisen (bijv. SIDC-KWS met 403k params).
• Leersregel Afweging: Onder identieke omstandigheden bereikte DFA 91,5% nauwkeurigheid, vergeleken met 94,97% voor BPTT. Dit benadrukt een duidelijke nauwkeurigheidsgap voor bio-geïnspireerde lokale leersregels in dit domein.
• Energie Proxy: Het Large model bereikte 95,5% globale ijlheid, waardoor operaties afnamen van 82,9M dense naar 3,9M actieve SynOps, met een geschatte actieve energie van 16 µJ (gebaseerd op 45nm schattingen).

Betekenis en Claims

Het artikel claimt dat de fundamentele beperking in de huidige neuromorfische spraakverwerking niet uitsluitend de SNN-architectuur is, maar de vaste, niet-adaptieve input-encoding. Door statische drempelwaarden te vervangen door een leerbaar residueel mechanisme, kan het systeem het "spike-budget" effectiever reguleren, waarbij relevante informatie voor de taak wordt behouden terwijl onnodige events worden weggegooid.

De auteurs benadrukken dat de geleerde encoder prioriteit geeft aan klasse-scheidbaarheid boven signaalfideliteit, waardoor kenmerken specifiek worden gevormd voor de downstream classificatietaak. Bovendien biedt de benchmarking van DFA tegenover BPTT een gekwantificeerd beeld van de huidige beperkingen van lokale leersregels voor neuromorfische audio, wat suggereert dat hoewel DFA hardwarevoordelen biedt, er nog steeds een aanzienlijke nauwkeurigheidsgap moet worden gedicht. Het werk concludeert dat het verbeteren van de front-end encoding een cruciale route is om het benodigde parameterbudget voor hoogwaardige neuromorfische keyword spotting te verlagen.