💻 computer science

Spiking and Event-driven Neuromorphic Mamba Models for Efficient Speech Recognition

Dit artikel stelt spiking en event-driven neuromorfische varianten van het SpeechMamba-model voor die de activatiesparsiteit aanzienlijk verbeteren en het aantal parameters verminderen voor efficiënte spraakherkenning op apparaten met beperkte middelen, terwijl een cyclusnauwkeurige simulator wordt geïntroduceerd om algoritme-hardware co-exploratie en verdere efficiëntiewinsten te faciliteren.

Oorspronkelijke auteurs: Tauseef Ahmed, Tao Sun, Jeronimo Castrillon, Kanishkan Vadivel, Guangzhi Tang

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tauseef Ahmed, Tao Sun, Jeronimo Castrillon, Kanishkan Vadivel, Guangzhi Tang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotassistent hebt (zoals die in je telefoon of smart speaker) die naar je stem luistert en deze omzet in tekst. Deze robot is ongelooflijk goed in zijn werk, maar hij is ook een beetje een vraatzuchtig wezen. Om je spraak te begrijpen, verwerkt hij constant getallen, zelfs als er niets belangrijks te verwerken valt. Het is als een chef-kok die groenten snijdt, een maaltijd kookt, en vervolgens direct 90% van het eten weggooit, om alleen maar opnieuw te beginnen met snijden voor de volgende bestelling. Dit verspilt een enorme hoeveelheid energie en vertraagt de robot, waardoor het moeilijk is om op kleine apparaten zoals smartphones te draaien.

Dit artikel introduceert een nieuwe manier om deze robots te trainen, zodat ze alleen "wakker worden" wanneer dat absoluut nodig is. De auteurs noemen dit Neuromorphic Computing, wat de werking van het menselijk brein nabootst: neuronen vuren alleen als er een sterk signaal is, en blijven verder stil.

Hier is de uitleg van hun drie belangrijkste trucs, simpel uitgelegd:

1. De "Slimme Drempelwaarde" (Event-Driven SpeechMamba)

De onderzoekers hebben een modern, hoogwaardig spraakmodel genaamd SpeechMamba geleerd om op een goede manier lui te zijn.

De Analogie: Stel je een beveiliger bij een club voor. In het oude model controleert de bewaker iedereen die voorbijloopt, zelfs als ze duidelijk alleen maar langs de deur lopen. In het nieuwe model installeren ze een "Slimme Drempelwaarde". Als iemand eruitziet alsof hij alleen maar voorbijloopt (hun signaal is te zwak), negeert de bewaker hen volledig. De bewaker verwerkt alleen de mensen die daadwerkelijk proberen binnen te gaan.
Het Resultaat: Ze gebruikten een speciaal wiskundig hulpmiddel genaamd FATReLU om deze drempelwaarde in te stellen. Door het model in drie zorgvuldige fasen te trainen, slaagden ze erin de robot meer dan 60% van de data te laten negeren die hij normaal gesproken verwerkt. De robot begrijpt spraak nog steeds bijna perfect (met minder dan 1% verlies in nauwkeurigheid), maar doet veel minder werk.

2. De "Binaire Schakelaar" (Spiking SpeechMamba)

Voor de tweede aanpak gingen ze nog een stap verder door het brein van de robot te veranderen in een systeem van aan/uit-schakelaars.

De Analogie: In plaats van dat de bewaker meet hoe "opgewonden" iemand is (een getal zoals 0,5 of 0,8), ziet de bewaker alleen een lichtschakelaar: AAN (1) of UIT (0). Als de schakelaar op UIT staat, kijkt de bewaker niet eens naar de persoon. Als hij op AAN staat, doet de bewaker een klein beetje werk.
Het Resultaat: Dit "Spiking"-model bereikte een nog grotere luiheid door meer dan 70% van de data te negeren. Interessant genoeg werd dit model ook kleiner; het gebruikt 30% minder parameters (geheugenruimte) dan andere vergelijkbare "spiking"-modellen, terwijl het nog steeds competitief presteert.

3. Het "Virtuele Testcircuit" (De Simulator)

Het grootste probleem met deze ideeën is dat we niet genoeg echte "neuromorphic" hardware (speciale chips die hiervoor ontworpen zijn) hebben om ze goed te testen. De meeste onderzoekers gokken gewoon hoeveel energie ze besparen op basis van wiskunde, wat vaak fout is omdat het rekening houdt met de verkeerde zaken, zoals "files" in het geheugen van de computer.

De Analogie: De auteurs hebben een videospellen-simulator gebouwd die fungeert als een perfecte digitale tweeling van een echte computerchip. In plaats van alleen te gokken hoe snel de robot zou draaien, lieten ze de robot binnen deze simulator draaien om precies te zien hoeveel "stappen" (cycli) het kostte en hoeveel "brandstof" (geheugentoegang) het verbruikte.
De Ontdekking: De simulator onthulde een verrassing. Het "Binaire Schakelaar"-model (Spiking) was op sommige punten zelfs langzamer dan het "Slimme Drempelwaarde"-model. Waarom? Omdat zelfs als de schakelaar uit stond, de robot constant de "batterijniveaus" van de schakelaar (membraanpotentiaal) moest controleren om te zien of hij klaar was om te vuren. Dit extra controleren verspilde tijd.
De Oplossing: Met behulp van de simulator vonden ze de knelpunten (de files) en pasten ze het "Slimme Drempelwaarde"-model opnieuw aan. Deze uiteindelijke "Geoptimaliseerde" versie bespaarde nog meer tijd en verbeterde de efficiëntie met meer dan 10% ten opzichte van wat ze aanvankelijk dachten.

De Kernboodschap

Dit artikel laat zien dat door spraakherkenningsmodellen te leren om "lui" te zijn (onbelangrijke data te negeren) en door een aangepaste simulator te gebruiken om ze op virtuele hardware te testen, we AI veel sneller en energiezuiniger kunnen maken.

Event-Driven Model: Negeerde 60% van de data met bijna geen verlies aan nauwkeurigheid.
Spiking Model: Negeerde 70% van de data en gebruikte minder geheugen, maar had enkele verborgen "overhead"-kosten.
De Simulator: Bewees dat alleen het tellen van "genegeerde data" niet genoeg is; je moet ook controleren hoe de computer de data daadwerkelijk verwerkt om de echte hindernissen te vinden.

Dit werk is een stap richting super-efficiënte AI die op je telefoon of smart home-apparaten kan draaien zonder de batterij leeg te trekken of te vertragen.

Technische Samenvatting: Spiking en Event-gestuurde Neuromorfische Mamba-modellen voor Efficiënte Spraakherkenning

Probleemstelling

Deep learning heeft de automatische spraakherkenning (ASR) gerevolutioneerd, wat de implementatie op edge-apparaten zoals smartphones en smart home-systemen mogelijk maakt. De dichte matrixvermenigvuldigingen die inherent zijn aan Deep Neural Networks (DNN's) creëren echter aanzienlijke computationele en energetische lasten, wat leidt tot latentie en de real-time interactie op hulpbron-beperkte hardware beperkt. Hoewel neuromorfische computing een potentiële oplossing biedt door activatiesparsiteit te introduceren via Spiking Neural Networks (SNN's) en event-gestuurde netwerken, blijft er een kritieke kloof bestaan: er is geen uitgebreide studie die de realistische hardwarevoordelen van verschillende neuromorfische strategieën (spiking versus event-gestuurd) voor complexe ASR-taken evalueert. Bestaande werken vertrouwen vaak op algoritmische metrieken (bijv. synaptische operaties) die uitgaan van ideale ijle (sparse) berekeningen, waarbij ze er niet in slagen de werkelijke hardwarekosten te vatten, zoals irreguliere exploitatie van sparsity of overhead bij geheugentoegang. Bov�elijk zijn bestaande hardware-simulatoren vaak te rigide voor algoritmische exploratie of missen ze cycle-accurate event-gestuurde modellering voor atomaire input-events.

Methodologie

De auteurs stellen voor om de state-of-the-art SpeechMamba architectuur (die Mamba-blokken met self-attention integreert) aan te passen naar twee verschillende neuromorfische varianten om de activatie-sparsity te verbeteren:

1. Event-gestuurde SpeechMamba (E-SpeechMamba)

Deze aanpak maakt gebruik van FATReLU activatiefuncties om sparsity te induceren zonder neuronen naar binaire spikes te converteren.

Architectuur: FATReLU-lagen worden ingevoegd op cruciale bottleneck-punten (na lineaire, convolutionele en SSM-blokken) binnen de SpeechMamba encoder en decoder.
Trainingspipeline: Er wordt een driefasig proces gehanteerd:
1. Pre-training: Standaard ReLU-activaties worden gebruikt met een sparsity loss om de computationele last te verminderen.
2. Drempelwaarde Initialisatie: ReLU wordt vervangen door FATReLU. Drempelwaarden ( $T$ ) worden geïnitialiseerd met behulp van een data-gestuurde sweeping-strategie, waarbij $T$ wordt ingesteld op het gemiddelde van de laagste 10% van de activatiewaarden. Drempelwaarden worden progressief verhoogd zolang de genormaliseerde loss-ratio onder een tolerantie $K$ blijft.
3. Finetuning: Drempelwaarden worden verder geoptimaliseerd met een sparsity-inducerende regularisatieterm ( $L_{spar}$ ) die grote activaties en kleine drempelwaarden bestraft, wat meer nul-activaties stimuleert.

2. Spiking SpeechMamba (S-SpeechMamba)

Deze aanpak vervangt event-gestuurde modules door binaire spiking neuronen.

Architectuur: Het incorporeert Leaky Integrate-and-Fire (LIF) neuronen en adopteert de Spikformer attention-mechanisme (Spiking Self-Attention) en SpikMamba blokken.
Berekening: Inputs worden geprojecteerd naar query, key en value spike-treinen. Attention wordt berekend via scaled dot-product gelijkenis zonder softmax.
Training: Een firing-rate regularisatie loss ( $L_{quiet} + L_{burst}$ ) wordt toegepast om dode neuronen (onvoldoende firing) en excessieve firing te voorkomen, waardoor een balans wordt gevonden tussen sparsity en effectieve training.

3. Cycle-Accurate Event-Gestuurde Simulator

Om de kloof tussen algoritmische metrieken en de hardware-realiteit te overbruggen, hebben de auteurs een aangepaste simulator ontwikkeld:

Platform: Emuleert event-gestuurde dataflow-executie op een RISC-V Ibex core (RV32IMC), waarbij generieke digitale neuromorfische processoren worden gemodelleerd.
Functionaliteit: Het voert simulatie op operatieniveau uit waarbij atomaire events (spikes of gegradeerde activaties) onmiddellijke partiële som-berekeningen triggeren.
Optimalisatie: Voor SNN's slaat de simulator vermenigvuldigingen door binaire nullen over en propageert gewichten voor binaire enen, waardoor energie-intensieve MAC-operaties worden omzeild.
Gebruik: De simulator maakt "algoritme-hardware co-exploratie" mogelijk, waardoor de auteurs submodules kunnen profileren, bottlenecks kunnen identificeren en de E-SpeechMamba architectuur iteratief kunnen optimaliseren (wat resulteert in E-SpeechMamba (Optimized)).

Belangrijkste Resultaten

Experimenten werden uitgevoerd op de LibriSpeech dataset (ongeveer 980 uur aan trainingsdata).

Prestaties en Sparsity (Tabel I)

E-SpeechMamba: Bereikte 62% activatie-sparsity op de test-clean set met minder dan 1% toename in Word Error Rate (WER) vergeleken met de dichte baseline (SpeechMamba).
S-SpeechMamba: Bereikte de hoogste sparsity (72%) maar met een hogere WER-toename (ongeveer 2,4% op test-clean). Opvallend genoeg gebruikt het 30% minder parameters dan vergelijkbare state-of-the-art SNN's terwijl het concurrerende prestaties levert.
E-SpeechMamba (Optimized): Bereikte 64% sparsity met een vergelijkbare WER als de basis E-SpeechMamba, maar met een grotere reductie in berekeningen dankzij extra sparsificatie-punten.

Hardware-efficiëntie (Tabel II)

Gesimuleerd op de RISC-V Ibex core, lieten de modellen significante verbeteringen zien ten opzichte van een naïef gesparsificeerde baseline:

E-SpeechMamba (Optimized): Verminderde CPU-cycli met 46,13%, instructies met 26,9%, geheugentoegang met 28,50% en latentie met 37,5%.
S-SpeechMamba: Ondanks hogere activatie-sparsity, vertoonde het een lagere reductie in CPU-cycli (19,58%) vergeleken met E-SpeechMamba.
Cruciale Inzicht: S-SpeechMamba ondervond een hogere overhead bij geheugentoegang (slechts 7,63% verbetering versus 17,57% voor E-SpeechMamba) vanwege de kosten van het onderhouden van membraanpotentiaal-toestanden in LIF-neuronen. Dit benadrukt dat hoge activatie-sparsity niet altijd vertaalt naar hardware-efficiëntie als de geheugenbandbreedte een bottleneck is.

Submodule Analyse

Simulatie onthulde dat "hotspots" in het Mamba-blok (specifiek de SSM Scan submodule en bepaalde matrixvermenigvuldigingen) dicht bleven en de executietijd domineerden. Het iteratieve optimalisatieproces, geleid door deze simulatie-inzichten, richtte zich succesvol op deze bottlenecks om verdere efficiëntiewinsten te behalen.

Betekenis en Claims

Het artikel beweert de eerste studie te zijn die de realistische hardwarevoordelen van verschillende neuromorfische strategieën voor complexe ASR evalueert. De primaire bijdragen zijn:

Nieuwe Architecturen: Introductie van event-gestuurde en spiking varianten van het SpeechMamba-model die een hoge sparsity bereiken met minimale nauwkeurigheidsdegradatie.
Hardware-Bewuste Co-Exploratie: Demonstratie dat algoritmische sparsity-metrieken alleen onvoldoende voorspellers zijn voor hardwareprestaties. De auteurs tonen aan dat patronen van geheugentoegang en de kosten voor het onderhouden van toestanden (in SNN's) de verwachte winsten kunnen uithollen.
Simulatie Framework: Het bieden van een flexibele, cycle-accurate, event-gestuurde simulator die het mogelijk maakt om computationele bottlenecks te identificeren en gerichte architecturale optimalisatie uit te voeren, een capaciteit die ontbreekt in bestaande analytische of grofmazige simulatoren.

Het werk onderstreept de noodzaak van hardware-bewuste analyse om neuromorfische methoden onder realistische omstandigheden te valideren en om het ontwerp van algoritmen te sturen die efficiënt ondersteund kunnen worden door toekomstige digitale neuromorfische hardware.