DBNN: Neural Spike Classification Using a Deep Binarized Neural Network

Technische Samenvatting: DBNN: Neurale Spike Classificatie met een Diepe Gebinariseerde Neurale Netwerk

Probleemstelling
Implanteerbare hersen-computerinterfaces (iBCI's) worden geconfronteerd met strikte beperkingen wat betreft energieverbruik, siliciumoppervlak en end-to-end latentie. Een kritieke bottleneck in deze systemen is de transmissie van hoogfrequente extracellulaire opnames, wat aanzienlijke bandbreedte en vermogen verbruikt. Hoewel on-chip spike sorting de databestanden kan verlagen door alleen discrete spike-treinen te verzenden, zijn conventionele sorting-pipelines (bestaande uit filtering, detectie, feature extractie en clustering) of full-precision deep neural networks (DNN's) vaak te resource-intensief voor implanteerbare apparaten. Full-precision DNN's vereisen aanzienlijk geheugen voor parameters en voeren dure floating-point multiply–accumulate (MAC) operaties uit, wat ze moeilijk inzetbaar maakt op resource-beperkte hardware zonder de real-time prestaties of het vermogensbudget in gevaar te brengen.

Methodologie
De auteurs stellen een hardware-georiënteerd Deep Binarized Neural Network (DBNN) voor, specifiek ontworpen voor real-time neurale spike sorting. De methodologie integreert algoritmisch ontwerp met hardwarebeperkingen via de volgende componenten:

1. Pre-classificatie Pipeline:

   • Detectie: Maakt gebruik van een Nonlinear Energy Operator (NEO) om de signaalenergie te berekenen en spikes te detecteren op basis van een dynamische drempelwaarde.
   • Uitlijning & Reductie: Gedetecteerde waveforms (oorspronkelijk 64 samples) worden uitgelijnd op hun piek en afgeknipt naar 48 samples. Deze worden vervolgens gedownsampled met een factor 3 naar een compacte 16-sample vector, waarbij de vorminformatie behouden blijft terwijl de dimensionaliteit wordt verminderd.
   • Kwantisering: De 16-sample input wordt genormaliseerd naar $[-1, 1]$ en gekwantiseerd naar 8-bit signed integers.

2. DBNN Architectuur:

   • Topologie: Een 16–256–256–3 volledig verbonden netwerk (16 input nodes, twee hidden layers van 256 neuronen, en 3 output neurons voor het classificeren van drie verschillende neuronen).
   • Binarisatie: Gewichten en activaties van de hidden layers worden beperkt tot $\pm 1$ (bipolaire waarden). Dit elimineert multipliers in de hidden layers en vervangt deze door sign-gecontroleerde accumulatie (Layer 1) en XNOR-popcount operaties (Layer 2).
   • Batch Normalization (BN): BN wordt toegepast tijdens de training om de pre-activatie distributies te stabiliseren en convergentie te verbeteren, met name onder ruisgevoelige omstandigheden. Tijdens de inferentie worden de BN-parameters ingevouwen in de beslissingsdrempels van de activatielagen, waardoor de eenvoud van de hardware behouden blijft zonder extra computationele overhead toe te voegen.
   • Output Layer: In tegenstelling tot de hidden layers gebruikt de output layer fixed-point gewichten en biases om de classificatiegetrouwheid te behouden. De uiteindelijke klasse wordt bepaald via een ArgMax operatie op de drie ruwe logits, waarbij de computationeel dure Softmax functie wordt weggelaten.

3. Hardware Implementatie:

   • FPGA: Geprototypeerd op een Intel Cyclone V device. Het ontwerp maakt gebruik van tijd-gemultiplexeerde accumulatoren en logische primitieven (XNOR, popcount) om DSP-blokken volledig te vermijden.
   • ASIC: Gesynthetiseerd met een FreePDK45 process flow met Synopsys Design Compiler en Cadence Innovus.

Belangrijkste Bijdragen

• Eerste Real-Time DBNN voor Spike Sorting: Het artikel introduceert het eerste Deep Binarized Neural Network dat specifiek is ontworpen voor real-time neurale spike sorting, waarbij een balans wordt gevonden tussen de omvang van de inputdata en de diepte van het netwerk.
• Multiplier-vrije Inferentie: Door de hidden layers te binariseren, bereikt het systeem een inferentie die gedomineerd wordt door bit-wise logica en sign-gecontroleerde accumulatie, wat drastisch minder vermogen en oppervlakte verbruikt vergeleken met full-precision of zelfs gedeeltelijk gekwantiseerde netwerken.
• Hardware-Software Co-Design: De architectuur is geoptimaliseerd voor low-power geïntegreerde circuits, met een fixed-point output layer om de nauwkeurigheid te bewaren terwijl de efficiëntie van de gebinariseerde hidden layers behouden blijft.
• Robuustheid via Batch Normalization: De studie toont aan dat het integreren van BN tijdens de training (met threshold folding tijdens inferentie) de robuustheid tegen ruis en waveform overlap aanzienlijk verbetert, een veelvoorkomende uitdaging bij spike sorting.

Experimentele Resultaten
Het systeem is geëvalueerd op zowel synthetische als in-vivo datasets:

• Nauwkeurigheid: De DBNN bereikte een mediane classificatienauwkeurigheid van 98,7% over zowel synthetische als in-vivo datasets.
  • Op synthetische data behield het model een hoge nauwkeurigheid (93–99%) zelfs onder hoge ruiscondities (tot 20% ruis standaarddeviatie), waarbij het eerdere BNN en PBNN benaderingen aanzienlijk overtrof, vooral in moeilijke scenario's met overlappende spikes.
  • Op in-vivo primaten-data verbeterde de inclusie van BN de gemiddelde kanaalnauwkeurigheid van 84,16% naar 98,23%.
• FPGA Prestaties: Werkend op 50 MHz, verwerkt de classifier een spike in 528 cycli, wat resulteert in een compute-latentie van 0,01 ms (10,56 $\mu$s). Het verbruikt 828 Adaptive Logic Modules (ALMs) en 1023 registers, waarbij nul DSP-blokken worden gebruikt.
• ASIC Haalbaarheid: Synthese-resultaten wijzen op een siliciumoppervlak van 0,014 mm² en een geschat vermogensverbruik van 122 nW bij 20 kHz onder een 1,1 V spanning.
• Datareductie: Het systeem bereikt een datatransmissie-reductie van ongeveer 2667$\times$ door discrete spike ID's te verzenden in plaats van ruwe waveforms.

Betekenis en Claims
Het artikel claimt dat de voorgestelde DBNN spike sorter een gunstige afweging biedt tussen classificatienauwkeurigheid en implementatiekosten, waardoor het zeer geschikt is voor low-power, implanteerbare neurale interfaces. Door een hoge nauwkeurigheid (98,7%) te bereiken met extreem lage hardware-overhead (0,014 mm², 122 nW) en multiplier-vrije operaties, adresseert het systeem de kritieke vermogens- en oppervlaktebeperkingen van iBCI's. De auteurs stellen dat dit werk een uitstekend evenwicht vindt tussen de omvang van de inputdata en de complexiteit van het netwerk, wat real-time on-node spike sorting mogelijk maakt die de telemetrie-bandbreedte vermindert terwijl een betrouwbare neurale decodering behouden blijft. De resultaten suggereren dat diepe gebinariseerde netwerken, wanneer ze worden gecombineerd met passende trainings-technieken zoals batch normalization, de nauwkeurigheidsbeperkingen die gewoonlijk geassocieerd worden met agressieve kwantisering in neurale signaalverwerking, kunnen overwinnen.