FeNN-DMA: A RISC-V SoC for SNN acceleration

Technische Samenvatting: FeNN-DMA – Een RISC-V SoC voor SNN-acceleratie

Probleemstelling
Spiking Neural Networks (SNNs) bieden een veelbelovend, energiezuinig alternatief voor standaard kunstmatige neurale netwerken (ANNs), met name voor spatio-temporele taken zoals keyword spotting en videoclassificatie. SNNs hebben echter een lage rekenintensiteit vanwege hun gebevenis-gebaseerde communicatie, waardoor ze slecht passen bij standaard high-throughput versnellers zoals GPU's en TPU's, die geoptimaliseerd zijn voor dichte matrixvermenigvuldiging. Hoewel er specifieke hardware zoals ASIC's en FPGA's voor SNNs is ontwikkeld, kampen veel bestaande FPGA-gebaseerde oplossingen met aanzienlijke trade-offs. Veel daarvan zijn afgestemd op specifieke, eenvoudige neuronmodellen (bijv. Leaky Integrate-and-Fire) en beeldgebaseerde datasets (bijv. MNIST) die zijn omgezet van ANNs, en slagen er niet in de complexe, recurrente en vertragingsrijke architecturen te ondersteunen die vereist zijn voor state-of-the-art SNN-onderzoek. Bovendien lijden systemen die externe geheugens ondersteunen vaak aan latentie-bottlenecks, terwijl systemen die uitsluitend vertrouwen op on-chip geheugen niet kunnen schalen naar de neuron- en synapsaantallen die nodig zijn voor moderne modellen.

Methodologie
De auteurs presenteren FeNN-DMA, een volledig programmeerbare System-on-Chip (SoC) gebaseerd op de RISC-V-architectuur, ontworpen voor het simuleren van SNNs op AMD UltraScale+ FPGA's (specifiek de Kria KV260 development kit). Het ontwerp integreert een aangepaste vectorprocessor met een toegewezen Direct Memory Access (DMA) controller om programmeerbaarheid te balanceren met geheugen-gebonden prestaties.

• Architectuur: De SoC beschikt over een nauw gekoppelde scalaire kern (CV32E40x) en een 32-lane, 512-bit brede vector co-processor (VEC). De VEC is een 3-traps gepipeleste processor met gespecialiseerde instructies voor SNN-operaties, waaronder gemaskeerde optelling, stochastische afronding en willekeurige getallengeneratie.
• Geheugenhiërarchie: Om de geheugen-gebonden aard van SNNs aan te pakken, gebruikt FeNN-DMA een hybride geheugenbenadering. Het maakt gebruik van hoog-densiteit UltraRAM (URAM) blokken voor grote vectordata (gewichten en neuron-toestanden) en BlockRAM (BRAM) voor instructiegeheugen en "lane-lokaal" geheugen. Het lane-lokale geheugen ondersteunt geïndexeerde loads, wat efficiënte afhandeling van ijle (sparse) connectiviteit en synaptische vertragingen mogelijk maakt zonder operaties over cycli heen te serialiseren.
• DMA-controller: Een op maat gemaakte DMA-controller beheert de datastroom tussen 4 GB off-chip DDR4-geheugen en on-chip buffers. Het overlapt de geheugenoverdrachtlatentie met de berekening, waardoor het systeem modellen kan simuleren die groter zijn dan de on-chip geheugencapaciteit.
• Software Stack: De auteurs hebben PyFeNN ontwikkeld, een Python-gebaseerde toolchain. Hiermee kunnen gebruikers neuronmodellen definiëren in een C-achtige taal en SNN-topologieën met een PyTorch-achtige syntaxis of door modellen te importeren uit de Neuromorphic Intermediate Representation (NIR). De toolchain compileert deze beschrijvingen naar geoptimaliseerde RISC-V vectorcode.
• Algoritmen: Het systeem implementeert geoptimaliseerde algoritmen voor dichte, ijle en vertraagde connectiviteit. Voor ijle connectiviteit iterereert het over spike bitfields en verwerkt het verbindingen parallel over vector lanes, waarbij het lane-lokale geheugen wordt gebruikt om de inputs van doelneuronen te distribueren.

Belangrijkste Bijdragen

1. Geüpdatete FeNN-kern: Een verbeterde vectorprocessor met lane-lokale geheugens om synaptische vertragingen en ijle connectiviteit te ondersteunen, samen met een aangepaste instructieset (Tabel 1) die geoptimaliseerd is voor SNN-berekeningen (bijv. VANDADD, VRNG, VMUL met afronding).
2. Bespoke DMA-controller: Een aangepaste controller die efficiënt gewichten van off-chip geheugen naar on-chip buffers streamt, wat de simulatie van grootschalige netwerken (tot 256 miljoen synapsen per kern) mogelijk maakt en de geheugenlatentie verbergt.
3. PyFeNN Framework: Een hoogwaardige programmeeromgeving die de kloof overbrugt tussen SNN-modeldefinitie en hardware-implementatie, met ondersteuning voor NIR-imports en fixed-point kwantisatie.
4. Schaalbare SoC-ontwerpen: Implementatie van enkelvoudige en dubbele FeNN-DMA systemen op de Kria KV260, in staat om tot 16.000 neuronen per kern te simuleren.

Resultaten

• Prestaties en Resources: De enkele-kern FeNN-DMA bereikt een werkfrequentie van 175 MHz. Wat betreft resourcegebruik (LUTs, FFs, BRAMs) is het vergelijkbaar met state-of-the-art fixed-function versnellers, maar ondersteunt het aanzienlijk meer neuronen en synapsen. Hoewel de ruwe doorvoer (0,92 GSOP/s voor dichte connectiviteit) lager is dan bij sommige fixed-function systemen (die meer dan 47 GSOP/s kunnen overschrijden), biedt het superieure flexibiliteit en schaalbaarheid.
• Classificatienauwkeurigheid: Het systeem demonstreerde state-of-the-art nauwkeurigheid op uitdagende benchmarks:
  • Spiking Heidelberg Digits (SHD): Behaalde 90,32% nauwkeurigheid op een recurrent netwerk met trainbare synaptische vertragingen, waarmee het andere FPGA-gebaseerde benaderingen die op deze dataset zijn geëvalueerd, overtrof.
  • Neuromorphic MNIST (N-MNIST): Behaalde 98,46% nauwkeurigheid met een extreem ijle (99% sparsity) recurrente model, wat de dichte modellen van eerdere FPGA-werken overtreft.
  • Braille Tactile Classification: Behaalde 92,86% nauwkeurigheid met een NIR-geïmporteerd model, vergelijkbaar met de beste software backends.
• Schaalbaarheid: Het systeem kan gebalanceerde random netwerken van tot 16.000 neuronen simuleren met snellere-dan-real-time snelheden wanneer het ijle connectiviteit gebruikt. De gemeten doorvoer voor ijle verwerking bereikte 3,72 GSOP/s (bij 75% sparsity), wat de lagere efficiëntie per operatie vergeleken met fixed-function hardware effectief compenseert.

Betekenis en Claims
Het artikel claimt dat FeNN-DMA een belangrijke stap vormt naar flexibele, hoog-capacitaire SNN-acceleratie op FPGA's. Door een RISC-V vectorarchitectuur te combineren met een aangepaste DMA-controller en een hoogwaardige software stack, overbrugt het systeem de kloof tussen de programmeerbaarheid van algemene processors en de efficiëntie van toegewezen versnellers.

De auteurs benadrukken dat hun aanpak de simulatie van complexe, biologisch plausibele modellen (met recurrente connectiviteit en vertragingen) mogelijk maakt die vaak niet worden ondersteund door fixed-function versnellers. Hoewel zij erkennen dat er een doorvoergat van 3–4× is ten opzichte van fixed-function systemen door de software-gestuurde spike-propagatie loop, stellen zij dat het vermogen van het systeem om vanuit extern geheugen te streamen en grote, complexe modellen te ondersteunen, het een praktische oplossing maakt voor state-of-the-art SNN-inferentie. Het werk demonstreert dat programmeerbare vectorarchitecturen op FPGA's een concurrerende energie-efficiëntie en resourcegebruik kunnen bereiken, terwijl ze de flexibiliteit bieden die vereist is voor de volgende generatie neuromorf onderzoek.