Heterogeneous SoC Integrating an Open-Source Recurrent SNN Accelerator for Neuromorphic Edge Computing on FPGA

Technische Samenvatting: Heterogene SoC met een Open-Source Recurrente SNN-versneller voor Neuromorfe Edge Computing op FPGA

Probleemstelling
De proliferatie van Spiking Neural Networks (SNN's) heeft de ontwikkeling van neuromorfe architecturen aangewakkerd die biologische spike-gebaseerde verwerking kunnen nabootsen. Hoewel SNN's aanzienlijke voordelen bieden op het gebied van energie-efficiëntie en parallelle verwerking, wordt hun wijdverbreide adoptie gehinderd door de verbodsbepalende kosten van silicium tape-outs. Bovendien ontbreekt het bestaande neuromorfe hardware vaak aan toegankelijkheid voor open-source ontwerp en flexibel prototyping. Een kritieke architecturale uitdaging is de aansturing van standalone SNN-versnellers; oplossingen die vertrouwen op externe controllers zijn vaak suboptimaal wat energie-efficiëntie betreft, wat van het grootste belang is voor edge-toepassingen. Er is behoefte aan een flexibel, kosteneffectief platform dat een lokale controller integreert met een SNN-versneller om open-source hardwareontwikkeling en edge-implementatie te faciliteren zonder de kosten van custom silicium.

Methodologie
De auteurs presenteren een heterogene System-on-Chip (SoC)-ontwerp geïmplementeerd op FPGA's dat ReckOn, een open-source Recurrente SNN (RSNN)-versneller, integreert met twee verschillende besturingsarchitecturen. De ReckOn-versneller ondersteunt tot 256 input/recurrente Leaky Integrate-and-Fire (LIF)-neuronen en 16 output Leaky Integrate (LI)-neuronen, met gebruikmaking van het e-prop-algoritme voor lokale learning in ruimte en tijd.

Twee heterogene configuraties werden gesynthetiseerd op een Xilinx Zynq-7020 (XC7Z020) FPGA (PYNQ-Z2 bord):

1. X-HEEP Microcontroller Integratie:

   • Controller: Een open-source RISC-V-gebaseerde microcontroller (X-HEEP) gesynthetiseerd als een standalone digitaal systeem.
   • Interface: De X-HEEP bestuurt de ReckOn-versneller via een SPI-periferie.
   • Gegevensverwerking: Trainings- en testdatasets worden opgeslagen in Block RAM (BRAM) en geïnitieerd tijdens het schrijven van het bitbestand. Een Address Event Representation (AER)-decoder, geïmplementeerd als een Finite State Machine (FSM), decodeert 32-bits woorden uit het geheugen naar spike-gebeurtenissen en beheert de handshake met de versneller.
   • Operatie: Het systeem opereert in een "bare metal"-omgeving, waarbij het de configuratie van de parameterbank en de uitvoering van inferentie-/trainingscycli beheert.

2. ARM-processor Integratie (Zynq SoC):

   • Controller: Het ARM Cortex-A9 Processing System (PS) dat een op Linux gebaseerd besturingssysteem draait (PetaLinux).
   • Interface: De PS bestuurt de ReckOn-versneller (geïmplementeerd in de Programmable Logic, PL) via geheugen-geadresseerde AXI-interfaces (AXI-QUADSPI, AXI-BRAM, AXI-GPIO).
   • Gegevensverwerking: Om de BRAM-capaciteitsbeperkingen te overwinnen, maakt deze architectuur gebruik van een batch-offloading-mechanisme. Datasets worden opgeslagen in het PS-geheugen en in batches overgebracht naar de PL-BRAM.
   • Operatie: De AER-decoder is aangepast om batchverwerking te ondersteunen, waarbij nieuwe FSM-toestanden (bijv. END_B, NEW_BATCH) en signalen worden geïntroduceerd om te coördineren met de ARM-controller. Dit maakt de uitvoering van grotere taken en complexere datasets mogelijk.

Belangrijkste Bijdragen

• Heterogene Integratie: De succesvolle integratie van de ReckOn RSNN-versneller met zowel een RISC-V-gebaseerde microcontroller (X-HEEP) als een commerciële ARM-gebaseerde SoC, waarmee een flexibel ecosysteem voor neuromorfe edge computing wordt aangetoond.
• Open-Source Validatie: Het werk valideert de ReckOn-versneller op FPGA, waarmee de equivalentie met de oorspronkelijke silicium tape-out-implementatie wordt bevestigd.
• Schaalbare Architectuur: De ontwikkeling van een ARM-gestuurde architectuur die gebruikmaakt van batch-offloading om datasets groter dan het on-chip geheugen van de FPGA te verwerken, waarmee een belangrijke beperking van de alleen-microcontroller-aanpak wordt aangepakt.
• Demonstratie van Online Learning: De implementatie en evaluatie van online learning-mogelijkheden met het e-prop-algoritme op een real-world dataset (Braille-cijfers) direct op de FPGA.

Resultaten
De auteurs hebben de ontwerpen gevalideerd middels analyse van hulpbronnengebruik en nauwkeurigheidsbenchmarks:

• Hulpbronnengebruik:
  • De X-HEEP-implementatie gebruikte ongeveer 91,1% van de beschikbare LUT's en 71,07% van de BRAM's (vanwege datasetopslag), waardoor beperkte ruimte overbleef voor extra IP's.
  • De ARM-gebaseerde implementatie gebruikte 77,7% van de LUT's en 86,07% van de BRAM's. Door de controller uit te wijken naar de PS, maakte dit ontwerp middelen vrij en stond het een flexibelere configuratie toe.
• Nauwkeurigheidsvalidatie (Binary Decision Navigation):
  • De FPGA-implementaties werden vergeleken met de oorspronkelijke silicium tape-out-resultaten en RTL-simulaties met behulp van de Cue Accumulation-dataset.
  • X-HEEP: Bereikte 92,4% trainingsnauwkeurigheid en 96,8% validatienauwkeurigheid.
  • ARM: Bereikte 92,2% trainingsnauwkeurigheid en 96,4% validatienauwkeurigheid.
  • Silicium Referentie: Rapporteerde 96,4% nauwkeurigheid.
  • De resultaten bevestigen geen significante discrepantie tussen de FPGA-implementaties en de silicium tape-out.
• Online Learning (Braille-cijfers Classificatie):
  • Het systeem werd getest op een subset van de Braille-cijfers dataset (12 input-sensoren).
  • 3-Klasse Subset (A, E, U): Bereikte 90% nauwkeurigheid op de testset na 200 epoch's.
  • 4-Klasse Subsets: Bereikte 78,8% nauwkeurigheid voor klassen {A, E, U, Spatie} en 60% voor {A, E, O, U}.

Betekenis
Het artikel beweert dat het richten op FPGA's een levensvatbaar, kosteneffectief alternatief biedt voor silicium tape-outs voor het ontwikkelen en verspreiden van open-source neuromorfe hardwareontwerpen. Door de versneller te integreren met traditionele processors (zowel RISC-V als ARM), tonen de auteurs een praktische weg aan voor edge computing-toepassingen die lokale aansturing vereisen voor energie-efficiëntie. Het werk valideert dat FPGA-gebaseerde implementaties de nauwkeurigheid van silicium tegenhangers kunnen evenaren, terwijl ze de flexibiliteit bieden om online learning-taken uit te voeren op diverse datasets, zoals Braille-cijferherkenning, zonder de noodzaak van custom chipfabricage. De auteurs merken op dat toekomstig werk een volledige vergelijking zal omvatten met state-of-the-art neuromorfe hardware die is geëvalueerd in het Neuromorphic Intermediate Representation (NIR)-kader.