Spiking Neural Network inference on FPGAs with hls4ml

Het Grote Idee: Een Digitaal Brein Leren "Spugen" in plaats van "Praten"

Stel je voor dat je een traditioneel computerbrein hebt (een Artificial Neural Network) dat praat in een continue, vloeiende stroom van getallen, zoals een radio die constant een liedje speelt. Stel je nu een ander soort brein voor (een Spiking Neural Network of SNN) dat communiceert als een menigte mensen in een donkere kamer. In plaats van te praten, maken ze alleen een geluid (een "spike") wanneer er iets specifieks gebeurt. Tussen de geluiden door zijn ze stil.

Deze "spiking" methode is geweldig voor het verwerken van tijdgebonden informatie (zoals audio of sensordata) omdat het van nature efficiënt is: als er niets interessants gebeurt, blijft het brein stil en verbruikt het heel weinig energie.

Het Probleem:
Meestal zijn deze "spiking" breinen ontworpen voor speciale, op maat gemaakte hardware (zoals een op maat gemaakt muziekinstrument) die volgens zijn eigen unieke regels werkt. Veel wetenschappelijke machines in de echte wereld (zoals deeltjesdetectoren of medische scanners) gebruiken echter al standaard, krachtige chips genaamd FPGA's. Deze chips zijn als "Lego-sets" die ingenieurs kunnen herprogrammeren, maar ze zijn gewend aan de "vloeiende radio"-stijl van computerberekeningen, niet aan de "spiky menigte"-stijl.

De Oplossing:
Barry Dillon, de auteur van dit artikel, heeft een brug gebouwd. Hij heeft een populaire tool genaamd hls4ml (die fungeert als een vertaler) bijgewerkt, zodat deze nu een "spiking" brein dat in Python is getraind kan vertalen naar instructies die een standaard FPGA begrijpt en kan uitvoeren.

Hoe het Werkt: De Assemblagelijn in de Fabriek

Om dit werkend te krijgen op een standaard chip, moest de auteur het gedrag van het "spiking" brein aanpassen.

1. De Klokgestuurde Fabriek:

   • Normaal Spiking Brein: Werkt als een chaotische menigte. Als iemand schreeuwt, reageert de hele kamer onmiddellijk. Het is asynchroon (geen vast schema).
   • Dit Nieuwe FPGA Brein: Werkt als een assemblagelijn in een fabriek. Elke seconde gaat er een bel (de klok). Bij de bel controleert elke werker zijn aantekeningen, werkt zijn status bij en geeft een pakketje door aan de volgende persoon. Zelfs als er niemand heeft geschreeuwd, beweegt de lijn nog steeds door.
   • Waarom? Standaard FPGA's zijn gebouwd om op een strikte klok te draaien. De auteur heeft het spiking brein in stap met deze klok laten marcheren, zodat het past binnen bestaande fabrieks-workflows.

2. Het "Geheugen" van het Neuron:

   • In een normale computer is een neuron als een rekenmachine: je geeft het getallen, het geeft je een antwoord, en daarna vergeet het alles.
   • In dit spiking brein is het neuron als een emmer met een lek:
     • Wanneer een "spike" (water) binnenkomt, vult de emmer zich.
     • Als de emmer te vol wordt (een drempelwaarde bereikt), stort hij een emmer water (vuurt een spike af) en reset zichzelf.
     • Maar zelfs als hij niet vuurt, blijft het waterniveau (de interne status) aanwezig voor het volgende moment.
   • De tool van de auteur houdt dit "waterniveau" bij binnen de FPGA-chip, zodat het brein kan onthouden wat er enkele seconden geleden is gebeurd.

3. De "Readout" (De Beslisser):

   • Nadat het brein een brok data heeft verwerkt (zoals een 1,4-seconde durende audiofragment van een gesproken cijfer), moet het een beslissing nemen.
   • Het artikel testte twee manieren om te beslissen:
     • Spike Count: Tellen hoe vaak de laatste neuronen hebben geschreeuwd.
     • Membrane Readout: Controleren hoe vol de laatste emmers zijn, zelfs als ze niet hebben geschreeuwd.
   • Resultaat: Het controleren van de "volheid" van de emmers (Membrane Readout) bleek nauwkeuriger te zijn dan alleen het tellen van de geschreeuwde signalen (Spike Count).

Het Experiment: Het Brein Leren Cijfers te Herkennen

De auteur testte dit nieuwe systeem met een dataset genaamd SHD (Heidelberg Spiking Digits).

• De Taak: De computer luistert naar opnames van mensen die cijfers (0–9) uitspreken in het Engels en Duits.
• De Input: De audio wordt omgezet in een stroom van "spikes" (als een morsecode van geluid).
• De Opstelling: Ze bouwden een klein, eenvoudig brein met één verborgen laag van 64 neuronen.
• De Training: Ze leerden het brein met een standaard Python-bibliotheek (snnTorch) en gebruikten vervolgens een techniek genaamd Quantization-Aware Training (QAT). Denk aan QAT als het leren aan het brein om wiskunde te doen met een liniaal die alleen grote streepjes heeft (lage precisie) in plaats van kleine millimeterstreepjes (hoge precisie). Dit bereidt het brein voor op de FPGA, die de voorkeur geeft aan simpelere wiskunde om ruimte te besparen.

De Resultaten: Snel, Nauwkeurig en Efficiënt

Het artikel rapporteert enkele indrukwekkende cijfers:

• Snelheid: De FPGA kan één 1,4-seconde durende audiofragment verwerken in ongeveer 34 microseconden. Dat is ongelooflijk snel — sneller dan een menselijk oog kan knipperen.
• Nauwkeurigheid: Zelfs toen ze de wiskunde vereenvoudigden (met lagere precisie) om het op de chip te laten passen, behaalde het brein nog steeds ongeveer 74% nauwkeurigheid op de testset (het herkennen van de gesproken cijfers). Dit ligt zeer dicht bij de nauwkeurigheid van de complexe, hoog-precieze versie.
• Resourcebesparing: Door een lagere precisie te gebruiken (simpelere wiskunde), bespaarden ze een enorme hoeveelheid ruimte op de chip. Het is als het inpakken van een koffer: als je je kleding strak oprolt (lage precisie), kun je evenveel spullen in een veel kleinere tas passen.
• Getrouwheid (Fidelity): Het gedrag van de chip kwam bijna perfect overeen met de computersimulatie (meer dan 98% overeenkomst), wat bewijst dat de vertaaltool correct werkt.

Wat dit Betekent (en Wat het Niet Betekent)

• Wat het doet: Het bewijst dat je een modern, "spiking" AI-model dat in Python is getraind, kunt implementeren op standaard wetenschappelijke hardware (FPGA's) zonder dat je speciale, exotische chips hoeft te bouwen. Het opent de deur voor deze efficiënte, tijdsgevoelige breinen om gebruikt te worden in real-time wetenschappelijke instrumenten.
• Wat het (nog) niet doet:
  • Het bespaart niet automatisch energie alleen omdat de data schaars is. Omdat de chip op een strikte klok draait, blijft hij de wiskunde uitvoeren, zelfs wanneer de neuronen stil zijn. De auteur merkt op dat toekomstige updates "poorten" (gates) kunnen toevoegen om de wiskunde te stoppen wanneer er niets gebeurt, wat energie zou besparen, maar dit is nog niet in dit artikel opgenomen.
  • Het ondersteunt momenteel slechts één specifiek type spiking neuron (de Leaky Integrate-and-Fire of LIF).
  • Het is ontworpen voor vaste tijdsvensters (zoals een clip van 1,4 seconde), en nog niet voor oneindige, variabele stromen.

Samenvattend: De auteur heeft een vertaler gebouwd die het mogelijk maakt om "spiky", tijdsgevoelige AI-breinen op standaard, klokgestuurde computerchips te draaien. Ze hebben dit getest met een taak voor cijferherkenning, en het werkte snel en nauwkeurig, waarmee bewezen is dat dit nieuwe type AI vandaag de dag al ingezet kan worden in real-world wetenschappelijke apparatuur.