SFATTI: Spiking FPGA Accelerator for Temporal Task-driven Inference -- A Case Study on MNIST

Diese Arbeit stellt SFATTI vor, einen auf dem Open-Source-Framework Spiker+ basierenden FPGA-Beschleuniger für Spiking Neural Networks, der durch die automatische Generierung von HDL-Code energieeffiziente und latenzarme Inferenz für die MNIST-Bilderkennung ermöglicht.

Das Wesentliche

🧠 Der Traum vom schlafenden Gehirn auf einem Chip

Stellen Sie sich vor, Ihr Gehirn ist wie ein riesiges, aber extrem sparsames Büro. Wenn Sie ein Bild sehen (z. B. eine Zahl), feuern nicht alle 100.000 Mitarbeiter gleichzeitig Alarmglocken. Stattdessen feuern nur ein paar wenige, genau zur richtigen Zeit, ein kurzes Signal („Klick!"). Das spart enorm viel Energie.

Das ist das Prinzip von Spiking Neural Networks (SNNs) – also „spikenden neuronalen Netzen". Sie sind wie das Gehirn: Sie arbeiten nur, wenn etwas passiert (ein „Event"), und sind sonst im Energiesparmodus.

Das Problem: Herkömmliche Computer-Chips (wie in Ihrem Handy) sind wie ein riesiger, lauter Maschinenraum, in dem alle Zahnräder ständig rotieren, egal ob gerade gearbeitet wird oder nicht. Das ist für kleine, batteriebetriebene Geräte am Rand des Netzwerks („Edge Computing") viel zu verschwenderisch.

⚡ Die Lösung: Ein Spezial-Chip aus dem Baukasten

Die Forscher aus Turin (Politecnico di Torino) haben einen Weg gefunden, diese „sparenden" neuronalen Netze auf einem FPGA (einem programmierbaren Chip) zum Laufen zu bringen.

Stellen Sie sich ihren Ansatz wie einen automatischen Architekten-Baukasten vor, der „Spiker+" heißt:

1. Der Entwurf (Training): Zuerst wird das neuronale Netz am Computer „gelernt". Es lernt, Handgeschriebene Ziffern (wie auf dem MNIST-Datensatz) zu erkennen.
2. Der Bauplan (Quantisierung): Hier wird es clever. Der Baukasten nimmt die komplexen, mathematischen Berechnungen und wandelt sie in einfache, binäre Befehle um.
   • Die Analogie: Statt komplizierte Bruchrechnungen zu machen, die viel Platz und Energie kosten, sagt der Chip: „Wenn die Zahl größer als 4 ist, schiebe das Ergebnis einfach um eine Stelle nach links." Das ist wie eine einfache Verschiebung von Steinen – extrem schnell und braucht kaum Strom.
3. Der Guss (HDL-Generierung): Am Ende druckt der Baukasten automatisch den Bauplan für den Chip aus (in einer Sprache namens VHDL), der dann direkt auf den FPGA geladen wird.

🏆 Der Wettkampf: Schneller, sparsamer, schlauer

Die Forscher haben an einem Wettbewerb teilgenommen, bei dem es darum ging, die beste Lösung für das Erkennen von Ziffern zu finden. Sie mussten drei Dinge balancieren:

• Geschwindigkeit: Wie schnell erkennt der Chip die Zahl?
• Energie: Wie wenig Strom verbraucht er?
• Genauigkeit: Erkennt er die Zahl richtig?

Das Ergebnis:
Sie haben eine Lösung gefunden, die wie ein Schweizer Taschenmesser funktioniert. Sie ist nicht riesig, aber sie erledigt die Aufgabe extrem effizient.

• Sie verbraucht kaum Strom (perfekt für Batterien).
• Sie ist blitzschnell (fast 19.000 Bilder pro Sekunde!).
• Sie ist sehr genau (über 97 % Trefferquote).

🎯 Warum ist das wichtig?

Stellen Sie sich vor, Sie haben eine Kamera an einer Brücke, die Autos zählt.

• Der alte Weg: Die Kamera sendet jedes Bild in die Cloud, ein riesiger Server rechnet es aus und schickt die Antwort zurück. Das braucht Zeit, Internet und viel Strom.
• Der neue Weg (diese Arbeit): Die Kamera hat diesen kleinen, sparsamen Chip direkt an Bord. Er „sieht" das Auto, feuert ein paar Signale, zählt es und schläft sofort wieder ein. Kein Internet nötig, keine Verzögerung, kaum Stromverbrauch.

Zusammenfassung in einem Satz

Die Forscher haben einen automatischen „Übersetzer" gebaut, der komplexe KI-Modelle in eine super-sparsame, chip-freundliche Sprache verwandelt, damit kleine Geräte wie Kameras oder Sensoren intelligent werden können, ohne dabei die Batterie zu leeren.

Technische Zusammenfassung

1. Problemstellung

Edge-Computing-Geräte benötigen zunehmend energieeffiziente und latenzarme Hardware-Beschleuniger für Aufgaben wie Bilderkennung. Herkömmliche Künstliche Neuronale Netze (ANNs) basieren auf dichten Matrixmultiplikationen und kontinuierlichen Aktivierungen, was auf ressourcenbeschränkter Hardware oft ineffizient ist.
Spiking Neural Networks (SNNs) bieten hier eine vielversprechende Alternative, da sie biologisch inspiriert, ereignisgesteuert (event-driven) und zeitlich spärlich sind. Dies reduziert den Speicher- und Rechenbedarf erheblich. Allerdings stellt die effiziente Implementierung von SNNs auf FPGAs (Field Programmable Gate Arrays) eine große Herausforderung dar:

• Herkömmliche Hardware-Accelerator sind für synchrone, dichte Operationen optimiert und passen nicht zur asynchronen, spärlichen Natur von SNNs.
• Bestehende FPGA-Implementierungen erfordern oft manuellen Designaufwand, sind nicht modular oder an spezifische Toolchains gekoppelt, was Skalierbarkeit und Wiederverwendbarkeit einschränkt.
• Es fehlt an integrierten Workflows, die das Training des SNNs nahtlos mit der Hardware-Generierung verbinden, unter Berücksichtigung von Hardware-Beschränkungen (z. B. Quantisierung).

2. Methodik

Die Autoren präsentieren einen End-to-End-Workflow basierend auf dem Open-Source-Framework Spiker+, der entwickelt wurde, um SNNs für die Handzahnerkennung auf dem MNIST-Datensatz auf FPGAs zu optimieren. Der Prozess gliedert sich in folgende Schritte:

• Spike-Encoding (Codierung): Da MNIST statische Bilddaten sind, müssen diese in Spike-Trains umgewandelt werden. Das System verwendet eine Poisson-basierte Raten-Codierung, bei der die Pixelintensität in eine Feuerrate über ein festes Zeitfenster übersetzt wird. Dies geschieht vor der Eingabe in den Accelerator und ist auch in den Trainingsprozess integriert.
• Training mit Surrogate Gradients: Aufgrund der Nicht-Differenzierbarkeit von Spike-Funktionen wird das Training mit Surrogate-Gradient-Methoden durchgeführt (implementiert in snnTorch). Dies ermöglicht Backpropagation Through Time (BPTT) mit differenzierbaren Approximationen der Spike-Aktivierung.
• Hardware-freundliche Modellierung: Um Multiplikatoren auf dem FPGA zu vermeiden, werden die Parameter des Leaky Integrate-and-Fire (LIF)-Neuronenmodells (insbesondere die Zerfallskonstanten $\alpha$ und $\beta$) während des Trainings auf die nächste Zweierpotenz gerundet. Dies erlaubt die Implementierung von Zerfallsoperationen als einfache Bit-Shifts, was die Hardware-Ressourcen und den Energieverbrauch drastisch senkt.
• Design Space Exploration (DSE):
  • Software-Ebene: Nutzung von Optuna zur Optimierung von Hyperparametern (Netzwerkgröße, Zeitschritte).
  • Quantisierung: Spiker+ führt eine automatische Quantisierung von Gewichten, Membranpotentialen und Festkomma-Präzision durch. Es werden verschiedene Bitbreiten (z. B. 4–10 Bit) evaluiert, um den Kompromiss zwischen Genauigkeit und Hardware-Kosten zu finden.
• HDL-Generierung: Spiker+ generiert synthetisierbaren VHDL-Code, der Neuronenmodule, Synapsenspeicher, Steuerlogik und I/O-Schnittstellen enthält. Der Code ist so optimiert, dass er auf Ziel-FPGAs (hier Xilinx Kintex-7) direkt deploybar ist, unter Vermeidung von DSP-Blöcken und Nutzung von BRAMs.

3. Wichtige Beiträge

• Automatisierter Workflow: Vorstellung eines vollständig automatisierten Pipelines von der Hochlevel-SNN-Spezifikation (Python) bis zur FPGA-Implementierung (VHDL), der manuelle Designarbeit minimiert.
• Hardware-Aware Training: Integration von Hardware-Beschränkungen (Rundung auf Zweierpotenzen für Bit-Shifts) direkt in den Trainingsprozess, um eine nahtlose Quantisierung und effiziente Hardware-Nutzung zu gewährleisten.
• Systematische Evaluierung: Eine umfassende Analyse verschiedener Netzwerkkonfigurationen (unterschiedliche Schichtgrößen, Quantisierungsstufen) hinsichtlich Genauigkeit, Leistungsaufnahme, Latenz und Ressourcennutzung.
• Open-Source-Verfügbarkeit: Bereitstellung des gesamten Codes, der Trainingsdaten und der Implementierungsdetails in einem öffentlichen Repository zur Gewährleistung der Reproduzierbarkeit.

4. Ergebnisse

Die Studie wurde im Rahmen des „Digit Recognition Low Power and Speed Challenge @ ICIP 2025" durchgeführt. Die wichtigsten Ergebnisse basieren auf der Implementierung auf einem Xilinx Kintex-7 FPGA:

• Genauigkeit: Durch die Kombination von Surrogate-Gradient-Training und feiner Quantisierung wurden hohe Genauigkeiten erreicht. Die beste Konfiguration (784-75-10 Neuronen, 6/9/5 Bit Quantisierung) erreichte 97,54 % Genauigkeit auf dem Testset.
• Energieeffizienz: Das System demonstrierte eine hervorragende Energieeffizienz. Die ausgewählte Referenzarchitektur erreichte eine Effizienz von ca. 81.712 Bildern pro Sekunde pro Watt (img/s/W).
• Ressourcennutzung: Die Designs waren kompakt und nutzten keine DSP-Blöcke. Sie passten gut in die Ressourcen des Ziel-FPGAs (LUTs, Flip-Flops, BRAMs), wobei die Nutzung bei den effizientesten Modellen unter 5 % lag.
• Latenz und Durchsatz: Trotz der sequenziellen Verarbeitung von Spikes über mehrere Zeitschritte (10 Timesteps) wurde ein hoher Durchsatz erreicht. Unter Berücksichtigung der Synthese-Ergebnisse wurde ein Durchsatz von ca. 18.875 Bildern pro Sekunde berechnet.
• Trade-off-Analyse: Die Studie zeigt klar, dass eine Reduktion der Bitbreite und der Schichtgröße die Leistungsaufnahme signifikant senkt, wobei die Genauigkeit nur minimal beeinträchtigt wird, solange eine Mindestgenauigkeit von 97,5 % eingehalten wird.

5. Bedeutung und Ausblick

Die Arbeit belegt die Viabilität von rekonfigurierbaren, aufgaben-spezifischen SNN-Acceleratoren für energieeffizientes Edge-Computing.

• Paradigmenwechsel: Sie zeigt, wie die zeitliche Kodierung von Informationen die Beschleunigerarchitektur fundamental verändert: Statt synchroner, dichter Tensor-Operationen erfolgt die Berechnung über mehrere Zeitschritte mit spärlichen Events.
• Skalierbarkeit: Der vorgestellte Ansatz überwindet die Hürden manueller Hardware-Entwicklung und macht neuromorphes Computing für breitere Anwendungen zugänglich.
• Zukunftspotenzial: Der Workflow kann erweitert werden, um On-Chip-Learning, adaptive Neuronen und dynamische partielle Rekonfiguration zu unterstützen. Dies ist entscheidend für zukünftige Edge-Plattformen, die online lernen und unter strengsten Energiebudgets operieren müssen.

Zusammenfassend schließt diese Arbeit die Lücke zwischen neuromorpher Theorie und praktisch einsetzbarer, energieeffizienter Hardware und positioniert SNNs als eine starke Alternative zu herkömmlichen ANNs, wenn sowohl Energieverbrauch als auch Reaktionszeit kritisch sind.