Spiking Neural Network inference on FPGAs with hls4ml

Die große Idee: Einem digitalen Gehirn beibringen, zu „spucken“ statt zu „sprechen“

Stellen Sie sich vor, Sie hätten ein traditionelles Computergehirn (ein künstliches neuronales Netz), das in einem kontinuierlichen, glatten Strom von Zahlen spricht, wie ein Radio, das ein konstantes Lied spielt. Stellen Sie sich nun eine andere Art von Gehirn vor (ein Spiking Neural Network oder SNN), das kommuniziert wie eine Menschenmenge in einem dunklen Raum. Anstatt zu sprechen, machen sie nur ein Geräusch (einen „Spike“ oder Impuls), wenn etwas Bestimmtes passiert. Zwischen den Geräuschen sind sie still.

Diese „Spiking“-Methode ist großartig für die Verarbeitung zeitbasierter Informationen (wie Audio- oder Sensordaten), da sie von Natur aus effizient ist: Wenn nichts Interessantes passiert, bleibt das Gehirn ruhig und verbraucht sehr wenig Energie.

Das Problem:
Normalerweise sind diese „Spiking“-Gehirne für spezielle, maßgeschneiderte Hardware konzipiert (wie ein eigens gebautes Musikinstrument), die nach ihren eigenen, einzigartigen Regeln läuft. Viele reale wissenschaftliche Maschinen (wie Teilchendetektoren oder medizinische Scanner) verwenden jedoch bereits leistungsstarke Standard-Chips namens FPGAs. Diese Chips sind wie „Lego-Sets“, die Ingenieure umprogrammieren können, aber sie sind auf den „glatten Radio-Stil“ der Datenverarbeitung ausgelegt, nicht auf den „spikenden Menschenmenge-Stil“.

Die Lösung:
Barry Dillon, der Autor dieser Arbeit, hat eine Brücke gebaut. Er hat ein beliebtes Werkzeug namens hls4ml (das als Übersetzer fungiert) aktualisiert, sodass es nun in der Lage ist, ein in Python trainiertes „Spiking“-Gehirn zu nehmen und es in Anweisungen zu übersetzen, die ein Standard-FPGA verstehen und ausführen kann.

Wie es funktioniert: Die Fabrik-Montagebandlinie

Um dies auf einem Standardchip zum Laufen zu bringen, musste der Autor das Verhalten des „Spiking“-Gehirns ändern.

1. Das taktgesteuerte Werk (Clock-Driven Factory):

   • Normales Spiking-Gehirn: Arbeitet wie eine chaotische Menge. Wenn jemand schreit, reagiert der ganze Raum sofort. Es ist asynchron (kein fester Zeitplan).
   • Dieses neue FPGA-Gehirn: Arbeitt wie eine Fabrik-Montagebandlinie. Jede Sekunde läutet eine Glocke (der Takt/Clock). Bei jedem Läuten prüfen die Arbeiter ihre Notizen, aktualisieren ihren Zustand und übergeben ein Paket an die nächste Person. Selbst wenn niemand geschrien hat, bewegt sich das Band weiter.
   • Warum? Weil Standard-FPGAs darauf ausgelegt sind, nach einem strengen Takt zu laufen. Der Autor hat das Spiking-Gehirn so programmiert, dass es im Gleichschritt mit diesem Takt marschiert, damit es in bestehende Fabrik-Abläufe passt.

2. Das „Gedächtnis“ des Neurons:

   • In einem normalen Computer ist ein Neuron wie ein Taschenrechner: Man gibt ihm Zahlen, er gibt eine Antwort und vergisst dann alles.
   • In diesem Spiking-Gehirn ist das Neuron wie ein Eimer mit einem Leck.
     • Wenn ein „Spike“ (Wasser) hineinkommt, füllt sich der Eimer.
     • Wenn der Eimer zu voll wird (einen Schwellenwert erreicht), leert er einen Eimer Wasser (feuert einen Spike ab) und setzt sich zurück.
     • Aber selbst wenn er nicht feuert, bleibt der Wasserstand (der interne Zustand) für den nächsten Moment bestehen.
   • Das Werkzeug des Autors behält diesen „Wasserstand“ innerhalb des FPGA-Chips im Auge, damit das Gehirn sich erinnern kann, was vor ein paar Sekunden passiert ist.

3. Das „Readout“ (Der Entscheidungsträger):

   • Nachdem das Gehirn einen Datenblock verarbeitet hat (wie eine 1,4-sekündige Audioaufnahme einer gesprochenen Ziffer), muss es eine Entscheidung treffen.
   • Der Autor testete zwei Wege für die Entscheidung:
     • Spike Count (Spike-Anzahl): Zählen, wie oft die finalen Neuronen geschrien haben.
     • Membrane Readout (Membran-Auslesung): Überprüfen, wie voll die finalen Eimer sind, selbst wenn sie nicht geschrien haben.
   • Ergebnis: Das Überprüfen der „Füllung“ der Eimer (Membrane Readout) erwies sich als genauer als das bloße Zählen der Schreie (Spike Count).

Das Experiment: Einem Gehirn beibringen, Ziffern zu erkennen

Der Autor testete dieses neue System mit einem Datensatz namens SHD (Heidelberg Spiking Digits).

• Die Aufgabe: Der Computer hört Aufnahmen von Menschen, die Zahlen (0–9) auf Englisch und Deutsch sprechen.
• Der Input: Das Audio wird in einen Strom von „Spikes“ umgewandelt (wie ein Morsecode aus Schall).
• Der Aufbau: Sie bauten ein kleines, einfaches Gehirn mit einer versteckten Schicht aus 64 Neuronen.
• Das Training: Sie trainierten das Gehirn mit einer Standard-Python-Bibliothek (snnTorch) und nutzten dabei eine Technik namens Quantization-Aware Training (QAT). Stellen Sie sich QAT so vor, als würde man das Gehirn lehren, mit einem Lineal zu rechnen, das nur große Markierungen hat (geringe Präzision) anstatt winziger Millimeter-Markierungen (hohe Präzision). Dies bereitet das Gehirn darauf vor, auf dem FPGA zu laufen, der einfachere Mathematik bevorzugt, um Platz zu sparen.

Die Ergebnisse: Schnell, genau und effizient

Die Arbeit berichtet einige beeindruckende Zahlen:

• Geschwindigkeit: Das FPGA kann eine 1,4-sekündige Audioaufnahme in etwa 34 Mikrosekunden verarbeiten. Das ist unglaublich schnell – schneller als ein menschliches Auge blinzeln kann.
• Genauigkeit: Selbst als sie die Mathematik vereinfachten (niedrige Präzision), um es auf den Chip zu bringen, erreichte das Gehirn eine Genauigkeit von etwa 74 % beim Testdatensatz (Erkennung der gesprochenen Ziffern). Dies liegt sehr nah an der Genauigkeit der komplexen, hochpräzisen Version.
• Ressourceneinsparung: Durch die Verwendung niedrigerer Präzision (einfachere Mathematik) sparten sie eine enorme Menge an Platz auf dem Chip. Es ist wie das Packen eines Koffers: Wenn man seine Kleidung eng zusammenrollt (niedrige Präzision), kann man die gleiche Menge an Sachen in eine viel kleinere Tasche packen.
• Fidelität (Treue): Das Verhalten des Chips stimmte fast perfekt mit der Computersimulation überein (über 98 % Übereinstimmung), was beweist, dass das Übersetzungswerkzeug korrekt arbeitet.

Was das bedeutet (und was es nicht tut)

• Was es tut: Es beweist, dass man ein modernes, „spiking“ KI-Modell, das in Python trainiert wurde, auf Standard-wissenschaftliche Hardware (FPGAs) übertragen kann, ohne spezielle, exotische Chips bauen zu müssen. Es öffnet die Tür, damit diese effizienten, zeitsensitiven Gehirne in Echtzeit-wissenschaftlichen Instrumenten eingesetzt werden können.
• Was es (noch) nicht tut:
  • Es spart den Stromverbrauch nicht automatisch nur deshalb, weil die Daten spärlich sind. Da der Chip nach einem festen Takt läuft, führt er die Berechnungen auch dann fort, wenn die Neuronen still sind. Der Autor merkt an, dass zukünftige Updates „Gates“ (Schaltkreise) hinzufügen könnten, um die Berechnungen zu stoppen, wenn nichts passiert, was Energie sparen würde – dies ist jedoch noch nicht Teil dieser Arbeit.
  • Es unterstützt derzeit nur einen spezifischen Typ von Spiking-Neuronen (das Leaky Integrate-and-Fire oder LIF).
  • Es ist für feste Zeitfenster konzipiert (wie einen 1,4-sekündigen Clip), noch nicht für unendliche, variabel lange Datenströme.

Zusammenfassend lässt sich sagen: Der Autor hat einen Übersetzer gebaut, der es ermöglicht, dass „spikende“, zeitsensitive KI-Gehirne auf Standard-, taktgesteuerten Computerchips laufen. Er testete dies an einer Aufgabe zur Ziffernerkennung, und es funktionierte schnell und genau, was beweist, dass diese neue Art von KI bereits heute in realer wissenschaftlicher Ausrüstung eingesetzt werden kann.