💻 computer science

SRAM-Based Compute-in-Memory Accelerator for Linear-decay Spiking Neural Networks

Diese Arbeit stellt einen SRAM-basierten Compute-in-Memory-Beschleuniger vor, der durch die Kombination eines linearen Zerfalls-Algorithmus für Spiking-Neuronen und einer parallelen Speicher-in-Platz-Update-Architektur die Energieeffizienz und den Durchsatz von SNN-Inferenzsignifikant steigert, indem sie den bisher dominierenden Engpass des Membranpotential-Updates beseitigt.

Ursprüngliche Autoren: Hongyang Shang, Shuai Dong, Yahan Yang, Junyi Yang, Peng Zhou, Arindam Basu

Veröffentlicht 2026-03-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hongyang Shang, Shuai Dong, Yahan Yang, Junyi Yang, Peng Zhou, Arindam Basu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein riesiges, hochmodernes Büro, in dem Tausende von Angestellten (den Neuronen eines neuronalen Netzwerks) zusammenarbeiten, um Aufgaben zu lösen. Das Ziel ist es, Informationen so schnell und energiesparend wie möglich zu verarbeiten – ähnlich wie unser menschliches Gehirn.

Die Forscher aus Hongkong haben ein neues System entwickelt, das dieses Büro noch effizienter macht. Hier ist die Erklärung ihrer Arbeit in einfachen Worten:

1. Das Problem: Der Stau im Büro

In herkömmlichen Systemen gibt es zwei Arten von Arbeit:

Die Kommunikation (Synapsen): Wenn ein Angestellter eine Nachricht an alle anderen schickt, passiert das blitzschnell und parallel. Das ist wie ein riesiger Briefkasten, in dem alle gleichzeitig Briefe einwerfen können.
Die Erinnerung (Membran-Potential): Jeder Angestellte muss aber auch seinen eigenen "Gedächtniszustand" aktualisieren. Er muss sich daran erinnern, wie viel Energie er noch hat, bevor er wieder feuern kann.

Das Problem: Während die Kommunikation parallel läuft (alle gleichzeitig), muss die Erinnerung einzeln aktualisiert werden. Stell dir vor, ein Chef muss zu jedem einzelnen der 1.000 Angestellten gehen, um deren Notizbuch zu aktualisieren, bevor der nächste Schritt beginnt. Das ist langsam und verbraucht viel Energie. Das ist der "Flaschenhals", der die Geschwindigkeit bremst.

2. Die Lösung: Ein neues Regelwerk (Der "Lineare Abfall")

Normalerweise funktioniert das Gedächtnis eines Neurons wie ein Wasserhahn, der langsam und exponentiell abfließt (je mehr Wasser da ist, desto schneller fließt es am Anfang, dann wird es langsamer). Das ist mathematisch kompliziert und im Computer schwer zu berechnen.

Die Forscher haben gesagt: "Warum kompliziert, wenn es auch einfach geht?"
Sie haben das Wasserhahn-Modell durch einen einfachen Eimer mit einem Loch ersetzt. Der Eimer verliert pro Sekunde immer genau die gleiche Menge Wasser (linearer Abfall).

Der Vorteil: Statt komplizierte Multiplikationen durchzuführen, reicht jetzt einfaches Subtrahieren (Abziehen). Das ist wie das Zählen von Münzen statt das Berechnen von Zinsen.
Das Ergebnis: Die Genauigkeit des Systems bleibt fast gleich (nur ein winziger Unterschied von ca. 1 %), aber die Berechnung wird viel einfacher und schneller.

3. Die Hardware: Das "Selbst-Reinigende" Regal

Jetzt kommt der geniale Teil der Hardware. Normalerweise muss das Computer-Chip-Gedächtnis (SRAM) gelesen werden, die Daten zum Prozessor geschickt, dort verarbeitet und zurückgeschrieben werden. Das ist wie wenn man Bücher aus einem Regal nimmt, sie in ein Büro bringt, dort umschreibt und zurückbringt.

Die neuen Forscher haben ein Regal gebaut, in dem die Bücher sich selbst umschreiben können.

In-Memory Computing (CIM): Die Speicherzellen (SRAM) sind so gebaut, dass sie die "Abfall"-Rechnung direkt im Regal durchführen.
Parallelität: Anstatt dass der Chef zu jedem Angestellten geht, passiert die Aktualisierung für alle Angestellten gleichzeitig, direkt an ihrem Platz.
Das Ergebnis: Der Stau ist weg. Das System ist extrem schnell und verbraucht kaum noch Energie für den Transport der Daten.

4. Die Ergebnisse: Ein Turbo für das Gehirn

Wenn man dieses neue System testet (z. B. beim Erkennen von Handgesten oder Zahlen):

Geschwindigkeit: Es ist bis zu 69-mal energieeffizienter als die alten Methoden.
Energie: Es verbraucht bis zu 16-mal weniger Energie pro Rechenoperation.
Genauigkeit: Es macht fast genauso gute Arbeit wie die alten, komplizierten Systeme.

Zusammenfassung in einer Metapher

Stellen Sie sich vor, Sie müssen Tausende von Glühbirnen dimmen.

Alt: Sie gehen zu jeder Birne, drehen den Regler, messen den Widerstand und stellen sie neu ein. (Langsam, viel Strom für das Gehen).
Neu (diese Arbeit): Sie bauen eine Schaltung, bei der sich alle Birnen gleichzeitig und automatisch um einen festen Betrag abdunkeln, ohne dass Sie herumlaufen müssen.

Fazit: Diese Arbeit zeigt, dass man nicht nur die "Kommunikation" im Gehirn beschleunigen muss, sondern auch die Art und Weise, wie die Neuronen ihre eigene "Erinnerung" verwalten. Durch die Kombination aus einer cleveren mathematischen Vereinfachung (linearer Abfall) und einer intelligenten Hardware-Design (Speicher, der selbst rechnet) schaffen sie einen Weg zu extrem schnellen und sparsamen KI-Chips für die Zukunft.

1. Problemstellung

Spiking Neural Networks (SNNs) gelten als energieeffiziente, biologisch inspirierte Alternative zu herkömmlichen Deep Learning-Netzen. Ein Hauptproblem bei der Hardware-Beschleunigung von SNNs liegt jedoch in der Diskrepanz zwischen der synaptischen Berechnung und dem Update des Neuronenzustands:

Synaptische Operationen: In Compute-in-Memory (CIM)-Architekturen können Matrix-Vektor-Multiplikationen ( $W \times I$ ) massiv parallel und mit einer Komplexität von $O(1)$ durchgeführt werden.
Zustands-Updates: Das Aktualisieren des Membranpotenzials jedes Neurons (Decay-and-Accumulation-Prozess) erfordert in der Regel sequenzielle Zugriffe auf den Speicher. Dies führt zu einer Komplexität von $O(N)$ (wobei $N$ die Anzahl der Neuronen ist) und stellt einen signifikanten Engpass für Latenz und Energieverbrauch dar.
Herausforderung: Herkömmliche neuronale Modelle nutzen ein exponentielles Membran-Decay, das Multiplikatoren oder Lookup-Tabellen erfordert, was die Hardware-Kosten und den Energieverbrauch weiter erhöht.

2. Methodik

Die Autoren schlagen eine co-optimierte Lösung vor, die Algorithmus und Hardware eng verzahnt, um diese Engpässe zu überwinden.

A. Algorithmische Ebene: Linear Decay Leaky Integrate-and-Fire (LD-LIF)

Approximation: Das herkömmliche exponentielle Membran-Decay ( $V_{mem}(t) = V_0 e^{-t/\tau_m}$ ) wird durch eine lineare Decay-Approximation ersetzt.
Formel: Anstatt einer Multiplikation wird ein einfacher subtraktiver Schritt verwendet:
$V_{mem}[t + 1] = V_{mem}[t] - \beta + W \cdot Input[t]$
Dabei ist $\beta$ ein fester oder lernbarer Abzugswert pro Zeitschritt.
Vorteil: Dies eliminiert die Notwendigkeit von Hardware-Multiplikatoren für das Decay und reduziert die Operation auf einfache Additionen/Subtraktionen.
Lernbarkeit: Der Parameter $\beta$ ist lernbar (mittels Gradientenabstieg im Backpropagation), um die Genauigkeit trotz der Vereinfachung zu erhalten.

B. Architektonische Ebene: SRAM-basiertes CIM mit Parallel-Update

Speichertechnologie: Es wird SRAM gewählt, da es die beste Balance aus Leistung, Zuverlässigkeit und CMOS-Kompatibilität für feinkörnige, häufige Zustandsupdates bietet.
In-Memory-Parallelität: Die Architektur führt das Decay und das Update direkt innerhalb des SRAM-Arrays durch („In-Place"), wodurch globale sequenzielle Updates entfallen.
Hardware-Design (Zell-Design):
- Jede Membranpotenzial-Zelle (VMEM) besteht aus zwei 8T-SRAM-Blöcken (A und B), die im „Ping-Pong"-Modus arbeiten.
- Ein Processing Element (PE) enthält einen Full Adder (FA) und einen Multiplexer (MUX).
- Update-Prozess: Das Update erfolgt in nur 3 Taktzyklen parallel für alle Neuronen:
  1. Addition des MAC-Ergebnisses (Multiplikation-Akkumulation).
  2. Subtraktion von Decay ( $\beta$ ) und Schwellenwert ($TH$).
  3. Entscheidung über das Spike und Reset oder Rückführung des Werts.
- Vorteil: Durch die Subtraktion von Decay und Schwellenwert gemeinsam und die Nutzung des Vorzeichenbits für den Vergleich wird eine separate Vergleichsschaltung (Comparator) überflüssig.

3. Wichtige Beiträge

Co-Design von Algorithmus und Hardware: Erster Ansatz, der die lineare Decay-Approximation spezifisch für SRAM-basierte CIM-Architekturen entwickelt, um Multiplikatoren zu eliminieren.
In-Memory Parallel State Update: Eine neue Hardware-Makro-Struktur, die das Membranpotenzial-Update parallel im Speicher durchführt, was die $O(N)$ -Latenz auf $O(1)$ (pro Zeitschritt) reduziert.
Energie- und Flächenoptimierung: Durch den Verzicht auf Multiplikatoren und Vergleichsschaltungen sowie die Nutzung von SRAM wird der Energieverbrauch pro synaptischer Operation (SOP) drastisch gesenkt.

4. Ergebnisse

Die Methode wurde auf Benchmark-Datensätzen (N-MNIST, SHD, DVS Gesture) und verschiedenen Netzwerkarchitekturen (MLP, CNN) evaluiert.

Genauigkeit: Der Genauigkeitsverlust gegenüber dem klassischen exponentiellen LIF-Modell ist vernachlässigbar (ca. 0,38 % bis 1,11 %).
Latenz:
- Die vorgeschlagene Architektur aktualisiert 32 Membranpotenziale parallel in nur 3 Taktzyklen (ca. 21 ns bei 0,9 V).
- Im Vergleich zu einer seriellen Architektur (200 MHz) ist dies etwa 30-mal schneller.
Energieeffizienz:
- Reduktion des Energieverbrauchs pro synaptischer Operation (SOP) um den Faktor 1,1x bis 16,7x im Vergleich zu State-of-the-Art-Implementierungen.
- Steigerung der Energieeffizienz (TOPS/W) um den Faktor 15,9x bis 69x.
- Erreichte Effizienz: 20,7 TOPS/W bei einem Verbrauch von 0,09 pJ/SOP.
Vergleich: Die Ergebnisse übertreffen aktuelle Arbeiten (z. B. JSSC'24, VLSI'23) signifikant, insbesondere durch die Kombination aus digitaler Präzision und CIM-Parallelität.

5. Bedeutung und Fazit

Diese Arbeit zeigt, dass die Optimierung der Zustands-Update-Dynamik innerhalb von CIM-Architekturen genauso wichtig ist wie die Beschleunigung der synaptischen Berechnungen selbst.

Skalierbarkeit: Der Ansatz bietet einen skalierbaren Pfad für hochleistungsfähige, energieeffiziente und echtzeitfähige neuromorphe Prozessoren.
Paradigmenwechsel: Durch die Umwandlung komplexer exponentieller Operationen in einfache lineare Additionen und die Verlagerung der Berechnung in den Speicher wird das von-Neumann-Flaschenhals-Problem effektiv adressiert.
Zukunft: Die Ergebnisse unterstreichen, dass SRAM-basierte CIM-Architekturen mit speziellen neuronalen Modellen (wie LD-LIF) eine vielversprechende Lösung für die nächste Generation von KI-Hardware darstellen.