💻 computer science

Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition

Diese Arbeit stellt ein neuartiges, normalisierungsfreies Lernframework für tiefe Spiking Neural Networks vor, das durch die Integration biologisch inspirierter lateraler Inhibition und spezieller Initialisierungs- sowie Propagierungstechniken (E-I Init und E-I Prop) stabile End-to-End-Training ermöglicht und dabei hohe Leistungsfähigkeit mit biologischer Plausibilität vereint.

Ursprüngliche Autoren: Peiyu Liu, Jianhao Ding, Zhaofei Yu

Veröffentlicht 2026-02-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Peiyu Liu, Jianhao Ding, Zhaofei Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: Wie man künstliche Gehirne ohne „Stabilisatoren" trainiert – Eine Reise in die Welt der Spiking Neural Networks

Stellen Sie sich vor, Sie versuchen, ein riesiges Orchester zu leiten. In der Welt der künstlichen Intelligenz (KI) gibt es zwei Hauptarten von „Musikern":

Die klassischen KI-Modelle: Diese sind wie ein gut geöltes, aber etwas starres Orchester. Sie sind extrem schnell und präzise, verbrauchen aber viel Energie.
Die Spiking Neural Networks (SNNs): Diese sind wie ein echtes, biologisches Gehirn. Sie arbeiten mit kurzen, energetischen Impulsen (wie Nervenimpulsen). Sie sind extrem energieeffizient und biologisch glaubwürdig, aber sie sind schwierig zu dirigieren.

Das Problem? Wenn man versucht, ein tiefes, komplexes SNN (ein „tiefes" Netzwerk mit vielen Schichten) zu trainieren, gerät das Orchester leicht aus dem Takt. Die Signale werden entweder zu laut (die Neuronen feuern wild) oder zu leise (alles wird stumm).

Bisher haben Forscher dieses Problem gelöst, indem sie einen künstlichen „Stabilisator" namens Batch Normalization (BN) eingebaut haben. Das ist wie ein technischer Regler, der ständig den Lautstärkepegel aller Instrumente misst und korrigiert. Das funktioniert super für die Leistung, aber es ist biologisch unsinnig. Ein echtes Gehirn hat keinen solchen Regler, der die Lautstärke der gesamten Gruppe misst und dann alle auf einmal justiert. Es ist wie ein Dirigent, der nicht auf die Musiker hört, sondern auf einen Computer.

Die Lösung: Ein neues Orchester-Prinzip (E-I Schaltung)

Die Autoren dieses Papiers (von der Universität Peking) sagen: „Warum einen künstlichen Regler benutzen, wenn die Natur es schon gelöst hat?"

In unserem echten Gehirn gibt es zwei Arten von Neuronen:

Erregende Neuronen (E): Sie sagen „Spielen Sie weiter!" (Sie feuern Impulse).
Hemmende Neuronen (I): Sie sagen „Leiser!" oder „Stopp!" (Sie dämpfen die Aktivität).

Diese beiden arbeiten zusammen in einem Prinzip namens Laterale Hemmung. Stell dir vor, die erregenden Musiker wollen laut spielen. Die hemmenden Musiker hören zu und dämpfen sie genau so stark, dass das Gesamtbild perfekt ausbalanciert bleibt – ohne dass ein externer Regler eingreifen muss.

Die Forscher haben dieses Prinzip in ihre KI eingebaut. Sie bauen jede Schicht ihres Netzwerks nicht aus einem Haufen gleicher Neuronen auf, sondern aus zwei separaten Gruppen: einer erregenden und einer hemmenden. Diese beiden Gruppen regulieren sich gegenseitig, genau wie im menschlichen Gehirn.

Die zwei großen Hürden und wie sie sie überwinden

Das Problem war: Wenn man dieses biologische Prinzip einfach so in eine KI einbaut, bricht das Training sofort zusammen. Die Signale werden chaotisch. Die Autoren haben zwei clevere Tricks entwickelt, um das Orchester stabil zu halten:

Der perfekte Start (E-I Init):
- Das Problem: Wenn das Orchester beginnt, sind die Instrumente oft falsch gestimmt. Manche spielen zu laut, andere gar nicht.
- Die Lösung: Die Autoren haben eine spezielle „Stimm-Technik" entwickelt. Bevor das Training beginnt, berechnen sie genau, wie stark die „Leiser"-Signale (Hemmung) sein müssen, um die „Lauter"-Signale (Erregung) perfekt auszugleichen. Sie stellen sicher, dass das Orchester von der ersten Sekunde an in einem perfekten Gleichgewicht ist.
Der stabile Dirigent (E-I Prop):
- Das Problem: Während des Trainings (wenn das Orchester lernt, ein neues Stück zu spielen) passieren zwei Dinge:
  - Manchmal schweigt ein Instrument so sehr, dass die Berechnung „durch die Null" geht (ein mathematischer Absturz).
  - Manchmal schreit das „Leiser"-Signal so laut, dass es den gesamten Lernprozess zerstört.
- Die Lösung:
  - Für das Schweigen: Sie nutzen einen „Adaptiven Stabilisator". Wenn ein Wert fast Null ist, ersetzen sie ihn nicht durch einen starren kleinen Wert, sondern durch den kleinsten tatsächlichen Wert, der gerade im Raum ist. So bleibt die Dynamik erhalten.
  - Für das laute Schreien: Sie dämpfen die Rückmeldung (den Gradienten) für die hemmenden Neuronen künstlich ab, damit sie nicht das ganze Training dominieren.

Was bringt das?

Das Ergebnis ist ein KI-Modell, das:

Keine künstlichen Stabilisatoren braucht (es ist biologisch glaubwürdiger).
Tief und komplex sein kann (es funktioniert auch bei großen Aufgaben wie Bilderkennung).
Genau so gut abschneidet wie die besten herkömmlichen Modelle (es verliert keine Leistung).
Energieeffizient ist (da es auf Impulsen basiert).

Zusammenfassung in einer Metapher:

Stellen Sie sich vor, Sie bauen ein Hochhaus.

Die alte Methode: Sie bauen das Haus und setzen einen riesigen, künstlichen Aufzug und eine Klimaanlage ein, damit es stabil bleibt. Es funktioniert, aber es sieht nicht aus wie ein echtes Gebäude und verbraucht viel Strom.
Die neue Methode (dieses Papier): Sie bauen das Haus aus zwei Arten von Ziegelsteinen: solchen, die das Haus nach oben drücken, und solchen, die es nach unten drücken. Wenn Sie diese beiden Arten clever mischen und genau berechnen, wie viel von jedem Stein Sie brauchen, steht das Haus von selbst stabil. Es braucht keinen künstlichen Aufzug. Es ist stabiler, effizienter und sieht aus, wie ein echtes Gebäude.

Fazit:
Diese Arbeit zeigt, dass wir KI-Modelle nicht mehr mit „fremden" mathematischen Tricks stabilisieren müssen, um sie leistungsfähig zu machen. Stattdessen können wir die Weisheit der Natur (die Balance zwischen Erregung und Hemmung) nutzen, um KI zu bauen, die nicht nur stark ist, sondern auch intelligent und biologisch sinnvoll funktioniert.

Titel: Training tiefer, normalisierungsfreier Spiking Neural Networks (SNNs) mit lateraler Hemmung

Veröffentlicht: ICLR 2026
Autoren: Peiyu Liu, Jianhao Ding, Zhaofei Yu (Peking University)

1. Problemstellung

Spiking Neural Networks (SNNs) gelten als vielversprechende Paradigmen für neuromorphes Computing aufgrund ihrer Energieeffizienz und biologischen Plausibilität. Ein zentrales Hindernis für den Einsatz tiefer SNN-Architekturen ist jedoch der Zielkonflikt zwischen Leistung und biologischer Realität:

Abhängigkeit von Normalisierung: Der erfolgreiche Training tiefer SNNs hängt derzeit stark von expliziten Normalisierungsschemata ab (z. B. Batch Normalization, BN). Diese Methoden stabilisieren das Training und beschleunigen die Konvergenz, sind aber biologisch unplausibel, da sie Statistiken über Batches sammeln, was im Gehirn nicht vorkommt.
Instabilität biologischer Modelle: Ansätze, die biologische Prinzipien priorisieren (z. B. getrennte Erregungs- und Hemmungs-Neuronen), leiden oft unter Trainingsinstabilität und können bisher nur in flachen Netzwerken erfolgreich eingesetzt werden.
Fehlende E-I-Dynamik: Viele hochleistungsfähige SNNs ignorieren fundamentale neurobiologische Prinzipien wie die Dynamik zwischen erregenden (E) und hemmenden (I) Neuronen, die für Gain-Control (Verstärkungssteuerung) und neuronale Oszillationen entscheidend sind.

Das Ziel der Arbeit ist es, ein normalisierungsfreies Lernframework zu entwickeln, das tiefen SNNs ermöglicht, stabil zu trainieren, ohne auf biologisch unplausible Normalisierungsschichten zurückzugreifen.

2. Methodik: Das E-I Circuit Framework

Die Autoren schlagen ein Framework vor, das auf einem kanonischen E-I-Schaltkreis (Excitatory-Inhibitory) basiert, der laterale Hemmung in die Schichten des SNNs integriert.

A. Architektur des E-I-Schaltkreises

Jede Schicht $l$ besteht aus zwei getrennten Populationen:

Erregende Neuronen (E): Modelliert als Leaky-Integrate-and-Fire (LIF) Neuronen.
Hemmende Neuronen (I): Modelliert als schnelle, fast-spiking Neuronen (z. B. PV+ Interneuronen). Aufgrund ihrer sehr kleinen Membranzeitkonstante ( $\tau_I \ll \Delta t$ ) werden sie als zustandslose Einheiten approximiert, die ihre Eingangsströme direkt in Spikes umwandeln (ähnlich einer ReLU-Funktion).

Das Verhältnis der Populationen folgt biologischen Erkenntnissen ( $N_E : N_I = 4:1$ ).

B. Mechanismus der lateralen Hemmung

Der Schaltkreis reguliert die Aktivität der erregenden Neuronen durch zwei Formen der Hemmung, die von den hemmenden Neuronen ausgehen:

Subtraktive Hemmung: Dient dem Ausgleich der Erregung (E-I-Balance). Sie subtrahiert einen konstanten Wert vom Eingangsstrom.
Divisive Hemmung: Dient der Gain-Control (Verstärkungssteuerung). Sie teilt den Eingangsstrom durch einen skalierenden Faktor, der von der hemmenden Aktivität abhängt.

Die integrierte Eingangsströme $I^{[l]}_{int}$ für ein erregendes Neuron werden berechnet als:
$I^{[l]}_{int} = g_E \odot \frac{I_{EE} - I_{EI,sub}}{I_{EI,div}} + b_E$
Wobei $I_{EE}$ der erregende Vorwärtsstrom ist und $I_{EI,sub/div}$ die lateralen hemmenden Ströme darstellen.

C. Schlüsseltechniken für stabiles Training

Um das Training tiefer netzwerke ohne Batch-Normalisierung zu stabilisieren, werden zwei zentrale Techniken eingeführt:

E-I Init (Dynamische Initialisierung):
- Problem: Standard-Initialisierungen (Xavier, Kaiming) sind für E-I-Schaltkreise ungeeignet, da sie Gewichte mit positiven und negativen Vorzeichen mischen, was gegen das biologische Prinzip der Dale'schen Regel (ein Neuron hat nur ein Vorzeichen) verstößt.
- Lösung: Eine dynamische Initialisierung, die die erwarteten erregenden und subtraktiven hemmenden Ströme ausbalanciert (nahezu Null-Mittelwert), um Sättigung oder Stille zu verhindern. Zudem wird der Parameter für die divisive Hemmung ( $g_I$ ) so gesetzt, dass er die Standardabweichung der Eingänge approximiert, was einen initialen Normalisierungseffekt erzeugt.
E-I Prop (Stabilisierung der Vorwärts- und Rückwärtspropagation):
- Adaptive Stabilisierung: Um Division durch Null in der divisive Hemmung zu vermeiden, werden Nullen im Nenner dynamisch durch den kleinsten positiven Wert im jeweiligen Batch ersetzt (anstatt eines festen $\epsilon$ ).
- Straight-Through Estimator (STE): Da die oben genannte Ersetzung nicht differenzierbar ist, wird im Backpropagation-Schritt die Ableitung als Identitätsfunktion approximiert, um den Gradientenfluss zu erhalten.
- Gradient Scaling: Die Gradienten für die lateralen hemmenden Gewichte ( $W_{EI}$ ) neigen dazu, überproportional groß zu sein. Diese werden skaliert (Faktor $1/d$ , wobei $d$ die Eingangsdimension ist), um ein Gleichgewicht zwischen den Pfaden herzustellen.

3. Hauptbeiträge

Normalisierungsfreies Framework: Einführung eines E-I-Schaltkreises in tiefe SNNs, der explizite Normalisierungsschichten (wie BN) ersetzt.
Dynamische Initialisierung (E-I Init): Ein Schema, das eine stabile Signalpropagation von Trainingsbeginn an sicherstellt, indem es E-I-Balance und Gain-Control etabliert.
Stabilisierungswerkzeugkasten (E-I Prop): Kombination aus adaptiver numerischer Stabilisierung, STE und Gradient Scaling, um das Training tiefer Netzwerke stabil zu halten.
Biologische Plausibilität: Das Modell lehnt sich an kortikale Schaltkreise an und vermeidet statistische Abhängigkeiten von Batches.

4. Ergebnisse

Die Methode wurde auf verschiedenen Datensätzen und Architekturen (VGG, ResNet) evaluiert:

Klassifizierungsleistung:
- CIFAR-10: 92,05 % Top-1-Accuracy (ResNet-18), was alle anderen normalisierungsfreien Baselines übertrifft und mit BN-basierten Methoden konkurrieren kann.
- TinyImageNet: 50,29 % Accuracy, zeigt Skalierbarkeit auf große Datensätze.
- Neuromorphe Datensätze: 94,86 % auf DVS-Gesture und 77,66 % auf CIFAR10-DVS.
Ablationsstudie:
- Das Entfernen von E-I Init oder die Verwendung von Standard-Initialisierung führt zu Trainingsversagen oder drastischen Genauigkeitsverlusten.
- Die adaptive Stabilisierung ist entscheidend; feste $\epsilon$ -Werte scheiterten in allen Tests.
- Ohne Gradient Scaling kollabiert das Training.
Lernverhalten:
- Die Verteilung der integrierten Ströme zeigt, dass das Modell initial eine normalisierungsähnliche Verteilung hat, sich aber während des Trainings zu einer bimodalen Verteilung entwickelt. Dies deutet darauf hin, dass das E-I-System Neuronen dynamisch in aktivierte und unterdrückte Populationen trennt – ein Mechanismus, der komplexer ist als einfache Normalisierung.

5. Bedeutung und Ausblick

Überbrückung der Lücke: Die Arbeit schließt die Kluft zwischen hochleistungsfähigem Deep Learning und biologisch plausibler neuronaler Berechnung. Sie zeigt, dass tiefe SNNs ohne künstliche Normalisierung trainiert werden können.
NeuroAI-Plattform: Das Framework dient nicht nur als Lösung für das Training, sondern auch als Rechenplattform, um die Funktionen von E-I-Interaktionen in großflächigen kortikalen Berechnungen zu erforschen.
Hardware-Kompatibilität: Da das Framework auf biologischen Prinzipien basiert, ist es gut geeignet für die Implementierung auf zukünftigen analogen oder gemischt-signaligen neuromorphen Hardware-Plattformen (z. B. DYNAP-SE2), die solche Operationen nativ unterstützen können.

Zusammenfassend demonstriert das Paper, dass laterale Hemmung als biologisch fundierter Ersatz für Batch Normalization fungieren kann, was zu stabilen, tiefen und biologisch realistischen Spiking Neural Networks führt.