Neural Dynamics Self-Attention for Spiking Transformers

Titel: Neural Dynamics Self-Attention for Spiking Transformers (LRF-Dyn)

Veröffentlicht: ICLR 2026
Autoren: Dehao Zhang et al. (University of Electronic Science and Technology of China, Shenzhen Loop Area Institute, CUHK-Shenzhen)

---

1. Problemstellung

Die Integration von Spiking Neural Networks (SNNs) mit Transformer-Architekturen verspricht eine hohe Energieeffizienz bei gleichzeitig guter Leistung, was besonders für Edge-Vision-Anwendungen relevant ist. Dennoch stehen bestehende Spiking-Transformer vor zwei kritischen Herausforderungen:

1. Leistungsgefälle zu ANNs: Es besteht eine signifikante Lücke in der Leistungsfähigkeit im Vergleich zu künstlichen neuronalen Netzen (ANNs). Der Hauptgrund liegt im Spiking Self-Attention (SSA) Mechanismus. Im Gegensatz zur klassischen Self-Attention (VSA) in Vision Transformern (ViT) entfällt bei SSA die Softmax-Operation. Dies führt zu einer fast uniformen Verteilung der Aufmerksamkeitsscores, wodurch die Fähigkeit zur lokalen Modellierung (Fokus auf benachbarte Regionen) verloren geht.
2. Hoher Speicherbedarf: Während SSA die Rechenkomplexität theoretisch reduzieren kann, erfordert die Inferenz die explizite Speicherung großer Attention-Matrizen (z. B. $QK$-Matrizen der Größe $N^2$ oder $KV$-Matrizen der Größe $d^2$). Dies führt zu einem hohen Speicher-Overhead, der die Bereitstellung auf ressourcenbeschränkten Geräten (wie neuromorphen Chips) behindert.

2. Methodik: LRF-Dyn

Die Autoren schlagen LRF-Dyn vor, eine Methode, die von den lokal begrenzten rezeptiven Feldern (Local Receptive Fields, LRF) biologischer visueller Neuronen und der Membranpotential-Dynamik inspiriert ist. Der Ansatz besteht aus zwei Hauptkomponenten:

A. Spiking Self-Attention mit Lokal-Rezeptiven-Feldern (LRF-SSA)

Um das Problem der fehlenden lokalen Modellierung zu lösen, wird ein lokaler Faltungsmechanismus in die SSA integriert.

• Mechanismus: Anstatt nur globale Dot-Produkte zu berechnen, wird ein lokaler Faltungsanteil hinzugefügt, der benachbarten Token höhere Gewichte zuweist.
• Mathematische Formulierung: Die Ausgabe wird als Summe aus einem globalen Anteil und einem lokalen Anteil (modelliert durch multi-skalige dilatierte Faltungen mit $3\times3$ Kernen) dargestellt.
• Theoretische Grundlage: Es wird bewiesen (Theorem 1 & 2), dass LRF-SSA eine niedrigere Entropie der Attention-Verteilung aufweist als reines SSA und sich damit der Verteilung von VSA annähert, ohne die Softmax-Operation zu benötigen. Dies stärkt die Fähigkeit, räumliche Ähnlichkeiten in Nachbarschaften zu erfassen.

B. Implementierung durch neuronale Dynamik (LRF-Dyn)

Um den Speicherbedarf während der Inferenz weiter zu senken, wird die Berechnung von LRF-SSA durch neuronale Dynamik approximiert.

• Ansatz: Die Attention-Aggregation wird in das „Lade-Feuern-Rücksetzen"-Dynamik-Modell (Charge-Fire-Reset) spikender Neuronen überführt.
• Speicheroptimierung: Anstatt die gesamte Attention-Matrix oder intermediate $KV$-Produkte zu speichern, wird der Zustand als Membranpotential geführt. Die Berechnung erfolgt rekursiv:
  $$X_n[t] = A \odot X_{n-1}[t] + \Gamma \cdot \text{Token}_n[t]$$
  Dabei repräsentiert $A$ einen Zerfallsfaktor und $\Gamma$ eine Membrankapazität, die in einer dendritischen Struktur mit lokalen rezeptiven Feldern definiert ist.
• Ergebnis: Dies eliminiert die Notwendigkeit, explizite Attention-Matrizen zu speichern. Die Speicheranforderung sinkt von $O(d^2)$ (für die Matrix) auf $O(kd)$ (wobei $k$ die Anzahl der Dendriten ist), was eine drastische Reduktion des Speicherverbrauchs bedeutet.

3. Wichtige Beiträge

1. Identifikation von Limitierungen: Der Nachweis, dass das Fehlen lokaler Modellierungskapazität und der hohe Speicherbedarf durch die Speicherung von Attention-Scores die Hauptbarrieren für Spiking-Transformer sind.
2. Einführung von LRF-Dyn: Ein neuer Mechanismus, der lokale rezeptive Felder in SSA integriert, um die Leistung zu steigern, und gleichzeitig die Berechnung durch neuronale Dynamik ersetzt, um den Speicherbedarf zu minimieren.
3. Theoretische Beweise: Mathematische Herleitungen, die zeigen, dass LRF-SSA eine niedrigere Entropie (bessere Fokussierung) aufweist als SSA und dass die neuronale Dynamik eine äquivalente Approximation ohne Matrixspeicherung ermöglicht.

4. Ergebnisse

Die Methode wurde auf verschiedenen visuellen Aufgaben (Bildklassifizierung auf ImageNet-1k und semantische Segmentierung auf ADE20K) in Kombination mit bestehenden Architekturen (Spikformer, QKFormer, Spike-Driven-V3) evaluiert.

• Leistungssteigerung:
  • Auf ImageNet-1k verbesserte LRF-SSA die Genauigkeit von Spikformer-8-512 um 1,24 % (auf 74,62 %) bei nur minimalen zusätzlichen Parametern (<0,2M).
  • LRF-Dyn erreichte ähnliche Genauigkeitsgewinne (z. B. +1,13 % bei Spikformer-8-512) bei deutlich reduziertem Speicherbedarf.
  • Bei der semantischen Segmentierung (ADE20K) wurden Verbesserungen von 2,6 % (mIoU) gegenüber dem Baseline SDT-V3 erzielt.
• Speichereffizienz:
  • LRF-Dyn reduziert den Speicherbedarf während der Inferenz um bis zu 49,4 % im Vergleich zu LRF-SSA/SSA, während die Genauigkeit erhalten bleibt.
  • Die Speicherkomplexität wird von $O(d^2)$ auf $O(kd)$ reduziert.
• Visualisierung: Die Attention-Maps zeigen, dass LRF-Dyn und LRF-SSA ViT-ähnliche, lokal fokussierte Muster aufweisen, im Gegensatz zur diffusen Verteilung des ursprünglichen SSA.

5. Bedeutung und Fazit

Das Paper stellt einen bedeutenden Fortschritt für die Entwicklung energieeffizienter Spiking-Transformer dar.

• Brückenschlag: Es schließt die Leistungslücke zwischen SNNs und ANNs, indem es die biologische Plausibilität (lokale Rezeptivfelder) mit der Effizienz von SNNs kombiniert.
• Hardware-Tauglichkeit: Durch die Eliminierung der expliziten Attention-Matrix-Speicherung wird die Methode besonders für neuromorphe Hardware und ressourcenbeschränkte Edge-Geräte geeignet, wo Speicherbandbreite oft der Engpass ist.
• Zukunftsperspektive: LRF-Dyn bietet einen neuen Paradigmenwechsel, bei dem Attention-Mechanismen nicht mehr als statische Matrizen, sondern als dynamische neuronale Prozesse modelliert werden, was den Weg für hochperformante, energieeffiziente KI auf der Edge ebnet.