Hyperdimensional Decoding of Spiking Neural Networks

Titel: Hyperdimensional Decoding of Spiking Neural Networks (Hyperdimensionales Decodieren von Spiking Neural Networks)

Autoren: Cedrick Kinavuidi, Luca Peres, Oliver Rhodes (University of Manchester, UK)
Veröffentlicht in: Neuromorphic Computing and Engineering (IOP Publishing)

1. Problemstellung

Spiking Neural Networks (SNNs) gelten als die dritte Generation neuronaler Netze und versprechen aufgrund ihrer biologischen Plausibilität und potenziellen Energieeffizienz eine Alternative zu herkömmlichen Artificial Neural Networks (ANNs). Dennoch stehen SNNs vor mehreren Herausforderungen:

• Geringere Genauigkeit: In vielen Lernaufgaben erreichen SNNs oft eine geringere Klassifizierungsgenauigkeit als ANNs.
• Ineffiziente Decodierung: Die gängigsten Decodierungsmethoden, wie das Rate-Decoding (Zählen der Spikes über ein Zeitfenster), führen zu hoher Latenz und hohem Energieverbrauch, da sie eine große Anzahl von Spikes benötigen, um signifikante Unterschiede zu erkennen.
• Limitierte Latenz-Decodierung: Methoden, die auf dem Zeitpunkt des ersten Spikes basieren (Latency-Decoding), sind zwar energieeffizienter, leiden jedoch oft unter geringerer Genauigkeit und geringer Robustheit gegenüber Rauschen.
• Fehlende Erkennung unbekannter Klassen: Herkömmliche SNNs mit One-Hot-Encoding sind auf die Anzahl der trainierten Klassen beschränkt und können unbekannte Eingaben nicht zuverlässig identifizieren.
• Zeitliche Kompression: Viele aktuelle Ansätze komprimieren neuromorphe Daten (z. B. von DVS-Kameras) in wenige Zeitschritte, was zeitliche Informationen verwässert und die Latenz in Echtzeitanwendungen erhöht.

2. Methodik

Das Paper stellt eine neuartige Architektur vor, die Spiking Neural Networks (SNNs) mit Hyperdimensional Computing (HDC) kombiniert, um ein SNN-HDC-Modell zu schaffen.

• Kernkonzept: Anstatt dass die Ausgabe des SNNs direkt eine Klasse repräsentiert (One-Hot-Encoding), generiert die Ausgabeschicht des SNNs einen Hypervector (einen hochdimensionalen Vektor).
• Codierungsmechanismus:
  • Das SNN besitzt eine experimentell bestimmte Anzahl von Ausgabeneuronen (z. B. 1024), die den Dimensionen des Hypervectors entsprechen.
  • Jede Dimension des Hypervectors wird initialisiert mit 0.
  • Wenn ein Ausgabeneuron während der Verarbeitung eines Datensamples feuert, wird die entsprechende Dimension im Hypervector von 0 auf 1 gesetzt (binär).
  • Dies geschieht ereignisgesteuert (event-driven), ohne dass das gesamte Sample abgewartet werden muss.
• Training:
  • Das Modell wird mit Backpropagation Through Time (BPTT) und Surrogate Gradients trainiert.
  • Der Loss wird basierend auf dem Mean Squared Error (MSE) zwischen dem generierten Hypervector und einem vordefinierten, pseudo-orthogonalen Ziel-Hypervector für jede Klasse berechnet.
  • Im Gegensatz zu früheren Arbeiten (wie SpikeHD oder HyperSpike) wird das SNN direkt auf die Erzeugung dieser Hypervector-Repräsentationen trainiert, anstatt einen zweistufigen Prozess (Feature-Extraktor + separater HDC-Classifier) zu verwenden.
• Vergleichsmodelle: Zur fairen Bewertung wurden drei Architekturen für jeden Datensatz entwickelt:
  1. SNN-HDC: Das vorgeschlagene Modell.
  2. SNN-1 (Rate/Latency): Gleiche Tiefe wie SNN-HDC, aber mit One-Hot-Ausgabe und Rate- bzw. Latency-Decoding.
  3. SNN-2 (Rate/Latency): Eine Schicht tiefer als SNN-HDC, um den Einfluss der Netzwerktiefe zu isolieren.
• Datensätze: Evaluation erfolgte auf den neuromorphen Datensätzen DvsGesture (Handgesten) und SL-Animals-DVS (Gebärdensprache für Tiere). Es wurden 1-Millisekunden-Frames verwendet, um zeitliche Konsistenz zu gewährleisten.

3. Wichtige Beiträge

1. Neue Decodierungsstrategie: Einführung einer direkten SNN-zu-Hypervector-Codierung, die die Vorteile verteilter Repräsentationen (Distributed Representations) des Gehirns nutzt.
2. Energieeffizienz: Durch die Vermeidung von Matrixmultiplikationen (die in früheren HDC-Ansätzen nötig waren) und die Nutzung von Hamming-Distanzen für den Vergleich wird die Energieeffizienz für neuromorphe Hardware maximiert.
3. Robustheit und Genauigkeit: Das Modell erreicht eine hohe Genauigkeit und ist robuster gegenüber Rauschen als Latency-Decoding-Modelle.
4. Erkennung unbekannter Klassen: Da Hypervectors auf Ähnlichkeit basieren, kann das Modell Eingaben als "unbekannt" klassifizieren, wenn sie keine ausreichende Ähnlichkeit zu den trainierten Klassen-Hypervectors aufweisen.
5. Reduzierte Latenz: Durch die ereignisgesteuerte Akkumulation des Hypervectors können Klassifikationen früher erfolgen als beim Rate-Decoding, das auf das Ende eines Zeitfensters wartet.

4. Ergebnisse

Die Experimente auf den Datensätzen DvsGesture und SL-Animals-DVS ergaben folgende Ergebnisse:

• Genauigkeit:
  • Auf DvsGesture erreichte SNN-HDC 96,59 % Genauigkeit (mit $\beta=0.9$ und 1024 Dimensionen). Dies ist vergleichbar mit dem besten Rate-Decoding-Modell (97,35 %) und deutlich besser als Latency-Decoding (85,23 %).
  • Auf SL-Animals-DVS erzielte SNN-HDC mit 74,13 % die höchste Genauigkeit aller getesteten Modelle, einschließlich der tieferen Rate-Decoding-Modelle.
• Energieverbrauch:
  • SNN-HDC wies die geringste Anzahl an Spikes auf.
  • Geschätzte Energieeinsparungen im Vergleich zu Rate-Decoding: 1,24× bis 3,67× (DvsGesture) und 1,38× bis 2,27× (SL-Animals-DVS).
  • Im Vergleich zu Latency-Decoding war der Verbrauch ebenfalls geringer oder vergleichbar, bei deutlich besserer Genauigkeit.
• Latenz:
  • SNN-HDC zeigte eine niedrigere Latenz als Rate-Decoding-Modelle (außer dem sehr tiefen Rate-2-Modell).
  • Im Gegensatz zu gängigen Annahmen war Latency-Decoding nicht schneller als Rate-Decoding in diesem Kontext, da tiefere Netzwerke die Trennschärfe der Klassen verbesserten.
• Erkennung unbekannter Klassen:
  • Ein SNN-HDC, das nur auf 10 von 11 Klassen trainiert wurde, konnte 100 % der Samples der unbekannten 11. Klasse korrekt als "unbekannt" identifizieren, während die Genauigkeit für die bekannten Klassen hoch blieb (94,17 % bei einem optimalen Schwellenwert $\delta$).

5. Bedeutung und Ausblick

Diese Arbeit demonstriert, dass die Kombination von SNNs und Hyperdimensional Computing eine vielversprechende Alternative zu herkömmlichen Rate- und Latency-Decoding-Methoden darstellt.

• Vorteile: Das SNN-HDC-Modell bietet einen optimalen Kompromiss aus hoher Genauigkeit, niedriger Latenz, hoher Rauschrobustheit und minimalem Energieverbrauch.
• Skalierbarkeit: Im Gegensatz zu One-Hot-Encoding skaliert die Ausdruckskraft von Hypervectors exponentiell mit der Dimensionalität. Bei einer großen Anzahl von Klassen (>2633) benötigt das SNN-HDC sogar weniger Parameter als ein One-Hot-Modell.
• Anwendbarkeit: Die Methode ist besonders geeignet für Echtzeitanwendungen auf neuromorpher Hardware, da sie kontinuierliche, ereignisgesteuerte Klassifizierung ohne Neustart des Netzwerks ermöglicht.
• Zukunft: Zukünftige Forschung könnte die Codierung weiter verfeinern, indem nicht nur die Anwesenheit, sondern auch die Anzahl der Spikes und die Inter-Spike-Intervalle in die Hypervector-Dimensionen integriert werden, um die Informationsdichte weiter zu erhöhen.

Zusammenfassend stellt das SNN-HDC einen signifikanten Schritt in Richtung biologisch plausibler, energieeffizienter und leistungsfähiger neuromorpher Systeme dar.