💻 computer science

Elastic Spiking Transformers for Efficient Gesture Understanding

Dieser Beitrag stellt den Elastic Spiking Transformer vor, eine zur Laufzeit anpassbare Architektur, die es einem einzigen universellen Modell ermöglicht, seine Rechenkomplexität und seinen Energieverbrauch dynamisch an diverse neuromorphe Hardwarebeschränkungen anzupassen, während gleichzeitig eine hohe Genauigkeit für die Gestenerkennung erhalten bleibt.

Ursprüngliche Autoren: Alberto Ancilotto, Gianluca Amprimo, Stefano Di Carlo, Elisabetta Farella

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alberto Ancilotto, Gianluca Amprimo, Stefano Di Carlo, Elisabetta Farella

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein superintelligentes Roboterhirn, das darauf ausgelegt ist, Handgesten von einer speziellen Kamera zu erkennen, die nur Bewegungen wahrnimmt (wie eine Überwachungskamera, die nur einschaltet, wenn sich etwas bewegt). Dieses Hirn ist darauf ausgelegt, extrem energieeffizient zu sein und perfekt für batteriebetriebene Geräte geeignet.

Allerdings gibt es ein großes Problem: Das Hirn ist zu starr.

Das Problem: Der „Einheitsgröße"-Anzug

Derzeit sind diese Roboterhirne wie ein Anzug, der für eine bestimmte Person maßgeschneidert ist. Wenn Sie ihn einem Riesen anziehen wollen, benötigen Sie einen neuen Anzug. Wenn Sie ihn einem Kind anziehen wollen, benötigen Sie einen anderen Anzug.

Das Hardware-Problem: Einige Geräte (wie winzige medizinische Sensoren) sind sehr klein und haben schwache Batterien. Sie können nur ein „kleines" Hirn tragen. Andere Geräte (wie leistungsstarke Edge-Server) können ein „großes" Hirn bewältigen.
Der alte Weg: Um ein Hirn für das kleine Gerät herzustellen, mussten Wissenschaftler ein ganz neues, kleineres Hirn von Grund auf neu bauen und es erneut trainieren. Dies ist langsam, teuer und verschwenderisch.
Die Starrheit: Noch schlimmer ist, dass viele dieser „Hirne" immer noch auf schwere Mathematik (Multiplikation) angewiesen sind, die einen leistungsstarken Computerchip (CPU) zum Ausführen erfordert, wodurch der Zweck der Verwendung eines stromsparenden, spezialisierten Chips zunichte gemacht wird.

Die Lösung: Das „Matroschka"-Hirn

Die Autoren dieses Papers haben eine neue Art von Hirn entwickelt, die Elastische Spiking Transformer (oder NESTformer) genannt wird. Stellen Sie sich dies wie eine Reihe von russischen Nestpuppen (Matroschka-Puppen) vor.

Anstatt für jedes Gerät ein neues Hirn zu bauen, haben sie ein einziges „universelles" Hirn entwickelt, das sich sofort verkleinern oder vergrößern kann, um zu jedem Gerät zu passen, ohne dass es neu trainiert werden muss.

Hier ist, wie es funktioniert, unter Verwendung einfacher Analogien:

1. Der „Schrumpf"-Mechanismus (Elastizität)

Stellen Sie sich vor, das Hirn besteht aus drei Hauptteilen:

Die Augen (Feature-Extraktor): Sieht die Bewegung.
Der Fokus (Attention): Entscheidet, welche Teile der Bewegung wichtig sind.
Das Denken (MLP): Verarbeitet die Informationen.

Bei den alten starren Hirnen konnte man die Größe dieser Teile nicht ändern. Im neuen NESTformer können Sie das Hirn „schneiden".

Wenn Sie ein winziges Hirn für eine batteriebetriebene Uhr benötigen, „schneiden" Sie einfach die zusätzlichen Schichten ab. Das Hirn wird sofort kleiner und verbraucht weniger Speicher und weniger Energie.
Wenn Sie ein großes Hirn für einen leistungsstarken Server benötigen, „entschneiden" Sie es, und es erweitert sich, um seine volle Leistung zu nutzen.
Die Magie: Sie müssen das Hirn nicht neu trainieren. Es ist bereits darauf trainiert, in jeder Größe zu funktionieren, vom kleinsten Schnitt bis zur ganzen Puppe.

2. Der „Spiking"-Vorteil (Energieeinsparung)

Dieses Hirn verwendet Spiking Neural Networks (SNNs).

Alte Hirne (Standard-KI): Wie eine Glühbirne, die immer eingeschaltet ist und ständig Strom verbrennt, selbst wenn sie nur über nichts nachdenkt.
Spiking-Hirne: Wie ein Morse-Code-Operator. Das Hirn feuert („spiked") nur, wenn es tatsächlich etwas Neues sieht. Wenn sich nichts bewegt, schläft das Hirn. Dies spart enorme Mengen an Energie.

Das Paper behauptet eine besondere Entdeckung: Wenn Sie den NESTformer verkleinern, spart er nicht nur Speicher; er feuert tatsächlich weniger „Spikes".

Bei anderen Hirnen macht das Verkleinern sie manchmal pro Neuron nur noch härter arbeiten.
Beim NESTformer macht das Verkleinern das gesamte System leiser und effizienter, wie das Leiserdrehen der Lautstärke bei einem Radio.

3. Der „Reihen-für-Reihe"-Trick (Hardware-freundlich)

Die meisten modernen KI-Hirne rechnen, indem sie riesige Gitter von Zahlen auf einmal multiplizieren (wie ein Koch, der einen ganzen Haufen Gemüse auf einmal schneidet). Dies ist großartig für große Computer, aber unmöglich für winzige, stromsparende Chips.

Der Trick des NESTformer: Anstatt den ganzen Haufen auf einmal zu schneiden, schneidet er ein Gemüse nach dem anderen (Reihe für Reihe).
Dies ermöglicht es dem Hirn, direkt auf den winzigen, speziellen „neuromorphen" Chips zu laufen, ohne dass ein leistungsstarker Computer zur Hilfe benötigt wird. Es ist wie der Wechsel von einem riesigen industriellen Mixer zu einem einfachen, effizienten Handkurbel-Mühle, die in Ihre Tasche passt.

Die Ergebnisse: Was haben sie bewiesen?

Das Team testete dieses „Matroschka"-Hirn an realen Aufgaben:

Klinische Gesten: Sie verwendeten einen Datensatz von Handgesten, die in der medizinischen Rehabilitation verwendet werden.
Standardtests: Sie testeten es auch an Standardaufgaben zur Bilderkennung (wie das Erkennen von Objekten auf Fotos).

Die Erkenntnisse:

Genauigkeit: Das „universelle" Hirn schnitt genauso gut oder besser ab als die spezialisierten Hirne, die von Grund auf neu trainiert werden mussten.
Energie: Durch das Verkleinern des Hirns, um es auf ein kleines Gerät anzupassen, sparten sie bis zu 60 % mehr Energie als die derzeit besten Methoden.
Flexibilität: Sie zeigten, dass sie mit einem einzigen Modell auf einem Gerät mit sehr geringer Leistung (unter Verwendung eines winzigen Ausschnitts des Hirns) oder auf einem Gerät mit hoher Leistung (unter Verwendung des gesamten Hirns) laufen konnten, alles ohne Änderung des Codes oder erneutes Training.

Zusammenfassung

Das Paper stellt ein universelles, formveränderndes Roboterhirn vor, das zu jedem Gerät passt, von einem winzigen medizinischen Sensor bis hin zu einem leistungsstarken Server. Es verwendet eine spezielle „Spiking"-Sprache, die Energie spart, indem es nur bei Bedarf arbeitet, und es kann sich selbst verkleinern, um überall hinein zu passen, ohne neu trainiert werden zu müssen, und löst so den größten Engpass bei der Implementierung intelligenter Gestenerkennung auf stromsparenden Geräten.

Technische Zusammenfassung: Elastische Spiking-Transformer für effizientes Gestenverständnis

1. Problemstellung

Der Einsatz von Spiking Neural Networks (SNNs), insbesondere Spiking-Transformern, auf neuromorpher Hardware (z. B. Intel Loihi, IBM TrueNorth) für Gesundheitswesen und Gestenerkennung stößt auf zwei kritische Engpässe:

Architektonische Starrheit: Bestehende SNN-Architekturen sind statisch, mit festen Parameterzahlen und Berechnungsgraphen. Der Einsatz dieser Modelle auf verschiedenen neuromorphen Chips mit unterschiedlichen Speicher- und Leistungsbeschränkungen erfordert das Training und Bereitstellen völlig separater Modelle für jedes Hardwareziel, wodurch die Effizienzvorteile eines einheitlichen Ansatzes zunichte gemacht werden.
Hardware-Inkompatibilität und Energieineffizienz: Viele aktuelle Spiking-Transformer verlassen sich auf globale Matrixmultiplikationen (GEMM) oder gestapelte Matrixmultiplikationen (BMM). Diese werden von spike-getriebenen neuromorphen Chips nicht nativ unterstützt, was dazu zwingt, Arbeitslasten auf leistungsstarke CPUs auszulagern, was die Energieeinsparungen zunichte macht. Darüber hinaus versagen Standard-Skalierungsstrategien (Verringerung der Modellbreite/-tiefe) oft darin, den Energieverbrauch proportional zu reduzieren, da die initiale Merkmalsextraktion (Patch-Embedding) unabhängig von der Modellgröße eine dominante Quelle für Spike-Aktivität bleibt.

2. Methodik: Die NESTformer-Architektur

Die Autoren schlagen NESTformer (Neuromorphic Elastic Spiking Transformer) vor, eine neuartige Architektur, die runtime-Anpassbarkeit direkt in das Spiking-Paradigma integriert. Das Framework basiert auf drei Kernprinzipien:

Verschachtelte Architektur: Kleinere Konfigurationen sind strikte Teilmengen größerer, was eine gemeinsame Gewichtsverwendung ermöglicht.
Spike-bewusste Elastizität: Die Größenreduzierung wird so optimiert, dass sowohl Parameter als auch Spike-Aktivität minimiert werden.
Hardware-bewusstes Design: Die Architektur vermeidet CPU-abhängige Operationen und nutzt Strukturen, die für neuromorphe Hardware nativ sind.

Das Modell verarbeitet ereignisbasierte Eingaben durch drei elastische Bausteine, die durch einen Granularitätsparameter $g$ gesteuert werden:

A. Elastische Spiking-Selbstaufmerksamkeit

Inspiriert vom Matryoshka-Repräsentationslernen ermöglicht dieser Block das dynamische Slicen der Query ( $Q$ ), Key ( $K$ ) und Value ( $V$ ) Tensoren, um die Anzahl der aktiven Attention-Köpfe ( $h_g$ ) während der Inferenz anzupassen.

Neuromorphe Kompatibilität: Um globale Matrixmultiplikationen zu eliminieren, führen die Autoren einen zeilenweisen Attention-Mechanismus ein. Anstatt eine dichte Attention-Karte zu berechnen, wird die Operation in eine Sequenz aus zwei Leaky-Integrate-and-Fire (LIF)-Operationen zerlegt: $attng = LIF(Q_g \cdot K_g^T)$ gefolgt von $O_g = LIF(attng \cdot V_g)$ . Dies wandelt Attention-Werte in binäre Spikes um und stellt sicher, dass die nachfolgende Multiplikation eine strikt spike-getriebene Akkumulation ist, die mit ereignisgesteuerter Hardware kompatibel ist.

B. Elastischer Spiking-MLP

Das Multi-Layer Perceptron (MLP)-Modul nutzt variable versteckte Dimensionen basierend auf logarithmisch verteilten Filteranzahlen. Durch dynamische Anpassung der versteckten Dimension ( $h_g$ ) von einem Minimum zu einem Maximum kann das Modell die Parameterzahl (die bei Standard-Transformern etwa 60 % ausmacht) erheblich reduzieren, ohne neu trainiert werden zu müssen.

C. Elastische Merkmalsextraktion (XiSPS)

Um den Engpass zu adressieren, bei dem das Patch-Embedding die Mehrheit der Spikes erzeugt, stellen die Autoren XiSPS (Elastic Spiking Patch Splitting) vor. Im Gegensatz zu statischen Embeddings unterstützt XiSPS dynamische, runtime-Trade-offs zwischen Merkmalsgranularität und Stromverbrauch. Es passt einen einstellbaren Kompressionsfaktor $\gamma$ an, um die Rechenlast und Parameterzahl in der Eingabestufe zu reduzieren und sicherzustellen, dass die Energieeinsparungen linear mit der Modellgröße skalieren.

D. Trainingsstrategie

Das Modell verwendet eine stochastische Stichprobenstrategie anstelle des traditionellen „Sandwich"-Trainings. Während des Trainings wird pro Schritt eine einzelne Granularitätskonfiguration aus einer verzerrten Verteilung $P(g)$ gesampelt, die größere Konfigurationen bevorzugt. Dies stellt sicher, dass der vollständige Parametersatz häufige Updates erhält und die von allen kleineren Subnetzwerken genutzten gemeinsamen Gewichte stabilisiert werden. Statische Tensorformen mit binärer Maskierung werden verwendet, um einen konsistenten Berechnungsgraphen aufrechtzuerhalten.

3. Hauptbeiträge

Erster elastischer Spiking-Transformer: NESTformer ist der erste SNN-Transformer, der runtime-Anpassbarkeit (Skalierung des Speicherfootprints und der Rechenleistung) ohne Nachtraining ermöglicht und einen Energiebereich von 3,8 $\times$ abdeckt.
Neuromorph-nativer Attention-Mechanismus: Ein neuartiges zeilenweises Attention-Berechnungsschema ersetzt globale Matrixmultiplikationen durch sequenzielle synaptische Operationen und ermöglicht eine echte Bereitstellung auf neuromorpher Hardware ohne CPU-Auslagerung.
Lineare Energieskalierung: Die Autoren zeigen, dass NESTformer im Gegensatz zu früheren Architekturen, bei denen Energieeinsparungen sublinear sind, durch seine Elastizität die gesamte Spike-Ausstrahlungsrate direkt reduziert. Dies führt zu einer proportionalen Reduktion des Energieverbrauchs bei Verringerung der Modellgröße.
State-of-the-Art-Leistung: Der Ansatz erzielt auf Gesten- und Bild-Benchmarks konkurrierende oder überlegene Genauigkeit bei gleichzeitig deutlich geringerem Energieverbrauch als aktuelle State-of-the-Art (SOTA)-Architekturen.

4. Experimentelle Ergebnisse

Die Autoren validierten NESTformer auf dem klinischen Datensatz EHWGesture sowie auf Standard-Benchmarks: DVS128 Gesture, CIFAR10-DVS und statischen CIFAR-10/100.

EHWGesture (Klinische Geste):
- Die größte Konfiguration ( $g_3$ ) erreichte 75,98 % Genauigkeit und übertraf damit den SOTA QKFormer-5-320 (75,28 %) sowie den effizienten CNN PhiNet (71,25 %).
- Energieeffizienz: NESTformer ( $g_3$ ) verbrauchte 46,1 $\mu$ J pro Inferenz, weniger als die Hälfte des Energieverbrauchs von QKFormer-5-320 (100,9 $\mu$ J) und um Größenordnungen niedriger als CNN-Baselines (6.900–460.000 $\mu$ J).
- Elastizität: Die $g_2$ -Konfiguration behielt 99,8 % der Spitzen accuracy (75,86 %) bei, während der Energieverbrauch um fast 40 % reduziert wurde (28,7 $\mu$ J). Die kleinste Konfiguration ( $g_0$ ) erreichte bei nur 13,3 $\mu$ J eine Genauigkeit von 71,01 %.
Allgemeine Benchmarks:
- DVS128 Gesture: NESTformer ( $g_3$ ) entsprach dem SOTA Spike-Driven Transformer (99,30 %) und übertraf QKFormer (98,60 %). Die ultraleichte $g_0$ -Konfiguration erreichte 97,57 % Genauigkeit mit 5,3 $\times$ weniger Parametern als die größte Konfiguration.
- CIFAR10-DVS: Erzielte 83,61 % Genauigkeit ( $g_3$ ) und übertraf den Standard-Spikformer (80,90 %).
- CIFAR-100: Die $g_3$ -Konfiguration erreichte 81,30 % Genauigkeit und setzte einen neuen SOTA für Spiking-Transformer auf diesem Datensatz.
Zeitliche Trade-offs: Die Analyse auf EHWGesture ergab, dass die Action Quality Assessment (AQA) von einer höheren zeitlichen Auflösung ( $T=64$ ) profitiert, während die Gestenerkennung bei niedrigeren Zeitschritten ( $T=16$ bis $32$) ihren Höhepunkt erreicht. NESTformer ermöglicht Benutzern, die optimale Kombination aus Granularität und Zeitschritt für spezifische Aufgabenanforderungen auszuwählen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass NESTformer die Lücke zwischen effizienter neuromorpher Berechnung und elastischen Transformer-Architekturen schließt. Seine primäre Bedeutung liegt darin, die Bereitstellung eines einzelnen einheitlichen Modells über das gesamte Spektrum neuromorpher Hardware hinweg zu ermöglichen – von ultraniedrigleistungsstarken Edge-Geräten bis hin zu hochpräzisen Servern – ohne Nachtraining.

Durch die Lösung des speicherbeschränkten Problems mittels dynamischen Slicens und die direkte Senkung der gesamten Spike-Ausstrahlungsrate bietet NESTformer einen einzigartigen doppelten Vorteil:

Bereitstellungsflexibilität: Sofortige Skalierung des Parameterfootprints zur Anpassung an diverse Hardware-Spezifikationen.
Echte Energieeffizienz: Eine lineare Reduktion des Energieverbrauchs proportional zur Verringerung der Modellgröße, eine Fähigkeit, die bei Standard-Künstlichen Neuronalen Netzen (ANNs) und festen SNNs bisher nicht verfügbar war.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz eine kontinuierliche, Echtzeit-Gestenerkennung auf ressourcenbeschränkten Edge-Geräten ermöglicht, die Privatsphäre der Benutzer wahrt und die Kommunikationslatenz reduziert, während gleichzeitig eine hohe Genauigkeit erhalten bleibt.