🤖 machine learning

Uncertainty-Aware Token Importance Estimation in Spiking Transformers

Dieser Artikel stellt Uncert vor, ein trainingsfreies Framework, das die Effizienz des Token-Prunings in Spiking-Transformern verbessert, indem es die Token-Wichtigkeit durch zeitliche Unsicherheitsmuster schätzt, die aus dirichlet-verteilten Klassenevidenzen über mehrere Spiking-Schritte abgeleitet werden.

Ursprüngliche Autoren: Wenxuan Liu, Zecheng Hao, Tong Bu, Yuran Wang, Zhaofei Yu

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenxuan Liu, Zecheng Hao, Tong Bu, Yuran Wang, Zhaofei Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Puzzle zu lösen, aber anstatt das gesamte Bild auf einmal zu betrachten, starren Sie ein paar Sekunden darauf, schauen dann weg und blicken wieder zurück. Jedes Mal, wenn Sie hinschauen, sammelt Ihr Gehirn ein wenig mehr Beweise dafür, was das Bild darstellt.

So funktionieren Spiking Transformers (eine Art von KI, die vom menschlichen Gehirn inspiriert ist). Sie verarbeiten ein Bild nicht in einem einzigen Moment; sie „spiken" oder feuern über eine Reihe winziger Zeitschritte hinweg und bauen allmählich ein klares Verständnis der Szene auf.

Es gibt jedoch ein Problem: Genau wie Sie vielleicht auf eine leere Wand im Puzzle starren, während Sie auf die interessanten Teile warten, verschwendet die KI viel Energie damit, „langweilige" Teile des Bildes (wie einen einfarbig blauen Himmel) zu verarbeiten, während sie versucht, die „interessanten" Teile (wie eine Katze) zu erkennen.

Das Problem: Zu viel Rauschen, zu wenig Fokus

Aktuelle Methoden versuchen herauszufinden, welche Teile des Bildes wichtig sind, indem sie betrachten, wie „laut" oder „hell" ein Signal in einem einzigen Moment ist. Es ist, als würde man versuchen, ein Lied zu beurteilen, indem man sich nur eine Sekunde davon anhört. Wenn eine Note laut ist, halten sie sie für wichtig. Wenn sie leise ist, ignorieren sie sie.

Aber bei einem Spiking Transformer hängt die „Wichtigkeit" eines Bildteils nicht nur davon ab, wie laut er gerade ist; es geht darum, wie sich das Vertrauen der KI im Laufe der Zeit verändert.

Die Lösung: Uncert (Der „Vertrauens-Tracker")

Die Autoren dieses Papers, Wenxuan Liu und sein Team von der Pekinger Universität, haben ein neues Werkzeug namens Uncert entwickelt. Denken Sie an Uncert als einen Vertrauens-Tracker, der das Gehirn der KI im Laufe der Zeit beobachtet.

Anstatt zu fragen: „Wie laut ist dieses Signal gerade?", fragt Uncert: „Wie verwirrt ist die KI bezüglich dieses Bildteils im Laufe der Zeit?"

Hier ist die Aufschlüsselung mit einfachen Analogien:

Der „verwirrte" Token ist der wichtige:
Stellen Sie sich vor, Sie befinden sich in einem überfüllten Raum.
- Token A (Der Hintergrund): Sie sehen eine schlichte Wand. Ihr Gehirn weiß sofort: „Das ist eine Wand." Ihr Vertrauen ist hoch, und Ihre Unsicherheit ist gering. Es ändert sich nie.
- Token B (Die Katze): Sie sehen eine verschwommene Form. Zuerst denken Sie, es ist eine Katze. Dann denken Sie, es ist ein Hund. Dann erkennen Sie wieder, dass es eine Katze ist. Ihr Gehirn schwankt, sammelt Beweise, und Ihre „Unsicherheit" geht hoch und runter.
- Die Erkenntnis: Das Paper argumentiert, dass Token B (der schwankende) tatsächlich wichtiger ist. Er enthält die komplexen Informationen, die die KI benötigt, um das Puzzle zu lösen. Token A (die statische Wand) ist nur redundantes Rauschen.
Der „Unsicherheits-Score":
Uncert berechnet für jedes winzige Stück des Bildes (einen sogenannten „Token") einen Score basierend auf zwei Dingen:
- Durchschnittliche Verwirrung: Wie unsicher war die KI im Durchschnitt bezüglich dieses Stücks?
- Die Achterbahn: Wie stark schwankte das Vertrauen der KI auf und ab?
Wenn ein Token eine hohe durchschnittliche Verwirrung oder eine wilde Achterbahn von Vertrauensänderungen aufweist, vergibt Uncert ihm einen hohen Wichtigkeits-Score. Wenn ein Token langweilig konsistent ist (wie die Wand), erhält er einen niedrigen Score.
Das „Pruning" (Das Abschneiden des Fetts):
Sobald Uncert alle Tokens bewertet hat, kann die KI in den „Effizienzmodus" wechseln. Sie behält die hochbewerteten Tokens (die verwirrenden, interessanten Teile) und verwirft die niedrigbewerteten (die langweiligen, redundanten Teile).

Das Paper nennt dies Token Pruning. Es ist wie ein Koch, der eine Suppe probiert und entscheidet, das Wasser wegzuschmeißen, das keinen Geschmack hinzufügt, und nur die kräftige, aromatische Brühe übrig lässt.

Was sie herausfanden

Die Forscher testeten dies an zwei Arten von Daten:

Statische Bilder: Regelmäßige Fotos (wie CIFAR-10).
Neuromorphe Daten: Ereignisbasierte Kameras, die nur Änderungen aufzeichnen (wie eine Kamera, die nur ein Foto macht, wenn sich etwas bewegt).

Die Ergebnisse:

Kein zusätzliches Training erforderlich: Uncert ist „Plug-and-Play". Sie müssen die KI nicht neu lehren, wie sie lernt; Sie fügen einfach diese neue Regel hinzu, wie sie entscheidet, was sie behält.
Bessere Effizienz: Durch das Entfernen der „langweiligen" Tokens verbraucht die KI weniger Energie und läuft schneller.
Bessere Genauigkeit: Überraschenderweise wurde die KI durch das Entfernen des Rauschens manchmal besser darin, Dinge zu erkennen, weil sie nicht von irrelevanten Hintergrunddetails abgelenkt wurde.
Pruning vs. Merging: Sie versuchten zwei Möglichkeiten, Tokens zu reduzieren:
- Pruning: Die langweiligen wegschmeißen. (Das funktionierte hervorragend!)
- Merging: Die langweiligen mit den interessanten kombinieren. (Das funktionierte nicht so gut; es ist besser, das Rauschen einfach zu löschen, als zu versuchen, es einzumischen.)

Das Fazit

Das Paper zeigt, dass in computergestützten, gehirnähnlichen Systemen Unsicherheit ein Signal und kein Fehler ist. Die Teile eines Bildes, die die KI zum Zögern bringen und ihr Vertrauen schwanken lassen, sind tatsächlich die wertvollsten Teile. Indem wir diese „temporalen Unsicherheitsmuster" verfolgen, können wir KI bauen, die schneller, günstiger und intelligenter ist, alles ohne dass sie von Grund auf neu trainiert werden muss.

Technische Zusammenfassung: Unsicherheitsbewusste Schätzung der Token-Wichtigkeit in Spiking-Transformern

Problemstellung
Spiking-Transformer haben durch die Kombination der Energieeffizienz von Spiking-Neural Networks (SNNs) mit den globalen Modellierungsfähigkeiten von Self-Attention ein erhebliches Potenzial für die neuromorphe Vision gezeigt. Ein kritischer Engpass bleibt jedoch bestehen: Die für SNNs inhärente mehrstufige Token-Verarbeitung führt häufig zu erheblicher Redundanz und hohen Inferenzkosten. Während bestehende Methoden zur Token-Reduktion (z. B. Token-Pruning oder -Merging) darauf abzielen, die Effizienz zu verbessern, stützen sie sich überwiegend auf reaktionsgesteuerte Hinweise wie Aktivierungsstärke, Feuerratenstatistiken oder Merkmalsähnlichkeit.

Die Autoren argumentieren, dass diese Kriterien für Spiking-Transformer unzureichend sind, da sie nicht explizit charakterisieren, wie sich die klassenspezifische Evidenz auf Token-Ebene über die Zeit entwickelt. Im Gegensatz zu statischen Transformern, bei denen Token-Repräsentationen zu einem einzigen Zeitpunkt bestimmt werden, bilden sich spiking-Repräsentationen progressiv über mehrere Simulationsstufen hinweg. Folglich kann die Token-Wichtigkeit nicht allein aus Einzelstufen-Reaktionen abgeleitet werden; sie erfordert eine zeitliche Perspektive, die die Entwicklung von Evidenz und Unsicherheit während der gesamten Spiking-Dynamik erfasst.

Methodik: Uncert
Um dies zu adressieren, schlagen die Autoren Uncert vor, ein trainingsfreies, Plug-and-Play-Framework zur Schätzung der Token-Wichtigkeit basierend auf zeitlichen Unsicherheitsmustern. Die Methodik besteht aus vier Hauptkomponenten:

Spiking-Token-Hierarchie: Das Framework nutzt eine hierarchische Spiking-Transformer-Rückgratarchitektur (z. B. QKFormer oder MaxFormer). Token-Repräsentationen entwickeln sich über $T$ Zeitschritte hinweg und bilden eine zeitliche Trajektorie für jeden räumlichen Token.
Token-Unsicherheitskriterium: Anstatt rohe Aktivierungswerte zu verwenden, modelliert Uncert die klassenspezifische Evidenz pro Token mittels einer Dirichlet-Verteilung.
- Klassifizierer-Logits für einen Token $i$ zum Zeitpunkt $t$ werden über eine Softplus-Aktivierung in nicht-negative Evidenzwerte umgewandelt.
- Diese Evidenzwerte definieren die Parameter ( $\alpha$ ) einer Dirichlet-Verteilung.
- Die Token-Unsicherheit ( $U$ ) wird aus der gesamten Evidenz ( $S$ ) als $U = C/S$ abgeleitet, wobei $C$ die Anzahl der Klassen ist. Dies ergibt eine zeitliche Unsicherheits-Trajektorie $\{U^t_i\}_{t=1}^T$ für jeden Token.
Spiking-Zeitliche Unsicherheitsmodellierung: Das Framework fasst die zeitliche Unsicherheits-Trajektorie jedes Tokens mittels zweier Statistiken zusammen:
- Mittelwert ( $\mu$ ): Repräsentiert das allgemeine Ambiguitätsniveau des Tokens.
- Standardabweichung ( $\sigma$ ): Erfasst die zeitliche Fluktuation oder Stabilität der Token-Unsicherheit.
- Der endgültige Wichtigkeits-Score wird als $S_i = \mu_i + \lambda \sigma_i$ berechnet, wobei $\lambda$ ein Ausgleichskoeffizient ist (empirisch auf 0,9 festgelegt). Die Autoren beobachten, dass Tokens mit höherer Unsicherheit oder stärkeren Fluktuationen oft informativen Regionen entsprechen, in denen das Modell Ambiguitäten auflöst, während Tokens mit niedriger Unsicherheit häufig redundante Hintergründe darstellen.
Token-Auswahl: Die berechneten Scores steuern die Token-Reduktion während der Inferenz durch zwei Strategien:
- Token-Pruning: Auswahl der Top- $K$ Tokens mit den höchsten Scores zum Beibehalten; die restlichen werden vor der Self-Attention-Berechnung verworfen.
- Token-Merging: Aggregation von Tokens mit niedriger Wichtigkeit zu benachbarten hochbewerteten Ankerpunkten.

Hauptbeiträge

Zeitliche Perspektive auf Token-Wichtigkeit: Der Artikel untersucht die Schätzung der Token-Wichtigkeit in Spiking-Transformern neu und zeigt, dass Tokens heterogene Unsicherheits-Trajektorien (stabil, fluktuierend oder persistierend ambig) aufweisen, anstatt einheitlicher Dynamiken.
Uncert-Framework: Die Vorstellung einer trainingsfreien, Plug-and-Play-Methode, die Token-Evidenz mit einer Dirichlet-Verteilung modelliert und Wichtigkeits-Scores aus zeitlich aggregierten Unsicherheitsstatistiken (Mittelwert und Fluktuation) ableitet.
Empirische Validierung: Umfangreiche Experimente auf sowohl statischen (CIFAR-10, CIFAR-100) als auch neuromorphen (DVS-CIFAR-10, DVS-Gesture) Benchmarks validieren die Wirksamkeit der Methode.

Experimentelle Ergebnisse

Abwägung zwischen Genauigkeit und Effizienz: Uncert erzielt günstige Trade-offs zwischen Genauigkeit und Effizienz. Auf CIFAR-100 und DVS-CIFAR-10 führt das Beibehalten von nur 80–90 % der Tokens häufig zu einer Genauigkeit, die mit der des vollständigen Baseline-Modells vergleichbar ist oder diese leicht übertrifft.
Pruning vs. Merging: Token-Pruning erweist sich als die effektivste Anwendung des Unsicherheitskriteriums. Beispielsweise erreichte Uncert (Prune) auf CIFAR-100 bei einem Beibehaltungsanteil von 80 % eine Genauigkeit von 81,06 % und übertraf damit das Baseline-Modell (80,98 %) sowie die zufällige Auswahl (80,40 %). Im Gegensatz dazu zeigte Token-Merging weniger konsistente Gewinne und schnitt unter aggressiver Kompression häufig schlechter als das Baseline-Modell ab.
Komponentenanalyse: Ablationsstudien bestätigen, dass die Kombination aus mittlerer Unsicherheit und zeitlicher Fluktuation eine überlegene Leistung im Vergleich zur alleinigen Verwendung einer der beiden Metriken erzielt. Dies unterstreicht, dass sowohl das allgemeine Ambiguitätsniveau als auch die zeitliche Stabilität der Tokens entscheidend für die Unterscheidung informativer Signale sind.
Effizienzgewinne: Block-Level-Operationen (SOP) wurden um etwa 14,86 % reduziert, als der Beibehaltungsanteil auf 0,40 gesenkt wurde, was messbare Recheneinsparungen demonstriert.

Bedeutung und Behauptungen
Der Artikel behauptet, dass Uncert eine neue Perspektive auf Token-Dynamiken in Spiking-Transformern bietet, indem der Fokus von der instantanen Reaktionsstärke auf zeitliche Unsicherheitsmuster verschoben wird. Die Autoren gehen davon aus, dass Unsicherheit nicht lediglich ein Maß für Instabilität ist, sondern ein nützliches Signal zur Identifizierung diskriminierender Inhalte, die einer weiteren Auflösung bedürfen.

Die Bedeutung der Arbeit liegt in ihrer Fähigkeit, die Inferenzeffizienz zu verbessern, ohne zusätzliches Training oder lernbare Prädiktoren zu erfordern. Durch die Nutzung der intrinsischen zeitlichen Evolution von Spiking-Repräsentationen bietet Uncert einen prinzipiellen, trainingsfreien Mechanismus zur Reduktion von Redundanz. Die Autoren schließen, dass zeitliche Unsicherheitsstatistiken ein robuster und effektiver Hinweis für die Token-Auswahl sind, insbesondere für Pruning, und damit effizientere Spiking-Transformer sowohl für statische als auch für ereignisbasierte Vision-Aufgaben ermöglichen.

Das Problem: Zu viel Rauschen, zu wenig Fokus

Die Lösung: Uncert (Der „Vertrauens-Tracker")

Was sie herausfanden

Das Fazit

Technische Zusammenfassung: Unsicherheitsbewusste Schätzung der Token-Wichtigkeit in Spiking-Transformern

Mehr davon