Uncertainty-Aware Token Importance Estimation in Spiking Transformers

Technische Samenvatting: Onzekerheidsbewuste Schatting van Tokenbelang in Spiking Transformers

Probleemstelling
Spiking Transformers hebben aanzienlijk potentieel aangetoond voor neuromorfe visie door de energie-efficiëntie van Spiking Neural Networks (SNN's) te combineren met de globale modelleringcapaciteiten van self-attention. Een kritieke bottleneck blijft echter bestaan: de multi-stap tokenverwerking die inherent is aan SNN's introduceert vaak aanzienlijke redundantie en inferentiekosten. Bestaande methoden voor tokenreductie (zoals tokenpruning of tokenmerging) streven weliswaar naar verbeterde efficiëntie, maar vertrouwen voornamelijk op reactiegedreven signalen zoals activatiegrootte, vuurstatistieken of feature-ähnelijkheid.

De auteurs betogen dat deze criteria ontoereikend zijn voor Spiking Transformers, omdat ze niet expliciet karakteriseren hoe klassebewijs op tokenniveau zich in de tijd ontwikkelt. In tegenstelling tot statische transformers, waarbij tokenrepresentaties op één enkel moment worden bepaald, worden spiking-representaties progressief gevormd over meerdere simulatiestappen. Bijgevolg kan tokenbelang niet adequaat worden afgeleid uit enkelvoudige stap-responsen; het vereist een temporeel perspectief dat de evolutie van bewijs en onzekerheid door de spiking-dynamiek vastlegt.

Methodologie: Uncert
Om dit aan te pakken, stellen de auteurs Uncert voor, een trainingsvrij, plug-and-play framework voor het schatten van tokenbelang op basis van temporele onzekerheidspatronen. De methodologie bestaat uit vier hoofdcomponenten:

1. Spiking Tokenhiërarchie: Het framework maakt gebruik van een hiërarchische spiking transformer-ruggengraat (bijvoorbeeld QKFormer of MaxFormer). Tokenrepresentaties evolueren over $T$ tijdstappen, waardoor een temporele trajectorie voor elke ruimtelijke token ontstaat.
2. Tokenonzekerheidscriterium: In plaats van ruwe activatiewaarden te gebruiken, modelleert Uncert klassebewijs per token met behulp van een Dirichlet-verdeling.
   • Classifier-logits voor een token $i$ op tijdstip $t$ worden omgezet in niet-negatieve bewijswaarden via een Softplus-activatie.
   • Deze bewijswaarden definiëren de parameters ($\alpha$) van een Dirichlet-verdeling.
   • Tokenonzekerheid ($U$) wordt afgeleid uit het totale bewijs ($S$) als $U = C/S$, waarbij $C$ het aantal klassen is. Dit resulteert in een temporele onzekerheidstrajectorie $\{U^t_i\}_{t=1}^T$ voor elke token.
3. Spiking-temporele Onzekerheidsmodellering: Het framework vat de temporele onzekerheidstrajectorie van elke token samen met behulp van twee statistieken:
   • Gemiddelde ($\mu$): Vertegenwoordigt het algehele ambiguïteitsniveau van de token.
   • Standaardafwijking ($\sigma$): Legt de temporele fluctuatie of stabiliteit van de onzekerheid van de token vast.
   • De uiteindelijke belangrijkheidsscore wordt berekend als $S_i = \mu_i + \lambda \sigma_i$, waarbij $\lambda$ een balancerende coëfficiënt is (empirisch ingesteld op 0,9). De auteurs observeren dat tokens met een hogere onzekerheid of sterkere fluctuaties vaak corresponderen met informatieve regio's waar het model ambiguïteit oplost, terwijl tokens met lage onzekerheid vaak een redundant achtergrond vertegenwoordigen.
4. Tokenselectie: De berekende scores sturen de tokenreductie tijdens de inferentie via twee strategieën:
   • Tokenpruning: Selecteren van de top-$K$ tokens met de hoogste scores om te behouden, waarbij de rest wordt verworpen voordat de self-attention-berekening plaatsvindt.
   • Tokenmerging: Aggregatie van tokens met lage belangrijkheid tot nabijgelegen ankers met hoge scores.

Belangrijkste Bijdragen

• Temporeel Perspectief op Tokenbelang: Het artikel herbeoordeelt de schatting van tokenbelang in Spiking Transformers en toont aan dat tokens heterogene onzekerheidstrajectoria vertonen (stabiel, fluctuerend of aanhoudend ambigu) in plaats van uniforme dynamiek.
• Uncert Framework: De voorstelling van een trainingsvrije, plug-and-play-methode die tokenbewijs modelleert met een Dirichlet-verdeling en belangrijkheidsscores afleidt uit temporeel geaggregeerde onzekerheidsstatistieken (gemiddelde en fluctuatie).
• Empirische Validatie: Uitgebreide experimenten op zowel statische (CIFAR-10, CIFAR-100) als neuromorfe (DVS-CIFAR-10, DVS-Gesture) benchmarks valideren de effectiviteit van de methode.

Experimentele Resultaten

• Afweging tussen Nauwkeurigheid en Efficiëntie: Uncert bereikt gunstige afwegingen tussen nauwkeurigheid en efficiëntie. Op CIFAR-100 en DVS-CIFAR-10 leidt het behouden van slechts 80–90% van de tokens vaak tot een nauwkeurigheid die vergelijkbaar is met of iets beter is dan de volledige baseline.
• Pruning versus Merging: Tokenpruning blijkt de meest effectieve toepassing van het onzekerheidscriterium. Bijvoorbeeld, op CIFAR-100 met een behoudsratio van 80% bereikte Uncert (Prune) een nauwkeurigheid van 81,06%, wat beter was dan de baseline (80,98%) en willekeurige selectie (80,40%). Daarentegen toonde tokenmerging minder consistente winsten en presteerde het vaak onder de baseline onder agressieve compressie.
• Componentanalyse: Ablatiestudies bevestigen dat het combineren van zowel de gemiddelde onzekerheid als de temporele fluctuatie superieure prestaties oplevert in vergelijking met het gebruik van slechts één van deze metrieken. Dit benadrukt dat zowel het algehele ambiguïteitsniveau als de temporele stabiliteit van tokens cruciaal zijn voor het onderscheiden van informatieve signalen.
• Efficiëntiewinst: Blokniveau-operaties (SOP) werden met ongeveer 14,86% gereduceerd toen de behoudsratio werd verlaagd naar 0,40, wat meetbare rekenkundige besparingen aantoont.

Betekenis en Claims
Het artikel claimt dat Uncert een nieuw perspectief biedt op tokendynamiek in Spiking Transformers door de focus te verschuiven van instantane reactiesterkte naar temporele onzekerheidspatronen. De auteurs stellen dat onzekerheid niet slechts een maatstaf voor instabiliteit is, maar een nuttig signaal voor het identificeren van discriminerende inhoud die verdere oplossing vereist.

De betekenis van het werk ligt in het vermogen om de inferentie-efficiëntie te verbeteren zonder extra training of leerbare voorspellers te vereisen. Door gebruik te maken van de intrinsieke temporele evolutie van spiking-representaties, biedt Uncert een principiële, trainingsvrije mechanisme om redundantie te verminderen. De auteurs concluderen dat temporele onzekerheidsstatistieken een robuuste en effectieve aanwijzing bieden voor tokenselectie, met name voor pruning, waardoor efficiëntere Spiking Transformers mogelijk worden voor zowel statische als op gebeurtenissen gebaseerde visietaken.