TP-Spikformer: Token Pruned Spiking Transformer

Deze paper introduceert TP-Spikformer, een effectieve en trainingsvrije methode voor het bijsnijden van tokens in spiking transformers die de opslag- en rekenefficiëntie verbetert zonder de prestaties te verlagen, waardoor deze geschikt is voor implementatie op apparaten met beperkte middelen.

De kern

Stel je voor dat je hersenen een superkrachtige computer zijn die energie verbruikt, maar dan op een heel slimme manier. In plaats van de hele tijd hard te werken, wachten ze tot er iets belangrijks gebeurt, en dan gaan ze pas aan de slag. Dit heet een Spiking Neural Network (SNN). Het is als een bliksemflits: snel, krachtig en heel zuinig.

Maar er is een probleem. De nieuwste en slimste versies van deze hersen-computers (die "Transformers" heten, net als de modellen die AI-chatbots aandrijven) zijn zo groot en complex dat ze te veel energie en geheugen nodig hebben. Ze zijn als een Formule 1-auto die niet op een klein, stoffig weggetje past. Ze zijn te zwaar voor de kleine apparaten die we dagelijks gebruiken, zoals onze telefoons of slimme camera's.

De auteurs van dit papier hebben een oplossing bedacht: TP-Spikformer. Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

1. Het Probleem: Te veel ruis, te weinig signaal

Stel je voor dat je een film kijkt. De film bestaat uit duizenden beelden (pixels). Een normale computer kijkt naar elk pixel in elk beeld, zelfs naar de saaie achtergrond, de lucht of een leeg stuk muur. Dit kost enorm veel tijd en energie.

In de wereld van AI noemen we die pixels "tokens". De oude methoden keken naar alles, of ze probeerden de hele computer te verkleinen (wat vaak de slimheid van de AI vermindert).

2. De Oplossing: De "Slimme Tuinman"

De auteurs van TP-Spikformer hebben een nieuwe manier bedacht om te kiezen wat belangrijk is en wat niet. Ze noemen dit Token Pruning (het "snoeien" van tokens).

Stel je voor dat je een enorme, wilde tuin hebt (de data van de film of foto). Je hebt een tuinman nodig die alleen de mooiste bloemen en de interessantste struiken bewaart en de onbelangrijke onkruiden verwijdert.

• De Slimme Tuinman (IRToP): Deze tuinman kijkt niet zomaar naar de bloemen. Hij heeft twee speciale brillen op:
  1. De Ruimtelijke Bril: Hij kijkt naar de omgeving. Als een bloem er heel anders uitziet dan de bloemen om hem heen (bijvoorbeeld een felrode bloem in een groen veld), dan is hij interessant! Die houden we.
  2. De Tijdsbril: Hij kijkt naar beweging. Als een bloem plotseling beweegt of van kleur verandert terwijl de rest stil staat, is dat belangrijk! Dat is een teken van actie.

De tuinman geeft een score aan elke bloem. De saaie, statische bloemen krijgen een lage score en worden "gesnoeid". De spannende, bewegende bloemen krijgen een hoge score en blijven staan.

3. De Magische Truc: Niet weggooien, maar "inactief maken"

Hier wordt het echt slim. De meeste oude methoden gooiden de onbelangrijke bloemen gewoon weg. Maar in een computer kan dat problemen geven, vooral als de bloemen in een vast patroon staan (zoals een raster). Als je er een paar weghaalt, loopt het hele patroon uit elkaar.

TP-Spikformer doet iets anders: Block-level Early Stopping.
In plaats van de onbelangrijke bloemen weg te gooien, zegt de tuinman tegen ze: "Jullie hoeven niet mee te werken aan de zware klus. Ga maar even rustig zitten en doe niets."

• De belangrijke bloemen (de informatie) krijgen de zware klus: ze worden verwerkt, geanalyseerd en doorgegeven.
• De onbelangrijke bloemen (de ruis) worden gewoon stilgehouden. Ze blijven op hun plek zitten (zodat het patroon intact blijft), maar ze verbruiken geen energie en nemen geen tijd in beslag.

Het is alsof je in een vergadering zegt: "Jullie twee hoeven niet mee te denken aan dit complexe probleem, luister maar even rustig mee." De vergadering wordt sneller en zuiniger, maar niemand is verdwenen.

4. Waarom is dit zo geweldig?

Dit systeem heeft drie grote voordelen, die de auteurs hebben bewezen met veel testen:

1. Het werkt direct: Je hoeft de computer niet opnieuw te leren (retrainen). Je kunt de slimme tuinman gewoon op een bestaande, getrainde AI zetten en het werkt direct. Dit bespaart enorme hoeveelheden tijd en energie.
2. Het werkt overal: Of je nu foto's herkent, objecten zoekt in video's, of beweging volgt in een donkere kamer (zoals bij camerabewaking), deze methode werkt goed.
3. Het is superzuinig: Omdat de computer minder "zware" berekeningen hoeft te doen, gaat de batterij van je apparaat veel langer mee. Het is alsof je van een gasfornuis overstapt op een zuinige LED-lamp.

Samenvatting

Kortom, TP-Spikformer is een slimme truc die AI-systemen helpt om te focussen op wat echt belangrijk is. Het is als een slimme filter die de ruis weghaalt en de signalen versterkt, zonder dat de machine zelf groter of zwaarder hoeft te worden. Hierdoor kunnen we in de toekomst veel slimme AI-toepassingen op kleine, energiezuinige apparaten draaien, zoals slimme brillen, draagbare medische apparaten of zelfrijdende auto's, zonder dat ze de hele dag op een stopcontact hoeven te hangen.

Technische samenvatting

Probleemstelling

Spiking Neural Networks (SNN's) bieden een energie-efficiënt alternatief voor traditionele neurale netwerken dankzij hun gebeurtenisgestuurde (event-driven) rekenparadigma. Recentelijk zijn Spiking Transformers (zoals Spikformer, SDT-V1, V2 en V3) ontwikkeld om de prestaties van SNN's te verbeteren door Transformer-architecturen te integreren. Deze modellen behalen echter hoge nauwkeurigheid ten koste van een enorme toename in modelgrootte en rekencomplexiteit.

• Uitdaging: Grote Spiking Transformers vereisen aanzienlijke opslagruimte en rekenkracht, wat hun inzetbaarheid op hulpbronnenbeperkte apparaten (zoals edge devices) beperkt.
• Beperkingen van bestaande methoden: Bestaande token-pruning methoden voor SNN's hebben twee grote nadelen:
  1. Ze modificeren vaak de oorspronkelijke structuur (bijv. door extra trainbare modules toe te voegen of connecties te veranderen).
  2. Ze vereisen doorgaans een volledige hertraining van het model, wat hoge trainingskosten met zich meebrengt en de generaliseerbaarheid vermindert.

Methodologie: TP-Spikformer

De auteurs stellen TP-Spikformer voor, een eenvoudige maar effectieve methode voor token-pruning die de opslag- en rekenoverhead vermindert zonder de prestaties significant te laten inzakken. De methode bestaat uit twee kerncomponenten:

1. Heuristische Spatio-Temporale Informatiebehouds-criterium (IRToP)

Inspiratie getrokken uit het menselijke visuele systeem, dat informatie selectief verwerkt op basis van ruimtelijke salientie en temporale veranderingen. IRToP beoordeelt de belangrijkheid van tokens op basis van twee scores:

• Ruimtelijke Score (Spatial Token Scorer): Bepaalt hoe sterk een token afwijkt van zijn lokale omgeving. Tokens die significant verschillen van hun buren (hoge salientie) krijgen een hogere score. Dit wordt berekend door de dissimilariteit tussen een token en het gemiddelde van zijn $k \times k$ venster te meten.
• Temporale Score (Temporal Token Scorer): Meet de variatie van een token tussen opeenvolgende tijdstappen ($t$ en $t-1$). Tokens met grote temporale veranderingen (die rijk zijn aan dynamische informatie) krijgen een hogere score.
• Combinatie: De uiteindelijke score is de som van de genormaliseerde ruimtelijke en temporale scores. Tokens met de hoogste scores worden als "informatief" geselecteerd.

2. Informatiebehouds Token-Pruning Architectuur (IR-Arc)

In plaats van onbelangrijke tokens direct te verwijderen (wat de structuur van de feature map zou verstoren, vooral bij modellen met convolutielagen zoals QKFormer of SDT-V3), gebruikt TP-Spikformer een block-level early stopping strategie:

• Informatieve tokens: Ondergaan volledige forward-pass berekeningen (SSA en MLP).
• Oninformatieve tokens: Worden "geskippt" binnen de transformer-blokken. Ze ondergaan geen berekening, maar hun waarden blijven ongewijzigd en worden later weer samengevoegd (reassembled) met de verwerkte tokens.
• Voordeel: Dit vermindert de rekenlast en het geheugengebruik aanzienlijk, maar behoudt de oorspronkelijke feature-map grootte en structuur. Hierdoor is de methode compatibel met hiërarchische architecturen en vereist het geen aanpassing van de modelarchitectuur.

Kernbijdragen

1. IRToP Criterium: Een nieuwe, door neurowetenschappen geïnspireerde heuristiek die tokens selecteert op basis van zowel ruimtelijke distinctiviteit als temporale dynamiek, zonder extra trainbare parameters.
2. IR-Arc Architectuur: Een pruning-architectuur die onbelangrijke tokens "stopt" in plaats van te verwijderen. Dit maakt de methode training-vrij (zero-finetuning) en toepasbaar op diverse complexe Spiking Transformer-architecturen.
3. Uitgebreide Validatie: De methode is getest op meerdere state-of-the-art modellen (Spikformer, QKFormer, SDT-V1, SDT-V3) en diverse taken (beeldclassificatie, objectdetectie, semantische segmentatie en event-based tracking).

Resultaten

De experimenten tonen aan dat TP-Spikformer een uitstekend evenwicht biedt tussen efficiëntie en nauwkeurigheid:

• Classificatie (ImageNet & CIFAR):
  • Bij het behouden van slechts 53% van de tokens in QKFormer, daalt de nauwkeurigheid slechts met ~3% (van 85.56% naar 82.53%), terwijl de rekenoperaties (OPs) met 47% dalen en het vermogen met 20%.
  • Op CIFAR-10 wordt zelfs bij 20% token-retentie een nauwkeurigheid van 95.12% behaald (slechts 0.07% verlies).
• Training-vrij (Zero-Finetuning): De methode presteert goed zonder hertraining. Dit is uniek vergeleken met andere methoden die vaak volledige hertraining vereisen.
• Andere Taken:
  • Semantische Segmentatie (ADE20K): Bij 56% token-retentie wordt een 1.7x hogere doorvoer bereikt met slechts een 0.2% daling in mIoU.
  • Objectdetectie (COCO): Met 78% tokens wordt een 1.4x hogere doorvoer bereikt met een minimale daling in mAP.
  • Event-based Tracking: TP-Spikformer overtreft veel RGB-gebaseerde trackers en concurreert met geavanceerde SNN-trackers, zelfs met minder tokens.
• Efficiëntie: Er is een significante daling in trainingsduur en GPU-geheugengebruik waargenomen, wat het mogelijk maakt om grotere batches of modellen te trainen op dezelfde hardware.

Betekenis en Impact

TP-Spikformer biedt een praktische en schaalbare oplossing voor de implementatie van Spiking Transformers in real-world scenario's met beperkte rekenkracht.

• Efficiëntie: Het lost het probleem van hoge rekenkosten op bij grote SNN-modellen zonder de complexiteit van de architectuur te vergroten.
• Toepasbaarheid: Omdat de methode de structuur van de feature maps intact houdt, is deze uniek geschikt voor moderne, complexe Spiking Transformers (zoals die met convoluties) waar eerdere pruning-methoden faalden.
• Duurzaamheid: Door de mogelijkheid om modellen te comprimeren zonder dure hertraining, wordt de adoptie van energie-efficiënte SNN's op edge-apparaten (zoals drones, robots en mobiele devices) aanzienlijk versneld.

Samenvattend introduceert TP-Spikformer een nieuwe standaard voor efficiëntie in Spiking Transformers door slimme, biologisch geïnspireerde selectie van tokens en een innovatieve "early stopping" strategie die zowel snelheid als nauwkeurigheid optimaliseert.