Technische Samenvatting: Lapis – Laplacian Spiking Attention via First-Spike Timing en Membrane Leakage

1. Probleemstelling

Self-attention mechanismen zijn centraal komen te staan in Spiking Vision Transformers (S-ViT), maar hun query-key scoring erft grotendeels de dot-product formulering van dense Artificial Neural Networks (ANN's). Bestaande spiking varianten proberen de computationele kosten te verlagen door activaties te binariseren of vermenigvuldiging te vervangen door discrete operatoren (bijv. masking of optelling). Deze benaderingen behandelen spikes echter vaak slechts als een computationele beperking in plaats van hun intrinsieke temporele representatie te benutten. Specifiek maken ze geen gebruik van spike timing — de intrinsieke variabele van Spiking Neural Networks (SNN's) — om token-relaties direct te definiëren. Huidige methoden vertrouwen op vereenvoudigde dot-producten of nieuw ontworpen discrete operatoren, waardoor de temporele structuur van spikes buiten de relatiefunctie blijft.

2. Methodologie: Lapis

De auteurs stellen Lapis (Laplacian Spiking Attention) voor, een mechanisme dat token-relaties direct definieert vanuit Time-to-First-Spike (TTFS) codering en deze implementeert via membrane leakage dynamics.

Kernmechanisme

• Temporele Afstandsscoring: In plaats van een dot-product over gecodeerde activaties, scoort Lapis token-paren door de $\ell_1$-afstand te berekenen tussen de first-spike latency vectoren van de query ($t^Q$) en key ($t^K$) tokens:
  $$D_{ij} = \| t^Q_i - t^K_j \|_1$$
  Een kleinere afstand duidt op een nauwere overeenkomst in vuurpatronen.
• Laplacian Affiniteit via Membrane Leakage: De temporele afstand wordt naar een attention affiniteit gemapt met behulp van een Laplaciaanse kernel:
  $$A_{ij} = \exp\left(-\frac{D_{ij}}{\tau}\right)$$
  Dit exponentiële verval weerspiegelt de subthreshold dynamica van een Leaky Integrate-and-Fire (LIF) membraan. De affiniteit wordt geïnterpreteerd als de staat van een membraanspoor dat vervalt gedurende een duur gelijk aan de temporele afstand $D_{ij}$.
• Hardware-efficiënte Normalisatie: Om dure divisie-operaties tijdens rij-normalisatie te vermijden, benadert Lapis de normalisatiefactor door de som van de affiniteten af te ronden naar de dichtstbijzijnde macht van twee. Dit maakt het mogelijk om de uiteindelijke schaling te implementeren via een eenvoudige bit shift onder fixed-point rekenkunde.
• Computationeel Profiel: Het scoringsproces vereist alleen subtractie, absolute waarde en accumulatie. Het elimineert alle vermenigvuldigingen tussen query- en key-kanalen.

Training en Conversie

Lapis wordt getraind als een quantized neural network (QNN) en geconverteerd naar een TTFS SNN voor inferentie.

• Conversie: Integer activatiecodes $z$ worden gemapt naar binaire spike-treinen waarbij een spike optreedt op tijdstap $T-z$.
• Preservatie: Deze conversie behoudt de query-key $\ell_1$-afstand exact, waardoor de geconverteerde SNN identieke attention weights produceert aan de getrainde QNN zonder dat backpropagation door discrete spike-events vereist is.

3. Belangrijkste Bijdragen

1. Temporele Relatie Definitie: Het artikel definieert token-relaties in spiking attention direct vanuit first-spike latency vectoren onder TTFS-codering, waarbij de dot-product gelijkenis wordt vervangen door een temporele-afstand formulering die gebruikmaakt van subtractie, absolute waarde en accumulatie.
2. Lapis Mechanisme: De auteurs introduceren een Laplaciaanse kernel die is afgestemd op LIF membrane leakage om de temporele afstand naar affiniteit te mappen. Dit ontwerp vervangt standaard dot-product scoring en softmax normalisatie door een spike-native temporeel proces.
3. Empirische Validatie: De methode wordt gevalideerd over CIFAR-10, CIFAR-100 en ImageNet-1K. Het bereikt een concurrerende nauwkeurigheid terwijl de geschatte aritmetische energie aanzienlijk wordt verminderd.

4. Experimentele Resultaten

Het artikel evalueert Lapis onder een gematchte backbone en trainingsschema om een eerlijke vergelijking te garanderen.

• CIFAR-10: Lapis bereikt 96,56% top-1 nauwkeurigheid (full precision), binnen 0,53 punten van standaard dot-product scoring (97,09%). Het presteert beter dan andere spiking attention methoden zoals QKFormer (96,18%) en Spikformer (95,51%).
• ImageNet-1K:
  • Nauwkeurigheid: Het Lapis-L model (full precision) bereikt 83,39% top-1 nauwkeurigheid. Met 6-bit gewicht kwantisatie behoudt het 83,25% nauwkeurigheid.
  • Energie-efficiëntie:
    • Ten opzichte van dense dot-product attention vermindert het Lapis attention pad de geschatte aritmetische energie met 14,5× (van 100,01 mJ naar 6,92 mJ per afbeelding).
    • Vergeleken met architectuur-gematchte dense executie bereikt het 6-bit Lapis-L model een reductie in geschatte aritmetische energie van 86,3× (3,28 mJ vs. 283,15 mJ) terwijl het 83,25% nauwkeurigheid behoudt.
  • Vergelijking: Het 6-bit model bereikt de laagste geschatte inferentie-energie (3,28 mJ) onder de geëvalueerde modellen met >83% top-1 nauwkeurigheid, wat aanzienlijk beter presteert dan QKFormer en SpikeZIP-TF qua energie-efficiëntie.

5. Betekenis en Claims

Het artikel claimt dat Lapis erin slaagt om representatie, computation en neuronale dynamica te verenigen binnen één enkel temporeel proces.

• Heroverweging van Attention: Het demonstreert dat spike timing de relatieruimte zelf kan definiëren, in plaats van enkel activaties te coderen voor een geïnهerdede attention operator.
• Efficiëntie zonder Opoffering: Door gebruik te maken van het natuurlijke verval van LIF-membranen om affiniteiten te berekenen, elimineert Lapis de noodzaak voor dense gelijkenis-computaties (vermenigvuldigingen) terwijl het een nauwkeurigheid behoudt die vergelijkbaar is met dot-product attention.
• Inzetbaarheid voor Deployment: Het gebruik van power-of-two normalisatie en TTFS-codering maakt een zeer efficiënte hardware-implementatie mogelijk (bit-shifts, single-spike inference) zonder significante nauwkeurigheidsdegradatie, wat maakt dat timing-gebaseerde relatie-modellering een levensvatige basis is voor efficiënte spiking vision netwerken.

De auteurs benadrukken dat deze resultaten aantonen dat first-spike timing een effectieve en efficiënte basis vormt voor token-relatie modellering, wat een pad biedt naar energie-efficiënte vision transformers die natuurlijk aansluiten bij de temporele dynamica van spiking neuronen.