STAER: Temporal Aligned Rehearsal for Continual Spiking Neural Network

Technische Samenvatting van STAER: Temporal Aligned Rehearsal voor Continual Spiking Neural Networks

Probleemstelling
Spiking Neural Networks (SNNs) bezitten inherente temporele dynamiek en event-gestuurde verwerkingscapaciteiten die hen theoretisch zeer geschikt maken voor Continual Learning (CL), met name in Class-Incremental Learning (CIL) scenario's waarbij nieuwe klassen sequentieel worden geïntroduceerd zonder taakidentificatoren. De toepassing van SNNs op CIL wordt echter gehinderd door twee primaire problemen: catastrofale vergeten (catastrophic forgetting) en temporele misalignement. Hoewel standaard Artificial Neural Networks (ANNs) vooruitgang hebben geboekt met technieken zoals Experience Replay (ER) en kennisdistillatie (bijv. DER, DER++), schieten deze methoden vaak tekort in het adresseren van de unieke aard van spike-gebaseerde informatie. In SNNs wordt kennis niet alleen gecodeerd in vuurratio's (firing rates), maar ook in de precieze timing van spikes. Terwijl nieuwe taken worden geleerd, drift de temporele structuur van spike-patronen die voorbijgaande klassen coderen, wat leidt tot interferentie. Standaard verliesfuncties (bijv. gebaseerd op spike-aantallen) en naïeve replay-strategieën slagen er niet in om deze temporele verschuivingen te bestraffen of de correcte temporele dynamiek te herstellen, wat resulteert in een slechte prestatie vergeleken met ANN-baselines.

Methodologie
De auteurs stellen STAER voor (Spiking Temporal Alignment with Experience Replay), een framework dat ontworpen is om expliciet de temporele structuur van geleerde representaties in SNNs te behouden. De methodologie integreert drie kerncomponenten:

1. Deep Spiking Backbone: De aanpak maakt gebruik van een diepe ResNet19-architectuur aangepast voor SNNs, waarbij gebruik wordt gemaakt van Leaky Integrate-and-Fire (LIF) neuronen die getraind worden via surrogate gradient descent. Dit zorgt voor schaalbaarheid naar complexe beeldbenchmarks zoals Sequential-MNIST en Sequential-CIFAR10.
2. Temporal Expansion and Contraction Mechanism: Geïnspireerd door biologische geheugenprocessen waarbij herinneringssporen (recall traces) compressie of dilatatie kunnen ondergaan, slaat de methode replay-samples in de buffer op met drie verschillende temporele resoluties: $T$ (origineel), $T/2$ (contractie) en $2T$ (expansie). Dit wordt bereikt door statische invoerbeelden te repliceren over verschillende tijdsvensters tijdens de encoderingsfase.
3. Soft-DTW Temporal Alignment Loss: Om temporele drift aan te pakken, introduceert STAER een differentieerbare alignment loss gebaseerd op Soft Dynamic Time Warping (Soft-DTW). Tijdens de training op een nieuwe taak berekent het netwerk een Cross-Entropy loss op de huidige data en een Temporal Alignment ($L_{TA}$) loss op de gereplayde data. De $L_{TA}$ loss vergelijkt de output-logits van het huidige netwerk (bij resolutie $T$) met de opgeslagen logits van voorgaande modellen op alle drie de resoluties ($T, T/2, 2T$). Dit dwingt het netwerk om de getrouwheid van zijn temporele responsen over taken heen te behouden, ongeacht de bemonsteringssnelheden.

De totale objectiefunctie wordt gedefinieerd als $L = L_{CE} + \beta \cdot L_{TA}$, waarbij $\beta$ de balans bepaalt tussen taakleren en temporele consistentie.

Belangrijkste Bijdragen

• Nieuwelijk Temporaal Alignment Framework: Het artikel presenteert de eerste SNN-CL methode die differentiële Soft-DTW gebruikt om spike-timings tussen taken expliciet uit te lijnen. Dit richt zich direct op de temporele drift die catastrofaal vergeten in spiking domeinen veroorzaakt.
• Hybride Coderingstrategie: De aanpak adopteert een duaal codingsprincipe, waarbij informatie gezamenlijk wordt gecodeerd via vuurratio's (gemiddelde logits) en spike-timing (temporele alignment), wat aansluit bij biologische principes van neurale computatie.
• Schaalbaarheid naar Diepe Architecturen: In tegenstelling tot eerdere SNN-CL werken die vaak steunen op ondiepe netwerken, implementeert deze methode succesvol continual learning op een diepe ResNet19 backbone, waarmee wordt aangetoond dat diepe SNNs effectief getraind kunnen worden voor CIL.

Experimentele Resultaten
De methode werd geëvalueerd op de Sequential-MNIST en Sequential-CIFAR10 benchmarks onder Class-Incremental Learning protocollen.

• Prestaties: STAER bereikt state-of-the-art prestaties onder de SNN-methoden, met een nauwkeurigheid tot 98,48% op Sequential-MNIST en 83,53% op Sequential-CIFAR10 (met een buffergrootte van 5120 en $T=4$).
• Vergelijking met Baselines: De methode presteert consequent beter dan de spiking varianten van ER, DER en DER++. Opvallend genoeg overbrugt STAER de prestatiekloof tussen SNNs en sterke ANN-baselines, en bereikt een nauwkeurigheid die concurrerend is met of zelfs superieur aan ANN-modellen in bepaalde beperkte settings.
• Reductie van Vergeten: Empirische resultaten tonen aan dat STAER de laagste vergetenningspercentages oplevert in de meeste configuraties, waarbij het zelfs ANN-baselines overtreft in de meest beperkte settings (kleine buffergroottes).
• Ablatieonderzoeken: Experimenten bevestigen dat expliciete temporele alignment cruciaal is. Het verwijderen van de contractie/expansie termen (instellen van $\alpha_1 = \alpha_2 = 0$) leidt tot een significante verslechtering van de prestaties, wat het nut van multi-resolutie temporele alignment valideert. De methode is het meest effectief met een gematigde alignment gewicht ($\beta = 10^{-4}$) en gebalanceerde compressie/dilatie gewichten.

Betekenis en Claims
Het artikel claimt dat STAER SNNs positioneert als levensvatbare, schaalbare oplossingen voor spike-native lifelong learning. Door de temporele structuur expliciet te behouden via Soft-DTW alignment en biologisch geïnspireerde temporele expansie/contractie, verzacht het framework het catastrofale vergeten en de temporele interferentie die voorheen SNNs in CIL beperkten. De auteurs stellen dat hun werk aantoont dat diepe SNNs traditionele ANN-baselines kunnen evenaren of overtreffen terwijl ze biologisch plausibele dynamiek behouden, wat de weg vrijmaakt voor toekomstige toepassingen op real-world neuromorfische datasets. Het werk suggereert dat het behouden van zowel rate-gebaseerde als temporele informatie cruciaal is voor robuust adaptief gedrag in spiking neural networks.