Technische Samenvatting: STARS voor ANN-naar-SNN Data-Free Kennisdistillatie

1. Probleemstelling

Spiking Neural Networks (SNN's) bieden energie-efficiënte en laag-latente inferentie, waardoor ze ideaal zijn voor rand-intelligentie. Echter, direct getrainde SNN's lijden vaak aan optimalisatie-instabiliteit en suboptimale nauwkeurigheid in vergelijking met Artificial Neural Networks (ANN's). Bijgevolg is ANN-naar-SNN kennisdistillatie (KD) naar voren gekomen als een primaire strategie om kennis over te dragen van krachtige ANN-leraren naar SNN-studenten.

Een kritieke uitdaging doet zich voor in praktische implementatiescenario's (bijvoorbeeld randapparaten) waar de originele trainingsdata niet beschikbaar is vanwege privacy-, auteursrecht- of opslagbeperkingen. Dit vereist Data-Free Knowledge Distillation (DFKD), waarbij surrogaatdata wordt gesynthetiseerd vanuit een voorgetrainde leraar om overdracht te faciliteren.

Bestaande DFKD-methoden vertrouwen primair op het afstemmen van Batch Normalization (BN)-statistieken (gemiddelde en variantie) van het lerarennetwerk om data te synthetiseren. Hoewel dit effectief is voor ANN-naar-ANN distillatie, betogen de auteurs dat het direct toepassen van deze methoden op ANN-naar-SNN distillatie suboptimaal is. De kernkwestie is een asymmetrie in dynamiek:

• ANN's verwerken continue activaties waarbij eerste- en tweede-orde statistieken (gemiddelde/variantie) voldoende zijn om de uitverdelingsverdeling te karakteriseren.
• SNN's opereren via discrete spikes die worden gestuurd door Leaky Integrate-and-Fire (LIF)-dynamiek, waarbij de uitgang afhangt van drempeloverschrijdingsgebeurtenissen.

Het artikel stelt dat het afstemmen van BN-statistieken (gemiddelde en variantie) het staartgedrag van de activatiedistributie onderbeperkt laat. Twee distributies kunnen identieke gemiddelden en varianties delen, maar verschillende waarschijnlijkheidsmassa's boven de vuurdrempels bezitten, wat leidt tot aanzienlijk verschillende spike-responsen in de SNN-student. Deze "BN-momenten-ambiguïteit" resulteert in synthetische data die geldig is voor de ANN-leraar, maar dubbelzinnig of misleidend is voor de SNN-student.

2. Methodologie: STARS

Om deze mismatch aan te pakken, stellen de auteurs STARS (Spike Tail-Aware Relational Synthesis) voor, een plug-and-play raamwerk dat standaard BN-gestuurde synthese aanvult met twee complementaire doelstellingen die zijn ontworpen om het syntheseproces specifiek te beperken voor SNN-dynamiek.

Kernanalyse

De auteurs leiden af dat de verwachte vuurfrequentie van een SNN-neuron wordt bepaald door de overschrijdingskansen van de pre-activatiewaarden boven een reeks tijdsafhankelijke effectieve drempels ($\theta_t$), en niet uitsluitend door de eerste en tweede momenten.
$$R_T(P) = \frac{1}{T} \sum_{t=1}^{T} (1 - F_P(\theta_t))$$
waarbij $F_P$ de cumulatieve verdelingsfunctie (CDF) is van de activatiedistributie. Deze analyse bewijst dat het afstemmen van BN-statistieken de SNN-respons niet uniek bepaalt, aangezien distributies met identieke momenten verschillende staartmassa's boven de drempels kunnen hebben.

Het STARS-raamwerk

STARS wordt toegepast op pre-activatiefuncties (voor ReLU in de ANN en voor LIF in de SNN) om de niet-differentieerbaarheid van post-spike resets te vermijden. Het introduceert twee regularisatietermen:

1. Relational Consistency Alignment (RCA):

   • Doel: Behoud van de globale semantische structuur en cross-sample relationele consistentie tussen de leraar en de student.
   • Mechanisme: RCA aligneert de matrices van paarsgewijze cosinus-achtigheden van de globale pre-activatiefuncties tussen de ANN-leraar en de SNN-student. Het zorgt ervoor dat de relatieve rangschikking van samples in de functieruimte consistent blijft, waardoor wordt voorkomen dat de gesynthetiseerde data een op ANN gerichte bias erft die de organisatie van de functies van de student vervormt.
   • Verlies: Minimaliseert het kwadraat van het verschil tussen de niet-diagonale elementen van de relationematrix van de leraar en die van de student.

2. Tail-Aware Regularization (TAR):

   • Doel: Rechtstreeks beperken van het drempelrelevante staartgedrag dat BN-afstemming negeert.
   • Mechanisme: TAR definieert een reeks door de leraar verankerde drempels (bijvoorbeeld afgeleid van kwantielen van de functiedistributie van de leraar). Het berekent zachte overschrijdingskansen (met behulp van een sigmoidfunctie) voor zowel leraar- als studentfuncties boven deze drempels.
   • Verlies: Minimaliseert het verschil tussen de zachte overschrijdingskansen van de leraar en de student. Dit dwingt de synthetische data expliciet om de waarschijnlijkheidsmassa in de "staarten" van de distributie te matchen die kritiek zijn voor het triggeren van spikes in de SNN.

Totale Doelstelling

De uiteindelijke synthese-doelstelling combineert de standaard DFKD-verliesfunctie (classificatievertrouwen, BN-afstemming, beeldregularisatie) met de nieuwe STARS-termen:
$$\mathcal{L}_{total} = \mathcal{L}_{DFKD} + \lambda_{rca} \mathcal{L}_{RCA} + \lambda_{tar} \mathcal{L}_{TAR}$$
De synthetische batch wordt geoptimaliseerd om lerarprioren te voldoen, terwijl tegelijkertijd relationele consistentie en staartbewustzijn voor de SNN-student worden gewaarborgd.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

1. Eerste Analyse van ANN-naar-SNN DFKD: Het is het eerste werk dat systematisch de mismatch in data-free distillatie van ANN naar SNN bestudeert, en analyseert hoe BN-momenten-ambiguïteit leidt tot suboptimale SNN-responsen.
2. STARS-raamwerk: De voorstelling van een plug-and-play methode (STARS) die Relationele Consistentie-Alignering (RCA) en Staartbewuste Regularisatie (TAR) integreert om de onderbeperkte aard van standaard BN-gestuurde synthese voor SNN's op te lossen.
3. Empirische Validatie: Aantonen dat STARS consequent de prestaties verbetert over meerdere DFKD-baselines (DeepInversion, CMI, NAYER) en diverse datasets (CIFAR-10, CIFAR-100, Tiny-ImageNet) en modelarchitecturen (VGG, ResNet).

4. Experimentele Resultaten

De auteurs evalueerden STARS op CIFAR-10, CIFAR-100 en Tiny-ImageNet met verschillende ANN-SNN-paren (bijvoorbeeld ResNet-19 $\to$ S-ResNet-19).

• Prestatiewinsten: STARS presteerde consequent beter dan basale DFKD-methoden.
  • Op CIFAR-10 bedroegen de winsten tot 4,6% (bijvoorbeeld NAYER + STARS behaalde 95,73% versus 92,02% voor NAYER alleen).
  • Op CIFAR-100 bedroegen de winsten tot 6,7% (bijvoorbeeld NAYER + STARS behaalde 78,42% versus 73,95% voor NAYER alleen).
  • Op Tiny-ImageNet waren de verbeteringen consistent (bijvoorbeeld +3,33% op CMI, +2,97% op NAYER), wat generalisatie naar grotere, complexere datasets aantoont.
• Vergelijking met Data-Beschikbare KD: Opmerkelijk is dat NAYER + STARS op CIFAR-10 (95,73%) en CIFAR-100 (78,42%) meerdere data-beschikbare KD-baselines overtrof en de kloof met de ANN-leraarprestaties bijna dichtmaakte, wat suggereert dat gestructureerde synthesebeperkingen in deze context effectief kunnen substitueren voor echte trainingsdata.
• Ablatiestudies:
  • Zowel RCA als TAR droegen individueel positief bij, maar hun combinatie leverde de beste resultaten op, wat bevestigt dat ze complementaire aspecten van de synthese-mismatch aanpakken.
  • Het verhogen van het aantal staartkwantielen (drempels) in TAR verbeterde de prestaties monotoon, wat het belang van het vastleggen van rijkere staartinformatie valideert.
• Visualisatie: t-SNE-visualisaties toonden aan dat STARS SNN-studentfuncties produceerde met strakkere intra-klass clustering en duidelijkere inter-klass scheiding in vergelijking met baselines.

5. Betekenis en Claims

Het artikel concludeert dat de mismatch tussen op ANN gerichte synthese-prioren en SNN-dynamiek een fundamentele uitdaging is in data-free distillatie. De betekenis van STARS ligt in de demonstratie dat het aanvullen van BN-afstemming met relationele en staartbewuste beperkingen een effectieve en generaliseerbare strategie is.

De auteurs claimen dat:

• Enkel BN-statistieken onvoldoende zijn om SNN-responsen te bepalen vanwege de aard van drempeloverschrijding van spiking neuronen.
• Door expliciet de staartkansen en relationele structuren te regulariseren, STARS synthetische data genereert die "leraar-geldig" is (voldoet aan de prioren van de leraar) maar ook "student-informatief" (in lijn met SNN-vuurdynamiek).
• De methode plug-and-play is, geen wijzigingen vereist in het onderliggende DFKD-raamwerk of de leraar/student-architecturen, waardoor het eenvoudig toepasbaar is voor bestaande pipelines.

Het werk wordt gepresenteerd als een stap richting het mogelijk maken van efficiënte SNN-implementatie in privacygevoelige en resource-beperkte omgevingen waar originele trainingsdata niet kan worden behouden of verzonden.