Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition

Probleemstelling

Spiking Neural Networks (SNNs) worden gezien als een beloftevolle paradigma voor neuromorfe computing vanwege hun energie-efficiëntie en biologische plausibiliteit. Echter, het trainen van diepe SNNs stuit op een fundamenteel conflict tussen prestatie en biologische realisme:

1. Afhankelijkheid van Normalisatie: Huidige state-of-the-art methoden voor het trainen van diepe SNNs vertrouwen zwaar op expliciete normalisatiemethoden (zoals Batch Normalization, BN) om stabiliteit te garanderen.
2. Biologische Onrealisme: Deze normalisatiemethoden verzamelen statistieken over batches, wat geen biologisch equivalent heeft in het menselijk brein. Dit maakt de modellen ongeschikt als platform voor het bestuderen van biologische computationele principes.
3. Instabiliteit bij Biologische Alternatieven: Methodes die prioriteit geven aan biologische plausibiliteit (bijv. door excitatoire en inhibitoire neuronen te scheiden) leiden vaak tot instabiel trainingen en falen bij diepe netwerken. Bestaande initiatie-technieken voor dergelijke netwerken zijn vaak niet toepasbaar op SNNs vanwege hun tijdsafhankelijke aard.

Het paper richt zich op het oplossen van dit dilemma: hoe kan men diepe SNNs trainen zonder Batch Normalization, maar wel met biologisch plausibele mechanismen?

Methodologie: Het E-I Circuit Framework

De auteurs introduceren een normalisatie-vrij leerframework dat is gebaseerd op een Excitatoire-Inhibitoire (E-I) circuit, geïspireerd door corticale circuits in het brein. In plaats van standaard lagen, bestaat elke laag uit twee gescheiden populaties: excitatoire (E) en inhibitoire (I) neuronen.

De kern van de methode bestaat uit drie componenten:

1. Het E-I Circuit Architectuur

• Excitatoire Projecties: Excitatoire neuronen uit de vorige laag sturen signalen naar zowel de excitatoire als de inhibitoire populatie van de huidige laag. De synaptische gewichten zijn strikt niet-negatief (Dale's principe).
• Laterale Inhibitie: De activiteit van de inhibitoire populatie reguleert de excitatoire populatie via twee mechanismen:
  • Subtractieve Inhibitie: Zorgt voor een balans tussen excitatie en inhibitie (vermindert de drempel).
  • Divisieve Inhibitie: Zorgt voor versterkingsregeling (gain control), analoog aan normalisatie, maar biologisch gefundeerd.
• Neuron Modellen:
  • Excitatoire neuronen: Gemodelleerd als Leaky Integrate-and-Fire (LIF) neuronen.
  • Inhibitoire neuronen: Gemodelleerd als "Fast-Spiking" neuronen. Vanwege hun zeer kleine tijdsconstante ($\tau_I \ll \Delta t$) worden ze benaderd als statische eenheden (vergelijkbaar met ReLU) die direct reageren op inputstromen.

2. E-I Init: Dynamische Parameter Initialisatie

Standaard initialisaties (zoals Xavier of Kaiming) werken niet omdat ze gewichten uit een nul-gecentreerde verdeling halen, wat strijdig is met de eis dat excitatoire en inhibitoire gewichten verschillende tekens hebben.

• E-I Init lost dit op door een dynamische initialisatie te gebruiken die gebaseerd is op de eerste batch van de trainingsdata.
• Doel 1 (Balans): De verwachte subtractieve inhibitie wordt ingesteld om de verwachte excitatoire input te balanceren, zodat neuronen niet verzadigen of stilvallen bij start.
• Doel 2 (Gain Control): De divisieve inhibitie wordt ingesteld zodat de verwachte waarde overeenkomt met de standaardafwijking van de excitatoire input. Dit creëert een effectief normalisatie-effect bij de start van het training.

3. E-I Prop: Stabilisatie van End-to-End Training

Om instabiliteit tijdens het backpropagatieproces te voorkomen, worden twee technieken toegepast:

• Adaptieve Stabilisatie: Om deling door nul te voorkomen in de divisieve inhibitie, worden nulwaarden in de noemer dynamisch vervangen door de kleinste positieve waarde binnen dezelfde sample. Dit voorkomt numerieke explosies zonder de dynamische range kunstmatig te onderdrukken (in tegenstelling tot een vaste $\epsilon$).
• Straight-Through Estimator (STE): Omdat de vervanging van nullen niet differentieerbaar is, wordt in de backward pass de afgeleide benaderd als een identiteitsfunctie. Hierdoor wordt de gradientstroom niet verstoord door de stabilisatiemaatregel.
• Gradient Scaling: De gradients voor de laterale inhibitoire gewichten ($W_{EI}$) zijn van nature veel groter dan andere gewichten. De auteurs schalen deze gradients met een factor $1/d$ (waarbij $d$ de input-dimensie is) om een evenwichtige update te garanderen.

Belangrijkste Bijdragen

1. Normalisatie-vrij Framework: De eerste methode die diepe SNNs succesvol kan trainen zonder Batch Normalization, puur gebaseerd op biologisch plausibele E-I interacties.
2. E-I Init: Een innovatieve initialisatiestrategie die een stabiele starttoestand garandeert door dynamische balans en gain control.
3. E-I Prop: Een toolkit voor stabilisatie die numerieke instabiliteit en gradient-dispariteiten oplost via adaptieve stabilisatie en STE.
4. Biologische Validatie: Het framework dient niet alleen als prestatie-tool, maar ook als een computationeel platform om de rol van E-I interacties in schaalbare corticale berekeningen te onderzoeken.

Resultaten

De methode is getest op diverse datasets en architecturen (VGG, ResNet) en toont concurrerende resultaten:

• CIFAR-10: Bereikte 92.05% nauwkeurigheid (ResNet-18), wat beter is dan andere normalisatie-vrije baselines en vergelijkbaar met BN-methoden.
• TinyImageNet: Bereikte 50.29% nauwkeurigheid, wat aantoont dat de methode schaalbaar is naar grotere datasets.
• Neuromorfe Data: Op DVS-Gesture (94.86%) en CIFAR10-DVS (77.66%) presteerde de methode beter dan meerdere BN-gebaseerde methoden, wat de superioriteit in tijdsverwerking bevestigt.
• Ablatie Studies: Toonden aan dat elk component (E-I constraint, E-I Init, adaptieve stabilisatie, gradient scaling) essentieel is. Het verwijderen van een component leidde tot trainingstotaliteit of significante prestatieverlies.
• Analyse: Visualisaties tonen dat het netwerk na training een bimodale verdeling van activiteit leert (geactiveerde vs. onderdrukte populaties), wat fundamenteel verschilt van de Gaussische verdeling die door standaard normalisatie wordt opgelegd.

Significantie

Dit werk is een doorbraak in het veld van NeuroAI en neuromorfe computing:

• Overbrugging van de Kloof: Het sluit de kloof tussen hoge prestaties in deep learning en biologische plausibiliteit. Het bewijst dat normalisatie niet noodzakelijk is als men de juiste biologische mechanismen (E-I circuits) implementeert.
• Toekomstige Hardware: De methode is direct compatibel met analoge en mixed-signal neuromorfe hardware (zoals DYNAP-SE2), waar normalisatiestapels moeilijk te implementeren zijn.
• Wetenschappelijke Inzicht: Het biedt een nieuw platform om te onderzoeken hoe het brein complexe berekeningen uitvoert zonder expliciete statistische normalisatie, wat nieuwe inzichten kan geven in corticale dynamica.

Kortom, de auteurs hebben een robuust, biologisch gefundeerd framework ontwikkeld dat diepe SNNs mogelijk maakt zonder de "biologische onzin" van traditionele normalisatiemethoden, terwijl het toch state-of-the-art prestaties levert.