Evolutionary feature selection for spiking neural network pattern classifiers

1. Probleemstelling

Het artikel behandelt de beperkingen van traditionele Multi-Layer Perceptrons (MLP's) en standaard backpropagatieleren in specifieke classificatiescenario's. De geïdentificeerde kernproblemen zijn:

• Gebrek aan Recurrentie en Context: Standaard MLP's hebben moeite met problemen die een temporele representatie, context of cyclische verbindingen vereisen, omdat ze geen recursieve structuren bezitten.
• Schaalbaarheid en Complexiteit: Om complexe functies te benaderen of context te verwerken, vereisen MLP's vaak grote aantallen verborgen eenheden, wat leidt tot rekenkundig kostbare modellen.
• Trainingsmoeilijkheden: Het trainen van Spiking Neural Networks (SNN's) zoals JASTAP met standaard backpropagatie is moeilijk vanwege niet-differentieerbare spike-functies en cyclische verbindingen.
• Feature Selectie: Het gelijktijdig selecteren van optimale invoerfeatures en netwerkparameters is een complex, combinatorisch zoekprobleem dat bij gebruik van op gradiënten gebaseerde methoden vaak vastloopt in lokale minima.

De auteurs stellen voor het basisperceptronmodel te vervangen door JASTAP (een biologisch realistisch spiking neural network-model) en een evolutionair algoritme te gebruiken om gelijktijdig feature selectie en optimalisatie van netwerkparameters op te lossen.

2. Methodologie

A. Het JASTAP-model

JASTAP is een spiking neuron-model dat is ontworpen om biologisch realistische functies te simuleren zonder de vereenvoudigingen die vaak in andere SNN's voorkomen. Belangrijke componenten zijn:

• Synapsen: Gedefinieerd door invoertype (intern/extern), synaptische gewicht ($SW \in [-1, 1]$), latentie en een Post-Synaptisch Potentiaal (PSP) golfvorm. De PSP wordt gemodelleerd met een Gamma-distributie-achtige functie die wordt gestuurd door tijdconstanten $t_1$ en $t_2$.
• Membraanpotentiaal (MP): Berekend als de som van PSP's, beperkt door een niet-lineaire functie ($\frac{2}{\pi} \cdot \arctan(\sum PSP)$).
• Afwakmechanisme: Een neuron vuurt wanneer de MP een drempel ($\theta$) overschrijdt. De spike-frequentie wordt gereguleerd door een absolute refractaire periode, die het interval tussen spikes ($I_a$) bepaalt.
• Temporele codering: In tegenstelling tot netwerken met rate-coding, gebruikt JASTAP temporele codering waarbij informatie wordt gecodeerd in het tijdstip van spikes.

B. Het FeaSANNT-kader

De auteurs breiden FeaSANNT uit, een evolutionaire procedure die oorspronkelijk voor MLP's was ontworpen, om te werken met JASTAP. Dit kader lost twee combinatorische problemen gelijktijdig op:

1. Feature Selectie: Een binair masker bepaalt welke invoerfeatures actief zijn.
2. Parameterleren: Evolutionaire algoritmen (Genetische Algoritmen) optimaliseren netwerkparameters, waaronder:
   • Synaptische gewichten.
   • Synaptische latenties.
   • Neuron-drempels.
   • Invoercoderingsparameters.

C. Data-codering en Fitness

• Invoercodering: Reële waarden worden omgezet in temporele spike-patronen. Data-waarden worden lineair gemapt naar intervallen tussen spikes (5–15 ms). Om robuustheid tegen ruis te testen, wordt Gamma-verdeelde ruis aan deze intervallen toegevoegd.
• Uitvoerdecodering: De netwerkbeslissing wordt genomen wanneer een uitvoerneuron vuurt (een "hot-spot"-beslissing).
• Fitnessfunctie: Een eenvoudige nauwkeurigheidsratio bleek onvoldoende. De auteurs ontwikkelden een samengestelde fitnessfunctie die beloont:
  • Vroege/Niet-stille responsen.
  • Heterogeniteit: Het vermogen om correct te reageren op meerdere klassen.
  • Selectiviteit: Hoge nauwkeurigheid op specifieke klassen, zelfs als andere worden genegeerd.
  • Meerklassencapaciteit: Bonus voor het correct onderscheiden van paren klassen.

3. Belangrijkste Bijdragen

1. Integratie van JASTAP met Evolutionair Leren: Succesvolle aanpassing van het evolutionaire FeaSANNT-kader om het biologisch realistische JASTAP-model te trainen, waarbij de noodzaak van op gradiënten gebaseerde backpropagatie wordt omzeild.
2. Gelijktijdige Feature- en Parameteroptimalisatie: Aangetoond dat evolutionaire zoekopdrachten effectief relevante features kunnen selecteren terwijl complexe spiking-netwerkparameters (gewichten, latenties, drempels) in één proces worden afgestemd.
3. Ruisrobuustheid via Biologische Plausibiliteit: Een methode geïntroduceerd om biologisch relevante Gamma-verdeelde ruis in te brengen in temporele spike-treinen, wat bewijst dat het model de ruis inherent aan biologische systemen aankan zonder prestatieverlies.
4. Compact Netwerkarchitectuur: Aangetoond dat JASTAP hoge classificienauwkeurigheid kan bereiken met aanzienlijk minder neuronen dan traditionele MLP's door gebruik te maken van temporele dynamiek en recurrentie.

4. Experimentele Resultaten

De experimenten werden uitgevoerd op het IRIS-dataset (150 samples, 4 features, 3 klassen).

• Nauwkeurigheid vs. Complexiteit:
  • MLP (Backpropagatie): Bereikte 96,2% nauwkeurigheid met alle 4 features en een verborgen laag.
  • FeaSANNT (MLP): Bereikte 94,7% nauwkeurigheid met slechts 2 features (geselecteerd door het algoritme).
  • FeaSTAP (JASTAP + FeaSANNT): Bereikte 100% nauwkeurigheid zonder verborgen laag (slechts 7 neuronen: 4 invoer, 3 uitvoer) en wederzijdse verbindingen tussen invoerneuronen.
• Ruisbehandeling:
  • Het JASTAP-model werd getest met Gamma-verdeelde ruis toegevoegd aan intervallen tussen spikes.
  • Resultaat: De classificienauwkeurigheid bleef op 100% zelfs bij ruisniveaus tot 10% (ongeveer 1ms jitter). De prestaties verslechterden pas wanneer de ruis deze biologische drempel overschreed.
• Feature Selectie:
  • Hoewel het algoritme features selecteerde, was de reductie minder dramatisch dan in eerdere MLP-studies (vaak behoud van 3-4 features). De auteurs schrijven dit toe aan het vermogen van het netwerk om "irrelevante" spikes te gebruiken om vuurdrempels te overwinnen, een uniek kenmerk van het spiking-mechanisme.

5. Betekenis en Conclusie

• Efficiëntie: De studie toont aan dat biologisch realistische spiking-modellen traditionele MLP's kunnen overtreffen qua architecturale compactheid (minder neuronen) terwijl ze de nauwkeurigheid behouden of zelfs overtreffen.
• Robuustheid: Het vermogen van het model om met ruizige, temporele data om te gaan, suggereert sterk potentieel voor toepassingen in de echte wereld waar data imperfect en contextafhankelijk is.
• Toekomstige Richtingen: De auteurs benadrukken dat hoewel JASTAP superieure representatie biedt voor recurrentie en context, de rekenkosten van simulatie hoog zijn. Toekomstig werk richt zich op het paralleliseren van het trainingsproces en het verfijnen van het model om logisch gebaseerde kennis te representeren (Neuro-symbolische integratie) door bepaalde architecturen vast te zetten om achtergrondkennis te coderen.

Kortom, dit artikel valideert dat evolutionaire feature selectie gecombineerd met biologisch realistische spiking neural networks een levensvatbaar en krachtig alternatief is voor standaard perceptron-gebaseerde classifiers, met superieure ruis tolerantie en structurele efficiëntie.