Evolutionary feature selection for spiking neural network pattern classifiers

1. Enunciato del Problema

Il paper affronta le limitazioni dei tradizionali Perceptron Multistrato (MLP) e dell'apprendimento standard tramite backpropagation in specifici scenari di classificazione. Le problematiche chiave identificate includono:

• Mancanza di Ricorrenza e Contesto: Gli MLP standard faticano con problemi che richiedono rappresentazione temporale, contesto o connessioni cicliche, poiché mancano di strutture ricorsive.
• Scalabilità e Complessità: Per approssimare funzioni complesse o gestire il contesto, gli MLP richiedono spesso un gran numero di unità nascoste, portando a modelli computazionalmente costosi.
• Difficoltà di Addestramento: L'addestramento di Reti Neurali a Spike (SNN) come JASTAP utilizzando la backpropagation standard è difficile a causa delle funzioni di spike non differenziabili e delle connessioni cicliche.
• Selezione delle Caratteristiche: Selezionare simultaneamente le caratteristiche di input ottimali e i parametri della rete è un problema di ricerca combinatoria complesso, spesso soggetto a minimi locali quando si utilizzano metodi basati sul gradiente.

Gli autori propongono di sostituire il modello di perceptron di base con JASTAP (un modello di rete neurale a spike biologicamente realistico) e di utilizzare un algoritmo evolutivo per risolvere simultaneamente la selezione delle caratteristiche e l'ottimizzazione dei parametri della rete.

2. Metodologia

A. Il Modello JASTAP

JASTAP è un modello di neurone a spike progettato per simulare funzioni biologicamente realistiche senza le semplificazioni spesso presenti in altre SNN. I componenti chiave includono:

• Sinapsi: Definite dal tipo di input (interno/esterno), dal peso sinaptico ($SW \in [-1, 1]$), dalla latenza e da una forma d'onda del Potenziale Post-Sinaptico (PSP). Il PSP è modellato utilizzando una funzione simile alla distribuzione Gamma controllata dalle costanti temporali $t_1$ e $t_2$.
• Potenziale di Membrana (MP): Calcolato come la somma dei PSP, limitato da una funzione non lineare ($\frac{2}{\pi} \cdot \arctan(\sum PSP)$).
• Meccanismo di Scarica: Un neurone scarica quando il MP supera una soglia ($\theta$). La frequenza di scarica è regolata da un periodo refrattario assoluto, determinando l'intervallo inter-spike ($I_a$).
• Codifica Temporale: A differenza delle reti codificate in frequenza, JASTAP utilizza la codifica temporale dove l'informazione è codificata nel tempismo degli spike.

B. Il Framework FeaSANNT

Gli autori estendono FeaSANNT, una procedura evolutiva originariamente progettata per gli MLP, per funzionare con JASTAP. Questo framework risolve simultaneamente due problemi combinatori:

1. Selezione delle Caratteristiche: Una maschera binaria determina quali caratteristiche di input sono attive.
2. Apprendimento dei Parametri: Gli algoritmi evolutivi (Algoritmi Genetici) ottimizzano i parametri della rete, inclusi:
   • Pesi sinaptici.
   • Latenze sinaptiche.
   • Soglie dei neuroni.
   • Parametri di codifica dell'input.

C. Codifica dei Dati e Fitness

• Codifica dell'Input: I dati a valore reale sono convertiti in pattern temporali di spike. I valori dei dati sono mappati linearmente sugli intervalli inter-spike (5–15 ms). Per testare la robustezza al rumore, viene aggiunto rumore distribuito secondo una distribuzione Gamma a questi intervalli.
• Decodifica dell'Output: La decisione della rete viene presa quando un neurone di output scarica (una decisione "hot-spot").
• Funzione di Fitness: È stato riscontrato che un semplice rapporto di accuratezza era insufficiente. Gli autori hanno sviluppato una funzione di fitness composita che premia:
  • Risposte precoci/non silenziose.
  • Eterogeneità: Capacità di rispondere correttamente a più classi.
  • Selettività: Alta accuratezza su classi specifiche anche se altre vengono ignorate.
  • Capacità multiclasse: Bonus per la corretta distinzione di coppie di classi.

3. Contributi Chiave

1. Integrazione di JASTAP con l'Apprendimento Evolutivo: Adattamento riuscito del framework evolutivo FeaSANNT per addestrare il modello biologicamente realistico JASTAP, aggirando la necessità di backpropagation basata sul gradiente.
2. Ottimizzazione Simultanea di Caratteristiche e Parametri: Dimostrazione che la ricerca evolutiva può selezionare efficacemente le caratteristiche rilevanti mentre sintonizza parametri complessi della rete a spike (pesi, latenze, soglie) in un singolo processo.
3. Robustezza al Rumore tramite Plausibilità Biologica: Introduzione di un metodo per iniettare rumore biologicamente rilevante distribuito secondo una distribuzione Gamma nei treni di spike temporali, dimostrando che il modello può gestire il rumore intrinseco dei sistemi biologici senza degradazione delle prestazioni.
4. Architettura di Rete Compatta: Dimostrazione che JASTAP può raggiungere un'alta accuratezza di classificazione con un numero significativamente inferiore di neuroni rispetto agli MLP tradizionali, sfruttando le dinamiche temporali e la ricorrenza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset IRIS (150 campioni, 4 caratteristiche, 3 classi).

• Accuratezza vs. Complessità:
  • MLP (Backpropagation): Ha raggiunto un'accuratezza del 96,2% utilizzando tutte le 4 caratteristiche e un livello nascosto.
  • FeaSANNT (MLP): Ha raggiunto un'accuratezza del 94,7% utilizzando solo 2 caratteristiche (selezionate dall'algoritmo).
  • FeaSTAP (JASTAP + FeaSANNT): Ha raggiunto un'accuratezza del 100% senza nessun livello nascosto (solo 7 neuroni: 4 input, 3 output) e connessioni reciproche tra i neuroni di input.
• Gestione del Rumore:
  • Il modello JASTAP è stato testato con rumore distribuito secondo una distribuzione Gamma aggiunto agli intervalli inter-spike.
  • Risultato: L'accuratezza di classificazione è rimasta al 100% anche con livelli di rumore fino al 10% (circa 1ms di jitter). Le prestazioni si sono degradate solo quando il rumore ha superato questa soglia biologica.
• Selezione delle Caratteristiche:
  • Sebbene l'algoritmo abbia selezionato le caratteristiche, la riduzione è stata meno drammatica rispetto ai precedenti studi sugli MLP (spesso mantenendo 3-4 caratteristiche). Gli autori attribuiscono ciò alla capacità della rete di utilizzare spike "irrilevanti" per superare le soglie di scarica, una proprietà unica del meccanismo a spike.

5. Significato e Conclusione

• Efficienza: Lo studio dimostra che i modelli a spike biologicamente realistici possono superare gli MLP tradizionali in termini di compattezza architetturale (meno neuroni) mantenendo o superando l'accuratezza.
• Robustezza: La capacità del modello di gestire dati temporali rumorosi suggerisce un forte potenziale per applicazioni reali dove i dati sono imperfetti e dipendenti dal contesto.
• Direzioni Future: Gli autori sottolineano che, sebbene JASTAP offra una rappresentazione superiore per ricorrenza e contesto, il costo computazionale della simulazione è elevato. Il lavoro futuro mira a parallelizzare il processo di addestramento e a perfezionare il modello per rappresentare conoscenze basate sulla logica (integrazione neuro-simbolica) fissando determinate architetture per codificare conoscenze di base.

In sintesi, questo paper valida che la selezione evolutiva delle caratteristiche combinata con reti neurali a spike biologicamente realistiche è un'alternativa valida e potente ai classificatori standard basati su perceptron, offrendo una superiore tolleranza al rumore ed efficienza strutturale.