Evolutionary feature selection for spiking neural network pattern classifiers

1. Planteamiento del Problema

El artículo aborda las limitaciones de los Perceptrones Multicapa (MLP) tradicionales y del aprendizaje de retropropagación estándar en escenarios específicos de clasificación. Los problemas clave identificados incluyen:

• Falta de Recurrencia y Contexto: Los MLP estándar luchan con problemas que requieren representación temporal, contexto o conexiones cíclicas debido a la ausencia de estructuras recursivas.
• Escalabilidad y Complejidad: Para aproximar funciones complejas o manejar contexto, los MLP a menudo requieren grandes cantidades de unidades ocultas, lo que conduce a modelos computacionalmente costosos.
• Dificultades de Entrenamiento: Entrenar Redes Neuronales de Pulsos (SNN) como JASTAP utilizando retropropagación estándar es difícil debido a las funciones de disparo no diferenciables y las conexiones cíclicas.
• Selección de Características: Seleccionar simultáneamente las características de entrada óptimas y los parámetros de la red es un problema de búsqueda combinatoria complejo, propenso a mínimos locales cuando se utilizan métodos basados en gradientes.

Los autores proponen reemplazar el modelo de perceptrón básico con JASTAP (un modelo de red neuronal de pulsos biológicamente realista) y utilizar un algoritmo evolutivo para resolver simultáneamente la selección de características y la optimización de parámetros de la red.

2. Metodología

A. El Modelo JASTAP

JASTAP es un modelo de neurona de pulsos diseñado para simular funciones biológicamente realistas sin las simplificaciones que a menudo se encuentran en otras SNN. Los componentes clave incluyen:

• Sinapsis: Definidas por el tipo de entrada (interna/externa), peso sináptico ($SW \in [-1, 1]$), latencia y una forma de onda de Potencial Post-Sináptico (PSP). El PSP se modela utilizando una función similar a la distribución Gamma controlada por constantes de tiempo $t_1$ y $t_2$.
• Potencial de Membrana (MP): Calculado como la suma de los PSP, limitado por una función no lineal ($\frac{2}{\pi} \cdot \arctan(\sum PSP)$).
• Mecanismo de Disparo: Una neurona dispara cuando el MP supera un umbral ($\theta$). La frecuencia de disparo se regula mediante un período refractario absoluto, determinando el intervalo inter-espiga ($I_a$).
• Codificación Temporal: A diferencia de las redes codificadas por tasa, JASTAP utiliza codificación temporal donde la información se codifica en el momento de los pulsos.

B. El Marco FeaSANNT

Los autores extienden FeaSANNT, un procedimiento evolutivo diseñado originalmente para MLP, para que funcione con JASTAP. Este marco resuelve dos problemas combinatorios simultáneamente:

1. Selección de Características: Una máscara binaria determina qué características de entrada están activas.
2. Aprendizaje de Parámetros: Los algoritmos evolutivos (Algoritmos Genéticos) optimizan los parámetros de la red, incluyendo:
   • Pesos sinápticos.
   • Latencias sinápticas.
   • Umbrales de neuronas.
   • Parámetros de codificación de entrada.

C. Codificación de Datos y Aptitud

• Codificación de Entrada: Los datos de valor real se convierten en patrones temporales de pulsos. Los valores de datos se mapean linealmente a intervalos inter-espiga (5–15 ms). Para probar la robustez ante el ruido, se añade ruido distribuido Gamma a estos intervalos.
• Decodificación de Salida: La decisión de la red se toma cuando una neurona de salida dispara (una decisión de "punto caliente").
• Función de Aptitud: Se encontró que una simple relación de precisión era insuficiente. Los autores desarrollaron una función de aptitud compuesta que recompensa:
  • Respuestas Tempranas/No silenciosas.
  • Heterogeneidad: Capacidad de responder correctamente a múltiples clases.
  • Selectividad: Alta precisión en clases específicas incluso si otras son ignoradas.
  • Capacidad Multiclase: Bonificación por distinguir correctamente pares de clases.

3. Contribuciones Clave

1. Integración de JASTAP con Aprendizaje Evolutivo: Adaptación exitosa del marco evolutivo FeaSANNT para entrenar el modelo biológicamente realista JASTAP, evitando la necesidad de retropropagación basada en gradientes.
2. Optimización Simultánea de Características y Parámetros: Demostración de que la búsqueda evolutiva puede seleccionar eficazmente características relevantes mientras ajusta parámetros complejos de redes de pulsos (pesos, latencias, umbrales) en un solo proceso.
3. Robustez ante Ruido mediante Plausibilidad Biológica: Introducción de un método para inyectar ruido distribuido Gamma biológicamente relevante en los trenes de pulsos temporales, demostrando que el modelo puede manejar el ruido inherente a los sistemas biológicos sin degradación del rendimiento.
4. Arquitectura de Red Compacta: Demostración de que JASTAP puede lograr una alta precisión de clasificación con significativamente menos neuronas que los MLP tradicionales, aprovechando la dinámica temporal y la recurrencia.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos IRIS (150 muestras, 4 características, 3 clases).

• Precisión vs. Complejidad:
  • MLP (Retropropagación): Logró una precisión del 96.2% utilizando las 4 características y una capa oculta.
  • FeaSANNT (MLP): Logró una precisión del 94.7% utilizando solo 2 características (seleccionadas por el algoritmo).
  • FeaSTAP (JASTAP + FeaSANNT): Logró una precisión del 100% sin capa oculta (solo 7 neuronas: 4 entradas, 3 salidas) y conexiones mutuas entre las neuronas de entrada.
• Manejo de Ruido:
  • El modelo JASTAP se probó con ruido distribuido Gamma añadido a los intervalos inter-espiga.
  • Resultado: La precisión de clasificación se mantuvo en 100% incluso con niveles de ruido de hasta 10% (aprox. 1 ms de jitter). El rendimiento solo se degradó cuando el ruido superó este umbral biológico.
• Selección de Características:
  • Aunque el algoritmo seleccionó características, la reducción fue menos dramática que en estudios anteriores de MLP (a menudo reteniendo 3-4 características). Los autores atribuyen esto a la capacidad de la red para utilizar pulsos "irrelevantes" para superar los umbrales de disparo, una propiedad única del mecanismo de pulsos.

5. Significado y Conclusión

• Eficiencia: El estudio demuestra que los modelos de pulsos biológicamente realistas pueden superar a los MLP tradicionales en términos de compacidad arquitectónica (menos neuronas) mientras mantienen o superan la precisión.
• Robustez: La capacidad del modelo para manejar datos temporales ruidosos sugiere un gran potencial para aplicaciones del mundo real donde los datos son imperfectos y dependen del contexto.
• Futuras Direcciones: Los autores destacan que, aunque JASTAP ofrece una representación superior para la recurrencia y el contexto, el costo computacional de la simulación es alto. El trabajo futuro apunta a paralelizar el proceso de entrenamiento y refinar el modelo para representar conocimiento basado en lógica (integración neuro-simbólica) fijando ciertas arquitecturas para codificar conocimiento de fondo.

En resumen, este artículo valida que la selección evolutiva de características combinada con redes neuronales de pulsos biológicamente realistas es una alternativa viable y poderosa a los clasificadores basados en perceptrones estándar, ofreciendo una tolerancia superior al ruido y una eficiencia estructural.