Evolutionary feature selection for spiking neural network pattern classifiers

1. Declaração do Problema

O artigo aborda as limitações dos Perceptrons Multicamada (MLPs) tradicionais e da aprendizagem padrão por retropropagação em cenários específicos de classificação. As questões-chave identificadas incluem:

• Falta de Recorrência e Contexto: MLPs padrão têm dificuldade com problemas que exigem representação temporal, contexto ou conexões cíclicas, pois carecem de estruturas recursivas.
• Escalabilidade e Complexidade: Para aproximar funções complexas ou lidar com contexto, os MLPs frequentemente exigem grandes números de unidades ocultas, levando a modelos computacionalmente caros.
• Dificuldades de Treinamento: O treinamento de Redes Neurais de Spiking (SNNs) como o JASTAP usando retropropagação padrão é difícil devido a funções de disparo não diferenciáveis e conexões cíclicas.
• Seleção de Características: Selecionar características de entrada ótimas e parâmetros de rede simultaneamente é um problema de busca combinatória complexo, frequentemente propenso a mínimos locais quando se usam métodos baseados em gradiente.

Os autores propõem substituir o modelo de perceptron básico pelo JASTAP (um modelo de rede neural de spiking biologicamente realista) e utilizar um algoritmo evolutivo para resolver simultaneamente a seleção de características e a otimização de parâmetros de rede.

2. Metodologia

A. O Modelo JASTAP

O JASTAP é um modelo de neurônio de spiking projetado para simular funções biologicamente realistas sem as simplificações frequentemente encontradas em outras SNNs. Os componentes-chave incluem:

• Sinapses: Definidas por tipo de entrada (interna/externa), peso sináptico ($SW \in [-1, 1]$), latência e uma forma de onda de Potencial Pós-Sináptico (PSP). O PSP é modelado usando uma função semelhante à distribuição Gamma controlada por constantes de tempo $t_1$ e $t_2$.
• Potencial de Membrana (MP): Calculado como a soma dos PSPs, limitado por uma função não linear ($\frac{2}{\pi} \cdot \arctan(\sum PSP)$).
• Mecanismo de Disparo: Um neurônio dispara quando o MP excede um limiar ($\theta$). A frequência de disparo é regulada por um período refratário absoluto, determinando o intervalo inter-disparo ($I_a$).
• Codificação Temporal: Diferentemente de redes codificadas por taxa, o JASTAP usa codificação temporal onde a informação é codificada no timing dos disparos.

B. A Estrutura FeaSANNT

Os autores estendem o FeaSANNT, um procedimento evolutivo originalmente projetado para MLPs, para funcionar com o JASTAP. Esta estrutura resolve dois problemas combinatórios simultaneamente:

1. Seleção de Características: Uma máscara binária determina quais características de entrada estão ativas.
2. Aprendizagem de Parâmetros: Algoritmos evolutivos (Algoritmos Genéticos) otimizam parâmetros de rede, incluindo:
   • Pesos sinápticos.
   • Latências sinápticas.
   • Limiares de neurônios.
   • Parâmetros de codificação de entrada.

C. Codificação de Dados e Aptidão

• Codificação de Entrada: Dados de valor real são convertidos em padrões temporais de disparo. Os valores dos dados são mapeados linearmente para intervalos inter-disparo (5–15 ms). Para testar a robustez ao ruído, ruído distribuído segundo uma distribuição Gamma é adicionado a esses intervalos.
• Decodificação de Saída: A decisão da rede é tomada quando um neurônio de saída dispara (uma decisão de "ponto quente").
• Função de Aptidão: Uma simples razão de precisão foi considerada insuficiente. Os autores desenvolveram uma função de aptidão composta que recompensa:
  • Respostas precoces/não silenciosas.
  • Heterogeneidade: Capacidade de responder corretamente a múltiplas classes.
  • Seletividade: Alta precisão em classes específicas mesmo que outras sejam ignoradas.
  • Capacidade multiclasse: Bônus por distinguir corretamente pares de classes.

3. Contribuições Principais

1. Integração do JASTAP com Aprendizagem Evolutiva: Adaptação bem-sucedida da estrutura evolutiva FeaSANNT para treinar o modelo biologicamente realista JASTAP, contornando a necessidade de retropropagação baseada em gradiente.
2. Otimização Simultânea de Características e Parâmetros: Demonstrou que a busca evolutiva pode selecionar efetivamente características relevantes enquanto ajusta parâmetros complexos de redes de spiking (pesos, latências, limiares) em um único processo.
3. Robustez ao Ruído via Plausibilidade Biológica: Introdução de um método para injetar ruído distribuído segundo uma distribuição Gamma biologicamente relevante nos trens temporais de disparo, provando que o modelo pode lidar com o ruído inerente aos sistemas biológicos sem degradação de desempenho.
4. Arquitetura de Rede Compacta: Mostrou que o JASTAP pode alcançar alta precisão de classificação com significativamente menos neurônios do que os MLPs tradicionais, aproveitando a dinâmica temporal e a recorrência.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados IRIS (150 amostras, 4 características, 3 classes).

• Precisão vs. Complexidade:
  • MLP (Retropropagação): Alcançou 96,2% de precisão usando todas as 4 características e uma camada oculta.
  • FeaSANNT (MLP): Alcançou 94,7% de precisão usando apenas 2 características (selecionadas pelo algoritmo).
  • FeaSTAP (JASTAP + FeaSANNT): Alcançou 100% de precisão usando nenhuma camada oculta (apenas 7 neurônios: 4 entradas, 3 saídas) e conexões mútuas entre neurônios de entrada.
• Tratamento de Ruído:
  • O modelo JASTAP foi testado com ruído distribuído segundo uma distribuição Gamma adicionado aos intervalos inter-disparo.
  • Resultado: A precisão de classificação manteve-se em 100% mesmo com níveis de ruído de até 10% (aproximadamente 1ms de jitter). O desempenho degradou-se apenas quando o ruído excedeu esse limiar biológico.
• Seleção de Características:
  • Embora o algoritmo tenha selecionado características, a redução foi menos dramática do que em estudos anteriores com MLPs (frequentemente retendo 3-4 características). Os autores atribuem isso à capacidade da rede de utilizar disparos "irrelevantes" para superar os limiares de disparo, uma propriedade única do mecanismo de spiking.

5. Significado e Conclusão

• Eficiência: O estudo demonstra que modelos de spiking biologicamente realistas podem superar os MLPs tradicionais em termos de compacidade arquitetônica (menos neurônios) enquanto mantêm ou excedem a precisão.
• Robustez: A capacidade do modelo de lidar com dados temporais ruidosos sugere forte potencial para aplicações do mundo real onde os dados são imperfeitos e dependentes de contexto.
• Direções Futuras: Os autores destacam que, embora o JASTAP ofereça representação superior para recorrência e contexto, o custo computacional da simulação é alto. Trabalhos futuros visam paralelizar o processo de treinamento e refinar o modelo para representar conhecimento baseado em lógica (integração neuro-simbólica) fixando certas arquiteturas para codificar conhecimento de fundo.

Em resumo, este artigo valida que a seleção evolutiva de características combinada com redes neurais de spiking biologicamente realistas é uma alternativa viável e poderosa aos classificadores padrão baseados em perceptron, oferecendo tolerância superior ao ruído e eficiência estrutural.