A flexible framework for structural plasticity in GPU-accelerated sparse spiking neural networks

Título: Uma estrutura flexível para plasticidade estrutural em redes neurais de pulso esparsas aceleradas por GPU

1. O Problema

A maioria das pesquisas em Redes Neurais Artificiais (ANNs) e no modelamento de cérebros biológicos foca na plasticidade sináptica (mudança na força das conexões existentes). No entanto, a plasticidade estrutural — a criação e remoção dinâmica de conexões — é vital para o aprendizado biológico, recuperação de danos e uso eficiente de recursos.

• Limitações Atuais: Embora o "poda" (pruning) seja usado em aprendizado de máquina para reduzir modelos, as frameworks tradicionais de treinamento (baseadas em backpropagation) são otimizadas para conectividade densa. Isso significa que a poda não reduz significativamente os custos de treinamento de modelos cada vez maiores.
• Desafio Computacional: Simular plasticidade estrutural é computacionalmente caro. Mudanças estruturais biológicas são lentas, exigem longas durações de simulação e envolvem interdependências complexas. Além disso, a abordagem tradicional de manter a estrutura da rede fixa na memória durante a propagação de estado colide com a necessidade de alterar dinamicamente a conectividade, exigindo uma reestruturação fundamental das estruturas de dados.
• Falta de Suporte em GPU: Algoritmos de plasticidade estrutural foram historicamente implementados em simuladores baseados em CPU (como SpiNNaker ou Brian 2), mas não havia um framework eficiente para hardware paralelo de propósito geral, como GPUs, que é crucial para a escalabilidade.

2. Metodologia

Os autores propõem uma nova extensão para o simulador GeNN (GPU-accelerated Neural Network), um simulador de redes de pulso (SNN) focado em eficiência e flexibilidade.

• Estrutura de Dados "Ragged Matrix": O GeNN utiliza uma matriz irregular (ragged matrix) para representar conectividade esparsa. Cada linha representa um neurônio pré-sináptico e contém os índices dos neurônios pós-sinápticos alvo.
  • Mecanismo de Atualização: Para permitir adição e remoção de conexões sem realocar toda a estrutura de dados, o sistema usa preenchimento (padding) nas linhas. Ao remover uma sinapse, ela é substituída pela última da linha, reduzindo o grau de saída. Ao adicionar, usa-se o espaço de preenchimento. Isso permite atualizações paralelas massivas na GPU.
• Novo Primitivo: "Custom Connectivity Updates": Foi introduzido um novo modelo primitivo que permite aos usuários definir regras de plasticidade estrutural usando código híbrido CPU/GPU:
  • host_update_code: Executado na CPU para lógica serial (ex: distribuição de tentativas de rewiring).
  • row_update_code: Executado na GPU, paralelizado por linha da matriz de sinapses, para operações como adição/remoção de sinapses e acesso a variáveis neuronais.
• Aplicações Demonstradas:
  1. Classificação Supervisionada (DEEP R + e-prop): Integração da regra de plasticidade estrutural DEEP R (que substitui sinapses fracas por novas aleatórias se o sinal do peso mudar) com a regra de aprendizado e-prop. Isso foi aplicado em classificadores recorrentes esparsos nas tarefas N-MNIST e DVS Gesture.
  2. Formação de Mapas Topográficos (Não Supervisionado): Implementação de um modelo inspirado em Bamford, Murray e Willshaw. A formação de novas conexões depende da distância lateral (regra gaussiana), enquanto a eliminação depende da atividade (plasticidade dependente de tempo de pulso - STDP).

3. Principais Contribuições

• Primeiro Framework de Plasticidade Estrutural em GPU: Apresenta a primeira implementação de um framework flexível para regras de plasticidade estrutural em hardware paralelo de propósito geral (GPUs), superando a dependência de CPUs ou neuromórficos especializados.
• Eficiência e Flexibilidade: O framework permite definir regras complexas sem realocar memória, mantendo a eficiência de leitura coalescida na GPU.
• Integração com mlGeNN: Estende a camada de abstração mlGeNN (similar ao Keras) para suportar treinamento direto de SNNs esparsos com DEEP R.
• Algoritmos Híbridos: Desenvolveu algoritmos que distribuem a carga entre CPU (para distribuição de tentativas de rewiring) e GPU (para execução paralela das regras de eliminação e formação), otimizando o uso de recursos.

4. Resultados

• Classificação (DEEP R):
  • Os modelos esparsos treinados com DEEP R alcançaram a mesma precisão que modelos densos de referência.
  • Redução de Parâmetros: Os modelos alcançaram desempenho comparável usando 90x menos parâmetros (ex: 60 mil vs 5,5 milhões de pesos).
  • Velocidade de Treinamento: A redução na esparsidade resultou em um tempo de treinamento até 10x mais rápido em comparação com modelos densos.
  • Overhead: O tempo gasto aplicando as atualizações de plasticidade estrutural foi inferior a 1% do tempo total de treinamento.
• Mapas Topográficos:
  • O modelo demonstrou a formação e refinamento de mapas topográficos em simulações mais rápidas que o tempo real, mesmo com um passo de tempo de simulação 10 vezes menor (0,1 ms) do que implementações anteriores em neuromórficos (1 ms).
  • Escalabilidade: Ao aumentar o tamanho da rede (de 256 para 12.544 neurônios), o tempo de simulação aumentou apenas por um fator de ~10, enquanto o tamanho da rede cresceu por um fator de 49, demonstrando excelente escalabilidade paralela.
  • Gargalo: A maior parte do tempo de simulação em modelos grandes foi gasta na atualização de conectividade e no "remapeamento" da matriz transposta, indicando uma área para futuras otimizações.

5. Significado e Impacto

• Viabilidade de SNNs Esparsos: O trabalho prova que é possível treinar e simular redes neurais de pulso extremamente esparsas com alta eficiência em GPUs, tornando viáveis modelos que antes eram proibitivamente caros computacionalmente.
• Ponte entre Biologia e ML: Oferece uma ferramenta poderosa para investigar mecanismos biológicos de plasticidade estrutural (como neurogênese e rewiring) em grande escala, além de explorar benefícios computacionais para aplicações neuromórficas.
• Futuro: O framework abre caminho para pesquisas sobre como manter a esparsidade na estrutura e comunicação neural, e como explorar a esparsidade para reduzir o consumo de energia e memória em sistemas de IA. A abordagem também sugere que frameworks similares podem ser adaptados para outros simuladores baseados em geração de código (como Brian 2) e hardware neuromórfico programável.

Em resumo, este artigo fornece uma solução técnica robusta para um dos maiores gargalos na simulação de redes neurais biologicamente plausíveis em grande escala: a atualização eficiente e paralela da conectividade sináptica em GPUs.