Gradient-Free Training of Spiking Neural Networks via Low-Rank Evolution Strategies

Resumo Técnico: Treinamento de Redes Neurais de Espigamento Livre de Gradiente via Estratégias de Evolução de Baixo Rank

Definição do Problema
As Redes Neurais de Espigamento (SNNs) oferecem vantagens significativas de eficiência energética em hardware neuromórfico (ex: Intel Loihi, IBM TrueNorth) ao utilizar computação esparsa e orientada a eventos. No entanto, o treinamento de SNNs continua sendo um grande gargalo. O problema central é a natureza não diferenciável da função de geração de espigamento (uma função degrau de Heaviside), que impede o uso do backpropagation padrão. Embora métodos de gradiente substituto (surrogate-gradient) aproximem essa derivada para permitir o backpropagation, eles dependem de infraestruturas de autograd que são incompatíveis com as restrições de aprendizado em chip (on-chip learning). As Estratégias de Evolução (ES) fornecem uma alternativa livre de gradiente ao perturbar os pesos e avaliar o fitness; contudo, as ES padrão escalam mal com o tamanho do modelo, exigindo $O(Pmn)$ de memória por geração (onde $P$ é o tamanho da população e $m \times n$ são as dimensões da matriz de pesos), tornando-as impraticáveis para redes grandes.

Metodologia
Os autores propõem a integração do Eggroll, uma técnica de fatoração de baixo rank para Estratégias de Evolução, no loop de treinamento de SNNs.

• Perturbação de Baixo Rank: Em vez de amostrar matrizes de perturbação de rank total $E \in \mathbb{R}^{m \times n}$, o método aproxima as perturbações como um produto de baixo rank $E_i = \frac{1}{\sqrt{r}} A_i B_i^\top$, onde $A_i \in \mathbb{R}^{m \times r}$ e $B_i \in \mathbb{R}^{n \times r}$. Isso reduz a complexidade de memória por geração de $O(Pmn)$ para $O(r(m+n))$.
• Reconstrução Determinística: Para otimizar ainda mais a memória, os fatores de ruído ($A, B$) não são armazenados, mas reconstruídos sob demanda a partir de uma semente armazenada usando um gerador de números aleatórios (RNG) determinístico baseado em contador.
• Loop de Treinamento: O método utiliza uma rede Leaky Integrate-and-Fire (LIF). Durante cada geração, $P$ cópias perturbadas da rede são avaliadas simultaneamente em um mini-lote do conjunto de dados N-MNIST. O sinal de fitness é derivado do negativo da entropia cruzada (log-verossimilhança) em vez da acurácia bruta, para fornecer um cenário mais suave para o otimizador. A estimativa do gradiente é reconstruída via uma formulação $(\text{diag}(f)A)^\top B$ e usada para atualizar os pesos através do otimizador Adam.
• Conjunto de Dados: Os experimentos utilizam o N-MNIST, um conjunto de dados neuromórfico nativo gerado pelo movimento de um sensor ATIS sobre imagens MNIST. Este conjunto de dados fornece fluxos de eventos assíncronos (polaridades ON/OFF) sem exigir aproximações de codificação de taxa (rate-coding).

Principais Contribuições

1. Caracterização do Eggroll em SNNs: O artigo demonstra que o Eggroll pode treinar efetivamente SNNs com funções de espigamento não diferenciáveis, permitindo o treinamento totalmente livre de gradiente sem aproximações de gradiente substituto.
2. Estudo de Ablação de Rank: Os autores mostram que a acurácia permanece relativamente estável conforme o rank $r$ diminui, identificando uma clara fronteira de Pareto entre eficiência e acurácia.
3. Avaliação Principiada: O método é testado contra o ES vanilla e o Backpropagation Through Time (BPTT) com gradiente substituto no N-MNIST, evitando as aproximações de codificação de taxa frequentemente usadas em avaliações estáticas de MNIST.

Resultados Experimentais
Os experimentos foram conduzidos em uma NVIDIA RTX 3070 Ti usando uma rede LIF totalmente conectada de duas camadas.

• Acurácia vs. Velocidade: O método proposto alcançou uma acurácia de teste de 79,21% com um rank de $r=4$. Isso representa uma queda negligenciável comparado aos 76,17% alcançados pelo ES vanilla, mas com um aceleração de 2,23× no tempo de execução (wall-clock time) por geração.
• Comparação com BPTT: Embora o BPTT com gradiente substituto tenha alcançado uma acurácia maior (94,03%), ele foi significativamente mais lento (31,69s por geração vs. 5,82s para o Eggroll $r=4$).
• Sensibilidade ao Rank: O melhor equilíbrio entre acurácia-por-segundo foi observado em $r=4$. Ranks menores (ex: $r=1$) ofereceram a execução mais rápida (3,41s) com 78,75% de acurácia, enquanto ranks mais altos mostraram maior variância.
• Convergência: As variantes do EGGROLL convergiram ligeiramente mais rápido em termos de tempo de execução do que o ES vanilla, apesar de comportamentos de convergência por geração semelhantes.

Significância e Alegações
O artigo afirma que o EGGROLL é um método viável para treinar SNNs sem depender de gradientes substitutos ou infraestrutura de backpropagation. Isso é significativo porque aborda a lacuna de compatibilidade entre algoritmos de treinamento modernos e as restrições de hardware neuromórfico, que não podem suportar os mecanismos de autograd exigidos pelos gradientes substitutos.

Os autores mantêm uma postura modesta em relação aos resultados:

• Eles reconhecem uma lacuna de acurácia entre seu método (79,21%) e o BPTT de gradiente substituto (94,03%), atribuindo isso a um orçamento computacional limitado (100 gerações) e ao uso de uma arquitetura de rede leve de duas camadas.
• Eles observam que o método ainda não foi testado em hardware neuromórfico real ou em conjuntos de dados mais complexos como CIFAR10-DVS ou N-Caltech101.
• O trabalho estabelece uma prova de conceito de que estratégias de evolução de baixo rank podem escalar para SNNs, oferecendo um claro compromisso entre eficiência computacional e acurácia do modelo, pavimentando o caminho para futuras aplicações de aprendizado em chip (on-chip learning).