SiLIF: Structured State Space Model Dynamics and Parametrization for Spiking Neural Networks

1. Problema e Motivação

As Redes Neurais de Spiking (SNNs) são consideradas alternativas promissoras de baixo consumo energético aos modelos de aprendizado profundo tradicionais, especialmente em hardware neuromórfico, devido à sua comunicação baseada em eventos esparsos e mecanismos de reset não lineares. No entanto, o treinamento de SNNs enfrenta desafios significativos:

• Instabilidade de Gradientes: A propagação de gradientes através de dinâmicas recorrentes não lineares e a natureza binária dos spikes frequentemente levam a problemas de gradientes que desaparecem ou explodem, limitando a escalabilidade e o desempenho.
• Limitações de Modelos Existentes: Modelos de neurônios existentes, como o Adaptive Leaky Integrate-and-Fire (AdLIF) e o Resonate and Fire (RF), embora eficazes, muitas vezes não alcançam o estado da arte (SOTA) em tarefas de reconhecimento de fala e áudio, ou exigem configurações rígidas que restringem a dinâmica do neurônio.
• Falta de Conexão com SSMs: Modelos de Espaço de Estado Estruturados (SSMs), como o S4, demonstraram desempenho superior no modelamento de sequências longas devido à sua dinâmica recorrente linear e parametrizações estáveis. Contudo, a integração dessas vantagens nos neurônios de spiking não foi totalmente explorada.

O objetivo deste trabalho é superar essas limitações criando neurônios de spiking que herdem a estabilidade de treinamento e a riqueza dinâmica dos SSMs modernos.

---

2. Metodologia

Os autores propõem dois novos modelos de neurônios de spiking inspirados em SSMs, denominados SiLIF e C-SiLIF. A abordagem central é estabelecer uma ponte teórica entre as dinâmicas de SSMs (como o modelo S4) e neurônios de spiking de segunda ordem.

A. SiLIF (SSM-Inspired Leaky Integrate-and-Fire)

Este modelo é uma evolução do neurônio AdLIF, incorporando três características-chave dos SSMs:

1. Parametrização Logarítmica: Em vez de treinar diretamente os fatores de decaimento discretos ($\alpha, \beta$), o modelo treina seus equivalentes no domínio contínuo ($\lambda = \tau^{-1}$) e aplica uma reparametrização logarítmica ($\lambda_{log}$). Isso garante que os parâmetros sejam estritamente positivos e melhora a estabilidade numérica, evitando gradientes explosivos.
2. Passo de Tempo Aprendível ($\Delta t$): Diferente de trabalhos anteriores que usam um $\Delta t$ fixo, o SiLIF trata o passo de tempo de discretização como um parâmetro aprendível para cada neurônio. Isso permite que a rede adapte dinamicamente a escala temporal de diferentes neurônios.
3. Sem Clamping Explícito: Graças à reparametrização exponencial, os fatores de decaimento efetivos permanecem naturalmente no regime estável ($0 \le \alpha, \beta \le 1$), eliminando a necessidade de clamping artificial que poderia limitar a exploração do espaço de parâmetros.

B. C-SiLIF (Complex-valued SSM-Inspired LIF)

Este modelo estende o SiLIF para o domínio dos números complexos, inspirado no modelo S4D (Diagonal S4) e no neurônio Resonate and Fire (RF):

1. Estado Complexo: O neurônio mantém um estado complexo ($x = x_{real} + i \cdot x_{imag}$), o que permite uma representação mais compacta e eficiente de dinâmicas oscilatórias.
2. Inicialização S4D-Lin: Utiliza uma inicialização específica derivada de projeções de polinômios ortogonais (S4D-Lin), otimizada para estabilidade e riqueza dinâmica.
3. Mecanismo de Reset Adaptado: Incorpora um mecanismo de reset que injeta feedback dos eventos de spike no estado neuronal, mantendo a não linearidade essencial das SNNs enquanto preserva a estrutura de espaço de estado.

C. Integração de Atrasos Sinápticos

Os autores também implementam uma variante com atrasos sinápticos aprendíveis ("SiLIF + Delays"), permitindo que cada sinapse tenha uma latência de transmissão específica, o que enriquece ainda mais a capacidade de processamento temporal.

---

3. Contribuições Principais

1. Ponte Teórica: Estabelecem conexões teóricas claras entre SSMs e SNNs, revelando insights sobre dinâmicas de treinamento compartilhadas e específicas.
2. Novos Modelos de Neurônios: Propõem o SiLIF e o C-SiLIF, que integram dinâmicas e parametrizações derivadas de SSMs (reparametrização logarítmica, $\Delta t$ aprendível, inicialização complexa) em neurônios de spiking baseados em reset.
3. Desempenho SOTA: Demonstram melhorias significativas de precisão em tarefas de classificação de áudio, superando modelos anteriores baseados em reset e, em alguns casos, modelos SSM puros.
4. Eficiência Pareto-Ótima: Conseguem um equilíbrio superior entre precisão e eficiência computacional. O SiLIF com atrasos supera modelos SSM tradicionais com metade do custo computacional (medido em Operações Sinápticas - SOPs), graças à esparsidade inerente dos spikes.

---

4. Resultados Experimentais

Os modelos foram avaliados em conjuntos de dados de reconhecimento de fala e palavras-chave: SHD (Heidelberg Digits), SSC (Spiking Speech Commands) e GSC (Google Speech Commands).

• Precisão (Accuracy):

  • No conjunto SSC, o SiLIF alcançou 82.03% (4ms bins) e o C-SiLIF 81.59%, superando todos os modelos anteriores sem atrasos e competindo com os melhores modelos com atrasos.
  • No conjunto GSC, o SiLIF atingiu 95.49% (1024 unidades ocultas), superando o cAdLIF e o RadLIF. A versão com atrasos (SiLIF + Delays) alcançou 95.88%, estabelecendo um novo SOTA geral para SNNs nesta tarefa.
  • No conjunto SHD, o C-SiLIF obteve 95.55%, superando modelos anteriores de menor escala.

• Eficiência (Custo Computacional):

  • Ao comparar Precisão vs. Operações Sinápticas (SOPs), os modelos SiLIF demonstraram ser Pareto-ótimos.
  • O SiLIF + Delays superou modelos SSM lineares (como Event-SSM e S4D) com metade do custo computacional.
  • O SiLIF padrão manteve-se Pareto-ótimo com apenas um terço do orçamento computacional do S4D padrão.

• Análise de Dinâmica:

  • Estudos de ablação mostraram que a reparametrização logarítmica e o $\Delta t$ aprendível são cruciais. Remover a reparametrização causou uma queda de >3% na precisão.
  • O uso de um $\Delta t$ homogêneo (fixo) em vez de heterogêneo (aprendível) resultou em uma queda de >6%, evidenciando a importância de permitir diferentes regimes dinâmicos.
  • A análise dos autovalores da matriz de transição mostrou que os modelos SiLIF/C-SiLIF cobrem um espectro muito mais amplo de dinâmicas (incluindo regimes oscilatórios complexos) em comparação com o AdLIF ou RF tradicionais.

---

5. Significado e Impacto

Este trabalho representa um avanço significativo no campo das SNNs para processamento de sequências temporais:

• Validação de SSMs em SNNs: Demonstra que as técnicas de estabilização e parametrização desenvolvidas para SSMs (como S4) são diretamente aplicáveis e benéficas para neurônios de spiking, resolvendo problemas históricos de instabilidade de treinamento.
• Eficiência para Hardware de Borda: Ao alcançar desempenho de ponta com menos operações sinápticas, os modelos SiLIF são ideais para implementação em hardware neuromórfico de baixo consumo, onde a eficiência energética e a latência são críticas.
• Flexibilidade Dinâmica: A capacidade de explorar regimes oscilatórios e integradores através de parâmetros aprendíveis abre novas possibilidades para o design de arquiteturas de SNNs mais expressivas e adaptáveis a diferentes tarefas temporais.

Em resumo, o SiLIF e o C-SiLIF estabelecem um novo padrão de desempenho para redes neurais de spiking em tarefas de áudio, provando que a fusão de dinâmicas de espaço de estado estruturadas com a esparsidade de spikes é uma via promissora para a próxima geração de modelos de aprendizado profundo eficientes.