Sharpness Aware Surrogate Training for Spiking Neural Networks

1. O Problema: A Lacuna de Transferência Surrogado-Hard

As Redes Neurais de Spikes (SNNs) são ideais para hardware neuromórfico devido ao seu suporte nativo a computação esparsa e baseada em eventos. No entanto, o treinamento supervisionado é desafiador porque a função de "spike" (disparo) é não diferenciável (descontínua).

• Método Atual: A comunidade utiliza gradientes surrogados, onde a derivada da função de spike é substituída por uma aproximação suave durante o retropropagação (backpropagation).
• O Desafio Principal (Transfer Gap): Durante o treinamento, a rede usa uma função de ativação suave (surrogada). Na implantação (inferência), essa função é substituída por um limiar rígido ("hard spike").
  • Se muitos potenciais de membrana estiverem próximos ao limiar, a substituição de uma ativação suave (ex: 0.4) por um spike binário (0 ou 1) pode alterar drasticamente as decisões de disparo.
  • Essas mudanças locais acumulam-se ao longo do tempo e das camadas, resultando em uma grande queda de desempenho entre a avaliação "surrogada" (alta precisão) e a avaliação "hard spike" (baixa precisão).
• Fragilidade: O treinamento de SNNs com múltiplos passos temporais é sensível a perturbações e ruído de otimização, especialmente quando as dinâmicas desdobradas comportam-se como sistemas recorrentes rígidos.

2. Metodologia: SAST (Sharpness Aware Surrogate Training)

O autor propõe o SAST, que aplica o conceito de Minimização Consciente de Nitidez (SAM) ao treinamento de SNNs, mas com uma mudança fundamental na formulação.

• Abordagem Tradicional vs. SAST:

  • Tradicional: Forward com Hard Spike + Backward com Gradiente Surrogado (o gradiente é enviesado/biased).
  • SAST: Forward com Surrogado Suave + Backward com Gradiente Exato.
  • Ao treinar a rede usando o modelo forward suave (onde a função de ativação é $\sigma$ e não $H$), o gradiente calculado via retropropagação no tempo (BPTT) é exato para o objetivo suave sendo otimizado.

• Otimização SAM:
  O SAST minimiza o pior caso de perda em uma vizinhança dos parâmetros:
  $$\tilde{L}_{SAM}(w) := \max_{\|\epsilon\|_2 \leq \rho} \tilde{L}_S(w + \epsilon)$$
  Onde $\tilde{L}_S$ é a perda empírica do modelo surrogado suave. Isso incentiva a convergência para soluções "planas" (flat) no espaço de parâmetros, o que teoricamente melhora a robustez e a generalização.

• Algoritmo: Utiliza uma aproximação de um passo de subida (ascent) para encontrar a perturbação $\epsilon$ e depois atualiza os parâmetros usando um segundo minibatch independente para o gradiente de descida.

3. Contribuições Principais

1. Integração Teórica de SAM em SNNs: Introdução do SAST, integrando SAM ao treinamento forward surrogado, eliminando a incompatibilidade entre forward hard e backward surrogado.
2. Garantias Teóricas Rigorosas:
   • Derivação de limites compactos de estabilidade de estado e Lipschitz de entrada sob suposições de contração e limitação.
   • Prova de que o objetivo empírico surrogado é suave ($\beta$-smooth).
   • Estabelecimento de um limite de aproximação de primeira ordem para SAM e uma garantia de convergência não convexa para o SAST estocástico.
3. Proposição de Mecanismo Local: Uma proposição separada que liga o controle de gradientes de parâmetros por amostra a normas menores de gradientes de entrada, sob condições de condicionamento local da Jacobiana. Isso oferece uma explicação teórica para a redução de sensibilidade.
4. Protocolo de Avaliação Rigoroso: Definição de controles estritos para avaliação prática, incluindo:
   • Comparação com baselines "compute-matched" (mesmo custo computacional).
   • Avaliação "hard spike" sem calibração pós-treinamento (fairness).
   • Diagnósticos de alinhamento teoria-prática (fatores de contração observados).

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados N-MNIST e DVS Gesture.

• Redução da Lacuna de Transferência (Transfer Gap): Este é o efeito mais claro.
  • N-MNIST: A precisão "hard spike" saltou de 65,7% (baseline) para 94,7% (com SAST, $\rho=0.30$), enquanto a precisão surrogada permaneceu alta (~97%). A lacuna de transferência reduziu de 0,30 para 0,02.
  • DVS Gesture: A precisão "hard spike" melhorou de 31,8% para 63,3% (com SAST, $\rho=0.40$).
• Robustez: Modelos treinados com SAST mostraram maior robustez contra corrupção de eventos (event-drop) e perturbações temporais em comparação com o baseline.
• Custo Computacional: O SAST requer aproximadamente o dobro do tempo de treinamento por época (devido a duas avaliações de gradiente), mas a melhoria na precisão de inferência justifica o custo em cenários de implantação onde o hardware exige spikes reais.
• Observação Importante: O ganho principal não é a melhoria da precisão surrogada (que já é alta), mas sim a estabilidade da transferência para o modelo de spikes reais.

5. Significado e Conclusão

O trabalho demonstra que tratar a lacuna entre o treinamento surrogado e a inferência hard spike como uma métrica de primeira classe é crucial.

• Validação Teórica: Ao treinar o modelo suave e aplicar SAM, o artigo fornece garantias matemáticas de estabilidade e convergência que não existiam para métodos anteriores que misturavam forward hard e backward surrogado.
• Impacto Prático: O SAST permite que SNNs treinadas com backpropagation sejam implantadas em hardware neuromórfico com desempenho muito superior ao obtido com métodos tradicionais, reduzindo drasticamente a necessidade de calibração pós-treinamento ou ajuste de limiares.
• Limitações e Futuro: O artigo reconhece que as garantias teóricas dependem de suposições específicas (ex: uso de Average Pooling em vez de MaxPool). O próximo passo crítico é validar se os ganhos persistem quando comparados a baselines mais baratos (como calibração de limiar simples) em cenários de custo computacional estritamente igualado.

Em resumo, o SAST oferece uma ponte teórica e prática sólida para tornar o treinamento de SNNs mais robusto e confiável para aplicações reais em hardware de eventos.