STAER: Temporal Aligned Rehearsal for Continual Spiking Neural Network

Resumo Técnico de STAER: Rehearsal de Alinhamento Temporal para Redes Neurais Pulsadas Contínuas

Definição do Problema
As Redes Neurais Pulsadas (SNNs) possuem uma dinâmica temporal inerente e capacidades de processamento orientadas a eventos que, teoricamente, as tornam bem adequadas para o Aprendizado Contínuo (CL), particularmente em cenários de Aprendizado Incremental de Classe (CIL), onde novas classes são introduzidas sequencialmente sem identificadores de tarefa. No entanto, a aplicação de SNNs ao CIL tem sido dificultada por dois problemas principais: esquecimento catastrófico e desalinhamento temporal. Embora as Redes Neurais Artificiais (ANNs) padrão tenham progredido utilizando técnicas como Replay de Experiência (ER) e destilação de conhecimento (ex: DER, DER++), esses métodos frequentemente falham em abordar a natureza única da informação baseada em pulsos (spikes). Em SNNs, o conhecimento é codificado não apenas nas taxas de disparo, mas também na precisão do tempo dos pulsos. À medida que novas tarefas são aprendidas, a estrutura temporal dos padrões de pulsos que codificam classes passadas sofre um desvio (drift), levando à interferência. Funções de perda padrão (ex: baseadas em contagens de pulsos) e estratégias de replay ingênuas falham em penalizar esses desvios temporais ou recuperar a dinâmica temporal correta, resultando em um desempenho inferior em comparação com as baselines de ANNs.

Metodologia
Os autores propõem o STAER (Spiking Temporal Alignment with Experience Replay), um framework projetado para preservar explicitamente a estrutura temporal das representações aprendidas em SNNs. A metodologia integra três componentes principais:

1. Backbone Pulsante Profundo: A abordagem utiliza uma arquitetura ResNet19 profunda adaptada para SNNs, empregando neurônios Leaky Integrate-and-Fire (LIF) treinados via gradiente substituto (surrogate gradient descent). Isso garante escalabilidade para benchmarks de imagens complexas como Sequential-MNIST e Sequential-CIFAR10.
2. Mecanismo de Expansão e Contração Temporal: Inspirado em processos de memória biológica onde traços de recuperação podem sofrer compressão ou dilatação, o método armazena amostras de replay no buffer com três resoluções temporais distintas: $T$ (original), $T/2$ (contração) e $2T$ (expansão). Isso é alcançado replicando imagens estáticas sobre diferentes janelas de tempo durante a fase de codificação.
3. Perda de Alinhamento Temporal Soft-DTW: Para abordar o desvio temporal, o STAER introduz uma perda de alinhamento diferenciável baseada em Soft Dynamic Time Warping (Soft-DTW). Durante o treinamento em uma nova tarefa, a rede computa uma perda de Entropia Cruzada (Cross-Entropy) nos dados atuais e uma perda de Alinhamento Temporal ($L_{TA}$) nos dados de replay. A perda $L_{TA}$ compara os logits de saída da rede atual (na resolução $T$) contra os logits armazenados de modelos passados em todas as três resoluções ($T, T/2, 2T$). Isso força a rede a manter a fidelidade de suas respostas temporais entre as tarefas, independentemente das taxas de amostragem.

A função objetivo total é definida como $L = L_{CE} + \beta \cdot L_{TA}$, onde $\beta$ equilibra o aprendizado da tarefa e a consistência temporal.

Principais Contribuições

• Novo Framework de Alinhamento Temporal: O artigo apresenta o primeiro método de SNN-CL que utiliza Soft-DTW diferenciável para alinhar explicitamente os tempos de pulsos entre tarefas. Isso visa diretamente o desvio temporal que causa o esquecimento catastrófico em domínios de pulsos.
• Estratégia de Codificação Híbrida: A abordagem adota um princípio de codificação dupla, codificando conjuntamente a informação via taxas de disparo (logits médios) e tempo de pulso (alinhamento temporal), alinhando-se aos princípios biológicos de computação neural.
• Escalabilidade para Arquiteturas Profundas: Diferente de trabalhos anteriores de SNN-CL que frequentemente dependem de redes rasas, este método implementa com sucesso o aprendizado contínuo em um backbone ResNet19 profundo, demonstrando que SNNs profundas podem ser efetivamente treinadas para CIL.

Resultados Experimentais
O método foi avaliado nos benchmarks Sequential-MNIST e Sequential-CIFAR10 sob protocolos de Aprendizado Incremental de Classe.

• Desempenho: O STAER atinge o estado da arte entre os métodos de SNN, alcançando até 98,48% de acurácia no Sequential-MNIST e 83,53% no Sequential-CIFAR10 (com um tamanho de buffer de 5120 e $T=4$).
• Comparação com Baselines: O método supera consistentemente as variantes de SNN de ER, DER e DER++. Notavelmente, o STAER reduz a lacuna de desempenho entre SNNs e fortes baselines de ANN, alcançando uma acurácia competitiva ou superior aos modelos de ANN em certas configurações restritas.
• Redução de Esquecimento: Resultados empíricos mostram que o STAER produz as menores taxas de esquecimento na maioria das configurações, superando inclusive as baselines de ANN nos cenários mais restritos (pequenos tamanhos de buffer).
• Estudos de Ablação: Experimentos confirmam que o alinhamento temporal explícito é crítico. Remover os termos de contração/expansão (definindo $\alpha_1 = \alpha_2 = 0$) degrada significativamente o desempenho, validando a utilidade do alinhamento temporal de múltiplas resoluções. O método é mais eficaz com um peso de alinhamento moderado ($\beta = 10^{-4}$) e pesos equilibrados de compressão/dilatação.

Significância e Alegações
O artigo afirma que o STAER posiciona as SNNs como soluções viáveis e escaláveis para o aprendizado vitalício (lifelong learning) nativo de pulsos. Ao preservar explicitamente a estrutura temporal através do alinhamento Soft-DTW e da expansão/contração temporal inspirada na biologia, o framework mitiga o esquecimento catastrófico e a interferência temporal que anteriormente limitavam as SNNs em CIL. Os autores asseguram que seu trabalho demonstra que SNNs profundas podem igualar ou superar as baselines tradicionais de ANN enquanto preservam dinâmicas biologicamente plausíveis, pavimentando o caminho para futuras aplicações em conjuntos de dados neuromórficos do mundo real. O trabalho sugere que manter tanto a informação baseada em taxa quanto a temporal é crucial para um comportamento adaptativo robusto em redes neurais pulsadas.