CATFormer: When Continual Learning Meets Spiking Transformers With Dynamic Thresholds

Resumo Técnico: CATFormer

1. O Problema: Esquecimento Catastrófico em Aprendizado Contínuo

O artigo aborda um desafio fundamental na Inteligência Artificial física (robótica, dispositivos de borda): o esquecimento catastrófico. Redes neurais profundas tradicionais (MLPs, CNNs, Transformers) tendem a perder conhecimento adquirido anteriormente quando treinadas sequencialmente em novos dados, especialmente em cenários onde os dados não estão disponíveis de uma só vez e a distribuição muda ao longo do tempo.

• Limitações Atuais:
  • Revisão de Dados (Rehearsal): Métodos que armazenam e reprocessam dados antigos (buffers de replay) são frequentemente inviáveis em agentes físicos devido a restrições de energia, memória onboard, privacidade e regulamentação.
  • Redes de Spiking (SNNs): Embora as SNNs sejam energeticamente eficientes, as abordagens existentes para Aprendizado Incremental de Classes (CIL) baseadas em SNNs sofrem quedas bruscas de desempenho à medida que a quantidade de tarefas aumenta, especialmente em arquiteturas baseadas em CNNs.
  • Escalabilidade: Métodos baseados em arquitetura que adicionam módulos ou redes específicas por tarefa enfrentam sobrecarga computacional e de memória.

2. Metodologia: CATFormer

Os autores propõem o CATFormer (Context Adaptive Threshold Transformer), um framework escalável baseado em Spiking Vision Transformers que elimina a necessidade de buffers de dados (rehearsal-free). A abordagem é inspirada na neuromodulação biológica (ex.: acetilcolina), onde a excitabilidade neuronal é modulada dinamicamente para permitir a retenção de memória sem interferência.

Componentes Principais:

• Arquitetura Base: Utiliza o SpikFormer, uma extensão de Transformers de Visão para SNNs, que combina a capacidade de capturar dependências globais com a eficiência energética de computações esparsas baseadas em eventos.
• Neurônio DTLIF (Dynamic Threshold Leaky Integrate-and-Fire):
  • O núcleo da inovação. Em vez de apenas ajustar sinapses (plasticidade sináptica), o CATFormer modula a excitabilidade neuronal através de limiares de disparo (thresholds) adaptativos.
  • Cada canal possui um limiar de disparo $\phi^{(k)}$ específico para a tarefa $k$, aprendido via descida de gradiente.
  • Isso permite que a rede ajuste sua sensibilidade a novos padrões sem sobrescrever as representações de tarefas anteriores.
• Mecanismo de Seleção de Cabeça Dinâmica com Portão (G-DHS):
  • Um MLP de portão (Gating MLP) atua como um roteador. Durante a inferência, ele analisa as características de entrada para prever a tarefa atual e seleciona o "cabeça" (head) e o limiar de disparo específicos para aquela tarefa.
  • Isso permite uma inferência agnóstica à tarefa, direcionando o fluxo de dados corretamente.
• Protocolo de Treinamento em Duas Etapas:
  1. Fase 1 (Task 0): Treinamento conjunto do backbone, limiares iniciais e a primeira cabeça.
  2. Fase 2 (Tasks k > 0): O backbone (pesos do encoder) é congelado. Apenas os novos limiares dinâmicos ($\phi^{(k)}$) e a nova cabeça de classificação ($W_k$) são otimizados. O MLP de portão é treinado com dados acumulados para aprender a rotear as tarefas.

3. Contribuições Chave

1. Primeiro Framework CIL para Spiking Vision Transformers: Preenche uma lacuna significativa no campo, aplicando Transformers esparsos ao aprendizado contínuo.
2. Mecanismo de Adaptação Biologicamente Inspirado: Propõe que a retenção de conhecimento em SNNs depende mais da modulação de limiares de disparo (excitabilidade) do que apenas da plasticidade sináptica, permitindo aprendizado sem crescimento de rede ou armazenamento de dados brutos.
3. Escalabilidade e "Esquecimento Reverso": Demonstra que o modelo não apenas evita o esquecimento, mas pode melhorar sua precisão à medida que mais tarefas são adicionadas (até 100 tarefas), um fenômeno chamado de "reverse forgetting".
4. Eficiência de Recursos: Elimina a necessidade de buffers de replay, tornando-o ideal para hardware com restrições severas de memória e energia.

4. Resultados Experimentais

O modelo foi avaliado em conjuntos de dados estáticos (CIFAR-10/100, Tiny-ImageNet) e neuromórficos (CIFAR10-DVS, SHD).

• Desempenho em Sequências Longas (CIFAR-100):
  • Em comparação com métodos de ponta (EWC, SI, iCaRL, DER++, DSD-SNN), o CATFormer superou todos significativamente.
  • Tendência Inversa: Enquanto outros métodos caem de ~60% para ~50% de precisão ao passar de 10 para 50 tarefas, o CATFormer aumentou de 68,33% para 75,66%.
• Eficiência de Parâmetros:
  • O modelo base tem ~10,5M de parâmetros. Ao aprender novas tarefas, apenas ~1,4M de parâmetros são atualizados (os limiares e a cabeça), enquanto o backbone permanece congelado.
  • O armazenamento de limiares é extremamente leve (apenas ~64 KB para 50 tarefas em FP32).
• Dados Neuromórficos:
  • No conjunto de dados SHD (áudio) e CIFAR10-DVS, o CATFormer alcançou desempenho superior (ex.: 87,85% em SHD com 10 tarefas) sem qualquer estratégia de replay, igualando ou superando métodos que usam buffers de dados.
• Estudos de Ablação:
  • A remoção dos limiares dinâmicos (Fixed Threshold) causou esquecimento catastrófico (queda para 42,87%), validando que a adaptação do limiar é o componente crítico para a estabilidade.
  • A estrutura do Transformer (attention) provou ser essencial, pois substituí-la por mapeamento identidade reduziu drasticamente a precisão.

5. Significado e Impacto

O CATFormer representa um avanço crucial para a IA Física e Robótica:

• Viabilidade em Hardware Real: Ao eliminar buffers de replay e o crescimento de rede, o modelo torna possível o aprendizado contínuo em dispositivos de borda com memória limitada e restrições de privacidade.
• Adaptação de Longo Prazo: A capacidade de manter ou melhorar o desempenho ao longo de centenas de tarefas o torna ideal para robôs que operam em ambientes dinâmicos e imprevisíveis por meses ou anos.
• Eficiência Energética: A combinação de SNNs com Transformers e a ausência de replay reduzem drasticamente o custo computacional e energético, alinhando-se com os requisitos de sustentabilidade da IA.

Em suma, o CATFormer demonstra que a modulação dinâmica de limiares neuronais é uma estratégia poderosa e biologicamente plausível para superar o esquecimento catastrófico, estabelecendo um novo padrão para aprendizado contínuo eficiente em SNNs.