Spiking Neural Network Architecture Search: A Survey

Resumo Técnico: Pesquisa de Arquitetura de Redes Neurais de Spiking (SNNaS)

1. Problema e Motivação

O crescimento da demanda por Inteligência Artificial (IA) em ambientes com restrições de recursos (como edge computing e IoT) exige arquiteturas de redes neurais extremamente eficientes energeticamente. As Redes Neurais de Spiking (SNNs), inspiradas no processamento biológico do cérebro, emergem como uma solução promissora devido à sua capacidade de processamento baseado em eventos e baixa potência.

No entanto, projetar arquiteturas SNN ótimas enfrenta desafios únicos:

• Complexidade de Treinamento: A função de "spike" (pulsos) é não diferenciável, dificultando o uso de métodos tradicionais de retropropagação (backpropagation).
• Dinâmica Temporal: Diferente das Redes Neurais Artificiais (ANNs) convencionais, as SNNs operam em múltiplos passos de tempo, exigindo considerações sobre o tempo de chegada dos pulsos.
• Restrições de Hardware: A implementação em hardware neuromórfico (ex: Loihi, TrueNorth) impõe limitações específicas (precisão, conectividade, ausência de clock global) que muitas vezes são ignoradas por métodos de busca de arquitetura projetados para ANNs.
• Dependência de Design Manual: A maioria das SNNs atuais é criada através de adaptação manual de arquiteturas de ANNs (ex: VGG, ResNet) ou por tentativa e erro, não aproveitando plenamente as características nativas de pulsos.

O objetivo deste trabalho é analisar a Pesquisa de Arquitetura de Redes Neurais de Spiking (SNNaS), focando na necessidade de uma abordagem de co-design de hardware e software para automatizar a descoberta de arquiteturas eficientes.

2. Metodologia e Abordagem

O artigo é uma pesquisa abrangente (survey) que estrutura o estado da arte em SNNaS através de três pilares fundamentais, ilustrados no fluxo de trabalho da Figura 1 do artigo:

• Espaço de Busca (Search Space):

  • Analisa diferentes tipos de espaços: globais (não estruturados), sequenciais, baseados em células (DAGs), hierárquicos e específicos de hardware.
  • Destaca a evolução de substituições simples (ReLU $\to$ LIF) para representações específicas de SNN, como grafos acíclicos direcionados (DAGs) e motivos biologicamente inspirados.
  • Inclui a busca em nível de neurônio (otimização de parâmetros como vazamento, limiar e constantes de tempo).

• Estratégias de Busca (Search Strategies):

  • Métodos Evolutivos: Algoritmos genéticos e estratégias evolutivas (ex: EONS, GAQ-SNN) que não dependem de gradientes, sendo adequados para otimização multi-objetivo.
  • Aprendizado por Reforço (RL): Uso de agentes para explorar espaços de design, equilibrando precisão e métricas de hardware (ex: ANCoEF).
  • Otimização Bayesiana: Uso de modelos substitutos para reduzir o custo de avaliação em espaços complexos.
  • Métodos Baseados em Gradiente: Adaptação de técnicas como DARTS para SNNs usando gradientes substitutos (surrogate gradients) e relaxação contínua (ex: SpikeDHS, MA-DARTS).
  • Métodos Híbridos: Combinação das abordagens acima para mitigar limitações individuais.

• Avaliação e Aceleração (Evaluation & Acceleration):

  • Co-exploração: Abordagens que buscam simultaneamente a arquitetura da rede e a configuração do hardware, superando a otimização sequencial.
  • Métricas Específicas: Uso de contagem de pulsos (NoS), operações sinápticas (SynOps) e métricas de bit-width em vez de apenas FLOPs, que são enganosas para SNNs.
  • Aceleração de Busca: Técnicas para reduzir o custo computacional, incluindo:
    • Zero-shot/Training-free: Métricas baseadas em estatísticas de inicialização (ex: SAHD, GMG) que não requerem treinamento.
    • One-shot/Supernet: Uso de uma super-rede pré-treinada para inferir o desempenho de sub-redes.
    • Redução de Fidelidade: Uso de menos épocas, dados ou passos de tempo durante a busca.

3. Principais Contribuições

O artigo oferece as seguintes contribuições-chave para a comunidade científica:

1. Perspectiva de Co-Design: Estabelece que o co-design de hardware e software não é opcional, mas essencial. As dinâmicas temporais e a computação baseada em eventos das SNNs criam incompatibilidades fundamentais com métodos de NAS focados em ANNs.
2. Taxonomia de Espaços de Busca: Categoriza e analisa criticamente os diferentes espaços de busca, destacando que espaços baseados em células e hierárquicos, que capturam melhor a computação de pulsos, superam abordagens sequenciais simples.
3. Análise de Restrições de Hardware: Detalha como plataformas assíncronas e baseadas em eventos (como Loihi) impõem restrições severas (ex: falta de suporte a conexões de shortcut ou precisão temporal), exigindo que a busca de arquitetura seja consciente dessas limitações desde o início.
4. Métricas de Desempenho: Argumenta que métricas tradicionais (FLOPs) são inadequadas e defende o uso de SynOps, contagem de pulsos e métricas de energia/área específicas de hardware.
5. Identificação de Lacunas: Aponta a falta de ferramentas padronizadas, benchmarks específicos para SNN (como o SpikeNAS-Bench) e a necessidade de maior reprodutibilidade no campo.

4. Resultados e Insights Chave

A partir da análise de dezenas de trabalhos, os autores extraem os seguintes insights:

• Co-exploração Supera Otimização Sequencial: Frameworks que buscam conjuntamente arquitetura neural e configurações de hardware (ex: ANCoEF, ANAS) alcançam produtos de energia-atraso (EDP) significativamente melhores do que métodos que otimizam essas dimensões separadamente.
• Dinâmicas Temporais Subexploradas: Muitas metodologias atuais ainda ignoram fatores temporais críticos (como o timing do spike e otimização de passos de tempo), tratando SNNs como ANNs estáticas.
• Estratégias de Aceleração Transformadoras: Métodos de avaliação sem treinamento (zero-shot) e supernets reduziram os custos de busca em ordens de grandeza, tornando a SNNaS viável para ambientes com recursos limitados.
• Limitações de Aceleração: Estratégias de aceleração herdadas de ANNs (como compartilhamento de pesos) podem falhar em SNNs devido à natureza não diferenciável e às dinâmicas temporais descontínuas, levando a desordem na classificação de arquiteturas.

5. Significado e Direções Futuras

Este trabalho é significativo por fornecer uma visão holística do campo emergente da SNNaS, servindo como um recurso fundamental para pesquisadores e praticantes. Ele destaca que o potencial total da computação neuromórfica só será desbloqueado através de uma abordagem integrada que considere simultaneamente algoritmos, dinâmicas temporais e restrições físicas de hardware.

Direções Futuras Identificadas:

• Desenvolvimento de benchmarks padronizados e diversificados que incluam tarefas nativas de SNN (baseadas em eventos) além de classificação de imagens estáticas.
• Avanço em métodos de otimização multi-objetivo que equilibrem precisão, energia, latência e esparsidade de forma robusta.
• Criação de ferramentas e frameworks de código aberto estáveis para resolver a crise de reprodutibilidade.
• Exploração de arquiteturas resilientes a ataques adversariais e adaptáveis a diferentes plataformas de hardware neuromórfico.

Em suma, o artigo conclui que a SNNaS é um campo crítico para a próxima geração de IA eficiente em energia, mas exige uma mudança de paradigma: abandonar a adaptação simples de ANNs e abraçar o co-design específico para pulsos e hardware.