Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition

Título: Treinamento de Redes Neurais de Spiking (SNNs) Profundas sem Normalização com Inibição Lateral

1. O Problema

As Redes Neurais de Spiking (SNNs) são consideradas o paradigma central para a computação neuromórfica devido à sua eficiência energética e plausibilidade biológica. No entanto, treinar SNNs profundas apresenta um dilema fundamental:

• Compromisso entre Desempenho e Realismo Biológico: Para alcançar alto desempenho, as SNNs modernas dependem de esquemas de normalização explícitos (como Batch Normalization - BN). Embora a BN estabilize o treinamento e acelere a convergência, ela é biologicamente implausível, pois coleta estatísticas de lotes de dados (batch) que não têm análogo no cérebro biológico.
• Instabilidade em Modelos Biologicamente Plausíveis: Abordagens que priorizam o realismo biológico (como regras de aprendizado baseadas em plasticidade dependente do tempo de disparo - STDP) frequentemente falham em redes profundas devido à instabilidade no treinamento, limitando-se a arquiteturas rasas.
• Desafio da Segregação E-I: O cérebro possui uma segregação funcional clara entre neurônios excitatórios (E) e inibitórios (I), onde os pesos sinápticos de um neurônio devem manter o mesmo sinal (todos positivos ou todos negativos). Técnicas de inicialização padrão (como Xavier ou Kaiming) falham aqui, pois amostram pesos de distribuições centradas em zero, violando esse princípio biológico.

2. Metodologia Proposta

Os autores propõem um framework de aprendizado sem normalização, baseado em um circuito excitatório-inibitório (E-I) lateral inspirado nos circuitos corticais. A arquitetura substitui as camadas feedforward tradicionais por populações distintas de neurônios excitatórios e inibitórios.

Componentes Principais:

• Circuito E-I (Excitatório-Inibitório):

  • Cada camada contém neurônios excitatórios e inibitórios com uma proporção fixa de 4:1 (baseado em evidências biológicas).
  • Inibição Lateral: O sinal inibitório regula a população excitatória através de dois mecanismos:
    1. Inibição Subtrativa: Controla o equilíbrio E-I (balanceamento), subtraindo corrente da entrada excitatória.
    2. Inibição Divisiva: Controla o ganho (gain control), dividindo a entrada excitatória.
  • Modelos de Neurônios: Neurônios excitatórios usam o modelo Leaky Integrate-and-Fire (LIF). Neurônios inibitórios são modelados como unidades fast-spiking (semelhantes a ReLU), assumindo que atingem o estado estacionário instantaneamente dentro de um passo de tempo.

• E-I Init (Inicialização Dinâmica de Parâmetros):

  • Para resolver o problema de inicialização em redes profundas com restrições de sinal, os autores propõem um esquema que garante:
    1. Equilíbrio E-I Inicial: As correntes inibitórias subtrativas são inicializadas para equilibrar as correntes excitatórias esperadas, evitando saturação ou silêncio dos neurônios no início do treinamento.
    2. Controle de Ganho: A inibição divisiva é ajustada para que sua magnitude corresponda ao desvio padrão das entradas excitatórias, efetivamente normalizando a escala do sinal sem usar estatísticas de lote.
  • Os pesos são inicializados usando distribuições exponenciais para garantir que sejam não-negativos.

• E-I Prop (Propagação Estabilizada):

  • Para garantir a estabilidade do treinamento end-to-end, são introduzidas duas técnicas:
    1. Estabilização Adaptativa da Inibição Divisiva: Substitui valores zero no denominador da inibição divisiva pelo menor valor positivo encontrado na amostra (em vez de usar uma constante $\epsilon$ fixa). Isso previne explosões numéricas mantendo a faixa dinâmica.
    2. Estimador Straight-Through (STE): Como a operação de substituição de zeros não é diferenciável, o STE é usado no backward pass para permitir o fluxo de gradientes, tratando a operação como uma função identidade durante a retropropagação.
    3. Escala de Gradiente: Os gradientes dos pesos de conexão inibitória ($W_{EI}$) tendem a ser desproporcionalmente grandes. O método aplica um fator de escala ($1/d$, onde $d$ é a dimensão de entrada) para equilibrar as atualizações entre os caminhos excitatórios e inibitórios.

3. Contribuições Chave

1. Framework sem Normalização: Integração bem-sucedida de um circuito E-I canônico em SNNs profundas, eliminando a necessidade de normalização explícita (como BN).
2. Inicialização Dinâmica (E-I Init): Um esquema que estabelece um equilíbrio E-I e controle de ganho desde o primeiro passo, permitindo o treinamento de redes profundas que seriam instáveis com inicializações padrão.
3. Técnicas de Estabilização (E-I Prop): Combinação de estabilização adaptativa e STE para lidar com a não diferenciabilidade e a instabilidade numérica inerentes à inibição divisiva.
4. Validação Empírica: Demonstração de que o método alcança desempenho competitivo em diversas arquiteturas e datasets, superando outras SNNs sem normalização e competindo com métodos baseados em BN.

4. Resultados Experimentais

Os experimentos foram realizados em datasets estáticos (CIFAR-10, CIFAR-100, TinyImageNet) e neuromórficos (CIFAR10-DVS, DVS-Gesture).

• Desempenho:
  • No CIFAR-10, o modelo ResNet-18 proposto atingiu 92.05% de acurácia, superando todas as outras SNNs sem normalização e competindo com métodos que usam BN.
  • No TinyImageNet (dataset desafiador), alcançou 50.29%, demonstrando escalabilidade.
  • Em tarefas neuromórficas (DVS-Gesture), atingiu 94.86%, superando métodos baseados em BN.
• Estudos de Ablação:
  • A remoção do E-I Init ou a substituição por inicialização Kaiming padrão resultou em falha total de treinamento ou queda drástica de acurácia.
  • A estabilização adaptativa foi crucial; o uso de constantes fixas ($\epsilon$) falhou em todos os valores testados.
  • A escala de gradiente foi essencial para evitar o colapso do treinamento.
• Análise de Representação:
  • Ao contrário da BN, que produz distribuições Gaussianas centradas em zero, o circuito E-I aprende uma representação bimodal após o treinamento. Isso indica uma separação dinâmica de neurônios em populações ativadas e suprimidas, uma função distinta da normalização padrão.

5. Significado e Conclusão

Este trabalho oferece uma solução prática para o treinamento de SNNs profundas sem sacrificar o realismo biológico. Ao substituir a normalização artificial por mecanismos de inibição lateral biologicamente fundamentados, os autores:

• Ponte entre IA e Neurociência: Fornecem uma plataforma computacional para explorar como os circuitos corticais reais realizam computação em larga escala.
• Viabilidade de Hardware: O framework é compatível com hardware neuromórfico analógico ou de sinal misto (como DYNAP-SE2), onde a normalização baseada em lote é difícil de implementar, mas a inibição lateral é natural.
• Avanço Teórico: Demonstra que a inibição lateral pode desempenhar o papel de normalização e controle de ganho, resolvendo o dilema entre desempenho de alto nível e plausibilidade biológica.

O código do projeto está disponível publicamente, permitindo a reprodução e extensão dos resultados.