Hyperdimensional Decoding of Spiking Neural Networks

Título: Decodificação Hiperdimensional de Redes Neurais de Spikes (SNNs)

Autores: Cedrick Kinavuidi, Luca Peres e Oliver Rhodes (Universidade de Manchester, Reino Unido).

1. O Problema

As Redes Neurais de Spikes (SNNs) são consideradas a terceira geração de modelos de redes neurais, inspiradas na biologia do cérebro, com o potencial de oferecer eficiência energética superior às Redes Neurais Artificiais (ANNs) tradicionais, especialmente quando executadas em hardware neuromórfico. No entanto, a adoção generalizada das SNNs enfrenta desafios significativos:

• Desempenho Inferior: Frequentemente atingem menor precisão em tarefas de aprendizado em comparação com ANNs.
• Limitações de Decodificação: Os métodos de decodificação atuais, como Decodificação por Taxa (Rate Decoding) e Decodificação por Latência (Latency Decoding), possuem trade-offs negativos. A decodificação por taxa exige muitas atividades de spikes (alto consumo de energia e latência), enquanto a decodificação por latência, embora mais eficiente, geralmente sofre com menor precisão e robustez ao ruído.
• Representação Rígida: A maioria das SNNs utiliza codificação one-hot (um neurônio de saída por classe), o que limita a expressividade e não se alinha bem com a representação distribuída observada no cérebro.
• Incapacidade de Lidar com Classes Desconhecidas: Modelos tradicionais não conseguem identificar facilmente classes para as quais não foram treinados.

2. Metodologia

O artigo propõe uma nova arquitetura chamada SNN-HDC, que integra Redes Neurais de Spikes com Computação Hiperdimensional (HDC).

• Conceito Central: Em vez de usar uma camada de saída one-hot, a SNN-HDC gera um hipervetor binário de alta dimensão. Cada dimensão do hipervetor corresponde a um neurônio de saída específico.
• Mecanismo de Codificação:
  • O hipervetor é construído de forma event-driven (orientada a eventos).
  • Inicialmente, todas as dimensões são zero.
  • Se um neurônio de saída dispara um spike durante o processamento de um dado, a dimensão correspondente no hipervetor é alterada de 0 para 1.
  • Isso cria uma representação distribuída onde a presença de spikes define o vetor, ignorando a contagem exata ou o tempo preciso, focando na presença do evento.
• Treinamento e Perda:
  • O modelo é treinado usando retropropagação através do tempo (BPTT) com gradientes substitutos (surrogate gradients).
  • A função de perda é calculada comparando o hipervetor de saída gerado pela rede com um hipervetor alvo da classe (gerado aleatoriamente, mas pseudo-ortogonal aos outros).
  • A perda é baseada no Erro Quadrático Médio (MSE) entre o hipervetor gerado e o alvo, onde dimensões que devem ser 1 não penalizam múltiplos spikes, mas dimensões que devem ser 0 penalizam proporcionalmente ao número de spikes.
• Decodificação: A classificação é feita calculando a Distância de Hamming Normalizada entre o hipervetor de saída e os hipervetores de classe conhecidos. A classe com a menor distância (maior similaridade) é escolhida.
• Vantagens Arquiteturais: Elimina a necessidade de multiplicação de matrizes para codificação (apenas operações de adição/lógica), o que é mais eficiente energeticamente em hardware neuromórfico.

3. Principais Contribuições

1. Novo Método de Decodificação: Introdução de uma técnica que combina SNNs e HDC diretamente, permitindo que a rede saia com hipervetores em vez de classes discretas.
2. Robustez e Eficiência: Demonstração de que a representação hiperdimensional oferece maior robustez ao ruído e menor consumo de energia comparado aos métodos tradicionais.
3. Detecção de Classes Desconhecidas: O modelo pode identificar amostras de classes para as quais não foi treinado, baseando-se na dissimilaridade do hipervetor de saída em relação aos vetores de classe conhecidos.
4. Baixa Latência Contínua: Ao contrário da decodificação por taxa que precisa acumular spikes ao longo de uma janela de tempo, o SNN-HDC pode tomar decisões à medida que o hipervetor se forma, permitindo inferência contínua.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados neuromórficos DvsGesture (gestos manuais) e SL-Animals-DVS (sinais de linguagem de animais), comparando o SNN-HDC com modelos de decodificação por taxa e latência (mesma profundidade e mais profundos).

• Precisão:
  • No DvsGesture, o SNN-HDC alcançou 96,59% de precisão, superando a decodificação por taxa de mesma profundidade (95,08%) e ficando muito próxima da versão mais profunda (97,35%).
  • No SL-Animals-DVS, o SNN-HDC foi o modelo com maior precisão (74,13%), superando todos os modelos de taxa e latência testados.
• Eficiência Energética (Consumo Estimado):
  • O SNN-HDC reduziu o consumo de energia estimado entre 1,24x e 3,67x no DvsGesture e entre 1,38x e 2,27x no SL-Animals-DVS em comparação com os modelos de taxa e latência.
  • Isso deve-se à redução drástica no número total de spikes disparados pela rede.
• Latência:
  • O SNN-HDC apresentou latência de classificação menor ou comparável aos modelos de taxa, permitindo decisões mais rápidas em fluxos de dados contínuos.
• Classes Desconhecidas:
  • No DvsGesture, ao treinar o modelo apenas com 10 das 11 classes disponíveis, o SNN-HDC conseguiu identificar 100% das amostras da classe desconhecida (o 11º conceito aleatório) quando configurado com um limiar de distância de Hamming adequado.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na área de computação neuromórfica ao demonstrar que a combinação de SNNs com Computação Hiperdimensional resolve várias limitações dos métodos de decodificação tradicionais.

• Alternativa Viável: O SNN-HDC oferece uma alternativa viável e superior à decodificação por taxa e latência, equilibrando alta precisão, baixa latência e eficiência energética.
• Escalabilidade: A expressividade dos hipervetores cresce exponencialmente com a dimensão, permitindo que o modelo lide com um número massivo de classes sem a necessidade de aumentar linearmente o número de neurônios de saída (como na codificação one-hot), o que é crucial para aplicações em larga escala.
• Aplicabilidade Real: A capacidade de operar em dados contínuos, identificar classes não vistas e operar com alta eficiência energética torna esta abordagem ideal para implantação em dispositivos de borda (edge computing) e sensores neuromórficos em tempo real.

Em resumo, o SNN-HDC não apenas melhora o desempenho das redes neurais de spikes, mas também as aproxima mais dos princípios de representação distribuída do cérebro, superando as limitações de métodos baseados em contagem ou tempo único de disparo.