Spiking Neural Network inference on FPGAs with hls4ml

Resumo Técnico: Inferência de Redes Neurais de Espigamento em FPGAs com hls4ml

Declaração do Problema
As Redes Neurais de Espigamento (SNNs) oferecem um framework de aprendizado de máquina naturalmente temporal, capaz de realizar inferência de baixa latência ao propagar informações através de espigamentos (spikes) discretos e manter estados internos de neurônios. Embora processadores neuromórficos dedicados (ex: Loihi, SpiNNaker) utilizem arquiteturas assíncronas e orientadas a eventos para explorar a esparsidade de dados visando eficiência energética, muitos sistemas científicos de inferência em tempo real dependem de FPGAs síncronas convencionais. As implementações existentes em FPGA frequentemente exigem frameworks customizados e independentes que não se integram aos fluxos de trabalho padrão de deep learning. Há uma necessidade de um método para implantar SNNs treinadas em frameworks modernos (como PyTorch) em firmware de FPGA padrão usando Síntese de Alto Nível (HLS) sem sacrificar a semântica temporal dos modelos de espigamento, mantendo simultaneamente os pipelines de otimização simplificados disponíveis para Redes Neurais Artificiais (ANNs).

Metodologia
Este trabalho apresenta uma extensão do toolkit hls4ml para suportar a implantação orientada a clock de SNNs treinadas em PyTorch (especificamente usando a biblioteca snnTorch) em firmware de FPGA via backends Vivado/Vitis.

• Arquitetura e Fluxo de Trabalho: A implementação mapeia módulos snnTorch para a representação de camada intermediária do hls4ml. O fluxo segue o pipeline padrão do hls4ml: conversão de modelo, simulação C, síntese HLS e exportação. Diferente do hardware neuromórfico assíncrono, esta abordagem implementa um modelo de execução orientado a clock e síncrono, onde as atualizações de potencial do neurônio, computações de camadas densas e atualizações de leitura (readout) são agendadas por pipelines de HLS.
• Modelos de Neurônio: A implementação atual suporta o neurônio Leaky Integrate-and-Fire (LIF). Durante a conversão, módulos Leaky do snnTorch são mapeados para camadas LIFNeuron ou IFNeuron (quando o parâmetro de vazamento $\beta=1$). Estas camadas mantêm estados internos estáticos (potenciais de membrana) que persistem através de chamadas de função superiores até que uma janela de leitura configurada seja alcançada.
• Mecanismos de Leitura (Readout): Uma nova camada SNNReadout é introduzida para lidar com a regra de decisão ao final de uma janela de tempo fixa. Dois modos são suportados:
  1. Leitura de Membrana (Membrane Readout): Acumula os potenciais de membrana finais da camada de saída sem gerar espigamentos.
  2. Leitura de Contagem de Espigamentos (Spike-Count Readout): Conta os espigamentos discretos emitidos pela camada final ao longo da duração da janela.
• Treinamento com Consciência de Quantização (QAT): Para comprimir as redes para hardware, um algoritmo de QAT customizado é aplicado tanto às camadas lineares quanto aos neurônios de espigamento. O treinamento utiliza gradientes substitutos (surrogate gradients) para retropropagação. O passo de propagação direta (forward pass) do QAT quantiza entradas, pesos, vieses, parâmetros de neurônio e atualizações de membrana usando estimadores de passagem direta (straight-through estimators), correspondendo ao comportamento de arredondamento e saturação dos tipos de ponto fixo alvo (ex: ap_fixed).
• Configuração Experimental: O sistema foi avaliado utilizando o conjunto de dados Heidelberg Spiking Digits (SHD), que consiste em 20 classes de dígitos falados codificados como trens de espigamento. Os dados foram pré-processados em 140 passos de tempo (janela de 1.4s) com 70 características de entrada agrupadas. Uma arquitetura de rede simples foi utilizada: entrada de 70 dimensões, uma única camada oculta de 64 neurônios LIF e uma saída de 20 dimensões.

Principais Resultados
Os autores validaram o design através de comparações de referência de software, simulação C de HLS e síntese completa no Vivado em uma FPGA Xilinx xczu7ev-ffvc1156-2-e.

• Comparação de Acurácia e Leitura: SNNs de leitura de membrana alcançaram maior acurácia do que as SNNs de contagem de espigamentos (96,79% validação / 75,81% teste vs. 94,56% / 73,94% para modelos FP32). A leitura de membrana foi selecionada para a análise subsequente de hardware.
• Precisão e Fidelidade: Uma varredura de precisão (8 a 24 bits) demonstrou que larguras de bits de 10 ou mais saturam o desempenho, atingindo acurácias de validação de ~96% e acurácias de teste de ~74%. O acordo entre a simulação C do HLS e a referência quantizada do PyTorch foi extremamente alto (>98% para larguras de bits >10), confirmando uma implementação de alta fidelidade.
• Latência e Recursos: O design sintetizado alcançou uma latência de inferência de aproximadamente 33,6 µs por evento de 140 passos de tempo (15 ciclos por passo de tempo $\times$ 140 passos de tempo $\times$ período de clock de 16 ns).
  • Utilização de Recursos: A quantização da rede para ap_fixed<10,4> resultou em economias significativas de recursos em comparação com precisões mais altas (ex: 24 bits) enquanto mantinha a acurácia. A configuração de 10 bits utilizou ~109k LUTs e 0 DSPs, enquanto a de 24 bits exigiu ~63k LUTs e 1.662 DSPs.
• Métricas de Esparsidade: Usando métricas do NeuroBench, o estudo descobriu que o disparo da camada oculta é altamente esparso (~92% dos neurônios permanecem silenciosos por atualização). No entanto, como a implementação atual é orientada a clock, esses padrões de esparsidade não se traduzem em redução de potência ou latência na FPGA, pois as computações são realizadas independentemente da atividade de espigamento.

Significância e Alegações
O artigo alega abrir o toolkit hls4ml para a computação neuromórfica, fornecendo um caminho simplificado para otimizar, sintetizar e implantar modelos de SNN para inferência em tempo real em FPGAs padrão.

• Integração: Ele integra com sucesso a semântica de SNN no framework hls4ml existente, permitindo que as SNNs sejam otimizadas usando os mesmos procedimentos bem testados das ANNs.
• Estabelecimento de Baseline: O trabalho estabelece um baseline prático para implantar SNNs em fluxos de trabalho científicos de FPGA, demonstrando que SNNs orientadas a clock podem alcançar inferência de baixa latência (~34 µs) com alta acurácia em hardware padrão.
• Limitações e Trabalhos Futuros: Os autores notam modestamente que a abordagem atual orientada a clock não realiza automaticamente os benefícios de economia de energia dos dados de entrada esparsos encontrados em sistemas neuromórficos assíncronos. Eles identificam como trabalhos futuros a adição de suporte para neurônios recorrentes (RLeaky), fronteiras de sequência de comprimento variável e execução controlada (gated execution) para explorar a esparsidade para redução de potência, bem como a expansão de aplicações para detecção de anomalias e aprendizado por reforço.

O artigo conclui que, embora a implementação atual ainda não iguale a eficiência energética do hardware neuromórfico dedicado para dados esparsos, ela fornece uma base robusta e de alta fidelidade para a implantação de modelos de espigamento treinados em aplicações científicas de tempo crítico usando fluxos de síntese de FPGA padrão.