Spiking Neural Network inference on FPGAs with hls4ml

Resumen Técnico: Inferencia de Redes Neuronales de Picos en FPGAs con hls4ml

Planteamiento del Problema
Las Redes Neuronales de Picos (SNN, por sus siglas en inglés) ofrecen un marco de aprendizaje automático naturalmente temporal capaz de realizar inferencias de baja latencia mediante la propagación de información a través de picos discretos y el mantenimiento de estados internos de las neuronas. Mientras que los procesadores neuromórficos dedicados (por ejemplo, Loihi, SpiNNaker) aprovechan arquitecturas asíncronas y basadas en eventos para explotar la dispersión de datos en favor de la eficiencia energética, muchos sistemas científicos de inferencia en tiempo real dependen de FPGAs sincrónicas convencionales. Las implementaciones actuales en FPGA suelen requerir marcos de trabajo independientes y personalizados que no se integran con los flujos de trabajo estándar de aprendizaje profundo. Existe la necesidad de un método para desplegar SNN entrenadas en marcos modernos (como PyTorch) en firmware de FPGA estándar mediante Síntesis de Alto Nivel (HLS) sin sacrificar la semántica temporal de los modelos de picos, manteniendo al mismo tiempo los canales de optimización simplificados disponibles para las Redes Neuronales Artificiales (ANN).

Metodología
Este trabajo presenta una extensión del toolkit hls4ml para soportar el despliegue basado en reloj de SNN entrenadas en PyTorch (específicamente utilizando la librería snnTorch) en firmware de FPGA vía backends de Vivado/Vitis.

• Arquitectura y Flujo de Trabajo: La implementación mapea módulos de snnTorch a la representación de capas intermedias de hls4ml. El flujo de trabajo sigue el pipeline estándar de hls4ml: conversión del modelo, simulación en C, síntesis HLS y exportación. A diferencia del hardware neuromórfico asíncrono, este enfoque implementa un modelo de ejecución basado en reloj y sincrónico, donde las actualizaciones del potencial neuronal, los cálculos de las capas densas y las actualizaciones de lectura son programados por pipelines de HLS.
• Modelos de Neurona: La implementación actual soporta la neurona de Integración y Disparo con Fuga (LIF, por sus siglas en inglés). Durante la conversión, los módulos Leaky de snnTorch se mapean a capas LIFNeuron o IFNeuron (cuando el parámetro de fuga $\beta=1$). Estas capas mantienen estados internos estáticos (potenciales de membrana) que persisten a través de llamadas a funciones superiores hasta que se alcanza una ventana de lectura configurada.
• Mecanismos de Lectura (Readout): Se introduce una nueva capa SNNReadout para gestionar la regla de decisión al final de una ventana de tiempo fija. Se soportan dos modos:
  1. Lectura de Membrana (Membrane Readout): Acumula los potenciales de membrana finales de la capa de salida sin generar picos.
  2. Lectura de Conteo de Picos (Spike-Count Readout): Cuenta los picos discretos emitidos por la capa final durante la duración de la ventana.
• Entrenamiento con Conciencia de Cuantización (QAT): Para comprimir las redes para hardware, se aplica un algoritmo de QAT personalizado tanto a las capas lineales como a las neuronas de picos. El entrenamiento utiliza gradientes sustitutos (surrogate gradients) para la retropropagación. El paso hacia adelante (forward pass) del QAT cuantiza entradas, pesos, sesgos, parámetros de neurona y actualizaciones de membrana utilizando estimadores de paso directo (straight-through estimators), coincidiendo con el comportamiento de redondeo y saturación de los tipos de punto fijo de destino (ej. ap_fixed).
• Configuración Experimental: El sistema fue evaluado utilizando el conjunto de datos Heidelberg Spiking Digits (SHD), el cual consiste en 20 clases de dígitos hablados codificados como trenes de picos. Los datos fueron preprocesados en 140 pasos temporales (ventana de 1.4s) con 70 características de entrada agrupadas. Se utilizó una arquitectura de red simple: entrada de 70 dimensiones, una única capa oculta de 64 neuronas LIF y una salida de 20 dimensiones.

Resultados Clave
Los autores validaron el diseño mediante comparaciones de referencia de software, simulación C de HLS y síntesis completa de Vivado en una FPGA Xilinx xczu7ev-ffvc1156-2-e.

• Comparación de Precisión y Lectura: Las SNN con lectura de membrana lograron una mayor precisión que las SNN con lectura de conteo de picos (96.79% de validación / 75.81% de test frente a 94.56% / 73.94% para modelos FP32). Se seleccionó la lectura de membrana para el análisis de hardware subsiguiente.
• Precisión y Fidelidad: Un barrido de precisión (de 8 a 24 bits) demostró que los anchos de bits de 10 o más saturan el rendimiento, alcanzando precisiones de validación de ~96% y precisiones de test de ~74%. El acuerdo entre la simulación C de HLS y la referencia cuantizada de PyTorch fue extremadamente alto (>98% para anchos de bits >10), confirmando una implementación de alta fidelidad.
• Latencia y Recursos: El diseño sintetizado logró una latencia de inferencia de aproximadamente 33.6 µs por evento de 140 pasos temporales (15 ciclos por paso temporal $\times$ 140 pasos temporales $\times$ periodo de reloj de 16 ns).
  • Utilización de Recursos: La cuantización de la red a ap_fixed<10,4> resultó en ahorros significativos de recursos en comparación con precisiones más altas (ej. 24 bits) manteniendo la precisión. La configuración de 10 bits utilizó ~109k LUTs y 0 DSPs, mientras que la de 24 bits requirió ~63k LUTs y 1,662 DSPs.
• Métricas de Dispersión (Sparsity): Utilizando métricas de NeuroBench, el estudio encontró que el disparo en la capa oculta es altamente disperso (~92% de las neuronas permanecen silenciosas por actualización). Sin embargo, debido a que la implementación actual está basada en reloj, estos patrones de dispersión no se traducen en una reducción de potencia o latencia en la FPGA, ya que los cálculos se realizan independientemente de la actividad de los picos.

Significancia y Reivindicaciones
El artículo afirma que abre el toolkit hls4ml al cómputo neuromórfico, proporcionando un camino optimizado para la síntesis y el despliegue de modelos SNN para inferencia en tiempo real en FPGAs estándar.

• Integración: Integra con éxito la semántica de las SNN en el marco de trabajo existente de hls4ml, permitiendo que las SNN sean optimizadas utilizando los mismos procedimientos probados que las ANN.
• Establecimiento de Línea Base: El trabajo establece una línea base práctica para el despliegue de SNN en flujos de trabajo científicos de FPGA, demostrando que las SNN basadas en reloj pueden lograr inferencia de baja latencia (~34 µs) con alta precisión en hardware estándar.
• Limitaciones y Trabajo Futuro: Los autores señalan modestamente que el enfoque actual basado en reloj no logra automáticamente los beneficios de ahorro de energía de los sistemas neuromórficos asíncronos para datos dispersos. Identifican como trabajo futuro la adición de soporte para neuronas recurrentes (RLeaky), límites de secuencias de longitud variable y ejecución controlada (gated execution) para explotar la dispersión para la reducción de potencia, así como la expansión de aplicaciones a la detección de anomalías y el aprendizaje por refuerzo.

El artículo concluye que, si bien la implementación actual aún no iguala la eficiencia energética del hardware neuromórfico dedicado para datos dispersos, proporciona una base robusta y de alta fidelidad para el despliegue de modelos de picos entrenados en aplicaciones científicas de tiempo crítico utilizando flujos de síntesis de FPGA estándar.