SiLIF: Structured State Space Model Dynamics and Parametrization for Spiking Neural Networks

1. Planteamiento del Problema

Las Redes Neuronales de Espigas (Spiking Neural Networks - SNNs) son una alternativa prometedora de bajo consumo energético a las redes neuronales artificiales (ANN), especialmente en hardware neuromórfico, gracias a su comunicación basada en eventos y activaciones binarias dispersas. Sin embargo, entrenar SNNs profundas mediante retropropagación a través del tiempo (BPTT) presenta desafíos significativos:

• Inestabilidad en el entrenamiento: La propagación de gradientes a través de dinámicas recurrentes no lineales y activaciones binarias a menudo conduce a gradientes que desaparecen o explotan.
• Limitaciones de escalabilidad: Estas inestabilidades dificultan el entrenamiento de modelos grandes y su rendimiento en tareas de secuencias largas o complejas.
• Rendimiento subóptimo: Aunque existen modelos como el Adaptive Leaky Integrate-and-Fire (AdLIF) o Resonate and Fire (RF), su rendimiento en benchmarks de reconocimiento de voz aún no alcanza el estado del arte (SOTA) en comparación con modelos de redes neuronales tradicionales o modelos de espacio de estado (SSM).

El artículo propone abordar estos problemas inspirándose en el éxito de los Modelos de Espacio de Estado Estructurados (SSMs), como el modelo S4, que han demostrado un entrenamiento estable y un alto rendimiento en secuencias largas gracias a sus dinámicas recurrentes lineales y parametrizaciones específicas.

2. Metodología

Los autores establecen un puente teórico entre las dinámicas de los SNNs y los SSMs, proponiendo dos nuevos modelos de neuronas de espiga basados en la estructura del modelo S4:

A. El Modelo SiLIF (SSM-Inspired LIF)

Este modelo es una mejora del neurona Adaptive Leaky Integrate-and-Fire (AdLIF) que incorpora características clave de los SSMs:

• Reparametrización Logarítmica: En lugar de entrenar directamente los factores de decaimiento discretos ($\alpha, \beta$) o los pasos de tiempo fijos, el modelo entrena sus contrapartes en el dominio continuo ($\lambda_\alpha, \lambda_\beta$) y el paso de tiempo ($\Delta t$) en el dominio logarítmico. Esto asegura que los parámetros sean estrictamente positivos, mejora la estabilidad numérica y evita gradientes explosivos o que desaparecen.
• Paso de Tiempo Aprendible: A diferencia de los estudios previos que usan un $\Delta t$ fijo dependiente del conjunto de datos, SiLIF trata $\Delta t$ como un parámetro aprendible para cada neurona, permitiendo una mayor flexibilidad para cubrir diferentes regímenes dinámicos.
• Sin restricciones explícitas: La transformación exponencial natural mantiene los factores de decaimiento en un régimen estable ($0 \le \alpha, \beta \le 1$) sin necesidad de clamping (acotación) explícito.

B. El Modelo C-SiLIF (Complex-valued SSM-Inspired LIF)

Este modelo extiende SiLIF incorporando la representación de estado complejo y la inicialización específica de los SSMs diagonales (S4D):

• Estados Complejos: Utiliza un estado complejo ($x = x_{real} + i x_{imag}$) que corresponde a un sistema real de $2 \times 2$ con una matriz antisimétrica estructurada. Esto permite dinámicas oscilatorias (regímenes resonantes) que son difíciles de lograr con modelos puramente reales.
• Inicialización S4D-Lin: Adopta la inicialización basada en proyecciones de polinomios ortogonales del modelo S4D, lo que proporciona dinámicas de estado iniciales óptimas y estables.
• Mecanismo de Reinicio (Reset): Se adapta el mecanismo de reinicio de las neuronas de espiga (reset) para funcionar con estados complejos, inyectando retroalimentación desde los eventos de espiga al estado neuronal.

Ambos modelos integran la no linealidad y la dispersidad de las SNNs con la estabilidad y eficiencia de entrenamiento de los SSMs.

3. Contribuciones Clave

1. Puente Teórico: Establece conexiones teóricas claras entre las dinámicas de entrenamiento de los SSMs y las SNNs, revelando cómo la parametrización y la inicialización de los SSMs pueden estabilizar y mejorar las SNNs.
2. Nuevos Modelos de Neuronas: Propone dos modelos de neuronas de espiga basadas en reinicio (reset-based) que incorporan dinámicas y parametrizaciones derivadas de SSMs: SiLIF y C-SiLIF.
3. Rendimiento SOTA: Demuestra mejoras significativas en precisión en tareas de clasificación de audio, superando a los modelos anteriores basados en reinicio y a menudo superando a los propios modelos SSM puros.
4. Eficiencia Computacional: Logra un equilibrio óptimo (Pareto) entre precisión y eficiencia. Los modelos SiLIF superan a los modelos SSM en tareas de reconocimiento de voz utilizando la mitad de las operaciones sinápticas (SOPs), especialmente cuando se combinan con retrasos sinápticos aprendibles.

4. Resultados Experimentales

Los modelos fueron evaluados en conjuntos de datos de reconocimiento de palabras clave y comandos de voz: SHD (Spiking Heidelberg Digits), SSC (Spiking Speech Commands) y GSC (Google Speech Commands).

• Precisión:
  • En SSC, SiLIF alcanzó un 82.03% de precisión (4ms), superando a modelos anteriores como cAdLIF (80.44%) y S5-RF (78.8%).
  • En GSC, SiLIF con 1024 unidades ocultas alcanzó un 95.49%, superando a modelos con retrasos y recurrentes previos.
  • En SHD, C-SiLIF alcanzó un 95.6% de precisión, superando a modelos SOTA anteriores.
• Eficiencia (Análisis de Costo Computacional vs. Precisión):
  • Los modelos SiLIF y C-SiLIF demostraron ser óptimos de Pareto en la relación precisión-eficiencia.
  • En tareas de audio, los modelos SiLIF superaron a modelos SSM lineales (como S4D y Event-SSM) y a híbridos SNN-SSM (como SpikingSSM) utilizando aproximadamente la mitad de las operaciones sinápticas (SOPs).
  • La versión con retrasos sinápticos (SiLIF + Delays) estableció nuevos récords SOTA en GSC y SSC, manteniendo una eficiencia superior a los modelos SSM puros.
• Análisis de Ablación: Se demostró que la reparametrización logarítmica y el paso de tiempo entrenable ($\Delta t$) son críticos. Eliminar la reparametrización causó una caída de rendimiento de más del 3%, y usar un $\Delta t$ fijo homogéneo causó una caída de más del 6%.

5. Significado e Impacto

Este trabajo es significativo porque:

• Valida la convergencia de paradigmas: Muestra que las técnicas avanzadas de entrenamiento de modelos de espacio de estado (SSMs) pueden transferirse exitosamente a las SNNs, resolviendo problemas históricos de inestabilidad en el entrenamiento de redes recurrentes biológicas.
• Habilita SNNs más potentes: Permite que las SNNs alcancen un rendimiento competitivo con las ANN y SSMs en tareas de secuencia, sin sacrificar la eficiencia energética inherente a la computación basada en eventos.
• Implicaciones para Hardware Neuromórfico: Al lograr un alto rendimiento con menos operaciones sinápticas, los modelos SiLIF son candidatos ideales para la implementación en hardware neuromórfico en el borde (edge computing), donde la eficiencia energética y la latencia son críticas.
• Nuevos Regímenes Dinámicos: La capacidad de explorar un espectro más amplio de dinámicas neuronales (incluyendo oscilaciones complejas) gracias a la inicialización y parametrización SSM abre nuevas vías para el diseño de arquitecturas de procesamiento temporal más robustas.

En resumen, SiLIF representa un avance sustancial en la capacidad de las redes neuronales de espiga para aprender dinámicas temporales complejas de manera estable y eficiente, cerrando la brecha de rendimiento con los modelos de deep learning modernos.