Combining Convolution and Delay Learning in Recurrent Spiking Neural Networks

1. Planteamiento del Problema

Las Redes Neuronales de Espigas (SNNs) son prometedoras para sistemas de borde con recursos limitados debido a su computación impulsada por eventos. Sin embargo, las Redes Neuronales de Espigas Recurrentes (RSNNs) enfrentan desafíos significativos:

• Ineficiencia de Parámetros: La arquitectura de referencia reciente, DelRec, utiliza capas recurrentes densas (conexiones "todos-con-todos"). Esto genera una matriz de pesos recurrentes de tamaño $N^2$ (donde $N$ es el número de neuronas), lo que resulta en un costo de memoria prohibitivo y una escalabilidad pobre a medida que aumenta el ancho de la capa.
• Complejidad Temporal: Modelar dependencias temporales de largo alcance en datos secuenciales (como audio) es difícil. Aunque DelRec introdujo el aprendizaje de retrasos axonales (delays) para mejorar la modelación temporal, su enfoque denso es redundante para señales que poseen correlaciones locales fuertes, como los espectrogramas de audio.
• Costo Computacional: La inferencia en arquitecturas densas es lenta, lo que dificulta su aplicación en tiempo real o en hardware neuromórfico restringido.

2. Metodología Propuesta

Los autores proponen una extensión de DelRec llamada Convolutional Recurrent Spiking Neural Network (CRSNN), que combina el aprendizaje de retrasos axonales con conexiones recurrentes convolucionales.

• Reemplazo de Conectividad Densa por Convolución 1D:

  • En lugar de una matriz de pesos densa $W^{rec} \in \mathbb{R}^{N \times N}$, se utiliza un kernel de convolución 1D ligero ($W^{conv} \in \mathbb{R}^k$).
  • Cada neurona solo recibe entrada recurrente de sí misma y de sus $k-1$ vecinos inmediatos (en este trabajo, $k=3$).
  • Esto explota la correlación local en las señales de audio (bandas de frecuencia adyacentes suelen estar correlacionadas), eliminando la necesidad de conexiones globales.

• Mecanismo de Retrasos Aprendibles (DelRec):

  • Se mantiene el mecanismo original de DelRec donde cada neurona tiene un retraso axonal aprendible $d_j$.
  • Se utiliza una función de dispersión triangular diferenciable $h_{\sigma,d}(\tau)$ para permitir la optimización mediante gradientes (SGL - Surrogate Gradient Learning).
  • Durante la inferencia, los retrasos se redondean a enteros.

• Arquitectura de la Red:

  • La red consta de capas ocultas que combinan proyecciones feedforward, neuronas LIF (Leaky Integrate-and-Fire), unidades de retraso recurrente convolucional y regularización (Dropout).
  • La capa de salida es no espigante (no-spiking) y actúa como un integrador para la clasificación final mediante softmax.

3. Contribuciones Clave

1. Arquitectura Recurrente Convolucional para DelRec: Introducción de convoluciones 1D en lugar de capas densas, aprovechando la estructura local de las señales temporales.
2. Reducción Masiva de Parámetros: Demostración de que la conectividad local combinada con retrasos aprendibles es suficiente para una modelación temporal efectiva.
3. Validación de Escalabilidad: El método escala a capas más anchas sin el costo cuadrático de parámetros, manteniendo la estabilidad del entrenamiento.
4. Estudio de Ablación: Confirmación de que el aprendizaje de retrasos es crítico, superando significativamente a las configuraciones con retrasos fijos.

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos de audio neuromórficos: SHD (Spiking Heidelberg Digits) y SSC (Spiking Speech Commands).

• Eficiencia de Parámetros:

  • Para una capa con $N=256$ neuronas, DelRec requiere 65,792 parámetros recurrentes. La propuesta requiere solo 259 (3 pesos de convolución + 256 retrasos).
  • Esto representa una reducción del 99.6% en los parámetros recurrentes.

• Precisión (SHD):

  • La propuesta con 4 capas alcanzó una precisión del 91.51% ± 0.70%, comparable al DelRec original (91.72% con 2 capas) y superior al DelRec con 4 capas (90.41%), lo que indica que la versión densa original sufre de sobreajuste al aumentar la profundidad.
  • La desviación estándar más baja sugiere dinámicas de entrenamiento más estables.

• Velocidad de Inferencia:

  • La arquitectura propuesta es 52 veces más rápida en tiempo de inferencia que DelRec (ej. 1.51 ms vs 38.03 ms en SHD con 4 capas).

• Estudio de Ablación (Retrasos):

  • Reemplazar los retrasos aprendibles por fijos (ej. $d_j=1$) causó una caída de más de 5 puntos porcentuales en precisión en SHD (de 91.51% a 86.28%), demostrando la importancia crítica de la adaptación temporal dinámica.

• Desempeño en SSC:

  • Se obtuvo un 78.59% de precisión (vs 82.58% de DelRec), mostrando una brecha de ~4 puntos, aunque con una ventaja masiva en eficiencia y velocidad.

5. Significado e Impacto

Este trabajo es significativo porque:

• Desbloquea la escalabilidad en SNNs: Resuelve el cuello de botella de memoria de las RSNNs densas, permitiendo redes más profundas y anchas viables para hardware de recursos limitados.
• Valida la eficiencia biológica: Confirma que, al igual que en sistemas biológicos donde las conexiones suelen ser locales, las redes artificiales pueden lograr un rendimiento de vanguardia sin necesidad de conectividad global densa.
• Habilita aplicaciones en tiempo real: La aceleración de 52x en la inferencia hace que estas redes sean adecuadas para aplicaciones de streaming de audio en dispositivos de borde (edge devices) y hardware neuromórfico.
• Refuerza el papel de los retrasos: Establece que los retrasos axonales aprendibles son un mecanismo fundamental para capturar dependencias temporales de largo alcance, incluso cuando se reduce drásticamente la conectividad espacial.

En resumen, la propuesta demuestra que es posible lograr un equilibrio óptimo entre precisión, eficiencia de parámetros y velocidad de inferencia en SNNs recurrentes, haciendo viable su despliegue en sistemas de inteligencia artificial de bajo consumo.