Gradient-Free Training of Spiking Neural Networks via Low-Rank Evolution Strategies

Resumen Técnico: Entrenamiento de Redes Neuronales de Impulsos Libre de Gradiente mediante Estrategias de Evolución de Bajo Rango

Planteamiento del Problema
Las Redes Neuronales de Impulsos (SNN, por sus siglas en inglés) ofrecen ventajas significativas de eficiencia energética en el hardware neuromórfico (por ejemplo, Intel Loihi, IBM TrueNorth) al utilizar una computación dispersa y dirigida por eventos. Sin embargo, el entrenamiento de las SNN sigue siendo un cuello de botella importante. El problema central es la naturaleza no diferenciable de la función de generación de impulsos (una función escalón de Heaviside), lo que impide el uso del backpropagation estándar. Aunque los métodos de gradiente sustituto (surrogate-gradient) aproximan esta derivada para permitir el backpropagation, dependen de una infraestructura de autograd que es incompatible con las restricciones de aprendizaje en chip. Las Estrategias de Evolución (ES) proporcionan una alternativa libre de gradiente mediante la perturbación de pesos y la evaluación de la aptitud (fitness); sin embargo, la ES estándar escala mal con el tamaño del modelo, requiriendo una memoria de $O(Pmn)$ por generación (donde $P$ es el tamaño de la población y $m \times n$ son las dimensiones de la matriz de pesos), lo que la hace impracticable para redes grandes.

Metodología
Los autores proponen integrar Eggroll, una técnica de factorización de bajo rango para Estrategias de Evolución, en el bucle de entrenamiento de las SNN.

• Perturbación de Bajo Rango: En lugar de muestrear matrices de perturbación de rango completo $E \in \mathbb{R}^{m \times n}$, el método aproxima las perturbaciones como un producto de bajo rango $E_i = \frac{1}{\sqrt{r}} A_i B_i^\top$, donde $A_i \in \mathbb{R}^{m \times r}$ y $B_i \in \mathbb{R}^{n \times r}$. Esto reduce la complejidad de memoria por generación de $O(Pmn)$a$O(r(m+n))$.
• Reconstrucción Determinista: Para optimizar aún más la memoria, los factores de ruido ($A, B$) no se almacenan, sino que se reconstruyen bajo demanda a partir de una semilla almacenada utilizando un generador de números aleatorios (RNG) determinista basado en contadores.
• Bucle de Entrenamiento: El método emplea una red de Integración y Disparo con Fuga (LIF, por sus siglas en inglés). Durante cada generación, $P$ copias perturbadas de la red se evalúan simultáneamente en un mini-lote del conjunto de datos N-MNIST. La señal de aptitud se deriva de la entropía cruzada negativa (log-verosimilitud) en lugar de la precisión bruta para proporcionar un paisaje más suave para el optimizador. El estimador de gradiente se reconstruye mediante una formulación $(\text{diag}(f)A)^\top B$ y se utiliza para actualizar los pesos mediante el optimizador Adam.
• Conjunto de Datos: Los experimentos utilizan N-MNIST, un conjunto de datos neuromórfico nativo generado moviendo un sensor ATIS sobre imágenes de MNIST. Este conjunto de datos proporciona flujos de eventos asíncronos (polaridades ON/OFF) sin requerir aproximaciones de codificación por tasa (rate-coding).

Contribuciones Clave

1. Caracterización de Eggroll en SNN: El artículo demuestra que Eggroll puede entrenar eficazmente SNN con funciones de impulso no diferenciables, permitiendo un entrenamiento totalmente libre de gradiente sin aproximaciones de gradiente sustituto.
2. Estudio de Ablación de Rango: Los autores muestran que la precisión permanece relativamente estable a medida que el rango $r$ disminuye, identificando una clara frontera de Pareto entre eficiencia y precisión.
3. Evaluación Basada en Principios: El método se compara con la ES vanilla y el backpropagation a través del tiempo (BPTT) con gradiente sustituto sobre N-MNIST, evitando las aproximaciones de codificación por tasa que suelen utilizarse en las evaluaciones estáticas de MNIST.

Resultados Experimentales
Los experimentos se realizaron en una NVIDIA RTX 3070 Ti utilizando una red LIF totalmente conectada de dos capas.

• Precisión vs. Velocidad: El método propuesto logró una precisión de prueba del 79.21% con un rango de $r=4$. Esto representa una caída insignificante comparado con el 76.17% logrado por la ES vanilla, pero con una aceleración de 2.23× en el tiempo de ejecución (wall-clock time) por generación.
• Comparación con BPTT: Aunque el BPTT con gradiente sustituto logró una mayor precisión (94.03%), fue significativamente más lento (31.69s por generación frente a 5.82s para Eggroll $r=4$).
• Sensibilidad al Rango: El mejor equilibrio entre precisión y tiempo por segundo se observó en $r=4$. Los rangos más bajos (por ejemplo, $r=1$) ofrecieron la ejecución más rápida (3.41s) con un 78.75% de precisión, mientras que los rangos más altos mostraron un aumento en la varianza.
• Convergencia: Las variantes de EGGROLL convergieron ligeramente más rápido en términos de tiempo de ejecución que la ES vanilla, a pesar de presentar comportos de convergencia similares a nivel de generación.

Significancia y Reivindicaciones
El artículo sostiene que EGGROLL es un método viable para entrenar SNN sin depender de gradientes sustitutos o infraestructura de backpropagation. Esto es significativo porque aborda la brecha de compatibilidad entre los algoritmos de entrenamiento modernos y las restricciones del hardware neuromórfico, que no puede soportar los mecanismos de autograd requeridos por los gradientes sustitutos.

Los autores mantienen una postura modesta respecto a los resultados:

• Reconocen una brecha de precisión entre su método (79.21%) y el BPTT con gradiente sustituto (94.03%), atribuyéndolo a un presupuesto de cómputo limitado (100 generaciones) y al uso de una arquitectura de red ligera de dos capas.
• Observan que el método aún no ha sido probado en hardware neuromórfico real o en conjuntos de datos más complejos como CIFAR10-DVS o N-Caltech101.
• El trabajo establece una prueba de concepto de que las estrategias de evolución de bajo rango pueden escalar a las SNN, ofreciendo un claro compromiso entre la eficiencia computacional y la precisión del modelo, allanando el camino para futuras aplicaciones de aprendizaje en chip.