SRAM-Based Compute-in-Memory Accelerator for Linear-decay Spiking Neural Networks

A continuación presento un resumen técnico detallado del artículo "SRAM-Based Compute-in-Memory Accelerator for Linear-decay Spiking Neural Networks", estructurado según los puntos solicitados.

1. El Problema

Las Redes Neuronales de Spikes (SNN) son una alternativa biológicamente inspirada a las redes profundas convencionales, destacando por su eficiencia energética y computación impulsada por eventos. Sin embargo, su implementación en hardware enfrenta un cuello de botella crítico:

• Desajuste de Paralelismo: Mientras que las operaciones sinápticas (multiplicación matriz-vector, $W \times I$) se pueden paralelizar masivamente en arquitecturas de Computación en Memoria (CIM) con complejidad $O(1)$, la actualización del estado de la neurona (membrana) sigue siendo un proceso serial.
• Cuello de Botella de Actualización: En las SNN tradicionales, cada neurona debe actualizar su potencial de membrana mediante un proceso de decaimiento exponencial. Esto requiere un acceso secuencial a los estados de las neuronas, resultando en una latencia de $O(N)$ y un alto consumo de energía por acceso a memoria.
• Limitación Actual: Esta discrepancia entre la computación sináptica altamente paralela y la actualización de estado serial convierte a la actualización de estado en el principal limitante de latencia y energía en la inferencia de SNN a gran escala.

2. Metodología

Los autores proponen una arquitectura CIM basada en SRAM que co-optimiza el algoritmo y el hardware para resolver este problema mediante dos enfoques principales:

A. Nivel Algorítmico: Neurona LD-LIF (Linear Decay Leaky Integrate-and-Fire)

• Aproximación Lineal: Se reemplaza el decaimiento exponencial de la membrana ($V_{mem}(t) = V_0 e^{-t/\tau}$) por una aproximación de decaimiento lineal.
• Simplificación de Operaciones: La ecuación de actualización se convierte en una suma/resta simple: $V_{mem}[t+1] = V_{mem}[t] - \beta + W \cdot Input[t]$.
  • Esto elimina la necesidad de multiplicadores o tablas de búsqueda para el decaimiento, reduciendo la complejidad computacional.
• Parámetro Aprendible: Se introduce un parámetro de decaimiento $\beta$ aprendible mediante descenso de gradiente. Aunque simplifica la dinámica, el aprendizaje de $\beta$ permite a la red ajustar la dinámica del potencial de membrana para diferentes capas, manteniendo la precisión del modelo.

B. Nivel Arquitectónico: Actualización Paralela en Memoria

• Celda de Memoria de Potencial (VMEM): Se diseñó una celda de memoria específica dentro del array de SRAM que integra la lógica de actualización.
  • Utiliza dos bloques SRAM de 8T (VMEM A y VMEM B) que operan en modo "ping-pong".
  • Incluye un Elemento de Procesamiento (PE) con un sumador completo (Full Adder) y multiplexores.
• Mecanismo de Actualización In-Place:
  • La actualización del potencial de membrana se realiza directamente dentro del array de SRAM, eliminando la necesidad de mover datos fuera de la memoria para procesarlos y volver a escribirlos.
  • El proceso se completa en 3 ciclos de reloj para todas las neuronas en paralelo:
    1. Lectura de $V_{init}$ y suma con el resultado MAC.
    2. Lectura del resultado intermedio y resta del decaimiento ($\beta$) y el umbral ($TH$).
    3. Decisión de disparo (spike): Si el resultado es negativo (signo 1), se genera un spike y se resetea a 0; si no, se restaura el umbral.
  • Ventaja de Diseño: Al restar el umbral junto con el decaimiento, se utiliza el bit de signo para la comparación, eliminando la necesidad de circuitos de comparación dedicados.

3. Contribuciones Clave

1. Co-diseño Algoritmo-Hardware: La propuesta no solo acelera la operación sináptica, sino que reestructura fundamentalmente la dinámica de actualización de la neurona para que sea compatible con la arquitectura CIM.
2. Arquitectura CIM Basada en SRAM: Aprovecha la compatibilidad CMOS, la velocidad y la estabilidad de la SRAM (superior a RRAM, PCM, MRAM para actualizaciones frecuentes) para implementar actualizaciones de estado en paralelo.
3. Eliminación de la Latencia Serial: Transforma la actualización de estado de un proceso serial $O(N)$ a uno paralelo $O(1)$ dentro del array de memoria.
4. Eficiencia Energética sin Pérdida Significativa: Logra reducir drásticamente la energía y la latencia manteniendo una precisión comparable a los modelos de decaimiento exponencial tradicionales.

4. Resultados

El método fue evaluado en cargas de trabajo de SNN estándar (N-MNIST, SHD, DVS Gesture) utilizando un proceso de tecnología TSMC de 65 nm.

• Precisión:
  • La pérdida de precisión es mínima (aprox. 1% o menos) en comparación con el modelo LIF exponencial (v-LIF).
  • Ejemplos: N-MNIST (97.95% vs 96.99%), SHD (78.80% vs 77.69%), DVS Gesture (91.67% vs 91.29%).
  • Los parámetros $\beta$ aprendidos varían según la capa y el dataset, demostrando la adaptabilidad del modelo.
• Latencia:
  • La arquitectura propuesta actualiza 32 potenciales de membrana en paralelo en solo 21 ns (3 ciclos a 0.9V).
  • Esto representa una reducción de latencia de ~30 veces en comparación con una arquitectura serial convencional que opera a 200 MHz.
• Consumo de Energía y Eficiencia:
  • Energía por Operación Sináptica (SOP): 0.09 pJ/SOP.
  • Eficiencia Energética: 20.7 TOPS/W.
  • Comparativa: Logra una reducción en el consumo de energía SOP de 1.1x a 16.7x y un aumento en la eficiencia energética de 15.9x a 69x frente a otras implementaciones de hardware de SNN (incluyendo diseños digitales y mixtos recientes).

5. Significado e Impacto

Este trabajo demuestra que para lograr un procesamiento neuromórfico escalable, de bajo consumo y en tiempo real, es insuficiente solo acelerar la multiplicación matriz-vector ($W \times I$). Es fundamental optimizar la dinámica de actualización de estado dentro de las arquitecturas CIM.

La propuesta ofrece una vía escalable para superar la brecha de rendimiento entre la computación sináptica paralela y la actualización de neuronas serial, estableciendo un nuevo estándar para aceleradores de SNN basados en SRAM que equilibran rendimiento, fiabilidad y eficiencia energética.