SRAM-Based Compute-in-Memory Accelerator for Linear-decay Spiking Neural Networks

1. Problématique

Les Réseaux de Neurones à Impulsions (SNN) sont une alternative prometteuse aux réseaux de neurones profonds classiques, offrant une efficacité énergétique et une parcimonie temporelles élevées. Cependant, leur déploiement matériel se heurte à un goulot d'étranglement majeur : la mise à jour sérielle des états membranaires des neurones.

Bien que les architectures de calcul en mémoire (CIM) puissent paralléliser efficacement les opérations synaptiques (produit matrice-vecteur $W \times I$) avec une complexité $O(1)$, l'étape suivante de mise à jour de l'état du neurone (décroissance et accumulation) nécessite souvent un accès séquentiel à chaque neurone. Cela entraîne une latence et une consommation d'énergie en $O(N)$ (où $N$ est le nombre de neurones), rendant cette étape de mise à jour d'état le facteur limitant dominant pour l'inférence des SNN à grande échelle. De plus, les modèles de neurones classiques (comme le LIF - Leaky Integrate-and-Fire) utilisent une décroissance exponentielle qui nécessite des multiplicateurs ou des tables de recherche coûteux en matériel.

2. Méthodologie

Les auteurs proposent une accélération CIM basée sur la mémoire SRAM qui co-optimise l'algorithme et le matériel pour résoudre ces problèmes.

A. Niveau Algorithme : Neuron LD-LIF (Linear Decay)

• Approximation Linéaire : Au lieu de la décroissance exponentielle classique ($V_{mem}(t) = V_0 e^{-t/\tau_m}$), l'article remplace cette opération par une approximation linéaire simple :
  $$V_{mem}[t + 1] = V_{mem}[t] - \beta + W \cdot Input[t]$$
  où $\beta$ est un paramètre de décroissance linéaire fixe (ou apprenable).
• Avantage : Cette substitution transforme les multiplications coûteux en simples additions/soustractions, éliminant le besoin de multiplicateurs matériels tout en maintenant une précision comparable (la perte de précision est d'environ 1 %).
• Apprentissage du paramètre $\beta$ : Le paramètre $\beta$ est appris par descente de gradient lors de la rétropropagation, permettant au réseau d'ajuster la dynamique temporelle pour différentes couches et tâches.

B. Niveau Architecture : Mise à jour Parallèle en Mémoire

• Cellule de Mémoire : L'architecture utilise des blocs SRAM 6T/8T intégrés dans une macro CIM. Chaque cellule de potentiel membranaire (VMEM) est constituée de deux blocs SRAM (A et B) fonctionnant en mode « ping-pong » et d'un élément de traitement (PE) contenant un additionneur complet (FA) et un multiplexeur.
• Opération In-Place : Le schéma de mise à jour est entièrement parallèle et s'effectue directement dans le tableau SRAM, éliminant les transferts de données vers des unités de calcul externes.
• Séquence d'Opération (3 cycles d'horloge) :
  1. Ajout MAC : Le potentiel initial est lu, et le résultat de l'opération MAC (synaptique) est ajouté.
  2. Soustraction Décroissance/Seuil : La somme de la décroissance ($\beta$) et du seuil ($\theta$) est soustraite. Le bit de signe du résultat indique si un pic (spike) a été généré.
  3. Réinitialisation ou Mise à jour : Si un pic est détecté, le potentiel est réinitialisé à zéro. Sinon, le seuil est réajouté pour restaurer la valeur correcte.
• Élimination du Comparateur : En soustrayant le seuil directement et en utilisant le bit de signe pour la comparaison, le circuit élimine la nécessité d'un comparateur dédié, réduisant ainsi la surface et la puissance.

3. Contributions Clés

1. Modèle LD-LIF : Introduction d'un modèle de neurone à décroissance linéaire qui simplifie radicalement l'arithmétique matérielle sans sacrifier significativement la précision.
2. Architecture CIM SRAM : Conception d'une macro CIM qui intègre la logique de décroissance et de mise à jour d'état directement dans la mémoire, permettant des mises à jour parallèles de tous les neurones en un seul pas de temps (3 cycles d'horloge).
3. Co-optimisation Algorithme-Matériel : Démonstration que l'optimisation de la dynamique de mise à jour d'état est aussi cruciale que l'accélération des opérations synaptiques pour les SNN.

4. Résultats

L'évaluation a été réalisée sur trois charges de travail SNN (MLP-1 sur N-MNIST, MLP-2 sur SHD, CNN sur DVS Gesture) et simulée en technologie TSMC 65 nm.

• Précision : La méthode LD-LIF ne subit qu'une légère baisse de précision par rapport au modèle LIF exponentiel classique (v-LIF) :
  • N-MNIST : -0,96 %
  • SHD : -1,11 %
  • DVS Gesture : -0,38 %
• Latence : L'architecture propose une mise à jour parallèle de 32 potentiels membranaires en seulement 3 cycles d'horloge (21 ns à 0,9 V). Cela représente une réduction de latence d'un facteur 30 par rapport à une architecture sérielle numérique classique fonctionnant à 200 MHz.
• Efficacité Énergétique :
  • Réduction de la consommation d'énergie par opération synaptique (SOP) d'un facteur 1,1x à 16,7x par rapport aux travaux de l'état de l'art.
  • Gain d'efficacité énergétique (TOPS/W) d'un facteur 15,9x à 69x.
  • Consommation atteinte : 0,09 pJ/SOP avec une efficacité de 20,7 TOPS/W.

5. Signification

Ce travail démontre que pour réaliser des processeurs neuromorphiques évolutifs, à faible consommation et en temps réel, il est impératif de dépasser la simple accélération des opérations $W \times I$. En résolvant le goulot d'étranglement de la mise à jour d'état sérielle via une approche CIM co-optimisée (algorithme linéaire + architecture parallèle en mémoire), les auteurs offrent une voie viable pour déployer des SNN complexes sur du matériel embarqué efficace. L'utilisation de la technologie SRAM mature assure également une compatibilité CMOS, une stabilité et une vitesse de lecture/écriture élevées, essentielles pour les mises à jour d'état fréquentes requises par les SNN.