An RRAM-based Hardware Implementation of a Radial Basis Function Neuron for Edge Classifiers

Résumé Technique : Implémentation Matérielle basée sur la RRAM d'un Neurone à Fonction de Base Radiale pour les Classificateurs en Périphérie (Edge)

Énoncé du Problème
Le déploiement de modèles d'apprentissage automatique (ML) modernes sur des dispositifs de périphérie (edge) aux ressources limitées fait face à des défis importants, particulièrement concernant l'efficacité énergétique, la latence et la capacité à gérer les valeurs aberrantes ou les entrées hors distribution (OOD) en temps réel. Les réseaux de neurones profonds (DNN) traditionnels peinent souvent face au « décalage de domaine » (domain shift) — où les changements environnementaux, le bruit des capteurs ou l'évolution des schémas de données dégradent les performances des modèles pré-entraînés. De plus, le mur de la mémoire de von Neumann crée des goulots d'étranglement pour les opérations coûteuses en calcul, comme les produits scalaires requis pour les recherches de similitude. Les solutions existantes manquent souvent de la capacité d'adaptation efficace sur l'appareil (apprentissage continu) sans nécessiter de ressources supplémentaires ou d'annotation de données, ce qui est crucial pour les applications critiques pour la sécurité comme la navigation autonome.

Méthodologie
Les auteurs proposent une solution native au matériel exploitant la mémoire résistive à base d'oxyde métallique (RRAM) intégrée à la technologie CMOS pour créer un système de Mémoire Associative Analogique (ACAM). Le cœur de cette conception est une cellule personnalisée Template piXeL (TXL), qui fonctionne comme un neurone à fonction de base radiale (RBF) configurable.

• Architecture de la cellule TXL : La cellule TXL utilise deux inverseurs RRAM-CMOS à dégénérescence de source. En programmant la résistance des dispositifs RRAM ($R_M$ et $R_B$) en série avec les sources des MOSFET, le circuit établit une « fenêtre de correspondance » spécifique définie par des seuils de tension supérieurs et inférieurs ($V_{TH}^{upper}$ et $V_{TH}^{lower}$). Cette fenêtre émule un champ récepteur où la cellule ne s'active que lorsque la tension d'entrée se situe dans une plage spécifique, calculant ainsi une métrique de distance.
• Organisation de la matrice : Les cellules TXL sont organisées en matrices denses de $k \times n$. Chaque ligne représente un prototype $k$-dimensionnel unique (stocké sous forme d'attributs statistiques : moyenne $\mu$ et variance $\sigma$ encodées dans la conductance de la RRAM), et chaque colonne correspond à une caractéristique d'entrée.
• Calcul en Mémoire (IMC) : Le système effectue des recherches de similitude en parallèle. Les vecteurs d'entrée sont appliqués comme des signaux analogiques aux lignes de bits (bitlines). Par la loi de courant de Kirchhoff, les courants des cellules TXL individuelles s'accumulent sur la ligne de correspondance (matchline), calculant naturellement le score de similitude agrégé (distance inverse) entre le vecteur de requête d'entrée et le prototype stocké.
• Politique d'Adaptation : Le système implémente une politique d'adaptation à trois niveaux basée sur la distance ($d$) entre l'entrée et le meilleur prototype correspondant :
  1. Distribution Interne Fiable ($d \le \tau_{IDO}$) : Aucune adaptation ne se produit.
  2. Valeur Aberrante en Distribution ($\tau_{IDO} < d \le \tau_{OOD}$) : Le prototype existant est adapté (mise à jour de la moyenne et de la variance) pour inclure le nouvel échantillon, atténuant ainsi le dérive de domaine progressive.
  3. Hors Distribution ($d > \tau_{OOD}$) : Le système identifie une nouvelle classe. Un nouveau prototype est alloué dans une ligne vide de la matrice en utilisant un schéma d'apprentissage à peu d'exemples (few-shot learning), étendant les capacités du classificateur sans écraser les connaissances existantes.

Contributions Clés

• Neurone RBF Natif au Matériel : L'article introduit la cellule TXL comme une implémentation physique d'un neurone RBF, capable d'effectuer une classification basée sur des métriques directement dans le domaine analogique.
• Recherche de Similitude Énergétiquement Efficace : En utilisant une ACAM basée sur la RRAM, la conception atteint une complexité de $O(1)$ pour la correspondance de modèles, contournant le mur de la mémoire.
• Mécanisme d'Adaptation en Ligne : Le système supporte l'apprentissage « à la volée » où les paramètres du champ récepteur peuvent être ajustés pour suivre les dérives de domaine ou de nouvelles classes sans réentraînement complet du modèle.
• Explicabilité : Contrairement aux couches de propagation directe opaques, le processus de décision est explicitement traçable à la proximité de l'entrée par rapport aux prototypes stockés, offrant une explicabilité inhérente.

Résultats

• Énergie et Latence : Les simulations au niveau du circuit (SPICE-Spectre) sur un processus CMOS de 180 nm avec une RRAM TiN/HfON/TiN indiquent une consommation d'énergie de 185 fJ par cellule par opération à 100 MHz. La latence par recherche est d'environ 100 ns.
• Précision de la Classification :
  • Sur un jeu de données de symboles géométriques artificiels, le système a atteint une précision de 100 % tant pour l'entraînement initial que pour l'adaptation.
  • Sur le jeu de données MNIST (réduit à 7x7), le système a atteint 89,1 % de précision avant adaptation et 85,5 % après adaptation. Les auteurs notent que la légère baisse de précision est attribuée à l'absence de couches d'extraction de caractéristiques et au sous-échantillonnage de l'entrée, plutôt qu'au mécanisme TXL central.
• Performance d'Adaptation : Les simulations SPICE ont démontré la capacité du système à adapter les prototypes existants aux échantillons aberrants (remodelage du champ récepteur) et à allouer de nouveaux prototypes pour les classes inconnues (par exemple, introduire une classe « rectangle » dans un ensemble de cercles, triangles et croix) tout en préservant l'intégrité des prototypes existants.

Signification
L'article affirme que l'architecture proposée basée sur TXL offre une voie viable vers un calcul en périphérie robuste et économe en énergie pour les applications critiques pour la sécurité. En permettant l'adaptation in situ, le système répond au défi du décalage de domaine, permettant aux dispositifs de périphérie de maintenir leur fiabilité lorsqu'ils rencontrent des distributions de données réelles différentes de celles de l'entraînement. Les auteurs positionnent cette technologie comme une étape vers l'apprentissage continu en périphérie, où les systèmes peuvent étendre leurs capacités de classification et s'ajuster à de nouveaux environnements sans oubli catastrophique ni besoin d'annotation de données externes. Ce travail envisage un déploiement futur dans la surveillance à distance, les capteurs portables et la navigation autonome, à condition que les défis liés à la variabilité, la rétention et l'endurance de la RRAM soient gérés par calibrage.