🔬 applied physics

Mitigating the Impact of Retention Loss on Inference Accuracy in 65 nm Single-Poly Floating-Gate Analog In-Memory Computing

Ce document démontre, à travers des expériences sur une matrice de calcul en mémoire analogique à grille flottante à poly silicium simple de 65 nm et des simulations au niveau du système, que la combinaison d'une compensation au niveau du circuit avec un recalibrage par normalisation par lots algorithmique permet de récupérer la précision d'inférence à moins de 2 à 4 % de la référence après 60 jours de perte de rétention.

Auteurs originaux : Mirko Brazzini, Giulio Filippeschi, Alessandro Catania, Sebastiano Strangio, Giuseppe Iannaccone

Publié 2026-07-29

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Mirko Brazzini, Giulio Filippeschi, Alessandro Catania, Sebastiano Strangio, Giuseppe Iannaccone

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où votre ordinateur ne se contente pas de broyer des chiffres dans une usine, mais pense comme un cerveau, utilisant l'électricité pour imiter la façon dont les neurones s'activent. C'est le domaine de l'informatique analogique en mémoire (Analog In-Memory Computing). Au lieu de transporter les données d'un aller-retour entre une banque de mémoire et un processeur (ce qui revient à courir à la cuisine chaque fois que vous avez besoin d'une cuillère), cette technologie stocke les « poids » d'un réseau neuronal — les souvenirs et les leçons du cerveau — directement à l'intérieur des cellules de mémoire elles-mêmes. C'est comme avoir une bibliothèque où les livres peuvent aussi faire les calculs pour vous.

Cependant, il y a un piège. Ces cellules de mémoire sont souvent constituées de minuscules îlots de charge électrique flottante. Avec le temps, tout comme un ballon qui fuit lentement et perd son air, ces cellules perdent naturellement leur charge. C'est ce qu'on appelle la perte de rétention. Dans un monde numérique, une petite perte de charge pourrait simplement transformer un 0 en 1, ce qui est facile à corriger. Mais dans ce cerveau analogique, la charge est la réponse. Si la charge dérive, le calcul devient faux, et l'ordinateur pourrait confondre un chat avec un grille-pain. Les scientifiques sont désespérés de trouver comment garder ces cerveaux à mémoire « fuyante » précis pendant des mois ou des années, car s'ils n'y parviennent pas, cette technologie ultra-efficace ne quittera jamais le laboratoire.

Ce document plonge précisément dans ce problème en utilisant un type spécifique de puce mémoire construite avec une technologie standard de 65 nm (une taille de fabrication courante). Les chercheurs, Mirko Brazzini et son équipe, ont voulu voir s'ils pouvaient empêcher un réseau neuronal d'oublier ses leçons à mesure que les cellules de mémoire perdent lentement leur charge au fil du temps. Ils ne se sont pas contentés de deviner ; ils ont construit une véritable puce, l'ont programmée et ont observé ce qui se passait sur 60 jours.

L'équipe a découvert que la perte de charge se produit de deux manières distinctes, comme deux types de météo affectant un jardin. Premièrement, il y a une dérive systématique, où chaque cellule perd de la charge d'une manière prévisible et moyenne, déplaçant la croissance de tout le jardin dans une seule direction. Deuxièmement, il y a du bruit stochastique, un tremblement chaotique et aléatoire où certaines cellules perdent un peu plus et d'autres un peu moins, créant un motif désordonné et imprévisible.

Pour corriger cela, l'équipe a essayé deux outils différents, comme un jardinier utilisant à la fois un arroseur et de l'engrais. Le premier outil est la compensation au niveau du circuit. Ils ont réalisé qu'en ajustant simplement la « tension de lecture » (la pression utilisée pour vérifier la mémoire), ils pouvaient contrebalancer la dérive prévisible et moyenne. C'est comme augmenter le volume d'une radio pour compenser un signal qui devient légèrement plus faible pour tout le monde. Le second outil est le recalibrage algorithmique, plus précisément quelque chose appelé Recalibrage de Normalisation par Lot (BNR). C'est une astuce logicielle qui réajuste les paramètres internes du réseau neuronal pour gérer le bruit aléatoire et chaotique que l'ajustement de la tension ne pouvait pas corriger. C'est comme apprendre au cerveau à ignorer les parasites sur la radio pour se concentrer sur la chanson.

Les résultats étaient prometteurs. Lorsqu'ils ont testé leur système sur deux réseaux neuronaux différents (VGG-10 et WideResNet-28-10) entraînés à reconnaître des images, ils ont constaté que ne rien faire était un désastre ; après 60 jours, la précision s'est effondrée. L'utilisation de l'ajustement de la tension seule a aidé, mais le réseau luttait encore contre le bruit aléatoire. L'utilisation du seul recalibrage logiciel a aidé pour le bruit, mais a manqué la grande dérive. Cependant, lorsqu'ils ont combiné à la fois l'ajustement de la tension et le recalibrage logiciel, le système a été un héros. Dans leurs simulations, qui ont été calibrées avec des données expérimentales réelles, le réseau a récupéré sa précision de base à seulement 2-4 % près, même après 60 jours.

L'article précise avec prudence que ce n'est pas une baguette magique qui résout tout pour toujours. Les résultats sont basés sur des simulations au niveau du système qui ont été soigneusement ajustées pour correspondre aux mesures réelles de leur puce 65 nm. Ils montrent explicitement que vous ne pouvez pas compter sur une seule méthode ; vous avez besoin à la fois de la correction matérielle et de la correction logicielle pour accomplir la tâche. Bien que l'article ne prétende pas que ce problème est résolu pour tous les futurs ordinateurs, il démontre une voie claire et pratique. Il suggère qu'avec ces techniques combinées, les puces analogiques à grille flottante pourraient potentiellement exécuter des tâches d'inférence fiables et à long terme pour le deep learning, en gardant leurs « souvenirs » nets pendant au moins deux mois sans avoir besoin de réinitialisation.

Résumé Technique : Atténuation de l'impact de la perte de rétention sur la précision de l'inférence dans le calcul analogique en mémoire à grille flottante mono-polysilicium en 65 nm

Énoncé du Problème
Le calcul analogique en mémoire (AIMC) utilisant des multiplieurs de vecteurs-matrices (VMM) offre des gains d'efficacité énergétique significatifs pour l'apprentissage profond en réduisant les mouvements de données et en utilisant le fonctionnement en sous-seuil. Bien que les mémoires à grille flottante (FG) soient une candidate prometteuse en raison de leur compatibilité avec les processus CMOS matures et de leur programmabilité multi-niveaux intrinsèque, elles souffrent d'une perte de rétention. Contrairement aux mémoires numériques où la perte de charge entraîne des erreurs de bits discrètes, les mémoires analogiques stockent les poids synaptiques sous forme de niveaux de charge continus. Par conséquent, la perte de charge perturbe le calcul lui-même, dégradant la précision de l'inférence. Le défi consiste à évaluer et à atténuer tant la dérive systématique (moyenne) que la variabilité stochastique (d'un dispositif à l'autre) de cette perte de charge au fil du temps afin de maintenir les performances fiables des réseaux de neurones.

Méthodologie
Les auteurs ont mené des expériences et des simulations au niveau du système sur une matrice de mémoire non volatile analogique à grille flottante mono-polysilicium fabriquée selon un processus CMOS TSMC standard de 65 nm. L'architecture utilise un schéma de matrice 1T-1FG où les cellules 1T-1FG agissent comme des sources de courant programmables.

Caractérisation des Dispositifs : L'étude a caractérisé le comportement de rétention des cellules mémoire programmées à diverses intensités de courant (0,4 à 80 nA). Les mesures ont été effectuées après 10, 30 et 60 jours de stockage à température ambiante. Les données ont révélé que la perte de charge entraîne une réduction de la tension de seuil du transistor, provoquant une augmentation correspondante du courant programmé.
Modélisation : La perte de rétention a été décomposée en deux composantes :
- Dérive Systématique : Un décalage moyen du courant au fil du temps, modélisé par l'ajustement de la relation log-log entre les courants initiaux et retenus pour extraire les paramètres de pente ( $m$ ) et d'ordonnée à l'origine ( $q$ ).
- Variabilité Stochastique : Une variation aléatoire, d'un dispositif à l'autre, autour de la dérive moyenne, modélisée comme une distribution normale de moyenne nulle ( $\chi$ ) avec un écart-type ( $\sigma$ ) dépendant du courant programmé et du temps.
Stratégies d'Atténuation : Deux techniques complémentaires ont été évaluées :
- Compensation au Niveau Circuit (Compensation de $V_{read}$ - VRC) : Une tension de lecture adaptative est ajustée pour compenser la dérive moyenne systématique de la tension de seuil.
- Recalibrage Algorithmique (Recalibrage de la Normalisation par Lots - BNR) : Les paramètres de moyenne et de variance des couches de normalisation par lots sont mis à jour à l'aide d'un ensemble de données de calibration. Cela permet de compenser les décalages de distribution causés par la composante de perte de charge stochastique à moyenne nulle.
Évaluation du Système : Les modèles de rétention calibrés ont été intégrés dans un cadre de simulation d'inférence tenant compte du matériel. L'impact sur la précision de l'inférence a été évalué pour deux architectures de réseaux neuronaux : VGG-10 sur CIFAR-10 et WideResNet-28-10 sur CIFAR-100. Des simulations de 500 itérations de Monte Carlo ont été incluses pour tenir compte de la variabilité stochastique.

Résultats Clés
L'étude a comparé quatre scénarios : Sans Atténuation (NM), VRC uniquement, BNR uniquement, et l'approche combinée VRC+BNR.

Performance de Référence : Sans atténuation, la précision de l'inférence se dégrade considérablement sur 60 jours. Pour VGG-10/CIFAR-10, la précision chute de 93,7 % (référence) à 59,6 % (avec BNR uniquement) ou moins sans aucune compensation.
Efficacité de l'Atténuation Combinée : La combinaison de la compensation de $V_{read}$ $V_{r e a d}$ et du BNR s'est avérée très efficace. Après 60 jours :
- VGG-10/CIFAR-10 : La précision est remontée à 91,4 % (référence 93,7 %), soit un écart de moins de 2,5 %.
- WideResNet-28-10/CIFAR-100 : La précision est remontée à 78,3 % (référence 82,1 %), soit un écart d'environ 3,8 %.
Nécessité des Deux Techniques : Les résultats ont démontré qu'aucune des deux techniques seules n'était suffisante pour restaurer l'exactitude de base. La compensation de $V_{read}$ traitait la dérive moyenne mais ne pouvait pas corriger la variabilité stochastique, tandis que le BNR traitait les décalages de distribution mais ne pouvait pas corriger pleinement l'offset systématique sans ajustement de tension.

Signification et Revendications
L'article affirme qu'il est possible d'atténuer avec succès l'impact de la perte de rétention sur la dégradation de la précision de l'inférence des réseaux de neurones profonds utilisant la mémoire analogique à grille flottante. En combinant l'ajustement de la tension de lecture adaptative au niveau du circuit et le recalibrage algorithmique de la normalisation par lots, les auteurs montrent qu'une précision d'inférence stable peut être maintenue pendant plus de deux mois (60 jours) après la programmation.

La signification réside dans le fait de fournir une voie pratique vers une opération fiable à long terme des puces neuromorphiques basées sur la FG. Ce travail établit qu'une analyse dispositif-système, qui tient compte des composantes de rétention systématique et stochastique, est essentielle pour le déploiement des mémoires non volatiles analogiques dans les applications d'inférence d'apprentissage profond. Les auteurs concluent que ces techniques permettent de récupérer l'exactitude de référence à hauteur de 2 à 4 % après 60 jours, validant la viabilité de la technologie FG pour l'AIMC malgré les défis inhérents de rétention.

Articles similaires