Mitigating the Impact of Retention Loss on Inference Accuracy in 65 nm Single-Poly Floating-Gate Analog In-Memory Computing
Dit artikel toont door middel van experimenten op een 65 nm single-poly floating-gate analog in-memory computing array en systeemniveau-simulaties aan dat het combineren van circuitniveau-compensatie met algoritmische batch-normalisatie-recalibratie de inferentie-nauwkeurigheid binnen 2–4% van de baseline kan herstellen na 60 dagen retentieverlies.
Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin je computer niet alleen cijfers verwerkt in een fabriek, maar denkt als een brein, waarbij elektriciteit wordt gebruikt om de manier waarop neuronen vuren na te bootsen. Dit is het domein van Analog In-Memory Computing. In plaats van gegevens heen en weer te pendelen tussen een geheugenbank en een processor (wat lijkt op elke keer naar de keuken rennen wanneer je een lepel nodig hebt), slaat deze technologie de "gewichten" van een neuraal netwerk — de herinneringen en lessen van het brein — direct in de geheugencellen zelf op. Het is alsof je een bibliotheek hebt waar de boeken ook de wiskunde voor je kunnen doen.
Er is echter een addertje onder het gras. Deze geheugencellen zijn vaak gemaakt van piepkleine, zwevende eilanden van elektrische lading. Na verloop van tijd verliezen deze cellen, net als een lekke ballon die langzaam lucht verliest, van nature hun lading. Dit wordt retentieverlies genoemd. In een digitale wereld kan een klein beetje verloren lading slechts een 0 in een 1 veranderen, wat gemakkelijk te herstellen is. Maar in dit analoge brein is de lading het antwoord. Als de lading afwijkt, klopt de wiskunde niet meer, en kan de computer een kat voor een broodrooster aanzien. Wetenschappers zijn wanhopig op zoek naar manieren om deze "lekke" geheugens breinen accuraat te houden voor maanden of jaren, want als ze dat niet kunnen, zal deze superefficiënte technologie nooit de laboratoriumomgeving verlaten.
Dit artikel duikt in dat exacte probleem met behulp van een specif kind type geheugenchip gebouwd met standaard 65 nm technologie (een veelvoorkomende productiegrootte). De onderzoekers, Mirko Brazzini en zijn team, wilden zien of ze een neuraal netwerk konden stoppen met het vergeten van zijn lessen terwijl de geheugencellen na verloop van tijd langzaam hun lading verliezen. Ze gokten niet zomaar; ze bouwden een echte chip, programmeerden deze en observeerden wat er gebeurde over een periode van 60 dagen.
Het team ontdekte dat het ladingverlies op twee verschillende manieren plaatsvindt, zoals twee verschillende soorten weer die een tuin beïnvloeden. Ten eerste is er een systematische drift, waarbij elke cel op een voorspelbare, gemiddelde manier lading verliest, waardoor de groei van de hele tuin in één richting verschuift. Ten tweede is er stochastische ruis, een chaotische, willekeurige trilling waarbij sommige cellen iets meer en andere iets minder verliezen, wat een rommelig, onvoorspelbaar patroon creëert.
Om dit op te lossen, probeerde het team twee verschillende hulpmiddelen, zoals een tuinier die zowel een sproeier als een meststof gebruikt. Het eerste hulpmiddel was circuit-level compensatie. Ze realiseerden zich dat door simpelweg het "leesvoltage" aan te passen (de druk die wordt gebruikt om het geheugen te controleren), ze de voorspelbare, gemiddelde drift konden tegenwerken. Het is als het harder zetten van het volume op een radio om een signaal te compenseren dat voor iedereen iets zachter wordt. Het tweede hulpmiddel was algoritmische recalibratie, specifiek iets dat Batch Normalization Recalibration (BNR) wordt genoemd. Dit is een softwaretruc die de interne instellingen van het neurale netwerk opnieuw afstemt om de willekeurige, chaotische ruis te verwerken die de spanningsaanpassing niet kon oplossen. Het is alsof je het brein leert om de statische ruis op de radio te negeren en je te concentreren op het liedje.
De resultaten waren veelbelovend. Wanneer ze hun systeem testten op twee verschillende neurale netwerken (VGG-10 en WideResNet-28-10) die getraind waren om afbeeldingen te herkennen, ontdekten ze dat niets doen een ramp was; na 60 dagen stortte de nauwkeurigheid volledig in. Het gebruiken van alleen de spanningsaanpassing hielp wel, maar het netwerk had nog steeds moeite met de willekeurige ruis. Het gebruik van alleen de softwarematige recalibratie hielp bij de ruis, maar miste de grote drift. Echter, toen ze beide combineerden — de spanningsaanpassing én de softwarematige recalibratie — was het systeem een held. In hun simulaties, die gekalibreerd waren met echte experimentele gegevens, herstelde het netwerk zijn basisnauwkeurigheid tot binnen slechts 2-4% zelfs na 60 dagen.
Het artikel merkt zorgvuldig op dat dit geen toverstaf is die alles voor altijd oplost. De resultaten zijn gebaseerd op systeemniveau-simulaties die zorgvuldig zijn afgestemd op de werkelijke metingen van hun 65 nm chip. Ze laten expliciet zien dat je niet kunt vertrouwen op slechts één methode; je hebt zowel de hardwarefix als de softwarefix nodig om de klus te klaren. Hoewel het artikel niet beweert dat dit een opgelost probleem is voor alle toekomstige computers, demonstreert het een duidelijke, praktische weg vooruit. Het suggereert dat met deze gecombineerde technieken, floating-gate analoge chips potentieel betrouwbare, langdurige inferentie-taken voor deep learning kunnen uitvoeren, waarbij ze hun "herinneringen" minstens twee maanden scherp houden zonder dat er een reset nodig is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.