💻 computer science

Multibit neural inference in a N-ary crossbar architecture

Dit artikel presenteert een simulatiekader voor N-ary kruisbalkarchitecturen met multi-toestands magnetische tunnelkoppelingen om energie-efficiënte multibit neurale inferentie aan te tonen, waarbij 94,48% MNIST-nauwkeurigheid wordt bereikt terwijl gewichtsquantisatie wordt geïdentificeerd als de primaire foutbron en een optimaal aantal celtoestanden wordt bepaald om de totale matrix-vector vermenigvuldigingsfout te minimaliseren.

Oorspronkelijke auteurs: Anatole Moureaux, Anthony Lopes Temporao, Flavio Abreu Araujo

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anatole Moureaux, Anthony Lopes Temporao, Flavio Abreu Araujo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een traditionele computer voor als een drukke bibliothecaris die heen en weer moet rennen tussen de rekken (geheugen) en het bureau (processor) om boeken te vinden en te lezen. Elke keer als de bibliothecaris beweegt, verspilt hij energie en tijd. Dit is de "von Neumann-bottleneck" die moderne AI vertraagt.

Dit artikel stelt een nieuwe manier voor om dingen te doen: In-Memory Computing (IMC). In plaats van heen en weer te rennen, stel je je voor dat de bibliothecaris het boekenrek zelf is. Je stelt een vraag, en de boeken herschikken hun pagina's zelf om je direct het antwoord te geven. Dit is veel sneller en verbruikt minder energie.

Hier is een eenvoudige uiteenzetting van wat de onderzoekers deden en ontdekten, met behulp van alledaagse analogieën:

1. Het "Magische Rooster" (Het Crossbar)

De onderzoekers bouwden een simulatie van een crossbar-array. Denk hierbij aan een enorm rooster van kleine schakelaars (zoals een kruis-en-krulbord, maar dan veel groter).

De Schakelaars: Elke kruising in het rooster is een kleine magnetische schakelaar genaamd een Magnetische Tunnel Junction (MTJ).
De Truc: In tegenstelling tot een normale lichtschakelaar die alleen "aan" of "uit" is (2 toestanden), kunnen deze schakelaars worden ingesteld op 4 verschillende weerstandsniveaus (zoals een dimmer met 4 helderheidsstanden).
De Wiskunde: Wanneer je een elektrisch signaal (spanning) het rooster instuurt, doen de schakelaars de wiskunde van nature voor je. Ze vermenigvuldigen de invoer met hun "weerstand"-instelling en tellen de resultaten op, net als een rekenmachine, maar dan met fysica in plaats van siliciumchips.

2. Het "Vertaler"-Probleem

Er is een addertje onder het gras. Computers spreken digitaal (0'en en 1'en), maar dit rooster spreekt analoog (gladde, continue elektriciteit).

De Oplossing: Het team ontwikkelde een "vertaler"-kader. Ze bedachten een eenvoudige wiskundige recept om naar de elektriciteit te kijken die uit het rooster komt en deze terug om te zetten in een digitaal antwoord.
Het Voordeel: Dit betekent dat het rooster kan werken als een zelfstandige "AI-coprocessor" zonder dat de rest van de computer moet worden aangepast. Het is alsof je een speciale rekenmachine in je laptop plugt die gewoon werkt.

3. De Tests: XOR en MNIST

Ze testten dit systeem met twee taken:

De XOR-puzzel: Een eenvoudige logica-game waarbij de computer moet beslissen of twee invoeren verschillend zijn. Het rooster loste dit perfect op, met resultaten die overeenkwamen met die van een standaardcomputer.
MNIST (Handgeschreven cijfers): Een moeilijkere taak waarbij de computer handgeschreven cijfers moet herkennen.
- Het Resultaat: Een standaardcomputer behaalde 97,56% nauwkeurigheid. Het magnetische rooster behaalde 94,48%.
- Het Kloofje: Het verschil was niet omdat het rooster "dom" was, maar omdat het rooster slechts 4 instellingen kan vasthouden (kwantisatie), terwijl de computer oneindige precisie gebruikt. Het is alsof je probeert een gedetailleerd portret te schilderen met slechts 4 kleuren in plaats van een volledig palet.

4. De Bronnen van "Ruis"

De onderzoekers keken naar wat fouten in dit systeem veroorzaakt:

De "Pixelatie"-fout (Kwantisatie): Dit is de hoofdoorzaak. Omdat de schakelaars slechts 4 instellingen hebben, is de wiskunde niet perfect precies. Hoe meer instellingen je hebt, hoe minder "gepixeleerd" het antwoord wordt.
De "Systematische" Fout: Stel je voor dat elke schakelaar in het rooster op precies dezelfde manier een beetje krom is. Dit gebeurt als het fabricageproces een gebrek heeft dat de hele batch beïnvloedt. Dit is zeer slecht voor de nauwkeurigheid.
De "Willekeurige" Fout: Stel je voor dat elke schakelaar door willekeurige hitte of kleine fabricageverschillen een beetje anders krom is. Verrassend genoeg is dit minder schadelijk. Waarom? Omdat wanneer je de resultaten van honderden schakelaars optelt, de willekeurige krommingen elkaar opheffen (zoals een menigte mensen die in iets verschillende richtingen loopt, maar toch samen vooruitkomt).

5. Het "Goudlokje"-Aantal Toestanden

Het team vroeg zich af: "Hoeveel instellingen (toestanden) moet elke schakelaar hebben?"

Te weinig: De wiskunde is te "gepixeleerd" (hoge kwantisatiefout).
Te veel: Als je te veel instellingen in een kleine schakelaar propt, wordt het verschil tussen ze zo klein dat willekeurige ruis (hitte) ze met elkaar vervuilt, waardoor de schakelaar onbetrouwbaar wordt.
De Bevinding: Er is een optimale hoeveelheid. In een ruisende omgeving is het eigenlijk beter om minder toestanden te hebben (zoals 4), omdat ze duidelijker zijn en makkelijker te lezen. In een zeer rustige, perfecte omgeving kun je meer toestanden hebben voor betere precisie.

Samenvatting

Het artikel toont aan dat het gebruik van magnetische schakelaars met 4 onderscheiden toestanden een krachtige manier is om AI-wiskunde te doen. Hoewel het nog niet helemaal zo perfect is als een standaardcomputer (door de "pixelatie" van slechts 4 instellingen), komt het zeer dicht in de buurt (94% versus 97%).

De belangrijkste les is dat willekeurige fouten beheersbaar zijn omdat ze elkaar opheffen, maar dat systematische fouten (fouten die alles even beïnvloeden) gevaarlijk zijn. De onderzoekers bewezen ook dat je niet altijd de meest complexe schakelaars nodig hebt; soms werkt een eenvoudigere schakelaar met minder toestanden beter als de omgeving een beetje "ruisend" is.

Dit kader geeft ingenieurs een blauwdruk om toekomstige AI-chips te bouwen die sneller zijn en minder energie verbruiken, door precies te weten hoeveel "instellingen" hun schakelaars nodig hebben om het meest accuraat te zijn.

1. Probleemstelling

Conventionele von Neumann-computerarchitecturen staan voor fundamentele efficiëntiebeperkingen, met name de "von Neumann-flesnek" (dataverplaatsing tussen geheugen en CPU) en de "geheugenmuur" (snelheidsverschillen tussen processors en geheugen). Deze problemen worden verergerd door de energie- en latentie-eisen van moderne AI-modellen. Hoewel In-Memory Computing (IMC) met crossbar-arrays een oplossing biedt door analoge Matrix-Vectorkes (MVM) direct binnen het geheugen uit te voeren, blijven er enkele uitdagingen bestaan:

Analoog-Digitaal Interface: Het converteren van digitale invoer naar analoge signalen (DAC) en analoge uitvoer terug naar digitaal (ADC) introduceert aanzienlijke energiekosten en quantisatiefouten.
Niet-ideale Eigenschappen van Apparatuur: Realistische memristieve apparaten (bijv. MRAM, RRAM) lijden onder systematische fouten (variaties tussen apparaten, fabricagefouten) en willekeurige ruis (thermische fluctuaties).
Quantisatie: Het in kaart brengen van full-precision neurale netwerkgewichten naar de beperkte discrete weerstandstoestanden van hardwarecellen introduceert quantisatiefouten, wat de inferentie-accuratesse verslechtert.
Gebrek aan Algemeen Kader: Bestaande benaderingen koppelen de hardwarefysica vaak strak aan het netwerktraining, wat de modulariteit en generaliseerbaarheid naar verschillende hardware-implementaties beperkt.

2. Methodologie

De auteurs stellen een simulatiekader voor voor $N$ -ary crossbar-architecturen (waarbij cellen meer dan 2 verschillende toestanden hebben) dat MVM-resultaten ophaalt met minimale aannames over de onderliggende fysica.

Architectuur & Apparaatmodel:
- Het kader simuleert een crossbar-array met Multi-state Magnetic Tunnel Junctions (M2TJs) met 4 verschillende weerstandstoestanden, gebaseerd op data uit eerdere studies [29, 30].
- De MVM-operatie wordt gemodelleerd met de wetten van Ohm en Kirchhoff: Invoerspanningen ( $V$ ) vermenigvuldigd met celgeleidingen ( $G$ ) genereren stromen, die worden opgeteld om uitgangsspanningen te produceren.
- Het kader gaat uit van lineaire codering van invoer en equidistante weerstandsniveaus, waardoor het ophalen van het MVM-resultaat ( $\tilde{y}$ ) mogelijk is via een lineaire schaalvergelijking (Vergelijking 13) toegepast op het gemeten uitvoervector. Dit stelt de crossbar in staat te fungeren als een zelfstandige coprocessor zonder de inferentiepiplijn te wijzigen.
Gewichtsquantisatie:
- Full-precision gewichten worden gekwantiseerd in $N$ equidistante niveaus ( $A_i$ ) om de kwadratische afstand tussen originele gewichten en gekwantiseerde waarden te minimaliseren (vergelijkbaar met $k$ -means maar met vaste tussenruimte).
- De optimalisatie van de eerste toestand ( $A_1$ ) en stapgrootte ( $d$ ) wordt uitgevoerd met de Powell-minimalisatiemethode.
Foutmodellering:
- Systematische Fouten: Gemodelleerd als een gedeelde willekeurige offset ( $\sigma_{NL}$ ) toegepast op alle cellen, ter simulatie van fabricagefouten (bijv. misalignement van ferromagnetische lagen).
- Celspecifieke Fouten: Gemodelleerd als onafhankelijke willekeurige offsets ( $\sigma_{\perp}$ ) voor elke cel, ter simulatie van thermische ruis en apparaatvariaties.
- Quantisatiefout: Geanalyseerd door het aantal toestanden ( $N$ ) te variëren van 1 tot 64.
Benchmarks:
- XOR-Taak: Een eenvoudig 2-laags neurale netwerk getraind om het XOR-probleem op te lossen om basis niet-lineaire scheidingscapaciteiten te verifiëren.
- MNIST-Taak: Een standaard cijferclassificatietask (784 invoerneuronen, 128 verborgen, 10 uitvoer).
- Dimensionaliteitsreductie: Principal Component Analysis (PCA) werd toegepast op de MNIST-invoer om de dimensionaliteit te reduceren van 784 naar 87, ter simulatie van het gebruik van kleinere crossbar-arrays.

3. Belangrijkste Bijdragen

Gegenereerd Ophaalkader: Ontwikkeling van een methode om MVM-resultaten uit analoge crossbar-uitvoer te extraheren met alleen invoersignalen en gemeten uitvoer, zonder dat de hardwarefysica in de trainingslus hoeft te zijn ingebed.
Foutbronanalyse: Systematische isolatie en kwantificering van de impact van quantisatiefout, systematische niet-ideale eigenschappen en willekeurige celspecifieke ruis op de inferentie-accuratesse.
Demonstratie van Averaging Effect: Bewezen dat celspecifieke willekeurige ruis minder schadelijk is dan systematische fouten van dezelfde grootte, omdat willekeurige fouten zich over de array middelen, terwijl systematische fouten zich ophopen.
Bepaling van Optimale Toestanden: Identificatie van een optimaal aantal toestanden per cel ( $N_{opt}$ ) dat de vermindering van quantisatiefout afweegt tegen verlies van weerstandstoestandsresolutie in ruise omgevingen.
Schaalwetten: Vaststelling hoe MVM-fout schaalt met array-dimensies, waarbij wordt aangetoond dat de fout constant blijft met het aantal rijen maar schaalt met de vierkantswortel van het aantal kolommen.

4. Resultaten

XOR-Inferentie: De gesimuleerde crossbar-array behaalde resultaten die equivalent waren aan de full-digitaal software-baseline, wat bevestigt dat het kader de geleerde model eigenschappen behoudt.
MNIST-Classificatie:
- Baseline: Software-only accuratesse was 97,56%.
- Crossbar (4x4 array, 4 toestanden): Behaalde 94,48% accuratesse. De daling van 3,08% werd voornamelijk toegeschreven aan gewichtsquantisatie.
- Met PCA: Het reduceren van de invoerdimensionaliteit tot 87 kenmerken verbeterde de software-baseline naar 98,03% en de crossbar-inferentie naar 95,24%, waardoor de hardware-software kloof werd verkleind tot 2,79%.
Quantisatie versus Toestanden ( $N$ ): De Root Mean Squared Error (RMSE) volgde een duidelijke $1/N$ trend. Het verhogen van het aantal toestanden vermindert quantisatiefout aanzienlijk, zelfs met kleine $N$ (bijv. $N=3$ of $4$).
Ruisimpact:
- RMSE steeg lineair met zowel systematische ( $\sigma_{NL}$ ) als celspecifieke ( $\sigma_{\perp}$ ) foutgroottes.
- De helling voor celspecifieke ruis was echter minder steil vanwege het averaging effect.
Optimale Toestanden ( $N_{opt}$ ):
- In ruisarme omgevingen wordt een hogere $N$ preferentieel om quantisatiefout te minimaliseren.
- In ruisrijke omgevingen ( $\sigma_{\perp} > 100 \Omega$ ) neemt $N_{opt}$ af omdat de resolutie tussen toestanden te laag wordt om ze betrouwbaar te onderscheiden.
- Cruciaal blijft het systeem robuust; zelfs met aanzienlijke ruis was het gebruik van $N > 4$ toestanden vaak gunstiger dan binaire implementaties.

5. Betekenis

Dit werk biedt een kritieke brug tussen theoretische IMC-concepten en praktische hardware-implementatie.

Hardware-Software Co-Design: Het demonstreert dat gespecialiseerde algoritmen (zoals PCA) hardwarebeperkingen (kleine array-grootte) effectief kunnen mitigeren, waardoor huidige crossbar-technologie haalbaar wordt voor complexe taken.
Ontwerprichtlijnen: De identificatie van een optimaal aantal toestanden ( $N_{opt}$ ) afhankelijk van ruisniveaus biedt een concrete ontwerpregel voor toekomstige memristieve chipontwikkelaars. Het suggereert dat in ruisrijke omgevingen minder, robuustere toestanden superieur kunnen zijn aan vele fijnkorrelige toestanden.
Robuustheid van Multibit Systemen: De bevindingen valideren dat multibit ( $N$ -ary) crossbar-arrays superieur zijn aan binaire ones, zelfs met imperfecte apparaten, mits het aantal toestanden is afgestemd op het specifieke ruisprofiel van de hardware.
Modulariteit: Door het hardware-ophaalproces te ontkoppelen van de trainingsfase, faciliteert het kader de integratie van diverse memristieve technologieën in standaard AI-pipelines zonder de neurale netwerken opnieuw te hoeven trainen.

Concluderend stelt het artikel dat multibit IMC een haalbaar pad is voor energie-efficiënte AI-inferentie, mits quantisatiestrategieën en apparaatruiseigenschappen zorgvuldig worden beheerd via het voorgestelde kader.