💻 computer science

Multibit neural inference in a N-ary crossbar architecture

Dieser Beitrag stellt ein Simulationsframework für N-ary-Crossbar-Architekturen unter Verwendung von Mehrzustands-Magnet-Tunneljunctions vor, um energieeffiziente Multibit-Neural-Inferenz zu demonstrieren, wobei eine MNIST-Genauigkeit von 94,48 % erreicht wird, während die Gewichtsquantisierung als Hauptfehlerquelle identifiziert und eine optimale Anzahl von Zellzuständen bestimmt wird, um den Gesamtfehler bei der Matrix-Vektor-Multiplikation zu minimieren.

Ursprüngliche Autoren: Anatole Moureaux, Anthony Lopes Temporao, Flavio Abreu Araujo

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anatole Moureaux, Anthony Lopes Temporao, Flavio Abreu Araujo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen herkömmlichen Computer als einen beschäftigten Bibliothekar vor, der zwischen den Regalen (Speicher) und dem Schreibtisch (Prozessor) hin und her laufen muss, um Bücher zu finden und zu lesen. Jedes Mal, wenn der Bibliothekar sich bewegt, vergeuden er Energie und Zeit. Dies ist die „von-Neumann-Engstelle", die moderne KI verlangsamt.

Dieser Artikel schlägt eine neue Vorgehensweise vor: In-Memory-Computing (IMC). Anstatt hin und her zu laufen, stellen Sie sich vor, der Bibliothekar ist das Bücherregal. Sie stellen eine Frage, und die Bücher selbst ordnen ihre Seiten neu an, um Ihnen die Antwort sofort zu geben. Dies ist viel schneller und verbraucht weniger Energie.

Hier ist eine einfache Aufschlüsselung dessen, was die Forscher getan und gefunden haben, unter Verwendung alltäglicher Analogien:

1. Das „magische Gitter" (Das Crossbar-Array)

Die Forscher simulierten ein Crossbar-Array. Stellen Sie sich dies als ein riesiges Gitter aus winzigen Schaltern vor (wie ein Tic-Tac-Toe-Brett, nur viel größer).

Die Schalter: Jeder Schnittpunkt im Gitter ist ein winziger magnetischer Schalter, der als Magnetischer Tunnelkontakt (MTJ) bezeichnet wird.
Der Trick: Im Gegensatz zu einem normalen Lichtschalter, der nur „an" oder „aus" ist (2 Zustände), können diese Schalter auf 4 verschiedene Widerstandsstufen eingestellt werden (wie ein Dimmer mit 4 Helligkeitsstufen).
Die Mathematik: Wenn Sie ein elektrisches Signal (Spannung) in das Gitter senden, führen die Schalter die Mathematik für Sie durch. Sie multiplizieren den Eingang mit ihrer „Widerstands"-Einstellung und addieren die Ergebnisse, genau wie ein Taschenrechner, aber unter Verwendung von Physik statt Siliziumchips.

2. Das „Übersetzer"-Problem

Es gibt einen Haken. Computer sprechen digital (0 und 1), aber dieses Gitter spricht analog (glatt, kontinuierliche Elektrizität).

Die Lösung: Das Team entwickelte ein „Übersetzer"-Rahmenwerk. Sie erarbeiteten eine einfache mathematische Rezeptur, um den Strom zu betrachten, der aus dem Gitter kommt, und ihn zurück in eine digitale Antwort umzuwandeln.
Der Vorteil: Dies bedeutet, dass das Gitter als eigenständiger „KI-Prozessor" arbeiten kann, ohne dass die Funktionsweise des restlichen Computers geändert werden muss. Es ist wie das Anschließen eines speziellen Taschenrechners an Ihren Laptop, der einfach funktioniert.

3. Die Tests: XOR und MNIST

Sie testeten dieses System mit zwei Aufgaben:

Das XOR-Rätsel: Ein einfaches Logikspiel, bei dem der Computer entscheiden muss, ob zwei Eingaben unterschiedlich sind. Das Gitter löste dies perfekt und entsprach den Ergebnissen eines Standardcomputers.
MNIST (Handschriftliche Ziffern): Eine schwierigere Aufgabe, bei der der Computer handschriftlich geschriebene Zahlen identifiziert.
- Das Ergebnis: Ein Standardcomputer erreichte eine Genauigkeit von 97,56 %. Das magnetische Gitter erreichte 94,48 %.
- Die Lücke: Der Unterschied lag nicht daran, dass das Gitter „dumm" war, sondern weil das Gitter nur 4 Einstellungen (Quantisierung) halten kann, während der Computer unendliche Präzision verwendet. Es ist wie der Versuch, ein detailliertes Porträt mit nur 4 Farben statt einer ganzen Palette zu malen.

4. Die Quellen von „Rauschen"

Die Forscher untersuchten, was Fehler in diesem System verursacht:

Der „Pixelierungs"-Fehler (Quantisierung): Dies ist der Hauptschuldige. Da die Schalter nur 4 Einstellungen haben, ist die Mathematik nicht perfekt präzise. Je mehr Einstellungen Sie haben, desto weniger „gepixelt" wird die Antwort.
Der „Systematische" Fehler: Stellen Sie sich vor, jeder Schalter im Gitter wäre leicht auf die gleiche Weise verbogen. Dies passiert, wenn der Herstellungsprozess einen Fehler hat, der die gesamte Charge betrifft. Dies ist sehr schlecht für die Genauigkeit.
Der „Zufällige" Fehler: Stellen Sie sich vor, jeder Schalter ist aufgrund von zufälliger Hitze oder winzigen Herstellungsunterschieden leicht unterschiedlich verbogen. Überraschenderweise ist dies weniger schädlich. Warum? Weil sich beim Zusammenzählen der Ergebnisse von hunderten Schaltern die zufälligen Verbiegungen gegenseitig aufheben (wie eine Menschenmenge, die alle leicht in verschiedene Richtungen läuft, aber dennoch gemeinsam vorwärts bewegt).

5. Die „Goldilocks"-Anzahl der Zustände

Das Team fragte: „Wie viele Einstellungen (Zustände) sollte jeder Schalter haben?"

Zu wenige: Die Mathematik ist zu „gepixelt" (hoher Quantisierungsfehler).
Zu viele: Wenn Sie zu viele Einstellungen in einen winzigen Schalter packen, wird der Unterschied zwischen ihnen so klein, dass zufälliges Rauschen (Hitze) sie verschwimmen lässt, was den Schalter unzuverlässig macht.
Die Erkenntnis: Es gibt eine optimale Anzahl. In einer lauten Umgebung ist es tatsächlich besser, weniger Zustände zu haben (wie 4), da sie deutlicher sind und leichter zu lesen sind. In einer sehr ruhigen, perfekten Umgebung können Sie mehr Zustände für eine bessere Präzision haben.

Zusammenfassung

Der Artikel zeigt, dass die Verwendung magnetischer Schalter mit 4 verschiedenen Zuständen eine leistungsfähige Methode ist, um KI-Mathematik durchzuführen. Obwohl es noch nicht ganz so perfekt ist wie ein Standardcomputer (aufgrund der „Pixelierung" durch nur 4 Einstellungen), kommt es sehr nahe heran (94 % vs. 97 %).

Die wichtigste Erkenntnis ist, dass zufällige Fehler beherrschbar sind, weil sie sich gegenseitig aufheben, aber systematische Fehler (Fehler, die alles gleichermaßen betreffen) gefährlich sind. Die Forscher bewiesen auch, dass man nicht immer die komplexesten Schalter benötigt; manchmal funktioniert ein einfacherer Schalter mit weniger Zuständen besser, wenn die Umgebung etwas „laut" ist.

Dieses Rahmenwerk gibt Ingenieuren einen Bauplan an die Hand, um zukünftige KI-Chips zu bauen, die schneller sind und weniger Energie verbrauchen, indem sie genau wissen, wie viele „Einstellungen" ihre Schalter benötigen, um am genauesten zu sein.

1. Problemstellung

Herkömmliche von-Neumann-Rechnerarchitekturen stoßen auf fundamentale Effizienzgrenzen, insbesondere den „von-Neumann-Flaschenhals" (Datentransfer zwischen Speicher und CPU) und die „Memory Wall" (Geschwindigkeitslücken zwischen Prozessoren und Speicher). Diese Probleme werden durch den Energie- und Latenzbedarf moderner KI-Modelle verschärft. Zwar bietet In-Memory Computing (IMC) mit Crossbar-Arrays eine Lösung, indem analoge Matrix-Vektor-Multiplikationen (MVM) direkt im Speicher durchgeführt werden, doch bleiben mehrere Herausforderungen bestehen:

Analog-Digitale Schnittstelle: Die Umwandlung digitaler Eingaben in analoge Signale (DAC) und analoger Ausgaben zurück in digitale Form (ADC) führt zu erheblichem Energieaufwand und Quantisierungsfehlern.
Nicht-Idealitäten von Bauelementen: Reale memristive Bauelemente (z. B. MRAM, RRAM) leiden unter systematischen Fehlern (Geräte-zu-Geräte-Variationen, Fertigungsfehler) und zufälligem Rauschen (thermische Fluktuationen).
Quantisierung: Die Abbildung von Gewichten neuronaler Netze mit voller Genauigkeit auf die begrenzten diskreten Widerstandszustände von Hardwarezellen führt zu Quantisierungsfehlern, die die Inferenzgenauigkeit verschlechtern.
Fehlender allgemeiner Rahmen: Bestehende Ansätze koppeln die Hardwarephysik oft eng mit dem Netztraining, was die Modularität und die Übertragbarkeit auf verschiedene Hardware-Implementierungen einschränkt.

2. Methodik

Die Autoren schlagen einen Simulationsrahmen für $N$ -äre Crossbar-Architekturen vor (bei denen Zellen mehr als 2 unterscheidbare Zustände besitzen), der MVM-Ergebnisse mit minimalen Annahmen über die zugrunde liegende Physik liefert.

Architektur und Gerätemodell:
- Der Rahmen simuliert ein Crossbar-Array unter Verwendung von Mehrzustands-Magnetischen Tunnelkontakten (M2TJs) mit 4 unterschiedlichen Widerstandszuständen, basierend auf Daten früherer Studien [29, 30].
- Der MVM-Vorgang wird mittels Ohmschen und Kirchhoffschen Gesetzen modelliert: Eingangsspannungen ( $V$ ), multipliziert mit der Zellleitfähigkeit ( $G$ ), erzeugen Ströme, die summiert werden, um Ausgangsspannungen zu erzeugen.
- Der Rahmen geht von einer linearen Kodierung der Eingaben und äquidistanten Widerstandsniveaus aus, was die Gewinnung des MVM-Ergebnisses ( $\tilde{y}$ ) über eine lineare Skalierungsgleichung (Gleichung 13) ermöglicht, die auf den gemessenen Ausgangsvektor angewendet wird. Dies erlaubt es dem Crossbar, als eigenständiger Coprozessor zu fungieren, ohne die Inferenzpipeline zu modifizieren.
Gewichtsquantisierung:
- Gewichte mit voller Genauigkeit werden in $N$ äquidistante Niveaus ( $A_i$ ) quantisiert, um den quadrierten Abstand zwischen ursprünglichen Gewichten und quantisierten Werten zu minimieren (ähnlich wie $k$ -Means, jedoch mit festem Abstand).
- Die Optimierung des ersten Zustands ( $A_1$ ) und der Schrittgöße ( $d$ ) erfolgt mittels der Powell-Minimierungsmethode.
Fehlermodellierung:
- Systematische Fehler: Werden als gemeinsamer zufälliger Offset ( $\sigma_{NL}$ ) modelliert, der auf alle Zellen angewendet wird, um Fertigungsfehler (z. B. Fehlausrichtung ferromagnetischer Schichten) zu simulieren.
- Zellspezifische Fehler: Werden als unabhängige zufällige Offsets ( $\sigma_{\perp}$ ) für jede Zelle modelliert, um thermisches Rauschen und Gerätevariationen zu simulieren.
- Quantisierungsfehler: Wird durch Variation der Anzahl der Zustände ( $N$ ) von 1 bis 64 analysiert.
Benchmarks:
- XOR-Aufgabe: Ein einfaches 2-Schichten-Neuronales Netz, das zum Lösen des XOR-Problems trainiert wurde, um grundlegende nichtlineare Trennfähigkeiten zu verifizieren.
- MNIST-Aufgabe: Eine Standardaufgabe zur Ziffernerkennung (784 Eingabeneuronen, 128 versteckte, 10 Ausgabeneuronen).
- Dimensionsreduktion: Eine Hauptkomponentenanalyse (PCA) wurde auf die MNIST-Eingabe angewendet, um die Dimensionalität von 784 auf 87 zu reduzieren, was die Nutzung kleinerer Crossbar-Arrays simuliert.

3. Hauptbeiträge

Generalisiertes Gewinnungsframework: Entwicklung einer Methode zur Extraktion von MVM-Ergebnissen aus analogen Crossbar-Ausgängen unter Verwendung nur von Eingangssignalen und gemessenen Ausgaben, ohne dass die Hardwarephysik in den Trainingsloop eingebettet werden muss.
Analyse der Fehlerquellen: Systematische Isolierung und Quantifizierung des Einflusses von Quantisierungsfehlern, systematischen Nicht-Idealitäten und zufälligem zellspezifischem Rauschen auf die Inferenzgenauigkeit.
Demonstration des Averaging-Effekts: Nachweis, dass zellspezifisches zufälliges Rauschen weniger schädlich ist als systematische Fehler gleicher Größenordnung, da zufällige Fehler sich über das Array ausmitteln, während sich systematische Fehler akkumulieren.
Bestimmung optimaler Zustände: Identifizierung einer optimalen Anzahl von Zuständen pro Zelle ( $N_{opt}$ ), die die Reduktion von Quantisierungsfehlern gegen den Verlust der Widerstandszustandsauflösung in rauschbehafteten Umgebungen abwägt.
Skalierungsgesetze: Festlegung, wie sich der MVM-Fehler mit den Array-Abmessungen skaliert, wobei gezeigt wird, dass der Fehler mit der Anzahl der Zeilen konstant bleibt, aber mit der Quadratwurzel der Anzahl der Spalten skaliert.

4. Ergebnisse

XOR-Inferenz: Das simulierte Crossbar-Array erzielte Ergebnisse, die der rein digitalen Software-Baseline entsprachen, was bestätigt, dass der Rahmen die gelernten Modelleigenschaften bewahrt.
MNIST-Klassifizierung:
- Baseline: Die reine Software-Genauigkeit lag bei 97,56 %.
- Crossbar (4x4-Array, 4 Zustände): Erreichte eine Genauigkeit von 94,48 %. Der Rückgang um 3,08 % wurde primär der Gewichtsquantisierung zugeschrieben.
- Mit PCA: Die Reduzierung der Eingabedimensionalität auf 87 Merkmale verbesserte die Software-Baseline auf 98,03 % und die Crossbar-Inferenz auf 95,24 %, wodurch die Lücke zwischen Hardware und Software auf 2,79 % verringert wurde.
Quantisierung vs. Zustände ( $N$ ): Der Root Mean Squared Error (RMSE) folgte einem klaren $1/N$ -Trend. Eine Erhöhung der Anzahl der Zustände reduziert den Quantisierungsfehler erheblich, selbst bei kleinen $N$ (z. B. $N=3$ oder $4$).
Rauscheinfluss:
- Der RMSE stieg linear mit der Stärke sowohl der systematischen ( $\sigma_{NL}$ ) als auch der zellspezifischen ( $\sigma_{\perp}$ ) Fehler an.
- Der Anstieg für zellspezifisches Rauschen war jedoch aufgrund des Averaging-Effekts flacher.
Optimale Zustände ( $N_{opt}$ ):
- In rauscharmen Umgebungen wird ein höheres $N$ bevorzugt, um den Quantisierungsfehler zu minimieren.
- In rauschintensiven Umgebungen ( $\sigma_{\perp} > 100 \Omega$ ) nimmt $N_{opt}$ ab, da die Auflösung zwischen den Zuständen zu gering wird, um sie zuverlässig zu unterscheiden.
- Entscheidend bleibt das System robust; selbst bei signifikantem Rauschen war die Verwendung von $N > 4$ Zuständen oft vorteilhafter als binäre Implementierungen.

5. Bedeutung

Diese Arbeit bildet eine kritische Brücke zwischen theoretischen IMC-Konzepten und der praktischen Hardware-Implementierung.

Hardware-Software-Co-Design: Sie zeigt, dass spezialisierte Algorithmen (wie PCA) Hardwarebeschränkungen (kleine Array-Größe) effektiv mildern können, was die aktuelle Crossbar-Technologie für komplexe Aufgaben praktikabel macht.
Designrichtlinien: Die Identifizierung einer von Rauschpegeln abhängigen optimalen Zustandszahl ( $N_{opt}$ ) bietet eine konkrete Designregel für zukünftige Entwickler memristiver Chips. Sie legt nahe, dass in rauschintensiven Umgebungen weniger, aber robustere Zustände vielen feinabgestuften Zuständen überlegen sein können.
Robustheit von Multibit-Systemen: Die Ergebnisse validieren, dass Multibit- ( $N$ -äre) Crossbar-Arrays selbst bei unvollkommenen Bauelementen binären überlegen sind, sofern die Anzahl der Zustände an das spezifische Rauschprofil der Hardware angepasst wird.
Modularität: Durch die Entkopplung des Hardware-Gewinnungsprozesses von der Trainingsphase erleichtert der Rahmen die Integration verschiedener memristiver Technologien in Standard-KI-Pipelines ohne erneutes Training der neuronalen Netze.

Zusammenfassend stellt das Papier fest, dass Multibit-IMC ein gangbarer Weg für energieeffiziente KI-Inferenz ist, vorausgesetzt, Quantisierungsstrategien und Geräterauchmerkmale werden durch das vorgeschlagene Framework sorgfältig gemanagt.