⚡ electrical engineering

An RRAM-based Hardware Implementation of a Radial Basis Function Neuron for Edge Classifiers

Diese Arbeit präsentiert eine energieeffiziente, RRAM-basierte Hardware-Implementierung eines Radial-Basis-Function-Neurons unter Verwendung einer benutzerdefinierten TXL-Zelle innerhalb eines analogen Content-Addressable-Memory-Arrays, was ein schnelles On-the-fly-Lernen für die Edge-Klassifizierung mit einer Genauigkeit von 89,1 % auf MNIST ermöglicht, während lediglich 185 fJ pro Operation verbraucht werden.

Ursprüngliche Autoren: Georgios Papandroulidakis, Shady Agwa, Themis Prodromakis

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Georgios Papandroulidakis, Shady Agwa, Themis Prodromakis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten, winzigen Roboter, der Entscheidungen sofort treffen muss, wie etwa ein selbstfahrendes Auto, das einen Fußgänger erkennt, oder ein tragbares Gerät, das einen Sturz registriert. Normalen Robotern müssen oft Daten an einen riesigen, stromhungrigen Computer in der Cloud senden, um Antworten zu erhalten. Aber was wäre, wenn der Roboter direkt vor Ort für sich selbst denken könnte, und zwar mit sehr wenig Batterieleistung?

Dieses Paper präsentiert einen neuen Weg, das „Gehirn“ für solche Edge-Geräte zu bauen, und zwar mithilfe eines speziellen Speichertyps namens RRAM (Resistive RAM). So haben sie es gemacht, einfach erklärt:

1. Das Problem: Der „Bibliotheks“-Engpass

Stellen Sie sich einen herkömmlichen Computer wie eine Bibliothek vor. Um ein Buch (Daten) zu finden, müssen Sie vom Lesetisch (Prozessor) zum Regal (Speicher) laufen, das Buch greifen und wieder zurücklaufen. Dieses Hin- und Herlaufen kostet Zeit und Energie. Dies wird als „Memory Wall“ (Speicherwand) bezeichnet.

Für moderne KI ist dies zu langsam und verbraucht zu viel Strom für kleine Geräte. Die Autoren wollten ein System bauen, bei dem die „Bücher“ (Daten) und der „Lesetisch“ (Verarbeitung) am selben Ort sind.

2. Die Lösung: Der „Intelligente Klebezettel“ (Die TXL-Zelle)

Die Forscher haben einen winzigen Baustein namens Template piXeL (TXL) entwickelt.

Die Analogie: Stellen Sie sich einen „intelligenten Klebezettel“ vor, auf dem eine bestimmte Form gezeichnet ist (wie ein Kreis oder ein Dreieck).
Wie es funktioniert: Wenn Sie eine neue Form vor diesen Zettel halten, sagt der Zettel nicht einfach nur „Ja“ oder „Nein“. Er misst, wie nah die neue Form der Zeichnung auf dem Zettel kommt.
Die Magie: Wenn die neue Form der Zeichnung sehr ähnlich ist, „leuchtet“ der Zettel hell auf. Wenn sie sehr verschieden ist, bleibt er schwach. Dies geschieht sofort und verbraucht fast keinen Strom, da die mathematischen Berechnungen durch die physikalischen Eigenschaften der Materialien (wie den Stromfluss durch einen Widerstand) erfolgen, anstatt durch einen komplexen Taschenrechner.

3. Das Gehirn: Eine Wand aus Klebezetteln (Das Array)

Sie haben nicht nur einen Zettel gemacht, sondern eine riesige Wand aus ihnen (ein Array).

Der Aufbau: Stellen Sie sich eine Wand mit 48 Reihen vor. Jede Reihe hat eine andere „Prototyp-Zeichnung“ (z. B. Reihe 1 ist ein „Kreuz“, Reihe 2 ein „Kreis“, Reihe 3 ein „Dreieck“).
Der Test: Wenn Sie die Wand einer neuen Abbildung zeigen (wie ein verrauschtes, verschwommenes Kreuz), prüft jede einzelne Reihe zur exakt gleichen Zeit.
Das Ergebnis: Die Reihe, die am besten passt, „gewinnt“, indem sie das stärkste elektrische Signal sendet. Das System weiß sofort: „Das ist ein Kreuz!“, ohne einen komplexen Algorithmus ausführen zu müssen.

4. Lernen im laufenden Betrieb: Das „Anpassungsfähige“ Gehirn

Die meisten KI-Modelle sind wie in Stein gemeißelt; wenn sie einmal trainiert sind, können sie sich nicht mehr ändern. Wenn sich das Licht ändert oder das Objekt etwas anders aussieht, werden sie verwirrt.

Dieses neue System ist anders. Es kann lernen, während es arbeitet:

Szenario A (Der Ausreißer): Stellen Sie sich vor, der Roboter sieht ein „Kreuz“, das leicht gekippt ist. Es ist immer noch ein Kreuz, aber es passt nicht perfekt zur ursprünglichen Zeichnung. Das System bemerkt dies, erkennt: „Hey, das ist immer noch ein Kreuz, nur ein seltsames“, und passt die Zeichnung in der „Kreuz“-Reihe sanft an, um diesen neuen Winkel einzuschließen. Es ist wie das Aktualisieren eines Rezepts, um eine neue Zutat einzubeziehen, die man gerade entdeckt hat.
Szenario B (Der Fremde): Stellen Sie sich vor, der Roboter sieht zum ersten Mal ein „Quadrat“. Keine der vorhandenen Reihen (Kreuz, Kreis, Dreieck) passt gut dazu. Das System sagt: „Ich kenne das nicht!“ und erstellt eine brandneue Reihe auf der Wand, die speziell für „Quadrate“ ist. Es löscht die alten Zeichnungen nicht, sondern fügt einfach eine neue hinzu. Dies verhindert, dass der Roboter das, was er bereits weiß, vergisst.

5. Die Ergebnisse: Schnell, günstig und effektiv

Die Forscher haben diese „Intelligente Klebezettel“-Wand mit zwei Arten von Tests getestet:

Einfache Formen: Sie verwendeten grundlegende geometrische Formen (Kreuze, Kreise, Dreiecke). Das System erreichte eine Genauigkeit von 100 % und konnte sich sofort anpassen, wenn die Formen verrauscht waren oder sich leicht veränderten.
Handschriftliche Zahlen (MNIST): Sie verwendeten einen berühmten Datensatz handschriftlicher Ziffern (0–9), der jedoch auf eine sehr kleine Größe geschrumpft wurde. Das System erreichte eine Genauigkeit von 89,1 %. Obwohl es nicht perfekt ist, ist dies beeindruckend für ein so einfaches, leistungsschonendes Hardware-Design, das keine komplexen Software-Schichten verwendet.

Das Fazit:
Dieses Paper zeigt einen neuen Weg, KI-Hardware zu bauen, die wie ein lebendiges, atmendes Gedächtnis funktioniert. Anstatt nur Daten zu speichern, versteht das Gedächtnis selbst die Daten, vergleicht sie sofort und kann seine eigenen „Erinnerungen“ aktualisieren, wenn es etwas Neues oder anderes sieht. Dies alles tut es mit einem winzigen Bruchteil der Energie, die heutige Computer benötigen, was es perfekt für kleine, batteriebetriebene Geräte macht, die intelligent und sicher sein müssen.

Technische Zusammenfassung: RRAM-basierte Hardware-Implementierung eines Radial-Basis-Funktions-Neurons für Edge-Klassifikatoren

Problemstellung
Die Bereitstellung moderner Machine-Learning-Modelle (ML) auf ressourcenbeschränkten Edge-Geräten steht vor erheblichen Herausforderungen, insbesondere hinsichtlich der Energieeffizienz, der Latenz und der Fähigkeit, mit Ausreißern oder Out-of-Distribution (OOD)-Eingaben in Echtzeit umzugehen. Traditionelle tiefe neuronale Netze (DNNs) haben oft Schwierigkeiten mit dem sogenannten „Domain Shift“ – also Situationen, in denen Umweltveränderungen, Sensorrauschen oder sich entwickelnde Datenmuster die Leistung vortrainierter Modelle verschlechtern. Darüber hinaus erzeugt die von-Neumann-Speicherbarriere (Memory Wall) Engpässe für rechenintensive Operationen wie Skalarprodukte, die für Ähnlichkeitssuchen erforderlich sind. Bestehende Lösungen verfügen oft nicht über die Fähigkeit zur effizienten On-Device-Adaption (kontinuierliches Lernen), ohne zusätzliche Ressourcen oder Datenannotationen zu benötigen, was für sicherheitskritische Anwendungen wie die autonome Navigation entscheidend ist.

Methodik
Die Autoren schlagen eine hardware-native Lösung vor, die Metalloxid-Resistives-RAM (RRAM) nutzt, das mit CMOS-Technologie integriert ist, um ein analoges Content Addressable Memory (ACAM)-System zu schaffen. Das Herzstück dieses Designs ist eine kundenspezifische Template piXeL (TXL)-Zelle, die als konfigurierbares, analoges Radial-Basis-Funktions (RBF)-Neuron fungiert.

TXL-Zellarchitektur: Die TXL-Zelle verwendet zwei Source-Degeneration RRAM-CMOS-Inverter. Durch Programmierung des Widerstands der RRAM-Bauelemente ( $R_M$ und $R_B$ ) in Serie mit den MOSFET-Sources etabliert die Schaltung ein spezifisches „Matching-Fenster“, das durch obere und untere Spannungsschwellenwerte ( $V_{TH}^{upper}$ und $V_{TH}^{lower}$ ) definiert ist. Dieses Fenster emuliert ein rezeptives Feld, in dem sich die Zelle nur aktiviert, wenn die Eingangsspannung innerhalb eines bestimmten Bereichs liegt, was effektiv eine Distanzmetrik berechnet.
Array-Organisation: TXL-Zellen sind in dichten $k \times n$ -Arrays organisiert. Jede Zeile repräsentiert ein einzigartiges $k$ -dimensionales Prototyp-Modell (gespeichert als statistische Attribute: Mittelwert $\mu$ und Varianz $\sigma$ , kodiert in der RRAM-Leitfähigkeit), während jede Spalte einem Eingangsmerkmal entspricht.
In-Memory-Computing (IMC): Das System führt Ähnlichkeitssuchen parallel durch. Eingangsvektoren werden als Analogsignale an die Bitlinien angelegt. Durch das Kirchhoffsche Gesetz der Summation der Ströme akkumulieren die Ströme der einzelnen TXL-Zellen auf der Matchline und berechnen auf natürliche Weise den aggregierten Ähnlichkeitswert (inverse Distanz) zwischen dem Eingangsvektor und dem gespeicherten Prototyp.
Adaptions-Policy: Das System implementiert eine dreistufige Adaptions-Policy basierend auf der Distanz ( $d$ $d$ ) zwischen dem Eingang und dem am besten passenden Prototyp:
1. Zuverlässige In-Distribution ( $d \le \tau_{IDO}$ ): Es erfolgt keine Adaption.
2. In-Distribution Outlier ( $\tau_{IDO} < d \le \tau_{OOD}$ ): Der bestehende Prototyp wird adaptiert (Aktualisierung von Mittelwert und Varianz), um den neuen Stichproben einzuschließen und so einen graduellen Domain Drift abzumildern.
3. Out-of-Distribution ( $d > \tau_{OOD}$ ): Das System identifiziert eine neue Klasse. Ein neuer Prototyp wird unter Verwendung eines Few-Shot-Learning-Schemas in einer leeren Zeile des Arrays zugewiesen, wodurch die Klassifizierungsfähigkeiten erweitert werden, ohne bestehendes Wissen zu überschreiben.

Wesentliche Beiträge

Hardware-natives RBF-Neuron: Die Arbeit führt die TXL-Zelle als physische Implementierung eines RBF-Neurons ein, die in der Lage ist, eine metrikbasierte Klassifizierung direkt im Analogbereich durchzuführen.
Energieeffiziente Ähnlichkeitssuche: Durch die Nutzung von RRAM-basiertem ACAM erreicht das Design eine Komplexität von $O(1)$ für das Template-Matching und umgeht so die Speicherbarriere.
Online-Adaptionsmechanismus: Das System unterstützt „On-the-fly“-Lernen, bei dem die Parameter des rezeptiven Feldes angepasst werden können, um Domain Shifts zu verfolgen oder neue Klassen zu erfassen, ohne ein vollständiges Retraining des Modells zu erfordern.
Erklärbarkeit: Im Gegensatz zu opaken Feed-Forward-Schichten ist der Entscheidungsprozess explizit auf die Nähe des Eingangs zu den gespeicherten Prototypen zurückführbar, was eine inhärente Erklärbarkeit bietet.

Ergebnisse

Energie und Latenz: Schaltkreissimulationen (SPICE-Spectre) auf einem 180-nm-CMOS-Prozess mit TiN/HfON/TiN RRAM deuten auf einen Energieverbrauch von 185 fJ pro Zelle pro Operation bei 100 MHz hin. Die Latenz pro Suche beträgt etwa 100 ns.
Klassifizierungsgenauigkeit:
- Bei einem künstlichen geometrischen Symbol-Datensatz erreichte das System eine Genauigkeit von 100 % sowohl für das initiale Training als auch nach der Adaption.
- Beim MNIST-Datensatz (heruntergesampelt auf 7x7) erreichte das System 89,1 % Genauigkeit vor der Adaption und 85,5 % nach der Adaption. Die Autoren merken an, dass der leichte Genauigkeitsabfall auf das Fehlen von Feature-Extraction-Layern und das Downsampling des Inputs zurückzuführen ist und nicht auf den Kern des TXL-Mechanismus.
Adaptionsleistung: SPICE-Simulationen demonstrierten die Fähigkeit des Systems, bestehende Prototypen erfolgreich an Outlier-Stichproben anzupassen (Umgestaltung des rezeptiven Feldes) und neue Prototypen für unbekannte Klassen zuzuweisen (z. B. Einführung einer „Rechteck“-Klasse in einen Datensatz aus Kreisen, Dreiecken und Kreuzen), während die Integrität der bestehenden Prototypen gewahrt bleibt.

Bedeutung
Das Paper behauptet, dass die vorgeschlagene TXL-basierte Architektur einen gangbaren Weg zu robustem, energieeffizientem Edge-Computing für sicherheitskritische Anwendungen bietet. Durch die Ermöglichung von In-situ-Adaption adressiert das System die Herausforderung des Domain Shift und ermöglicht es Edge-Geräten, ihre Zuverlässigkeit beizubehalten, wenn sie auf reale Datendistributionen treffen, die von den Trainingsdaten abweichen. Die Autoren positionieren diese Technologie als Schritt in Richtung kontinuierliches Lernen am Edge, bei dem Systeme ihre Klassifizierungsfähigkeiten erweitern und sich an neue Umgebungen anpassen können, ohne katastrophales Vergessen oder die Notwendigkeit externer Datenannotation zu erleiden. Die Arbeit sieht einen zukünftigen Einsatz in der Fernüberwachung, in Wearables und in der autonomen Navigation vor, sofern die Herausforderungen bezüglich RRAM-Variabilität, Retention und Endurance durch Kalibrierung bewältigt werden.

1. Das Problem: Der „Bibliotheks“-Engpass

2. Die Lösung: Der „Intelligente Klebezettel“ (Die TXL-Zelle)

3. Das Gehirn: Eine Wand aus Klebezetteln (Das Array)

4. Lernen im laufenden Betrieb: Das „Anpassungsfähige“ Gehirn

5. Die Ergebnisse: Schnell, günstig und effektiv

Mehr davon