Optimizing Binary and Ternary Neural Network Inference on RRAM Crossbars using CIM-Explorer

Das Paper stellt CIM-Explorer vor, ein modulares Toolkit zur Optimierung der Inferenz von binären und ternären neuronalen Netzen auf RRAM-Crossbars, das einen durchgängigen Design-Space-Exploration-Flow von der Genauigkeitsschätzung bis zur Kompilierung ermöglicht.

Das Wesentliche

🧠 Der "CIM-Explorer": Ein Werkzeugkasten für die Zukunft des Rechnens

Stell dir vor, dein Computer ist wie eine riesige Bibliothek. Normalerweise muss ein Bibliothekar (der Prozessor) jedes Mal zu den Regalen (dem Arbeitsspeicher) laufen, ein Buch holen, es lesen, etwas daraus berechnen und dann wieder zurück zum Schreibtisch laufen. Das nennt man das von-Neumann-Problem: Es ist viel Zeit und Energie verschwendet, nur um hin- und herzurennen.

Die Forscher aus Aachen haben eine Lösung entwickelt: Computing-in-Memory (CIM). Das ist wie ein Bibliothekar, der direkt im Regal sitzt und die Bücher dort liest und bearbeitet, ohne den Schreibtisch zu verlassen.

1. Das Problem: Die "kaputten" Regale (RRAM)

Um diesen Bibliothekar effizient zu machen, nutzen sie eine spezielle Technologie namens RRAM (ein neuartiger Speicher). Aber diese Speicherzellen sind nicht perfekt. Sie sind wie alte, knisternde Radios:

• Manchmal ist die Lautstärke (der Widerstand) nicht genau das, was man eingestellt hat.
• Sie sind manchmal "zickig" (Variabilität).
• Wenn man sie zu oft benutzt, gehen sie kaputt.

Besonders schwierig ist es, wenn man viele verschiedene Lautstufen (wie bei einem normalen Computer mit 8 oder 16 Bit) nutzen will. Die Fehler summieren sich dann schnell.

Die Lösung: Man nutzt nur zwei oder drei extreme Lautstufen:

• BNN (Binary): Nur "Leise" (Aus) oder "Laut" (An). Wie ein Lichtschalter.
• TNN (Ternary): "Leise", "Mittel" oder "Laut". Wie ein Dimmer mit nur drei Stufen.

Das macht die Sache robuster, aber es ist schwer, die richtigen Modelle (Neuronale Netze) so umzubauen, dass sie auf diesen "einfachen" Schaltern laufen.

2. Die Erfindung: Der "CIM-Explorer"

Bisher gab es viele kleine Werkzeuge: Eines zum Umprogrammieren, eines zum Simulieren, eines zum Testen. Aber sie sprachen nicht miteinander. Das ist, als hättest du einen Koch, einen Teller und ein Rezept, aber sie wären in drei verschiedenen Küchen verstreut.

Die Autoren haben CIM-Explorer gebaut. Das ist ein modulares Werkzeugset, das alles vereint:

1. Der Übersetzer (Compiler): Er nimmt ein komplexes KI-Modell (das "Rezept") und schneidet es so zurecht, dass es perfekt auf die einfachen RRAM-Schalter passt.
2. Die Umsetzer (Mapping): Sie entscheiden, wie die Daten genau auf die Schalter gelegt werden (z.B. wie man negative Zahlen darstellt, wenn man nur "An/Aus" hat).
3. Der Simulator: Er testet das Ganze virtuell, bevor man teure Hardware baut.

Das Besondere: Alles passt zusammen. Wenn du im Simulator eine Änderung vornimmst, weiß der Übersetzer sofort, wie er das Rezept anpassen muss.

3. Wie funktioniert das in der Praxis? (Die Analogie)

Stell dir vor, du willst ein riesiges Mosaik (die KI) auf eine Wand kleben, aber du hast nur rote und blaue Kacheln (die RRAM-Zellen).

• Der Compiler schaut sich dein Mosaik an und sagt: "Okay, wir müssen hier ein paar Kacheln drehen und dort eine andere Farbe verwenden, damit es mit nur Rot und Blau funktioniert."
• Die Mapping-Strategien sind wie verschiedene Techniken, wie man die Kacheln anordnet.
  • Strategie A: Man nimmt zwei rote Kacheln, um eine "dunklere" Farbe zu simulieren.
  • Strategie B: Man nutzt nur eine Kachel, muss aber den Hintergrund anpassen.
• Der Simulator ist wie ein VR-Brille, mit der du das fertige Mosaik betrachtest, um zu sehen: "Sieht das noch gut aus, oder ist es jetzt unscharf?"

4. Was haben sie herausgefunden? (Die Ergebnisse)

Die Forscher haben mit ihrem Werkzeug Tausende von Szenarien durchgespielt:

• Die "Lautstärke" (ADC): Der Computer muss die analogen Signale wieder in digitale Zahlen umwandeln. Sie haben gesehen, dass man gar keine super-hohe Präzision braucht. Schon eine 3-Bit-Auflösung (sehr grob) reicht oft aus, um eine hohe Genauigkeit zu erreichen. Das spart enorm viel Energie!
• Die "Zickigkeit" (Variabilität): Manche Strategien sind robuster gegen fehlerhafte Zellen als andere. Die beste Strategie (BNN VI) ist wie ein sehr stabiler Tisch, der auch wackelt, ohne dass das Glas herunterfällt.
• Größe zählt: Größere KI-Modelle sind oft überraschend widerstandsfähiger gegen Fehler als kleine Modelle. Man sollte also nicht immer das kleinste Modell wählen, wenn man unsichere Hardware nutzt.

5. Warum ist das wichtig?

Bisher war es wie "Raten" beim Designen von KI-Chips. Man wusste nicht genau, welche Strategie bei welcher Hardware funktioniert.

Mit CIM-Explorer können Ingenieure heute:

1. Vorausschauen: Sie können testen, wie gut ein Chip funktioniert, bevor sie ihn überhaupt gebaut haben.
2. Optimieren: Sie finden die perfekte Kombination aus Software (KI-Modell) und Hardware (Schalter), um Energie zu sparen und Fehler zu minimieren.
3. Schneller entwickeln: Da das Werkzeug offen und modular ist, können andere Forscher es nutzen, um ihre eigenen KI-Chips zu verbessern.

Zusammenfassend:
Das Team hat einen Schweizer Taschenmesser für KI-Chips gebaut. Es hilft uns, die Lücke zwischen der theoretischen KI und der unperfekten, realen Hardware zu schließen, damit unsere zukünftigen Geräte intelligenter, schneller und energieeffizienter werden – ohne dass wir uns um die kleinen Fehler der Elektronik kümmern müssen.

Technische Zusammenfassung

1. Problemstellung

Die von-Neumann-Architektur leidet unter dem „von-Neumann-Bottleneck", da Daten zwischen Speicher und Prozessor verschoben werden müssen. Computing-in-Memory (CIM) mit Resistive Random Access Memory (RRAM) verspricht hier Abhilfe durch die Integration von Rechenoperationen direkt im Speicher.
Allerdings weisen RRAM-Crossbars erhebliche Nicht-Idealitäten auf, wie z. B. Variabilität zwischen Zellen (Device-to-Device, D2D) und über Zyklen hinweg (Cycle-to-Cycle, C2C), thermische Instabilität und Lese-Stör-Effekte. Diese Probleme machen die Nutzung von Mehrstufigen Zellen (MLC) schwierig. Daher werden oft binäre Betriebsmodi (Low Resistive State LRS / High Resistive State HRS) bevorzugt, was Binary Neural Networks (BNNs) und Ternary Neural Networks (TNNs) zu geeigneten Kandidaten macht.

Das Kernproblem:
Bisherige Software-Tools für RRAM-basiertes CIM fokussieren sich meist nur auf einen einzelnen Aspekt (z. B. nur Compiler, nur Simulation oder nur Design Space Exploration - DSE) und unterstützen oft nur 8-Bit- oder 16-Bit-Workloads. Es fehlt ein umfassendes Werkzeug, das den gesamten Designprozess von der frühen Genauigkeitsschätzung bis zur Code-Generierung für spezifische Crossbar-Chips abdeckt und dabei speziell BNNs und TNNs sowie deren Abbildung auf nicht-ideale Hardware berücksichtigt.

2. Methodik: CIM-Explorer

Die Autoren stellen CIM-Explorer vor, ein modulares Toolkit, das eine End-to-End-Design-Flow für BNNs und TNNs auf RRAM-Crossbars ermöglicht. Das System besteht aus vier Hauptkomponenten:

1. Compiler-Stack (TVM-basiert):

   • Basierend auf dem Tensor Virtual Machine (TVM) Framework.
   • Enthält einen neuen Larq-Frontend, da Larq (ein Open-Source-Framework für BNN/TNN-Training) von der Standard-TVM-Pipeline nicht nativ unterstützt wird.
   • Führt eine Partitionierung der neuronalen Netze durch: CPU-Operationen bleiben auf der CPU, während Matrix-Vektor-Multiplikationen (MVMs) auf den Crossbar offgeladen werden.
   • Optimiert die Schleifenstruktur (Scheduling), um MVMs in die innersten Schleifen zu isolieren und durch Funktionsaufrufe an eine funktionale Schnittstelle zu ersetzen.
   • Unterstützt beliebige Crossbar-Größen und maximiert die Wiederverwendung von Gewichten, um die Lebensdauer der Zellen zu erhöhen.

2. Mapping-Techniken (Compute Modes):

   • Das Tool implementiert verschiedene Strategien zur Abbildung von ganzzahligen Gewichten und Aktivierungen auf analoge Crossbar-Werte.
   • Binär-Netze (BNN): Unterscheidung zwischen Linear-Scaling (Offset-Verfahren) und Differential-Mode (zwei Zellen pro Gewicht für positive/negative Anteile). Es werden sechs verschiedene Abbildungsvarianten (BNN I–VI) analysiert, die sich in der Anzahl der benötigten Zellen pro Gewicht und der Anzahl der MVM-Zyklen unterscheiden.
   • Ternär-Netze (TNN): Ähnliche Ansätze, wobei TNNs drei Zustände (-1, 0, +1) nutzen. Hier werden entweder die Werte in positive/negative Anteile zerlegt oder als 2-Bit-Werte dargestellt.

3. Simulatoren und Schnittstellen:

   • Definiert klare Schnittstellen (Functional Interface und Crossbar Interface), um den Compiler vom Backend zu trennen.
   • Unterstützt verschiedene Simulatoren (z. B. C/C++ für schnelle Simulation oder Python-Callbacks für Prototyping) und ermöglicht theoretisch die Ausführung auf echter Hardware.
   • Modelliert ADCs (Analog-to-Digital Converter) vereinfacht, um Quantisierungs- und Clipping-Fehler zu simulieren.

4. Design Space Exploration (DSE):

   • Automatisiert die Analyse des Einflusses von Crossbar-Parametern (Variabilität, Leitfähigkeitsbereiche), ADC-Parametern (Auflösung, Clipping-Faktor) und Mapping-Strategien auf die Inferenzgenauigkeit.

3. Wichtige Beiträge

• Integrierter Workflow: Erstmals wird ein Tool vorgestellt, das Compiler, Mapping und Simulation für BNNs/TNNs auf RRAM nahtlos verbindet, um Inkonsistenzen zwischen Simulation und Realhardware zu vermeiden.
• Larq-Integration: Entwicklung eines neuen Frontends für TVM, um direkt mit trainierten BNN/TNN-Modellen aus Larq zu arbeiten.
• Umfassende Mapping-Analyse: Systematische Untersuchung von sechs BNN- und fünf TNN-Mapping-Strategien unter Berücksichtigung von Hardware-Nicht-Idealitäten.
• Open Source: Das Toolkit ist auf GitHub verfügbar und fördert die Reproduzierbarkeit und Weiterentwicklung im CIM-Bereich.

4. Ergebnisse

Die Autoren führten DSE-Studien mit Modellen wie VGG-7, BinaryNet und DenseNet-Varianten auf Datensätzen wie CIFAR-10 und CIFAR-100 durch:

• Einfluss der ADC-Auflösung:

  • Die BNN VI-Mapping-Strategie (differential, 4 Zellen/Gewicht) erzielt die höchste Genauigkeit und ist am robustesten gegenüber niedrigen ADC-Auflösungen (hält auch bei 3 Bit hohe Genauigkeit).
  • XNOR-basierte Mappings (BNN V), die oft in der Literatur verwendet werden, schneiden in diesem Szenario am schlechtesten ab.
  • Differential-Mappings (BNN I & II) bieten einen guten Kompromiss zwischen Genauigkeit und Hardware-Komplexität.

• Zellvariabilität:

  • Die Genauigkeit sinkt mit zunehmender Standardabweichung der Leitfähigkeit (LRS/HRS).
  • BNN VI ist am tolerantesten gegenüber Variabilität.
  • TNNs zeigen eine höhere Empfindlichkeit gegenüber HRS-Variabilität als BNNs, da der Wert 0 (oft HRS) in TNNs häufiger vorkommt.

• Skalierbarkeit:

  • Größere Modelle (z. B. BinaryDenseNet37) sind weniger empfindlich gegenüber Nicht-Idealitäten als kleinere Modelle mit ähnlicher Baseline-Genauigkeit.
  • Für größere Modelle reichen oft geringere ADC-Auflösungen (3 Bit) aus, um eine akzeptable Genauigkeitsverlustgrenze (<1 %) einzuhalten.

• TNN vs. BNN:

  • TNNs können im Allgemeinen auf höherer Genauigkeit trainiert werden als BNNs.
  • Differential-Mappings für TNNs (TNN I–III) überlegen sich Linear-Scaling-Mappings (TNN IV, V) in der Genauigkeit.

5. Bedeutung und Fazit

CIM-Explorer schließt eine kritische Lücke in der CIM-Forschung, indem es einen ganzheitlichen Ansatz für die Optimierung von BNNs und TNNs auf RRAM-Hardware bietet. Es ermöglicht Designern, frühzeitig im Entwicklungsprozess fundierte Entscheidungen zu treffen, welche Mapping-Strategie und welche Hardware-Parameter (z. B. ADC-Auflösung, Zellvariabilitätstoleranz) für ein spezifisches Szenario optimal sind.

Die Modularität des Tools erlaubt es, Komponenten unabhängig voneinander zu nutzen (z. B. nur den Compiler für echte Hardware oder nur den Simulator für neue Materialien). Dies beschleunigt die Entwicklung effizienter CIM-Acceleratoren und trägt dazu bei, die von-Neumann-Beschränkungen durch energieeffiziente, spezialisierte Architekturen zu überwinden. Das Tool ist besonders wertvoll, da es zeigt, dass einfache binäre Ansätze unter realen Hardware-Bedingungen oft robuster sind als komplexere, aber fehleranfälligere Ansätze.