Energy Efficient Exact and Approximate Systolic Array Architecture for Matrix Multiplication

Diese Arbeit stellt eine energieeffiziente systolische Array-Architektur mit exakten und approximativen Verarbeitungselementen vor, die durch den Einsatz neuartiger PPC- und NPPC-Zellen eine signifikante Energieeinsparung bei gleichzeitig hoher Ausgabequalität für Anwendungen wie DCT und Kantenerkennung in der Bildverarbeitung ermöglicht.

Das Wesentliche

🧠 Das Problem: Der hungrige Rechen-Riese

Stell dir vor, moderne Künstliche Intelligenz (KI) ist wie ein riesiger, hungriger Riese, der ständig essen muss, um zu lernen und zu denken. Dieses "Essen" sind Berechnungen, speziell das Multiplizieren und Addieren von riesigen Zahlenmengen (Matrix-Multiplikation).

In herkömmlichen Computern arbeiten diese Rechen-Einheiten wie perfektionistische Handwerker. Wenn sie eine Zahl berechnen, wollen sie das Ergebnis zu 100 % genau, bis auf den letzten Dezimalpunkt. Das ist toll für die Genauigkeit, aber es kostet extrem viel Energie und Zeit – wie wenn ein Handwerker jeden Nagel mit einem Mikroskop prüft, bevor er ihn einschlägt. Für kleine Geräte wie Smartphones oder IoT-Sensoren (das "Internet der Dinge") ist das zu teuer und verbraucht zu viel Akku.

💡 Die Lösung: Der clevere "Grob-Rechner"

Die Autoren dieses Papers haben eine neue Art von Rechen-Architektur entwickelt, die sie Systolische Arrays nennen. Das klingt kompliziert, aber stell es dir einfach als ein Fließband aus kleinen Robotern vor. Jeder Roboter (ein sogenanntes "Processing Element" oder PE) nimmt Zahlen entgegen, rechnet etwas und gibt sie an den nächsten weiter.

Das Geniale an ihrer Idee ist, dass sie zwei Arten von Robotern gebaut haben:

1. Der Perfektionist (Exakter PE): Dieser rechnet immer noch zu 100 % genau, aber er ist schlanker und effizienter gebaut als die alten Modelle. Er spart Energie, indem er unnötige Schritte weglässt.
2. Der Pragmatiker (Approximativer PE): Das ist der Star der Show. Dieser Roboter sagt: "Hey, für ein Bild oder eine Gesichtserkennung muss das Ergebnis nicht zu 100 % perfekt sein. Wenn ich ein paar Dezimalstellen weglasse, spare ich enorm viel Energie und werde trotzdem schnell."

🔨 Wie funktioniert der "Pragmatiker"?

Stell dir vor, du malst ein Bild.

• Der alte Computer misst jeden Pinselstrich mit dem Lineal und wiegt die Farbe.
• Der neue "Pragmatiker" sagt: "Ich weiß, dass ein roter Apfel rot ist. Ich muss nicht genau wissen, ob er 100,00 % oder 99,95 % rot ist. Ich male ihn einfach schnell rot."

In der Technik nennen sie das Approximatives Rechnen. Sie haben spezielle Bausteine (PPC und NPPC) entwickelt, die absichtlich kleine Fehler machen, aber dafür viel weniger Strom verbrauchen.

• Das Ergebnis: Der "Pragmatiker" verbraucht bis zu 68 % weniger Energie als die alten Modelle!

📸 Der Beweis: Funktioniert das auch in der Praxis?

Die Forscher haben ihre neuen Roboter in drei verschiedenen Szenarien getestet, um zu sehen, ob das "Weglassen von Details" das Ergebnis ruiniert:

1. Bildkomprimierung (DCT): Wie bei JPEG-Bildern.
   • Ergebnis: Das Bild sieht fast genauso gut aus wie das Original (sehr hohe Bildqualität), aber die Berechnung war viel sparsamer.
2. Kanten-Erkennung (Kernel-basiert): Ein einfacher Filter, der die Ränder von Objekten im Bild findet.
   • Ergebnis: Hier war die Qualität etwas schlechter, aber immer noch brauchbar für einfache Aufgaben.
3. Kanten-Erkennung mit KI (CNN): Ein smarter KI-Filter, der wie ein menschliches Gehirn lernt.
   • Ergebnis: Das war der Durchbruch! Selbst wenn die Rechen-Einheiten Fehler machten, hat die KI-Struktur diese Fehler so gut ausgeglichen, dass das Endergebnis fast perfekt war (PSNR von 75,98 dB – das ist extrem hoch!).

🚀 Warum ist das wichtig?

Stell dir vor, du hast eine Kamera in einem kleinen Drohnen-Chip oder in einer Smartwatch.

• Ohne diese Technik: Der Akku ist nach 10 Minuten leer, weil der Prozessor zu viel Energie für "perfekte" Berechnungen verbraucht, die das menschliche Auge gar nicht bemerkt.
• Mit dieser Technik: Die Kamera läuft stundenlang, weil sie "grob genug" rechnet, um das Bild zu verstehen, aber nicht so viel Energie verschwendet.

Fazit

Die Autoren haben gezeigt, dass man nicht immer perfekt sein muss, um erfolgreich zu sein. Durch den Einsatz von "intelligenten Fehlern" (Approximation) in der Hardware können wir KI auf kleinen, batteriebetriebenen Geräten viel effizienter und schneller machen. Es ist wie der Unterschied zwischen einem teuren, langsamen Luxusauto und einem schnellen, sparsamen Elektroauto – beide kommen ans Ziel, aber einer verbraucht viel weniger Kraftstoff.

Technische Zusammenfassung

1. Problemstellung

Deep Neural Networks (DNNs) und maschinelles Lernen (ML) sind für eine Vielzahl von Anwendungen wie Computer Vision und autonome Systeme unverzichtbar. Der Kern dieser Workloads sind große Matrixmultiplikationen, die Milliarden von Multiply-Accumulate (MAC)-Operationen erfordern.

• Herausforderung: Herkömmliche systolische Arrays (SA), die für diese Berechnungen verwendet werden (z. B. in Google TPUs), nutzen exakte arithmetische Einheiten. Dies führt zu einem hohen Energieverbrauch und großen Flächenkosten auf dem Chip.
• Einschränkung: Diese Ineffizienz erschwert den Einsatz auf ressourcenbeschränkten Plattformen wie Edge-Geräten und IoT-Systemen, wo Energieeffizienz von höchster Priorität ist.
• Ansatz: Approximatives Computing (Approximate Computing) wird als Design-Paradigma untersucht, das eine leichte Reduzierung der Rechengenauigkeit in Kauf nimmt, um signifikante Verbesserungen bei Energieeffizienz und Hardware-Komplexität zu erzielen, insbesondere für fehlertolerante Anwendungen wie Bildverarbeitung.

2. Methodik

Die Autoren schlagen eine neue Architektur für systolische Arrays vor, die sowohl exakte als auch approximative Verarbeitungselemente (Processing Elements, PEs) integriert.

• Neue Zell-Designs (PPC & NPPC):
  • Es werden neuartige Zellen für partielle Produkte entwickelt: PPC (Partial Product Cell) und NPPC (Nand-based Partial Product Cell).
  • Diese Zellen werden sowohl in exakter als auch in approximierter Form entworfen. Die approximierten Versionen vereinfachen die Logik, indem sie bestimmte Eingabekombinationen vereinfachen, was zu Fehlern führt, aber die Hardware drastisch reduziert.
  • Die approximierten PEs nutzen einen Approximationsfaktor $k = N - 1$ (für eine $N$-Bit-Breite).
• PE-Architektur:
  • Die PEs führen die Operation $a \times b + c$ aus.
  • Im Gegensatz zu herkömmlichen Designs, die Multiplikation und Akkumulation trennen, werden diese hier in einem fusionierten PE integriert, um Verzögerungen zu reduzieren.
  • Es werden 8-Bit-PEs für vorzeichenbehaftete (signed) und vorzeichenlose (unsigned) Operationen entwickelt.
• Systemintegration:
  • Die PEs werden in ein 8x8 systolisches Array integriert.
  • Die Architektur wird auf drei Anwendungsfälle getestet: Diskrete Kosinustransformation (DCT) für Bildkompression, Kantenerkennung mittels Laplace-Kernel und Kantenerkennung mittels eines Convolutional Neural Networks (CNN) basierend auf der BDCN-Architektur.

3. Hauptbeiträge

• Energieeffiziente Architektur: Vorstellung eines systolischen Arrays mit neuartigen exakten und approximativen PEs, die auf optimierten PPC- und NPPC-Zellen basieren.
• Verbesserte Zell-Designs:
  • Die approximierten PPC- und NPPC-Zellen erreichen im Vergleich zum besten existierenden Design [5] Energieeinsparungen von 46,8 % bzw. 34,4 %.
  • Der vorgeschlagene exakte 8-Bit-PE spart 24,37 % Energie gegenüber Design [6].
  • Der vorgeschlagene approximative 8-Bit-PE spart 22,51 % Energie gegenüber Design [5].
• Validierung in Anwendungen: Die Architektur wurde erfolgreich in DCT, Kernel-basierter Kantenerkennung und CNN-basierter Kantenerkennung validiert.
• Fehlerraten-Analyse: Die Fehlerwahrscheinlichkeit der approximierten PPC-Zelle beträgt 5/16 (25/256 für den Block), was als akzeptabel für die getesteten Anwendungen eingestuft wird.

4. Ergebnisse

Die Evaluierung erfolgte unter Verwendung der Cadence Genus Synthese-Lösung mit 90-nm-Technologie sowie Python-Simulationen für Fehlermetriken.

• Hardware-Metriken (8x8 Array, 250 MHz):
  • Energieeinsparung: Das 8x8 systolische Array mit den vorgeschlagenen approximativen PEs erreicht im Vergleich zu existierenden Designs Energieeinsparungen von 16 % (exakt) bis 68 % (approximativ).
  • Power-Delay-Product (PDP): Für das 8-Bit-Design in einem 16x16 Array wurde eine PDP-Reduktion von 62,7 % gegenüber dem exakten Design [6] und eine Verbesserung von 24,2 % gegenüber dem besten existierenden approximativen Design [5] erzielt.
  • Fläche: Die approximative Design-Fläche wurde um bis zu 5,9 % reduziert.
• Anwendungsqualität (Bildqualität):
  • DCT (Bildkompression): Erzielte einen PSNR (Peak Signal-to-Noise Ratio) von 45,97 dB und einen SSIM (Structural Similarity Index) von 0,991, was eine sehr hohe Bildqualität bei minimalen Verlusten zeigt.
  • Kantenerkennung (Kernel-basiert): PSNR von 30,45 dB.
  • Kantenerkennung (CNN-basiert / BDCN): Erzielte einen hervorragenden PSNR von 75,98 dB. Dies zeigt, dass die CNN-Architektur die Rechenfehler der approximativen PEs in den frühen Schichten effektiv kompensieren kann, während die späteren Schichten mit hoher Genauigkeit arbeiten.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Integration von approximativen PEs in systolische Arrays eine vielversprechende Strategie für die nächste Generation von KI-Hardware ist.

• Energieeffizienz: Die vorgeschlagenen Designs bieten signifikante Einsparungen bei Energie und Fläche, was sie ideal für energiebeschränkte Edge-Devices macht.
• Qualitätserhalt: Trotz der Approximation bleibt die Ausgabequalität in bildverarbeitenden Anwendungen (wie DCT und Kantenerkennung) auf einem sehr hohen Niveau, insbesondere wenn die Approximation in hybriden Architekturen (wie CNNs) intelligent eingesetzt wird.
• Zukunftsperspektive: Die Ergebnisse unterstreichen das Potenzial von Approximativem Computing, um die Lücke zwischen hoher Rechenleistung und begrenzter Energieverfügbarkeit in modernen Deep-Learning-Systemen zu schließen.