CORVET: A CORDIC-Powered, Resource-Frugal Mixed-Precision Vector Processing Engine for High-Throughput AIoT applications

Die Arbeit stellt CORVET vor, einen ressourcenschonenden Vektorprozessor für Edge-AI, der durch einen CORDIC-basierten MAC-Einheit mit adaptiver Genauigkeit und Zeitmultiplexierung eine hohe Durchsatzdichte und Energieeffizienz bei variabler Präzision erreicht.

Das Wesentliche

Stellen Sie sich vor, Sie bauen einen kleinen, extrem effizienten Roboter-Gehirn-Computer für Drohnen oder Smart-Home-Geräte. Dieser Computer muss sehr schnell Bilder erkennen (z. B. „Das ist eine Katze!") und dabei aber wenig Strom verbrauchen, da er oft nur mit einer kleinen Batterie läuft.

Das Problem bei herkömmlichen Computern ist, dass sie für jede Rechenaufgabe einen riesigen, starren Werkzeugkasten mitbringen. Wenn sie nur eine einfache Aufgabe lösen müssen, verschwenden sie trotzdem viel Energie und Platz.

Die Forscher in diesem Papier haben eine neue Lösung namens CORVET entwickelt. Hier ist eine einfache Erklärung, wie das funktioniert, mit ein paar bildhaften Vergleichen:

1. Der schlaue Werkzeugkasten (Der CORDIC-MAC)

Stellen Sie sich vor, Sie müssen eine Treppe hinaufsteigen.

• Der alte Weg: Ein herkömmlicher Computer baut für jeden Schritt eine massive, feste Treppe. Das ist schnell, aber sehr schwer und teuer im Bau.
• Der CORVET-Weg: CORVET nutzt eine iterative Methode (wie ein geschickter Kletterer). Er nimmt einen einfachen Schritt und wiederholt ihn so oft, wie nötig.
  • Wenn es eilig ist und die Genauigkeit nicht 100 % perfekt sein muss (z. B. um zu erkennen, dass da irgendein Tier ist), macht er nur wenige Schritte. Das geht super schnell und spart Energie.
  • Wenn es auf jedes Detail ankommt (z. B. um zu erkennen, ob es eine Katze oder ein Hund ist), macht er einfach ein paar Schritte mehr.
  • Der Clou: Er kann diese Entscheidung während der Arbeit treffen. Er ist nicht starr festgelegt. Das nennt man „Laufzeit-Anpassung".

2. Der eine Alleskönner statt vieler Spezialisten (Die Aktivierungsfunktionen)

In einem neuronalen Netzwerk gibt es viele kleine Rechenoperationen, die wie „Entscheidungstrichter" funktionieren (z. B. „Ist das Bild hell genug?").

• Das alte Problem: Früher hat man für jeden dieser Trichter einen eigenen, riesigen Spezialisten gebaut. Aber die meisten dieser Spezialisten standen 80 % der Zeit nur herum und taten nichts. Das nennt man „dunkles Silizium" – teurer Platz, der verschwendet wird.
• Die CORVET-Lösung: Statt 100 Spezialisten bauen sie einen einzigen, sehr geschickten Alleskönner. Dieser Alleskönner springt von Aufgabe zu Aufgabe. Er macht erst einen „Trichter", dann einen anderen, dann einen dritten.
• Das Ergebnis: Da er so schnell ist, hinkt er nicht hinterher, aber er braucht nur einen Bruchteil des Platzes und Stroms. Es ist, als würde man einen einzigen Koch haben, der für das ganze Restaurant kocht, statt 20 Köche zu haben, von denen 19 nur warten.

3. Der flexible Arbeitsplan (Vektor-Engine)

Statt dass alle Arbeiter gleichzeitig an riesigen, komplexen Maschinen stehen, hat CORVET viele kleine, identische Arbeiter (die „PEs").

• Sie arbeiten parallel, aber jeder macht seine Aufgabe in kleinen Häppchen.
• Wenn ein Arbeiter gerade eine Pause macht (weil er auf Daten wartet), arbeiten die anderen weiter.
• Durch diese geschickte Organisation können sie mit der gleichen Menge an Hardware (dem gleichen „Bauplatz") viermal so viel Arbeit erledigen wie die alten Systeme.

4. Das Ergebnis: Ein sparsamer Superheld

Die Forscher haben diesen Chip getestet (sowohl auf einem FPGA-Board als auch in einem echten Chip-Design):

• Energie: Er verbraucht deutlich weniger Strom (bis zu 21 % weniger pro Rechenschritt).
• Geschwindigkeit: Er ist extrem schnell, besonders wenn man viele kleine Aufgaben gleichzeitig erledigt.
• Platz: Er passt auf viel kleineren Chips als die Konkurrenz.

Zusammenfassend:
CORVET ist wie ein schlaues, flexibles Team, das weiß, wann es hart arbeiten muss und wann es sich etwas Zeit lassen kann, ohne die Qualität zu verlieren. Es nutzt keine riesigen, teuren Spezialmaschinen, sondern einen cleveren, wiederverwendbaren Mechanismus, der Strom und Platz spart. Das macht es perfekt für die Zukunft der „Künstlichen Intelligenz am Rande des Netzwerks" (Edge AI) – also für intelligente Geräte, die überall hin mitgenommen werden können, ohne dass die Batterie sofort leer ist.

Technische Zusammenfassung

1. Problemstellung

Deep Learning (DL) und insbesondere Deep Neural Networks (DNNs) sowie Vision Transformers (ViTs) dominieren moderne KI-Anwendungen im Bereich des Internet of Things (IoT). Die Inference auf ressourcenbeschränkten Edge-Plattformen steht jedoch vor erheblichen Herausforderungen:

• Ressourcenineffizienz: Herkömmliche Beschleuniger weisen oft eine überproportionale Zuweisung von Hardware-Ressourcen für Nicht-lineare Aktivierungsfunktionen (NAFs) auf, die nur 2–5 % der Gesamtrechenoperationen ausmachen, aber bis zu 25 % der Chipfläche einnehmen können. Dies führt zu „Dark Silicon" (untersetzte Hardware).
• Fehlende Flexibilität: Bestehende Approximationsansätze (z. B. basierend auf CORDIC oder Logarithmen) arbeiten oft mit festen Approximationspunkten. Dies führt entweder zu irreversiblen Genauigkeitsverlusten oder erfordert zusätzliche Korrekturlogik, was den Energievorteil zunichtemacht.
• Starre Architekturen: Viele Designs unterstützen keine dynamische Anpassung der Genauigkeit oder Latenz zur Laufzeit, was eine suboptimale Abwägung zwischen Genauigkeit, Latenz und Ressourcennutzung bei heterogenen Workloads zur Folge hat.

2. Methodik und Architektur

Das Paper stellt CORVET vor, eine vektorbasierte Verarbeitungsengine, die auf einer iterativen CORDIC-Architektur (Coordinate Rotation Digital Computer) basiert und für Edge-AI optimiert ist.

• Iterativer CORDIC-basierter MAC-Einheit (Multiply-Accumulate):

  • Im Gegensatz zu gepipelten oder feststehenden CORDIC-Designs nutzt CORVET eine iterative Struktur.
  • Laufzeit-Anpassung: Die Anzahl der CORDIC-Iterationen kann pro Schicht (Layer) dynamisch konfiguriert werden.
  • Modi: Es gibt einen „Approximations-Modus" (weniger Iterationen, geringere Latenz, ca. 2 % Genauigkeitsverlust) und einen „Genauen Modus" (mehr Iterationen, < 0,5 % Verlust). Dies ermöglicht einen Trade-off zwischen Genauigkeit und Latenz ohne strukturelle Änderungen.
  • Präzision: Unterstützung von gemischter Präzision (4/8/16-Bit).

• Zeitmultiplexierter Multi-Aktivierungs-Funktions-Block (Multi-AF):

  • Um die Unterauslastung von Aktivierungsfunktionen zu beheben, wird ein gemeinsamer Block für alle Verarbeitungs-Elemente (PEs) verwendet.
  • Dieser Block unterstützt eine breite Palette nichtlinearer Funktionen (Sigmoid, Tanh, SoftMax, GELU, Swish, ReLU, SELU) durch Wiederverwendung derselben CORDIC-Ressourcen in verschiedenen Modi (hyperbolische Rotation und lineare Division).
  • Dies erhöht die Hardware-Auslastung signifikant und reduziert den Flächenbedarf.

• Vektor-Engine-Organisation:

  • Die Engine besteht aus $N$ homogenen PEs (64 bis 256), die parallel arbeiten.
  • Durch die parallele Ausführung über mehrere PEs wird die Latenz der iterativen MAC-Operationen auf Ebene der Vektor-Engine ausgeglichen (Amortisierung).
  • Ein leichtgewichtiges Steuerungs-Engine (Control Engine) orchestriert den Datenfluss, das Speichermanagement (getrennte Banks für Gewichte und Bias) und die Synchronisation.

• Pooling und Normalisierung:

  • Integration einer „Absolute Average Deviation" (AAD) Pooling-Einheit, die für CORDIC-basierte Berechnungen optimiert ist und eine bessere Genauigkeit bei geringer Komplexität bietet.

3. Schlüsselbeiträge

1. Laufzeit-adaptive MAC-Einheit: Eine ressourcenschonende, iterative CORDIC-MAC-Einheit, die einen konfigurierbaren Genauigkeits-Latenz-Trade-off ermöglicht und zwischen approximativem und genauem Modus wechseln kann.
2. Skalierbare Vektor-Engine-Architektur: Eine Architektur, die die Latenz iterativer MACs durch parallele Ausführung amortisiert, was eine 4-fache Steigerung des Durchsatzes bei gleichem Hardware-Ressourceneinsatz ermöglicht.
3. Hohe Auslastung durch Multi-AF: Ein zeitmultiplexer Block für multiple Aktivierungsfunktionen, der die Hardware-Auslastung maximiert und „Dark Silicon" minimiert, mit minimalem zusätzlichem Overhead (< 4 %).
4. Umfassende Evaluierung: Eine detaillierte Hardware-Software-Co-Design-Methodik, die von Software-Emulation über FPGA-Prototyping bis hin zur ASIC-Synthese (28 nm) reicht und auf echten Edge-Plattformen (Pynq-Z2) validiert wurde.

4. Ergebnisse

Die Evaluierung wurde auf FPGA (AMD Virtex-7 VC707) und ASIC (28 nm HPC+ CMOS) durchgeführt und mit State-of-the-Art (SoTA) Designs verglichen:

• Hardware-Effizienz (ASIC):
  • Jede MAC-Stufe spart bis zu 33 % Zeit (kritischer Pfad) und 21 % Leistung im Vergleich zu vergleichbaren CORDIC-basierten Designs.
  • Bei einer 256-PE-Konfiguration wird eine Rechenleistungsdichte von 4,83 TOPS/mm² und eine Energieeffizienz von 11,67 TOPS/W erreicht. Dies übertrifft viele vorherige SoTA-Arbeiten.
• FPGA-Leistung:
  • Auf dem VC707 bei 85,4 MHz erreicht das Design eine Energieeffizienz von 6,43 GOPS/W bei nur 0,53 W Leistungsaufnahme, ohne DSP-Blöcke zu verwenden.
• Genauigkeit:
  • Durch die Anwendung einer Heuristik zur Genauigkeits-Sensitivität wird die End-zu-End-Genauigkeit von Modellen (z. B. ResNet-18, VGG-16) weitgehend erhalten, während nicht-kritische Schichten im schnellen, approximativen Modus laufen. Der Genauigkeitsverlust bleibt im genauen Modus unter 0,5 %.
• System-Level (Pynq-Z2):
  • Bei Aufgaben zur Objekterkennung und Klassifizierung (z. B. TinyYOLO-v3, VGG-16) wurde eine End-zu-End-Latenz von 84,6 ms bei 0,43 W erreicht.
  • Dies ist deutlich besser als kommerzielle Embedded-Plattformen wie NVIDIA Jetson Nano (226 ms / 1,34 W) oder Raspberry Pi (555 ms / 2,7 W) sowie andere FPGA-basierte Beschleuniger.

5. Bedeutung und Fazit

CORVET adressiert die kritische Lücke zwischen ressourcenintensiven, hochgenauen Beschleunigern und starren, approximativen Designs. Durch die Einführung einer dynamisch anpassbaren, iterativen CORDIC-Architektur und die effiziente Wiederverwendung von Hardware-Ressourcen für Aktivierungsfunktionen bietet das System:

• Skalierbarkeit: Anpassung an verschiedene Edge-Anforderungen durch Änderung der PE-Anzahl und Iterationstiefe.
• Energieeffizienz: Deutliche Reduktion von Leistung und Fläche im Vergleich zu SoTA-Lösungen.
• Flexibilität: Unterstützung gemischter Präzision und verschiedener Aktivierungsfunktionen ohne Hardware-Änderungen.

Die Arbeit demonstriert, dass durch geschicktes Co-Design von Hardware und Software (Laufzeit-Anpassung der Iterationen) hochperformante, energieeffiziente KI-Inferenz auf ressourcenbeschränkten Edge-Geräten (AIoT) realisierbar ist. Zukünftige Arbeiten zielen auf eine compiler-gestützte Automatisierung der Präzisionsauswahl und die Integration in RISC-V-Systeme ab.