VMXDOTP: A RISC-V Vector ISA Extension for Efficient Microscaling (MX) Format Acceleration

Die Arbeit stellt VMXDOTP vor, eine RISC-V-Vector-ISA-Erweiterung, die durch die Einführung einer spezialisierten Instruktion für effiziente Mikroscaling-Format-Berechnungen (MX) die Auslastung und Energieeffizienz von VPE-Clustern bei Transformer-Modellen signifikant steigert.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschungspapiers „VMXDOTP", verpackt in eine Geschichte mit alltäglichen Vergleichen.

Das Problem: Der riesige Umzugswagen

Stellen Sie sich vor, moderne Künstliche Intelligenz (KI) ist wie ein riesiger Umzug. In der Vergangenheit waren die Möbel (die Daten) alle gleich groß und schwer – wie Standard-Kartons. Das war einfach zu organisieren.

Heute aber haben wir es mit Transformern (den modernen KI-Modellen) zu tun. Diese haben nicht nur große Kartons, sondern auch unzählige kleine, zerbrechliche Scherben und riesige, flache Teppiche. Das Problem: Um diese KI-Modelle auf einem Computer laufen zu lassen, brauchen wir so viel Speicherplatz und Bandbreite (die Straße, auf der die Möbel fahren), dass die Umzugswagen (die Prozessoren) fast platzen.

Um das zu lösen, haben die Erfinder eine neue Art von Verpackung erfunden: MX-Formate (Microscaling).

• Die Idee: Statt jeden einzelnen kleinen Gegenstand (Datenpunkt) in einem eigenen, schweren Karton zu verpacken, packt man 32 kleine Gegenstände in einen einzigen, leichten Beutel. Dazu gibt es nur ein einziges Etikett (den Skalierungsfaktor), das für alle 32 Gegenstände im Beutel gilt.
• Der Vorteil: Der Umzugswagen wird viel leichter, und man braucht weniger Treibstoff (Energie).
• Das Problem: Die alten Umzugsunternehmen (die aktuellen Computer-Prozessoren) sind darauf trainiert, nur einzelne Kartons zu bewegen. Wenn sie diese neuen Beutel mit 32 Gegenständen bekommen, müssen sie erst den Beutel öffnen, jeden Gegenstand einzeln herausnehmen, in einen neuen, schweren Karton packen und dann erst verarbeiten. Das kostet mehr Zeit und Energie, als wenn man die Gegenstände einfach so gelassen hätte. Die Effizienz geht verloren.

Die Lösung: Ein neuer Werkzeugkasten (VMXDOTP)

Die Autoren dieses Papiers haben gesagt: „Halt! Wir müssen den Umzugswagen nicht nur anpassen, wir brauchen ein neues Werkzeug, das direkt mit diesen Beuteln umgehen kann."

Sie haben eine Erweiterung für die RISC-V-Prozessoren (eine Art offener, flexibler Werkzeugkasten für Computer) entwickelt, die VMXDOTP heißt.

Hier ist, wie es funktioniert, mit einer Analogie:

1. Der alte Weg (Software-Emulation)

Stellen Sie sich einen sehr fleißigen, aber langsamen Handwerker vor. Er bekommt einen Beutel mit 32 Nägeln.

1. Er nimmt den Beutel.
2. Er liest das Etikett (Skalierung).
3. Er nimmt Nagel für Nagel heraus.
4. Er schneidet jeden Nagel auf die richtige Größe zu (Umwandlung).
5. Er rechnet mit jedem Nagel einzeln.
6. Er packt das Ergebnis wieder ein.
   Das ist extrem viel Arbeit für den Handwerker. Er verbringt 80 % seiner Zeit mit dem Packen und Entpacken und nur 20 % mit der eigentlichen Arbeit.

2. Der neue Weg (VMXDOTP)

Jetzt bauen wir dem Handwerker eine spezielle Maschine direkt in die Werkstatt ein.

• Diese Maschine kann den ganzen Beutel (die 32 Nägel) auf einmal greifen.
• Sie liest das Etikett und passt die Nägel sofort an.
• Sie rechnet mit allen 32 Nägeln gleichzeitig.
• Sie spuckt das fertige Ergebnis aus.
  Der Handwerker muss nichts mehr entpacken. Die Maschine erledigt alles in einem einzigen, perfekten Schritt.

Was bringt das konkret?

Die Forscher haben diese neue Maschine in einen echten Chip (einen „VPE-Cluster" namens Spatz) eingebaut und getestet. Die Ergebnisse sind beeindruckend:

• Geschwindigkeit: Die neue Maschine ist bis zu 7-mal schneller als der alte Handwerker, der alles per Hand (Software) macht.
• Energie: Sie verbraucht viel weniger Strom. Man könnte sagen, sie fährt mit dem gleichen Treibstoff viel weiter.
• Flexibilität: Früher waren die Beutel immer genau 32 Gegenstände groß. Mit VMXDOTP kann der Software-Entwickler sagen: „Machen wir die Beutel heute 16 oder 64 Gegenstände groß." Die Maschine passt sich automatisch an. Das ist wie ein Werkzeug, das sich von selbst an die Größe des Werkstücks anpasst.

Warum ist das wichtig?

Aktuell nutzen nur sehr große Firmen (wie NVIDIA oder AMD) spezielle, teure Chips, die so etwas können. Aber diese neue Erfindung (VMXDOTP) ist ein offener Standard. Das bedeutet:

• Jeder kann diese Technologie nutzen.
• Sie passt in die modernen, flexiblen RISC-V-Prozessoren, die immer häufiger in Smartphones, Robotern und kleinen Computern zu finden sind.
• Sie macht KI auf kleinen Geräten viel schneller und sparsamer.

Zusammenfassung in einem Satz

Die Forscher haben einen neuen „Super-Befehl" für Computer entwickelt, der es erlaubt, KI-Daten in ihrer kompaktesten Form direkt zu verarbeiten, ohne sie erst mühsam umzuverpacken – wie ein Umzugswagen, der plötzlich Beutel mit 32 Gegenständen auf einmal heben kann, statt jeden einzeln zu tragen. Das macht KI schneller, günstiger und energieeffizienter.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „VMXDOTP: A RISC-V Vector ISA Extension for Efficient Microscaling (MX) Format Acceleration" auf Deutsch:

1. Problemstellung

Moderne KI-Workloads, insbesondere Transformer-Modelle, stellen hohe Anforderungen an Speicherbandbreite und Rechenleistung. Um diese zu bewältigen, werden zunehmend reduzierte Präzisionsformate (Low-Precision) eingesetzt. Die Microscaling (MX)-Formate (standardisiert durch das Open Compute Project) haben sich als vielversprechende Lösung etabliert. Sie nutzen eine Block-Floating-Point-Darstellung (BFP), bei der eine Gruppe von Elementen (z. B. 32) einen gemeinsamen Exponenten (Skalierungsfaktor) teilt. Dies reduziert den Datenumfang erheblich, während die Dynamik erhalten bleibt.

Das Hauptproblem liegt jedoch in der Ineffizienz der aktuellen Implementierung auf Vektorprozessoren:

• Software-Emulation: Da die RISC-V Vector Extension (RVV) 1.0 keine native Unterstützung für MX-Operationen bietet, müssen MX-Daten vor der Berechnung in breitere Formate (z. B. FP16 oder FP32) dekomprimiert werden.
• Pipeline-Breaks: Die MX-Semantik (Block-Skalierung und mehrstufige gemischte Präzisionsoperationen) bricht die Regularität von Vektor-Pipelines.
• Ressourcenunterauslastung: Die Software-Emulation erfordert häufige Änderungen der Vektortypen (vtype), erzeugt hohen Registerdruck und führt zu vielen Overhead-Operationen (Konvertierung, Skalierung). Dies führt zu einer signifikanten Unterauslastung der Rechenwerke (Functional Units) und schlechter Energieeffizienz.

2. Methodik und Ansatz

Die Autoren schlagen VMXDOTP vor, eine neue ISA-Erweiterung für RISC-V Vektorprozessoren, die MX-Dot-Product-Operationen (Dot-Product-Accumulate, DPA) direkt in Hardware unterstützt, ohne vorherige Dekompression.

Kernkonzepte des Designs:

• Native MX-DPA: Die Erweiterung führt eine einzelne Instruktion ein, die zwei MX-Blöcke multipliziert, die Block-Skalierungsfaktoren anwendet und das Ergebnis in einem Akkumulator (FP32 oder BF16) addiert.
• Flexible Blockgrößen: Im Gegensatz zu vorherigen Ansätzen, die oft auf eine feste Blockgröße (z. B. 32) festgelegt waren, unterstützt VMXDOTP softwaredefinierte Blockgrößen. Dies wird erreicht, indem die Hardware-Blockgröße ($k$) auf ein handhabbares Maß reduziert wird (z. B. $k=8$ für FP8), das Software dann zu größeren Blöcken aggregieren kann.
• Instruktionsvielfalt: Es werden sowohl Vektor-Vektor- als auch Vektor-Skalar-Varianten unterstützt. Die Akkumulation kann in FP32 oder dem kompakteren BF16 erfolgen.
• Hardware-Integration: Die Instruktionen wurden in den Open-Source-Prozessor Spatz (ein energieeffizienter RVV-VPE) integriert. Um die Herausforderung der 5 Operanden (2 Datenelemente, 2 Skalierungsfaktoren, 1 Akkumulator) bei begrenzten Register-Read-Ports zu lösen, werden die Skalierungsfaktoren gepuffert und zeitmultiplexiert bereitgestellt.

3. Schlüsselbeiträge

• Analyse der Software-Emulation: Die Autoren quantifizieren die Ineffizienz der reinen Software-Lösung auf Spatz. Sie zeigen, dass bis zu 19,5 % der Rechenzeit für Konvertierungen und weitere 16,2 % für die Skalierung aufgewendet werden, was zu einer Gesamtunterauslastung der Rechenwerke führt.
• Entwurf von VMXDOTP: Entwicklung einer neuen ISA-Erweiterung, die MXFP8 und MXFP4 unterstützt, mit FP32/BF16-Akkumulation und flexiblen Blockgrößen.
• Hardware-Implementierung: Vollständige Implementierung in einer 12-nm-FinFET-Technologie. Das Design fügt zwei zusätzliche Read-Ports zu den Vektorregisterbänken hinzu (durch Multiplexing optimiert) und erweitert die Floating-Point-Einheiten (FPUs).
• Vergleichende Evaluierung: Umfassende Benchmarks gegen Software-Emulation, andere RVV-Kerne und den Stand der Technik (SOTA).

4. Ergebnisse

Die Implementierung wurde auf einem Cluster aus zwei Spatz-Kernen mit 128 KiB gemeinsamem L1-Speicher evaluiert (12 nm, 0,8 V, 1 GHz).

• Leistung (Throughput):
  • Bis zu 125 GFLOPS für MXFP8 und 250 GFLOPS für MXFP4.
  • Die Auslastung der FPUs liegt bei 97 %, was die Effizienz der Hardware-Lösung im Vergleich zur Software-Emulation unterstreicht.
• Energieeffizienz:
  • Bis zu 843 GFLOPS/W (MXFP8) und 1632 GFLOPS/W (MXFP4).
• Vergleich zur Software-Emulation:
  • Beschleunigung: Bis zu 7,0-fach schneller (FP32-Akkumulation) und 4,8-fach schneller (BF16-Akkumulation).
  • Energieeffizienz: Bis zu 4,9-fach effizienter.
• Vergleich zum Stand der Technik:
  • Im Vergleich zu anderen MX-Beschleunigern (z. B. VEGETA, Cuyckens et al.) bietet VMXDOTP eine 1,4-fach bessere Flächeneffizienz und eine 2,1-fach höhere Energieeffizienz für MXFP8, bei gleichzeitiger Unterstützung variabler Blockgrößen.
  • Der Flächenoverhead beträgt nur 7,2 % auf Cluster-Ebene (12,6 % auf Core-Ebene).

5. Bedeutung und Fazit

Das Paper demonstriert, dass die volle Leistungsfähigkeit von Microscaling-Formaten auf allgemeinen Vektorprozessoren nur durch native Hardware-Unterstützung erreicht werden kann. Software-Emulation ist aufgrund von Konvertierungs-Overhead und Pipeline-Breaks nicht wettbewerbsfähig.

VMXDOTP beweist, dass eine gut integrierte ISA-Erweiterung die Lücke zwischen spezialisierten, festverdrahteten Beschleunigern und flexiblen, programmierbaren Vektorprozessoren schließen kann. Die Lösung bietet:

1. Hohe Effizienz: Nahezu vollständige Auslastung der Rechenwerke.
2. Flexibilität: Unterstützung verschiedener Präzisionsstufen und Blockgrößen, was für die sich schnell entwickelnde KI-Landschaft entscheidend ist.
3. Skalierbarkeit: Ein Ansatz, der sich nahtlos in die RISC-V-Ökosystem-Strategie integriert und eine praktikable Alternative zu proprietären Lösungen (wie bei NVIDIA oder AMD) darstellt.

Zusammenfassend etabliert VMXDOTP einen neuen Standard für die effiziente Beschleunigung von MX-Formaten in RISC-V-Architekturen und zeigt, dass spezialisierte Instruktionen für Block-Skalierung unverzichtbar für die nächste Generation energieeffizienter KI-Hardware sind.