Microbenchmark-Driven Analytical Performance Modeling Across Modern GPU Architectures

Dieser Beitrag stellt hochpräzise analytische Leistungsmodelle für moderne NVIDIA Blackwell- und AMD CDNA3-GPU-Architekturen vor, die auf einer systematischen Mikrobenchmark-Charakterisierung basieren, die naive Roofline-Baselines deutlich übertrifft und gleichzeitig die Portierbarkeit auf vorherige Generationen demonstriert.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen vorherzusagen, wie lange es dauert, bis ein superschneller Lieferwagen ein Paket abgibt.

Der alte Weg (die „naive Roofline"):
Seit Jahren verwendeten Ingenieure eine einfache Faustregel: „Wenn der Lieferwagen 160 km/h fahren kann und das Paket 4,5 kg wiegt, dauert es X Minuten." Sie betrachteten die Höchstgeschwindigkeit des Lieferwagens (den „theoretischen Spitzenwert") und die Straßenbedingungen (Speicherbandbreite) und lösten eine schnelle Rechenaufgabe.

Das Problem:
Diese alte Regel versagt bei modernen Lieferwagen (GPUs) kläglich. Warum? Weil das echte Leben chaotisch ist.

• Der Lieferwagen fährt nicht nur; er muss an einer Laderampe halten, auf einen bestimmten Aufzug warten, das Paket in einen speziellen Container laden und dann erst fahren.
• Manchmal muss der Lieferwagen auf einen zweiten Lieferwagen warten, der hilft.
• Manchmal gibt es auf der Straße einen „geheimen Tunnel" (einen Cache), der die Fahrt schneller macht als die Hauptautobahn, aber die alte Regel weiß nichts von diesem Tunnel.
• Die auf der Broschüre des Lieferwagens angegebene „Höchstgeschwindigkeit" ist oft eine Fantasiezahl, die der Lieferwagen im realen Verkehr nie tatsächlich durchhalten kann.

Die Studie besagt, dass die Verwendung dieser alten Regel zu Fehlern von 95 % bis 99 % führt. Es ist so, als würde man vorhersagen, dass eine 10-minütige Fahrt 10 Stunden dauert, oder umgekehrt.

Die neue Lösung (das „mikrobenchmark-getriebene Modell"):
Die Autoren (Aaron Jarmusch und Sunita Chandrasekaran) entwickelten ein neues, hochpräzises Vorhersagesystem für die beiden fortschrittlichsten „Lieferwagen" auf dem heutigen Markt:

1. NVIDIA Blackwell (B200): Der neueste High-Tech-Lieferwagen.
2. AMD CDNA3 (MI300A): Der neueste konkurrierende Lieferwagen.

Anstatt basierend auf Broschüren zu raten, gingen sie hinaus und messen genau, wie sich diese Lieferwagen im echten Leben verhalten. Sie führten winzige, spezifische Tests (Mikrobenchmarks) durch, um jeden einzelnen Schritt des Lieferprozesses zu timen.

Wie sie es taten (die Analogie):

• Für den NVIDIA-Lieferwagen (Blackwell):
  Sie erkannten, dass dieser Lieferwagen ein sehr spezifisches, Fließband-Design hat. Er hat einen speziellen „Ladehafen" (genannt TMEM) und einen „Massenlader" (genannt TMA), der Dinge automatisch bewegt.

  • Das Modell: Sie bauten einen schrittweisen Stoppuhr-Prozess. „Schritt 1: Daten laden (dauert 420 Nanosekunden). Schritt 2: Zum speziellen Hafen bewegen. Schritt 3: Mathematik verarbeiten. Schritt 4: Mit dem anderen Lieferwagen synchronisieren."
  • Ergebnis: Sie sagten die Zeit mit 1,3 % Fehler voraus. Das ist so, als würde man eine 10-minütige Fahrt vorhersagen und nur 8 Sekunden daneben liegen.

• Für den AMD-Lieferwagen (MI300A):
  Dieser Lieferwagen ist anders. Er hat ein riesiges „Lagerhaus" direkt neben dem Fahrer (genannt Infinity Cache), und der Fahrer muss seinen eigenen Sitzplatz (Register) verwalten.

  • Das Modell: Sie erstellten eine Formel, die fragt: „Ist das Paket klein genug, um in das Lagerhaus zu passen? Wenn ja, ist es superschnell. Wenn nein, muss es auf die langsame Autobahn." Sie überprüften auch, wie voll der Fahrersitz ist (Belegung/Occupancy).
  • Ergebnis: Sie sagten die Zeit mit 0,09 % Fehler voraus. Das ist unglaublich präzise – fast perfekt.

Warum das wichtig ist:
Die Autoren testeten ihre neuen Modelle an realen Aufgaben (wie komplexen mathematischen Problemen, die in Wissenschaft und KI verwendet werden).

• Die alte „Roofline"-Methode war fast jedes Mal falsch (mit einem Fehler von fast 100 %).
• Ihre neue Methode war fast jedes Mal richtig.

Die „Plug-and-Play"-Funktion:
Das Coolste ist, dass sie kein ganz neues System für ältere Lieferwagen (wie den NVIDIA H200 oder AMD MI250X) erfinden mussten. Sie nahmen einfach ihr bestehendes Modell, tauschten die Zahlen für „Geschwindigkeitsbegrenzung" und „Lagerhausgröße" aus, und es funktionierte wieder. Es ist wie eine GPS-App, die für einen Ford, einen Toyota und einen Tesla funktioniert, indem man einfach das Automodell in den Einstellungen ändert, ohne die Karte neu schreiben zu müssen.

Der Haken (Einschränkungen):
Das Modell funktioniert großartig, wenn die „Lieferung" reibungslos und vorhersehbar ist (wie das Bewegen eines großen Datenblocks). Wenn die Lieferung ein Hin- und Her durch ein Labyrinth (unregelmäßige Daten) beinhaltet oder für winzige, splitsekundenaufgaben anhält, wird das Modell etwas weniger genau. Außerdem verlässt sich das Modell darauf, dass jemand ihm genau mitteilt, wie viel Daten bewegt werden; wenn diese Eingabe falsch ist, wird auch die Vorhersage falsch sein.

Zusammenfassung:
Die Autoren bauten ein „intelligentes GPS" für moderne Supercomputer. Anstatt basierend auf Marketingbroschüren zu raten, maßen sie das tatsächliche Verhalten der Hardware. Dies ermöglicht es Ingenieuren, mit nahezu perfekter Genauigkeit genau zu wissen, wie lange eine Aufgabe auf diesen neuen Maschinen dauert, etwas, das die alten Methoden nicht leisten konnten. Sie versprechen, alle ihre Werkzeuge und Messungen der Öffentlichkeit zur Verfügung zu stellen, damit jeder sie nutzen kann.

Technische Zusammenfassung

Technische Zusammenfassung: Mikrobenchmark-gesteuerte analytische Leistungsmodellierung über moderne GPU-Architekturen hinweg

Problemstellung
Moderne Systeme für High-Performance Computing (HPC) und KI stützen sich auf sich rasch entwickelnde GPU-Architekturen (z. B. NVIDIA Blackwell B200 und AMD CDNA3 MI300A) mit komplexen Speicherhierarchien, spezialisierten Matrix-Einheiten und unterschiedlichen Genauigkeitsformaten. Es besteht eine signifikante Lücke zwischen theoretischer Spitzenleistung und erreichbarer Effizienz. Traditionelle Leistungsmodellierung, insbesondere das „naive Roofline"-Modell, versagt bei der genauen Vorhersage von Ausführungszeiten auf diesen modernen Beschleunigern. Die Autoren argumentieren, dass der naive Roofline-Ansatz, der sich auf eine einzelne maximale Funktion von Rechen- und Speicherbeschränkungen unter Verwendung von Datenblatt-Spitzenwerten stützt, kritische architektonische Realitäten ignoriert: serialisierte Pipeline-Stufen, dedizierte Matrix-Pfade, Tensor-Speicher-Residenz (TMEM) und besetzungsgetriebene Einschränkungen. Folglich weisen naive Roofline-Baselines Fehler von über 95 % bei modernen Kernen auf, was sie für Leistungsengineering und -optimierung unwirksam macht.

Methodik
Der Artikel schlägt einen systematischen, mikrobenchmark-gesteuerten Ansatz vor, um analytische Leistungsmodelle für zwei Architekturen der aktuellen Generation zu erstellen: NVIDIA Blackwell (B200) und AMD CDNA3 (MI300A).

1. Mikrobenchmark-Charakterisierung: Die Autoren charakterisieren die Hardware zunächst mittels gezielter Low-Level-Mikrobenchmarks. Diese Messungen leiten Modellparameter direkt von der Hardware ab, einschließlich nachhaltiger Bandbreiten (HBM, TMEM, Infinity Cache), Instruktionslatenzen (TMA, Tensor-Kerne, Barrieren) und Besetzungslimits. Dies steht im Gegensatz zur alleinigen Abhängigkeit von Datenblatt-Spitzenwerten der Hersteller, die die erreichbare Durchsatzleistung oft überschätzen.
2. Stufen-zentrierte und Wavefront-zentrierte Modellierung:
   • NVIDIA Blackwell (B200): Das Modell übernimmt ein stufen-zentriertes Framework, das die Pipeline-Stufen explizit modelliert: Tensor Memory Accelerator (TMA) $\rightarrow$ Tensor Memory (TMEM) $\rightarrow$ Tensor-Kerne der 5. Generation $\rightarrow$ Synchronisation. Es berücksichtigt asynchrone Bulk-Kopien, TMEM-Kapazitätsbeschränkungen (256 KB/SM), Dekompressions-Engines und die kooperative Ausführung über 2 SMs.
   • AMD CDNA3 (MI300A): Das Modell nutzt ein wavefront-zentriertes Framework, das sich auf implizite Überlappung konzentriert, die durch die Besetzung getrieben wird. Es integriert die Infinity-Cache-Hierarchie (256 MB), Einschränkungen bei Vector General Purpose Registern (VGPR) und den Trade-off zwischen Kachelgröße und Besetzung. Es modelliert die Speicherhierarchie L1/L2/Infinity Cache/HBM sowie den Einfluss der Arbeitsmengengröße auf die Cache-Trefferquote.
3. Validierungsstrategie: Die Modelle werden gegen eine Suite von 21 Mikrobenchmarks für B200 und 27 für MI300A validiert. Darüber hinaus werden sie an vollständigen Anwendungsbenchmarks aus Rodinia 3.1 und SPEChpc 2021 Tiny getestet. Die Autoren demonstrieren zudem die Portierbarkeit, indem sie dieselben Modellframeworks auf die vorherige Generation jedes Herstellers (NVIDIA H200 und AMD MI250X) anwenden, indem sie lediglich die Hardwareparameter aktualisieren, ohne die Modellformeln neu herzuleiten.

Hauptbeiträge

• Erste validierte Ausführungszeit-Modelle: Der Artikel stellt, nach Kenntnis der Autoren, die ersten validierten analytischen Ausführungszeit-Modelle speziell für die Architekturen NVIDIA Blackwell (B200) und AMD CDNA3 (MI300A) vor.
• Neuartige architektonische Terme: Die Modelle führen spezifische Terme ein, um moderne Merkmale zu erfassen, die von analytischen Modellen bisher ignoriert wurden, einschließlich TMEM/TMA-Interaktionen bei Blackwell sowie Infinity-Cache-Hierarchie/VGPR-Druck bei CDNA3.
• Herstellersübergreifende Validierung: Die Arbeit bietet ein einheitliches Validierungsprotokoll über konkurrierende Hersteller hinweg und berichtet über den mittleren absoluten Fehler (MAE) unter gemeinsamen Bedingungen.
• Demonstration der Portierbarkeit: Die Autoren zeigen, dass die Modellframeworks erweiterbar sind. Durch Aktualisierung der Parameter (z. B. Bandbreite, Cache-Größe), die aus Mikrobenchmarks abgeleitet wurden, sagen die Modelle die Leistung bei H200 und MI250X erfolgreich voraus, ohne strukturelle Änderungen.

Ergebnisse

• Mikrobenchmark-Genauigkeit: Die vorgeschlagenen Modelle erzielen bei Mikrobenchmarks eine hohe Genauigkeit.
  • Blackwell (B200): 1,31 % MAE über 21 Kerne hinweg.
  • CDNA3 (MI300A): ~0,09 % MAE über 27 Kerne hinweg (erreicht mit host-gemessenen Kalibrierungsmultiplikatoren; unkalibrierte Modelle liefern ~5–8 % MAE).
  • Vergleich: Im Gegensatz dazu überschreiten naive Roofline-Baselines, die nur Datenblatt-Spitzenwerte verwenden, bei denselben Kernen einen Fehler von 95 % (z. B. 96,1 % bei B200, 99,6 % bei MI300A).
• Anwendungsbenchmarks:
  • Rodinia 3.1: Auf MI300A erreicht das Modell insgesamt 12,5 % MAE, mit nahezu null Fehler bei regulären Workloads (z. B. pathfinder, srad) und höherem Fehler bei unregelmäßigen Zugriffsmustern (z. B. bfs, hotspot).
  • SPEChpc 2021 Tiny: Auf MI300A erreicht das Modell 1,3 % MAE bei Verwendung von FLOP/Byte-Zählungen, die aus Profiler-Daten abgeleitet wurden. Wenn jedoch eine Analyse aus ersten Prinzipien (Quellcode) verwendet wird, steigt der Fehler auf ~92,5 %, was eine Diskrepanz zwischen vom Compiler generierten Kernen und der Quellcode-Ebene der Algorithmusanalyse aufzeigt und nicht auf ein Versagen des Leistungsmodells selbst hindeutet.
• Portierbarkeit: Bei Anwendung auf H200 und MI250X ohne Neucharakterisierung der Arbeitslastsegmente steigt der MAE auf Anwendungsebene (z. B. H200 Rodinia 43,6 %), was bestätigt, dass zwar die Modellstruktur portierbar ist, eine genaue Arbeitslastcharakterisierung jedoch plattformspezifisch bleibt.

Bedeutung und Behauptungen
Der Artikel behauptet, dass architekturenspezifische analytische Modellierung notwendig ist, um die Lücke zwischen theoretischen Spitzenwerten und der tatsächlichen Leistung auf modernen GPUs zu schließen. Die Autoren betonen, dass das „naive Roofline"-Modell unzureichend ist, da es weder serialisierte Pipeline-Stufen (Blackwell) noch besetzungsgetriebene Speicherhierarchien (CDNA3) abbilden kann.

Die Bedeutung dieser Arbeit liegt in ihrer Fähigkeit, interpretierbare, parametrisierte Modelle bereitzustellen, die die Ausführungszeit bei Mikrobenchmarks und regulären Anwendungen innerhalb von 1–5 % MAE genau vorhersagen. Die Autoren behaupten, dass ihr Ansatz den Engpass von der Modellformulierung zur Arbeitslastcharakterisierung verlagert. Sie stellen fest, dass die Modelle zwar für reguläre, datenparallele Workloads hochgenau sind, jedoch bei unregelmäßigen Zugriffsmustern (z. B. dünnbesetzte Matrizen, Pointer-Chasing) und sehr kurzen Kernen, bei denen der Start-Overhead dominiert, an Grenzen stoßen.

Der Artikel schließt, dass diese Modelle praktische Anwendungen ermöglichen, wie z. B. Beschaffungsvergleiche zwischen Herstellern ohne physischen Zugriff, Anleitung zur Autotuning von Kachelgrößen und Genauigkeit sowie schnelle Leistungsschätzung auf neuer Hardware durch einfaches Ausführen von Mikrobenchmarks zur Aktualisierung der Parameter. Die Autoren heben zudem hervor, dass bestehende Benchmark-Suiten (wie Rodinia) moderne Primitive wie TMA oder TMEM möglicherweise nicht vollständig ausreizen, was einen Bedarf an neuen Benchmarks nahelegt, die diese Merkmale direkt adressieren.