Microbenchmark-Driven Analytical Performance Modeling Across Modern GPU Architectures

Dit artikel presenteert uiterst nauwkeurige analytische prestatiemodellen voor moderne NVIDIA Blackwell- en AMD CDNA3-GPU-architecturen, gebaseerd op systematische microbenchmark-karakterisering die aanzienlijk beter presteert dan naïeve roofline-baselines en tegelijkertijd portabiliteit naar eerdere generaties aantoont.

De kern

Stel je voor dat je probeert te voorspellen hoe lang het duurt voordat een supersnel bezorgtruck een pakketje aflevert.

De oude manier (het "Naive Roofline"-model):
Jarenlang gebruikten ingenieurs een simpele vuistregel: "Als de truck 160 km/u kan rijden en het pakket weegt 4,5 kilo, duurt het X minuten." Ze keken naar de topsnelheid van de truck (de "theoretische piek") en de wegomstandigheden (geheugenbandbreedte) en maakten een snelle rekensom.

Het probleem:
Deze oude regel faalt jammerlijk bij moderne trucks (GPU's). Waarom? Omdat het echte leven rommelig is.

• De truck rijdt niet alleen; hij moet stoppen bij een laadplek, wachten op een specifieke lift, het pakket in een speciale container laden en dan pas rijden.
• Soms moet de truck wachten op een tweede truck om te helpen.
• Soms heeft de weg een "geheime tunnel" (een cache) die de reis sneller maakt dan de snelweg, maar de oude regel weet niets van die tunnel.
• De "topsnelheid" die in de brochure van de truck staat, is vaak een fantasiegetal dat de truck in echt verkeer nooit kan handhaven.

Het artikel stelt dat het gebruik van deze oude regel leidt tot fouten van 95% tot 99%. Het is alsof je voorspelt dat een rit van 10 minuten 10 uur duurt, of andersom.

De nieuwe oplossing (het "Microbenchmark-gedreven model"):
De auteurs (Aaron Jarmusch en Sunita Chandrasekaran) bouwden een nieuw, supernauwkeurig voorspellingssysteem voor de twee meest geavanceerde "trucks" op de markt vandaag:

1. NVIDIA Blackwell (B200): De nieuwste high-tech truck.
2. AMD CDNA3 (MI300A): De nieuwste concurrenttruck.

In plaats van te gokken op basis van brochures, gingen ze naar buiten en maten ze precies hoe deze trucks zich in het echte leven gedragen. Ze draaiden kleine, specifieke tests (microbenchmarks) om elke enkele stap van het bezorgproces te timen.

Hoe ze het deden (de analogie):

• Voor de NVIDIA-truck (Blackwell):
  Ze realiseerden zich dat deze truck een zeer specifieke, assemblagelijn-achtige stijl heeft. Hij heeft een speciale "laadplek" (genaamd TMEM) en een "bulkloader" (genaamd TMA) die dingen automatisch verplaatst.

  • Het model: Ze bouwden een stap-voor-stap stopwatch. "Stap 1: Data laden (duurt 420 nanoseconden). Stap 2: Naar de speciale laadplek verplaatsen. Stap 3: De wiskunde verwerken. Stap 4: Synchroniseren met de andere truck."
  • Resultaat: Ze voorspelden de tijd met een foutmarge van 1,3%. Dat is alsof je een rit van 10 minuten voorspelt en slechts 8 seconden naast de zaak zit.

• Voor de AMD-truck (MI300A):
  Deze truck is anders. Hij heeft een enorm "magazijn" direct naast de bestuurder (genaamd Infinity Cache) en de bestuurder moet zijn eigen zitruimte (registers) beheren.

  • Het model: Ze creëerden een formule die vraagt: "Is het pakket klein genoeg om in het magazijn te passen? Zo ja, dan is het supersnel. Zo nee, dan moet het naar de trage snelweg." Ze controleerden ook hoe druk het bestuurdersstoeltje is (occupancy).
  • Resultaat: Ze voorspelden de tijd met een foutmarge van 0,09%. Dat is ongelooflijk nauwkeurig – bijna perfect.

Waarom dit belangrijk is:
De auteurs testten hun nieuwe modellen op real-world taken (zoals complexe wiskundeproblemen die in wetenschap en AI worden gebruikt).

• De oude "Roofline"-methode was bijna elke keer verkeerd (afwijking van bijna 100%).
• Hun nieuwe methode was bijna elke keer juist.

De "Plug-and-Play"-functie:
Het coolste deel is dat ze geen heel nieuw systeem hoefden te bedenken voor oudere trucks (zoals de NVIDIA H200 of AMD MI250X). Ze namen gewoon hun bestaande model, wisselden de "snelheidslimiet" en "magazijnomvang"-cijfers uit, en het werkte weer. Het is alsof je een GPS-app hebt die werkt voor een Ford, een Toyota en een Tesla, gewoon door het automodel in de instellingen te wijzigen, zonder dat je de kaart hoeft te herschrijven.

De adder onder het gras (beperkingen):
Het model werkt geweldig wanneer de "bezorging" soepel en voorspelbaar is (zoals het verplaatsen van een groot blok data). Als de bezorging echter een doolhof in zigzagpatroon vereist (irreguliere data) of stopt voor tiny, split-second taken, wordt het model iets minder nauwkeurig. Ook is het model afhankelijk van iemand die precies aangeeft hoeveel data er wordt verplaatst; als die invoer verkeerd is, zal de voorspelling ook verkeerd zijn.

Samenvattend:
De auteurs bouwden een "slimme GPS" voor moderne supercomputers. In plaats van te gokken op basis van marketingbrochures, maten ze het daadwerkelijke gedrag van de hardware. Hierdoor kunnen ingenieurs precies weten hoe lang een taak op deze nieuwe machines zal duren, met bijna perfecte nauwkeurigheid, iets wat de oude methoden niet konden. Ze beloven al hun tools en metingen met het publiek te delen zodat iedereen ze kan gebruiken.

Technische samenvatting

Technische Samenvatting: Microbenchmark-gedreven analytische prestatiemodellering over moderne GPU-architecturen

Probleemstelling
Moderne High-Performance Computing (HPC) en AI-systemen vertrouwen op snel evoluerende GPU-architecturen (bijv. NVIDIA Blackwell B200 en AMD CDNA3 MI300A) met complexe memory-hiërarchieën, gespecialiseerde matrix-eenheden en gevarieerde precisieformaten. Er bestaat een aanzienlijke kloof tussen theoretische piekprestaties en haalbare efficiëntie. Traditionele prestatiemodellering, specifiek het "naive roofline"-model, faalt in het nauwkeurig voorspellen van uitvoeringstijden op deze moderne versnellers. De auteurs betogen dat de naive roofline-aanpak, die steunt op een enkele maximale functie van reken- en geheugengrenzen met behulp van datasheet-pieken, kritieke architecturale realiteiten negeert: geserialiseerde pijplijnfasen, toegewijde matrixpaden, Tensor Memory (TMEM)-residentie en door bezetting gedreven beperkingen. Bijgevolg vertonen naive roofline-baselines fouten van meer dan 95% op moderne kernels, waardoor ze inefficiënt zijn voor prestatie-engineering en optimalisatie.

Methodologie
Het artikel stelt een systematische, microbenchmark-gedreven aanpak voor om analytische prestatiemodellen te construeren voor twee architecturen van de huidige generatie: NVIDIA Blackwell (B200) en AMD CDNA3 (MI300A).

1. Microbenchmark-karakterisering: De auteurs karakteriseren eerst de hardware met gerichte low-level microbenchmarks. Deze metingen leiden modelparameters direct af uit de hardware, waaronder aanhoudende bandbreedtes (HBM, TMEM, Infinity Cache), instructielatenties (TMA, tensor cores, barrières) en bezettingslimieten. Dit staat in contrast met het uitsluitend vertrouwen op datasheet-pieken van leveranciers, die vaak de haalbare doorvoer overdrijven.
2. Fase-gerichte en Wavefront-gerichte Modellering:
   • NVIDIA Blackwell (B200): Het model adopteert een fase-gericht raamwerk, waarbij de pijplijnfasen expliciet worden gemodelleerd: Tensor Memory Accelerator (TMA) $\rightarrow$ Tensor Memory (TMEM) $\rightarrow$ 5e-generatie Tensor Cores $\rightarrow$ Synchronisatie. Het houdt rekening met asynchrone bulk-copy, TMEM-capaciteitsbeperkingen (256 KB/SM), decompressiemotoren en 2-SM coöperatieve uitvoering.
   • AMD CDNA3 (MI300A): Het model maakt gebruik van een wavefront-gericht raamwerk, met focus op impliciete overlapping gedreven door bezetting. Het integreert de Infinity Cache-hiërarchie (256 MB), Vector General Purpose Register (VGPR)-beperkingen en de afweging tussen tile-grootte en bezetting. Het modelleert de L1/L2/Infinity Cache/HBM-memory-hiërarchie en de impact van de werksetgrootte op cache-hitpercentages.
3. Validatiestrategie: De modellen worden gevalideerd tegen een suite van 21 microbenchmarks voor B200 en 27 voor MI300A. Bovendien worden ze getest op volledige applicatiebenchmarks uit Rodinia 3.1 en SPEChpc 2021 Tiny. De auteurs demonstreren ook portabiliteit door dezelfde modelraamwerken toe te passen op de vorige generatie van elke leverancier (NVIDIA H200 en AMD MI250X) door simpelweg hardwareparameters bij te werken, zonder de modelformules opnieuw af te leiden.

Belangrijkste Bijdragen

• Eerste Geverifieerde Uitvoeringstijdsmodellen: Het artikel presenteert, naar kennis van de auteurs, de eerste geverifieerde analytische uitvoeringstijdsmodellen specifiek voor de NVIDIA Blackwell (B200) en AMD CDNA3 (MI300A) architecturen.
• Nieuwe Architecturale Termen: De modellen introduceren specifieke termen om moderne functies vast te leggen die eerder door analytische modellen werden genegeerd, waaronder TMEM/TMA-interacties op Blackwell en Infinity Cache-hiërarchie/VGPR-druk op CDNA3.
• Cross-leverancier Validatie: Het werk biedt een unificatie validatieprotocol over concurrerende leveranciers heen, waarbij het Gemiddelde Absolute Foutpercentage (MAE) wordt gerapporteerd onder gedeelde voorwaarden.
• Demonstratie van Portabiliteit: De auteurs demonstreren dat de modelraamwerken uitbreidbaar zijn. Door parameters (bijv. bandbreedte, cache-grootte) afgeleid van microbenchmarks bij te werken, voorspellen de modellen succesvol de prestaties op H200 en MI250X zonder structurele wijzigingen.

Resultaten

• Microbenchmark-nauwkeurigheid: De voorgestelde modellen bereiken hoge nauwkeurigheid op microbenchmarks.
  • Blackwell (B200): 1,31% MAE over 21 kernels.
  • CDNA3 (MI300A): ~0,09% MAE over 27 kernels (bereikt met host-gemeten kalibratie-vermenigvuldigers; niet-gekalibreerde modellen leveren ~5–8% MAE op).
  • Vergelijking: In tegenstelling hiermee overschrijden naive roofline-baselines die uitsluitend datasheet-pieken gebruiken, 95% fout op dezelfde kernels (bijv. 96,1% op B200, 99,6% op MI300A).
• Applicatiebenchmarks:
  • Rodinia 3.1: Op MI300A bereikt het model een algehele MAE van 12,5%, met bijna nul fout op regelmatige werklasten (bijv. pathfinder, srad) en hogere fout op onregelmatige toegangspatronen (bijv. bfs, hotspot).
  • SPEChpc 2021 Tiny: Op MI300A bereikt het model 1,3% MAE bij gebruik van door profiler afgeleide FLOP/byte-tellingen. Echter, bij gebruik van first-principles (broncode)-analyse stijgt de fout tot ~92,5%, wat een discrepantie aangeeft tussen door de compiler gegenereerde kernels en analyse op broncode-niveau van het algoritme, en niet een falen van het prestatiemodel zelf.
• Portabiliteit: Bij toepassing op H200 en MI250X zonder herkarakterisering van de werklastsegmenten, neemt de applicatieniveau-MAE toe (bijv. H200 Rodinia 43,6%), wat bevestigt dat hoewel de modelstructuur portabel is, accurate werklastkarakterisering platformspecifiek blijft.

Betekenis en Beweringen
Het artikel beweert dat architectuurspecifieke analytische modellering noodzakelijk is om de kloof te overbruggen tussen theoretische pieken en daadwerkelijke prestaties op moderne GPU's. De auteurs benadrukken dat de "naive roofline" ontoereikend is omdat deze geen geserialiseerde pijplijnfasen (Blackwell) of door bezetting gedreven cache-hiërarchieën (CDNA3) kan representeren.

De betekenis van dit werk ligt in het vermogen om interpreteerbare, geparametriseerde modellen te bieden die uitvoeringstijden nauwkeurig voorspellen binnen 1–5% MAE voor microbenchmarks en regelmatige applicaties. De auteurs stellen dat hun aanpak de bottleneck verplaatst van modelformulering naar werklastkarakterisering. Zij merken op dat hoewel de modellen zeer nauwkeurig zijn voor regelmatige, dataparallelle werklasten, ze beperkingen ondervinden bij onregelmatige toegangspatronen (bijv. sparse matrices, pointer chasing) en zeer korte kernels waar launch-overhead overheerst.

Het artikel concludeert dat deze modellen praktische toepassingen mogelijk maken, zoals inkoopvergelijkingen tussen leveranciers zonder fysieke toegang, autotuning-richtlijnen voor tile-groottes en precisie, en snelle prestatieschatting op nieuwe hardware door simpelweg microbenchmarks uit te voeren om parameters bij te werken. De auteurs benadrukken ook dat bestaande benchmark suites (zoals Rodinia) moderne primitieven zoals TMA of TMEM mogelijk niet volledig testen, wat wijst op de noodzaak van nieuwe benchmarks die deze functies direct targeten.