💻 computer science

High-Performance FP16 General Matrix Multiplication on NVIDIA Ada Lovelace via CUTLASS and WMMA: A Benchmark and Pipeline-Depth Analysis

Dit artikel benchmarkt de FP16 GEMM-prestaties op NVIDIA's Ada Lovelace RTX 4060 over cuBLAS, CUTLASS en aangepaste WMMA-implementaties, waarbij wordt onthuld dat een pipeline-diepte van drie met specifieke tile-geometrie 52,7% van de piekdoorvoer bereikt en aantoont dat de druk op het gedeelde geheugen, in plaats van de pipeline-diepte, de primaire bottleneck is die verdere optimalisatie beperkt.

Oorspronkelijke auteurs: Lucas Lima Freitag

Gepubliceerd 2026-07-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lucas Lima Freitag

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een supersnelle keuken hebt (een GPU) met een team van gespecialiseerde chefs die Tensor Cores worden genoemd. Deze chefs zijn ongelooflijk snel in het hakken en mengen van ingrediënten (matrixvermenigvuldiging) voor een gigantisch feestmaal (deep learning). De keuken op de nieuwe "Ada Lovelace"-kookplaat (een RTX 4060 grafische kaart) is theoretisch in staat om 60,55 TFLOPS te serveren (dat is 60,55 biljoen rekenoperaties per seconde).

Maar er is een addertje onder het gras: alleen omdat de chefs zó snel kunnen hakken, betekent niet dat ze ook daadwerkelijk zo snel hakken. Ze moeten vaak wachten tot de ingrediënten uit de voorraadkast worden geleverd.

Het Grote Experiment: Hoe houd je de chefs bezig

De onderzoekers wilden ontdekken wat de beste manier is om de keuken te organiseren, zodat de chefs nooit stoppen met hakken. Ze testten drie verschillende manieren om de keuken te laten draaien:

De Black Box (cuBLAS): Een kant-en-klaar, gesloten recept van NVIDIA dat meestal goed werkt, maar waarbij je de details niet kunt aanpassen.
Het Open Blauwdruk (CUTLASS): Een flexibele, open-source toolkit waarmee je je eigen keukenindeling vanaf nul kunt bouwen.
De DIY-aanpak (WMMA): Een op maat gemaakte keuken waarin je elke beweging van de chefs zelf controleert, maar die veel moeilijker te bouwen is.

Ze stelden een enorme kookuitdaging op met ingrediënten van de grootte 8192 × 8192 en testten verschillende "pipeline-dieptes". Denk bij pipeline-diepte aan het aantal ingrediënten-trays dat de keuken gereed houdt.

Pipeline-diepte 2: Slechts 2 trays gereed.
Pipeline-diepte 3: 3 trays gereed.
Pipeline-diepte 4: 4 trays gereed.

De algemene wijsheid (en een simpel wiskundig model) suggereerde dat meer trays = meer snelheid. De logica was: "Als we meer trays hebben, zullen de chefs nooit zonder ingrediënten komen te zitten, dus zullen ze sneller werken."

De Verrassing: Meer is niet altijd Beter

De onderzoekers maten de snelheid, en dit is wat ze vonden:

Diepte 2: De keuken draaide op 25,6 TFLOPS. De chefs stonden te veel rond te hangen te wachten.
Diepte 3: De keuken versnelde naar 31,9 TFLOPS (wat 52,7% is van het theoretisch maximum). Dit was het ideale punt (the sweet spot)!
Diepte 4: De keuken werd zelfs langzamer naar 31,1 TFLOPS.

Dit is de belangrijkste bevinding: Het toevoegen van een vierde tray hielp niet; het maakte het juist slechter. Het simpele wiskundige model voorspelde dat de snelheid naar 35,4 TFLOPS zou springen, maar dat gebeurde niet. Het model zat er 13,8% naast.

Waarom werkte het toevoegen van een tray averechts?

Het paper legt uit dat de keuken beperkte ruimte heeft. Toen ze de 4e tray toevoegden (waardoor het gebruik van het "Shared Memory" toenam naar 96 KB), dwong dit de keuken om het aantal kookteams (threadblocks) die tegelijkertijd konden werken te verminderen.

Met 3 trays kon de keuken 2 teams van chefs op elke kookplaat passen.
Met 4 trays kon de keuken slechts 1 team passen.

Hoewel de ene groep chefs meer ingrediënten had, moesten ze langer wachten omdat er minder teams waren om in te wisselen wanneer één team even vastliep. De keuken werd "overvol" met ingrediënten maar "leeg" aan werkers. De onderzoekers maten dat de occupancy (hoeveel teams er werken) daalde, en dat de chefs meer "registers" (hun persoonlijke notitieblokjes) moesten gebruiken, wat hen ook vertraagde.

De Winnaars en Verliezers

De Winnaar: De CUTLASS toolkit met 3 trays en een specifieke tile-grootte van 256 × 128. Deze bereikte 31,9 TFLOPS. Dit was zo goed dat het de standaard "Black Box" (cuBLAS) met een piepklein, bijna onmeetbaar verschil van 1,3% versloeg (de auteurs zeggen dat dit waarschijnlijk gewoon ruis is, maar het bewijst dat de open blauwdruk de gesloten versie kan evenaren).
De DIY Runner-up: De op maat gemaakte WMMA kernel (de volledig DIY-keuken) haalde 25,1 TFLOPS op een iets kleinere test. Deze was langzamer omdat het geen gebruik maakte van de slimme "double buffering"-trucs om het leveren van ingrediënten tegelijkertijd met het koken te laten overlappen.
De Verliezer: Het idee dat "meer pipeline-diepte altijd beter is." Het paper sluit dit specif kind voor deze specifieke hardware expliciet uit.

Hoe zeker zijn ze?

De auteurs zijn zeer zelfverzekerd over deze cijfers omdat ze ze direct op de hardware hebben gemeten door de test 10 keer uit te voeren en de resultaten te middelen. Ze hebben zelfs hun wiskunde gecontroleerd tegenover een ingebouwde NVIDIA-tool (de profiler) en ontdekten dat hun aangepaste code er perfect mee overeenkwam.

Ze geven echter ook toe dat ze een paar dingen niet hebben bewezen:

Ze hebben alleen één specifieke probleemgrootte getest (8192). Ze weten niet of de regel "3 trays is het beste" ook geldt voor kleinere of vreemd gevormde problemen.
Ze konden geen pipeline-dieptes hoger dan 4 testen omdat de keuken simpelweg de ruimte tekortkwam (geheugen).
Ze moesten hun tests op Windows uitvoeren, waar een driver-foutje ervoor zorgde dat ze hun aangepaste code en de standaard code niet in exact dezelfde run konden vergelijken (hoewel ze dit wel in aparte runs deden).

De Conclusie

Als je het meeste uit een consumentengrafische kaart zoals de RTX 4060 wilt halen voor wiskundig zware taken, voeg dan niet zomaar steeds meer buffers toe. Er is een "Goldilocks"-zone (het perfecte midden). In dit geval was 3 fasen van voorbereiding perfect. Naar 4 fasen gaan maakte de keuken te krap, waardoor iedereen vertraagde. Wanneer je te gul bent met geheugen, krijg je 31,1 TFLOPS.

De onderzoekers hebben al hun code als open-source vrijgegeven, zodat iedereen kan proberen een eigen keuken te bouwen en kan kijken of ze het record van 31,9 TFLOPS kunnen verbreken. Ze suggereren dat toekomstig werk zich moet richten op andere probleemgroottes en Linux moet gebruiken voor nog schonere data, maar voor nu hebben ze aangetoond dat 31,9 TFLOPS de huidige piek is voor deze setup, en dat 31,1 TFLOPS is wat er gebeurt als je te hebzuchtig bent met geheugen.

Technische Samenvatting: High-Performance FP16 GEMM op NVIDIA Ada Lovelace via CUTLASS en WMMA

Probleemstelling
General Matrix Multiplication (GEMM) is de computationele basis van deep learning en wetenschappelijke berekeningen. Hoewel de NVIDIA Ada Lovelace-architectuur (specifiek de consumentenwaardige RTX 4060 met de AD107-chip) een theoretische FP16 Tensor Core piekdoorvoer van 60,55 TFLOPS biedt, vereist het bereiken van bijna maximale prestaties een complexe orchestratie van de GPU-geheugenhiërarchie. De uitdaging ligt in het balanceren van tiling-strategieën, software-pipelining diepte en threadblock-occupancy om Tensor Cores te verzadigen zonder gehinderd te worden door shared memory-druk of registerbeperkingen. Bestaande literatuur heeft GEMM uitgebreid gekarakteriseerd op het niveau van de library-profiler, maar er is een gat in het systematisch evalueren van de impact van willekeurige pipeline-dieptes en tile-geometrieën met behulp van de CUTLASS device-level API op consumentenhardware.

Methodologie
De auteurs voerden een systematische benchmark uit van FP16→FP32 GEMM-operaties op een NVIDIA RTX 4060 (Ada Lovelace) draaiend op Windows 11 met CUDA 13.1. De studie vergeleek drie implementatie-niveaus:

cuBLAS: De gesloten, door de leverancier geoptimaliseerde library die als referentie wordt gebruikt.
CUTLASS Device-Level API: Een open-source C++ template library die compile-time aanpasbaarheid van tile-dimensies, pipeline-diepte ( $S$ ) en epiloog-vectorisatie mogelijk maakt.
Custom WMMA Kernel: Een handmatig getunede kernel die gebruikmaakt van de CUDA Warp Matrix Multiply Accumulate (WMMA) API voor pedagogische validatie.

De experimenten richtten zich op een vaste probleemgrootte van $N = 8192$ ( $M=N=K=8192$ ). De methodologie omvatte:

Variatie in Pipeline-diepte: Het testen van CUTLASS-configuraties met pipeline-dieptes $S=3$ en $S=4$ met threadblock tiles van $256 \times 128$ en $128 \times 128$ .
Analytische Modellering: Het ontwikkelen van een prestatiemodel gebaseerd op pipeline-efficiëntie ( $S/(S+\kappa)$ ) en het uitbreiden hiervan om occupancy-beperkingen ( $\gamma(S)$ ) te bevatten om doorvoer te voorspellen.
Validatie: Het waarborgen van numerieke correctheid van de custom WMMA-kernel ten opzichte van cuBLAS met een relatieve foutendrempel van $10^{-2}$ .
Meetprotocol: Het gebruik van host-side timing met warmup-fasen om kloksnelheid-schaling en initialisatie-overhead te mitigeren, terwijl specifieke Windows-driver stabiliteitsproblemen (TDR) werden genoteerd die noodzaak maakten tot het scheiden van de cuBLAS en CUTLASS executiestromen.

Belangrijkste Resultaten

Optimale Configuratie: De CUTLASS-configuratie met een pipeline-diepte van $S=3$ , een $256 \times 128$ threadblock tile, en een epiloog-vectorisatie van 4 bereikte 31,9 TFLOPS (52,7% van de theoretische piek). Dit kwam overeen met de prestaties van de ingebouwde s16816gemm_f16 kernel van de CUTLASS profiler en overtrof de cuBLAS-referentie (31,5 TFLOPS) licht met 1,3%, een verschil dat werd toegeschreven aan benchmark-overhead in plaats van algoritmische superioriteit.
Pipeline-diepte Anomalie: Tegenintuïtief leidde het verhogen van de pipeline-diepte naar $S=4$ tot een prestatie-regressie naar 31,1 TFLOPS (een afname van 2,5%).
Bottleneck Analyse: De degradatie bij $S=4$ werd toegeschreven aan occupancy collapse. Terwijl $S=3$ (vereist 72 KB shared memory) 2 threadblocks per Streaming Multiprocessor (SM) toeliet, dwong $S=4$ (vereist 96 KB) de occupancy omlaag naar 1 block per SM. Dit halveerde het aantal gelijktijdige warps, waardoor het vermogen van de scheduler om geheugenlatentie te verbergen afnam. Daarnaast nam de registerdruk toe van ~64 naar ~72 registers per thread.
Model Nauwkeurigheid: Een eenvoudig analytisch model voorspelde de prestaties voor $S=2$ en $S=3$ accuraat, maar overschatte $S=4$ met 13,8%. Een uitgebreid model dat occupancy-plafonds incorporeert, corrigeerde de $S=4$ voorspelling naar binnen de marge van 1% van de gemeten waarde.
Custom Kernel Prestaties: De custom WMMA-kernel bereikte 25,1 TFLOPS (41,5% van de piek) bij $N=4096$ . De lagere prestatie werd toegeschreven aan het gebrek aan software-pipelining (single buffering) en hogere synchronisatie-overhead in vergelijking met de geoptimaliseerde CUTLASS-templates.

Belangrijkste Bijdragen

Reproduceerbaar Benchmarking Framework: Een open-source framework dat gebruikmaakt van de CUTLASS device-level API om GEMM-kernels te instantiëren met willekeurige compile-time parameters op Ada Lovelace GPU's.
Pipeline-diepte Empirie: Experimenteel bewijs dat diepere pipelines ( $S=4$ ) niet altijd een hogere doorvoer opleveren op consumenten-GPU's vanwege shared memory en occupancy-beperkingen, wat eenvoudige throughput-modellen tegenspreekt.
Gecalibreerd Analytisch Model: Een prestatiemodel dat doorvoer voor $S=2$ en $S=3$ succesvol voorspelt, maar een extensie met een occupancy-plafond vereist om het $S=4$ regime accuraat te modelleren.
Pedagogische Referentie: Een volledig gevalideerde custom WMMA-kernel die dient als referentie voor low-level Tensor Core programmering.
Observatie van Driver Gedrag: Documentatie van een specifieke Windows-driver instabiliteit (TDR-gerelateerd) bij het mengen van CUTLASS en cuBLAS kernels, wat praktische beperkingen benadrukt bij cross-library benchmarking op Windows.

Betekenis en Claims
Het paper claimt dat het bereiken van high-performance GEMM op moderne consumenten-GPU's een multi-bottleneck probleem is waarbij pipeline-diepte niet de enige determinant van doorvoer is. De studie benadrukt dat shared memory druk en occupancy-beperkingen de verwachte voordelen van diepere software-pipelines kunnen omkeren. Door aan te tonen dat een consumentenwaardige RTX 4060 ongeveer 53% van de theoretische Tensor Core piek kan bereiken (31,9 TFLOPS), suggereert het werk dat prestaties nabij datacenter-niveau toegankelijk zijn op betaalbare hardware voor specifieke workloads. De auteurs positioneren hun open-source tools en bevindingen als een bron voor educatieve en onderzoeksdoeleinden om GPU-optimalisatietechnieken te bestuderen, wat bijdraagt aan de bredere doelen van toegankelijke high-performance computing en energie-efficiënte machine learning inferentie. Het werk claimt niet alle GEMM-optimalisatie-uitdagingen op te lossen, maar biedt een specifieke, reproduceerbare analyse van de trade-offs tussen pipeline-diepte en occupancy op de Ada Lovelace architectuur.