💻 computer science

High-Performance FP16 General Matrix Multiplication on NVIDIA Ada Lovelace via CUTLASS and WMMA: A Benchmark and Pipeline-Depth Analysis

Cet article évalue les performances du GEMM en FP16 sur la carte NVIDIA Ada Lovelace RTX 4060 à travers cuBLAS, CUTLASS et des implémentations WMMA personnalisées, révélant qu'une profondeur de pipeline de trois avec une géométrie de tuile spécifique atteint 52,7 % du débit de crête tout en démontrant que la pression sur la mémoire partagée, plutôt que la profondeur du pipeline, est le principal goulot d'étranglement limitant toute optimisation supplémentaire.

Auteurs originaux : Lucas Lima Freitag

Publié 2026-07-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lucas Lima Freitag

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une cuisine ultra-rapide (un GPU) avec une équipe de chefs spécialisés appelés Tensor Cores. Ces chefs sont incroyablement rapides pour hacher et mélanger les ingrédients (la multiplication de matrices) pour un banquet géant (le deep learning). La cuisine de la nouvelle cuisinière « Ada Lovelace » (une carte graphique RTX 4060) est théoriquement capable de servir 60,55 TFLOPS (ce qui signifie 60,55 billions d'opérations mathématiques par seconde).

Mais attention : ce n'est pas parce que les chefs peuvent hacher aussi vite qu'ils le font réellement. Ils doivent souvent attendre que les ingrédients soient livrés depuis le garde-manger.

La grande expérience : comment garder les chefs occupés

Les chercheurs ont voulu découvrir la meilleure façon d'organiser la cuisine pour que les chefs ne s'arrêtent jamais de hacher. Ils ont testé trois façons différentes de faire fonctionner la cuisine :

La boîte noire (cuBLAS) : Une recette pré-emballée et à code source fermé provenant de NVIDIA, qui fonctionne généralement très bien mais qui ne vous permet pas d'en modifier les détails.
Le plan ouvert (CUTLASS) : Un outil flexible et open-source qui vous permet de construire votre propre agencement de cuisine à partir de zéro.
L'approche DIY (WMMA) : Une cuisine construite sur mesure où vous contrôlez chaque mouvement des chefs, mais qui est beaucoup plus difficile à bâtir.

Ils ont mis en place un défi de cuisine colossal avec des ingrédients de taille 8192 × 8192 et ont testé différentes « profondeurs de pipeline ». Considérez la profondeur de pipeline comme le nombre de plateaux d'ingrédients que la cuisine garde prêts.

Profondeur de pipeline 2 : Seulement 2 plateaux prêts.
Profondeur de pipeline 3 : 3 plateaux prêts.
Profondeur de pipeline 4 : 4 plateaux prêts.

La sagesse commune (et un modèle mathématique simple) suggérait que plus de plateaux = plus de vitesse. La logique était la suivante : « Si nous avons plus de plateaux, les chefs ne manqueront jamais d'ingrédients, donc ils travailleront plus vite. »

La surprise : plus n'est pas toujours mieux

Les chercheurs ont mesuré la vitesse, et voici ce qu'ils ont trouvé :

Profondeur 2 : La cuisine tournait à 25,6 TFLOPS. Les chefs attendaient trop souvent.
Profondeur 3 : La cuisine s'est accélérée pour atteindre 31,9 TFLOPS (soit 52,7 % du maximum théorique). C'était le point idéal !
Profondeur 4 : La cuisine a en fait ralenti à 31,1 TFLOPS.

C'est la découverte principale : Ajouter un quatrième plateau n'a pas aidé ; cela a empiré les choses. Le modèle mathématique simple prédisait que la vitesse devrait bondir à 35,4 TFLOPS, mais ce ne fut pas le cas. Le modèle s'est trompé de 13,8 %.

Pourquoi l'ajout d'un plateau a-t-il été contre-productif ?

Le papier explique que la cuisine a un espace limité. Lorsqu'ils ont ajouté le 4ème plateau (augmentant l'utilisation de la mémoire partagée ou « Shared Memory » à 96 Ko), cela a forcé la cuisine à réduire le nombre d'équipes de cuisine (threadblocks) pouvant travailler en même temps.

Avec 3 plateaux, la cuisine pouvait loger 2 équipes de chefs sur chaque cuisinière.
Avec 4 plateaux, la cuisine ne pouvait loger qu'1 seule équipe.

Même si l'équipe unique avait plus d'ingrédients, elle devait attendre plus longtemps car il y avait moins d'équipes à alterner lorsqu'une équipe était bloquée. La cuisine est devenue « encombrée » d'ingrédients mais « vide » de travailleurs. Les chercheurs ont mesuré que l'occupation (le nombre d'équipes travaillant) a chuté, et que les chefs devaient utiliser plus de « registres » (leurs blocs-notes personnels), ce qui les a également ralentis.

Les gagnants et les perdants

Le gagnant : L'outil CUTLASS avec 3 plateaux et une taille de tuile spécifique de 256 × 128. Il a atteint 31,9 TFLOPS. C'était si bon qu'il a battu la « Boîte Noire » standard (cuBLAS) d'une marge infime, presque imperceptible de 1,3 % (ce que les auteurs considèrent comme du bruit, mais cela prouve que le plan ouvert peut égaler le fermé).
Le dauphin DIY : Le noyau WMMA personnalisé (la cuisine entièrement DIY) a atteint 25,1 TFLOPS sur un test légèrement plus petit. Il était plus lent car il n'utilisait pas les astuces de « double buffering » pour superposer la livraison des ingrédients et la cuisson.
Le perdant : L'idée que « plus la profondeur du pipeline est grande, mieux c'est ». Le papier écarte explicitement cette idée pour ce matériel spécifique.

À quel point sont-ils sûrs d'eux ?

Les auteurs sont très confiants dans ces chiffres car ils les ont mesurés directement sur le matériel, en exécutant le test 10 fois et en faisant la moyenne des résultats. Ils ont même vérifié leurs calculs par rapport à un outil intégré de NVIDIA (le profiler) et ont constaté que leur code personnalisé correspondait parfaitement.

Cependant, ils admettent quelques points qu'ils n'ont pas prouvés :

Ils n'ont testé qu'une seule taille de problème spécifique (8192). Ils ne savent pas si la règle du « 3 plateaux est le meilleur » s'applique à des problèmes plus petits ou de formes étranges.
Ils n'ont pas pu tester des profondeurs de pipeline supérieures à 4 car la cuisine est simplement tombée à court d'espace (mémoire).
Ils ont dû exécuter leurs tests sur Windows, où un bug de pilote a empêché de comparer leur code personnalisé et le code standard dans le même run exact (bien qu'ils l'aient fait dans des runs séparés).

Ce qu'il faut retenir

Si vous essayez de tirer le maximum d'une carte graphique grand public comme la RTX 4060 pour des tâches gourmandes en calcul, ne vous contentez pas d'ajouter sans cesse plus de tampons (buffers). Il existe une zone « Goldilocks » (ni trop, ni trop peu). Dans ce cas, 3 étapes de préparation étaient parfaites. Passer à 4 étapes a rendu la cuisine trop étroite, ralentissant tout le monde.

Les chercheurs ont publié tout leur code en open-source, afin que quiconque puisse essayer de construire sa propre cuisine et voir s'il peut battre le record de 31,9 TFLOPS. Ils suggèrent que les travaux futurs devraient examiner différentes tailles de problèmes et utiliser Linux pour obtenir des données plus propres, mais pour l'instant, ils ont montré que 31,9 TFLOPS est le sommet actuel pour cette configuration, et que 31,1 TFLOPS est ce qui arrive quand on est trop gourmand avec la mémoire.

Résumé Technique : GEMM FP16 Haute Performance sur NVIDIA Ada Lovelace via CUTLASS et WMMA

Énoncé du Problème
La multiplication de matrices générales (GEMM) est le fondement computationnel de l'apprentissage profond et du calcul scientifique. Bien que l'architecture NVIDIA Ada Lovelace (spécifiquement la puce AD107 de la RTX 4060, destinée au grand public) offre un débit de crête théorique de 60,55 TFLOPS en FP16 pour les Tensor Cores, atteindre une performance proche du maximum nécessite une orchestration complexe de la hiérarchie de la mémoire GPU. Le défi réside dans l'équilibre entre les stratégies de titrage (tiling), la profondeur du pipeline logiciel et l'occupation des threadblocks afin de saturer les Tensor Cores sans être limité par la pression sur la mémoire partagée ou les contraintes de registres. La littérature existante a largement caractérisé la GEMM au niveau du profilage de bibliothèque, mais il existe une lacune dans l'évaluation systématique de l'impact de profondeurs de pipeline et de géométries de tuiles arbitraires via l'API de niveau dispositif de CUTLASS sur le matériel grand public.

Méthodologie
Les auteurs ont mené un benchmark systématique d'opérations GEMM FP16→FP32 sur une NVIDIA RTX 4060 (Ada Lovelace) sous Windows 11 avec CUDA 13.1. L'étude a comparé trois niveaux d'implémentation :

cuBLAS : La bibliothèque propriétaire optimisée par le fournisseur, utilisée comme référence.
API de niveau dispositif CUTLASS : Une bibliothèque C++ de modèles (templates) open-source permettant la personnalisation à la compilation des dimensions des tuiles, de la profondeur du pipeline ( $S$ ) et de la vectorisation de l'épilogue.
Noyau WMMA Personnalisé : Un noyau optimé manuellement utilisant l'API CUDA Warp Matrix Multiply Accumulate (WMMA) pour une validation pédagogique.

Les expériences se sont concentrées sur une taille de problème fixe de $N = 8192$ ( $M=N=K=8192$ ). La méthodologie comprenait :

Variation de la profondeur de pipeline : Test de configurations CUTLASS avec des profondeurs de pipeline $S=3$ et $S=4$ utilisant des tuiles de threadblock de $256 \times 128$ et $128 \times 128$ .
Modélisation Analytique : Développement d'un modèle de performance basé sur l'efficacité du pipeline ( $S/(S+\kappa)$ ) et extension pour inclure les contraintes d'occupation ( $\gamma(S)$ ) afin de prédire le débit.
Validation : Garantie de la justesse numérique du noyau WMMA personnalisé par rapport à cuBLAS avec un seuil d'erreur relative de $10^{-2}$ .
Protocole de Mesure : Utilisation du chronométrage côté hôte avec des phases de chauffe (warmup) pour atténuer la mise à l'échelle de l'horloge et les surcharges d'initialisation, tout en notant des problèmes spécifiques de stabilité du pilote Windows (TDR) qui ont nécessité la séparation des flux d'exécution cuBLAS et CUTLASS.

Résultats Clés

Configuration Optimale : La configuration CUTLASS avec une profondeur de pipeline de $S=3$ , une tuile de threadblock de $256 \times 128$ et une vectorisation d'épilogue de 4 a atteint 31,9 TFLOPS (52,7 % du pic théorique). Cela correspondait à la performance du noyau s16816gemm_f16 intégré du profileur CUTLASS et dépassait légèrement la référence cuBLAS (31,5 TFLOPS) de 1,3 %, une différence attribuée à la surcharge du benchmark plutôt qu'à une supériorité algorithmique.
Anomalie de Profondeur de Pipeline : Contre-intuitivement, l'augmentation de la profondeur de pipeline à $S=4$ a entraîné une régression de performance à 31,1 TFLOPS (une baisse de 2,5 %).
Analyse des Goulots d'Étranglement : La dégradation à $S=4$ a été attribuée à un effondrement de l'occupation. Alors que $S=3$ (nécessitant 72 Ko de mémoire partagée) permettait 2 threadblocks par Streaming Multiprocessor (SM), $S=4$ (nécessitant 96 Ko) a forcé l'occupation à descendre à 1 bloc par SM. Cela a divisé par deux le nombre de warps simultanés, réduisant la capacité de l'ordonnanceur à masquer la latence mémoire. De plus, la pression sur les registres est passée d'environ 64 à environ 72 registres par thread.
Précision du Modèle : Un modèle analytique simple a prédit avec précision les performances pour $S=2$ et $S=3$ , mais a surestimé $S=4$ de 13,8 %. Un modèle étendu incorporant des plafonds d'occupation a corrigé la prédiction de $S=4$ pour rester à moins de 1 % de la valeur mesurée.
Performance du Noyau Personnalisé : Le noyau WMMA personnalisé a atteint 25,1 TFLOPS (41,5 % du pic) à $N=4096$ . Sa performance moindre est attribuée à l'absence de pipeline logiciel (buffering simple) et à une surcharge de synchronisation plus élevée par rapport aux modèles optimisés de CUTLASS.

Principales Contributions

Cadre de Benchmarking Reproductible : Un cadre open-source utilisant l'API de niveau dispositif de CUTLASS pour instancier des noyaux GEMM avec des paramètres arbitraires de compilation sur les GPU Ada Lovelace.
Empirisme de la Profondeur de Pipeline : Preuve expérimentale démontrant que des pipelines plus profonds ( $S=4$ ) ne produisent pas toujours un débit plus élevé sur les GPU grand public en raison des contraintes de mémoire partagée et d'occupation, contredisant les modèles de débit simples.
Modèle Analytique Calibré : Un modèle de performance qui prédit avec succès le débit pour $S=2$ et $S=3$ , mais qui nécessite une extension plafonnée par l'occupation pour modéliser avec précision le régime $S=4$ .
Référence Pédagogique : Un noyau WMMA personnalisé entièrement validé servant de référence pour la programmation de bas niveau des Tensor Cores.
Observation du Comportement du Pilote : Documentation d'une instabilité spécifique du pilote Windows (liée au TDR) lors de l'entrelacement des noyaux CUTLASS et cuBLAS, soulignant les contraintes pratiques du benchmarking croisé de bibliothèques sous Windows.

Signification et Revendications
L'article affirme que l'obtention d'une GEMM haute performance sur les GPU modernes est un problème à multi-goulots d'étranglement où la profondeur du pipeline n'est pas le seul déterminant du débit. L'étude souligne que la pression sur la mémoire partagée et les contraintes d'occupation peuvent inverser les bénéfices attendus de pipelines logiciels plus profonds. En démontrant qu'une RTX 4060 grand public peut atteindre environ 53 % du pic théorique des Tensor Cores (31,9 TFLOPS), ce travail suggère que des niveaux de performance proches de ceux des centres de données sont accessibles sur du matériel abordable pour des charges de travail spécifiques. Les auteurs positionnent leurs outils et découvertes open-source comme une ressource pour les éducateurs et les chercheurs étudiant les techniques d'optimisation GPU, contribuant aux objectifs plus larges d'un calcul haute performance accessible et d'une inférence d'apprentissage automatique économe en énergie. Le travail ne prétend pas résoudre tous les défis d'optimisation de la GEMM, mais fournit une analyse spécifique et reproductible des compromis entre la profondeur de pipeline et l'occupation sur l'architecture Ada Lovelace.