🤖 machine learning

CUDA-L2: Surpassing cuBLAS Performance for Matrix Multiplication through Reinforcement Learning

L'article présente CUDA-L2, un système qui exploite les grands modèles de langage et l'apprentissage par renforcement pour optimiser automatiquement les noyaux de multiplication de matrices en demi-précision (HGEMM), atteignant des gains de performance significatifs par rapport aux bases de référence établies telles que torch.matmul, cuBLAS et cuBLASLt en explorant systématiquement des espaces de configuration à des échelles impossibles à gérer pour des ingénieurs humains.

Auteurs originaux : Songqiao Su, Xiaoya Li, Albert Wang, Guoyin Wang, Jiwei Li, Chris Shum

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Songqiao Su, Xiaoya Li, Albert Wang, Guoyin Wang, Jiwei Li, Chris Shum

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de cuisiner le gâteau parfait. Depuis des années, les meilleurs boulangers du monde (des experts humains) peaufinent la recette d'un type de gâteau spécifique appelé « Multiplication de Matrices ». Ce gâteau est l'ingrédient secret de presque tous les cerveaux d'IA modernes. Ces boulangers ont passé des années à le rendre plus rapide, mais ils se sont heurtés à un mur : chaque fois que la taille du gâteau change (d'un minuscule cupcake à un énorme gâteau de mariage), ils doivent tout recommencer à zéro, et les astuces qui fonctionnaient pour une taille donnée échouent souvent sur une autre. C'est comme essayer d'utiliser une petite cuillère pour manger une soupe géante ; l'outil ne correspond tout simplement pas.

Entrez en scène CUDA-L2, une nouvelle équipe de « boulangers d'IA » construite en combinant un modèle de langage très intelligent avec un système d'apprentissage de type jeu vidéo appelé Apprentissage par Renforcement (RL). Au lieu de demander à un humain de deviner la meilleure recette, CUDA-L2 joue à un immense jeu de « essayer, échouer, apprendre et réessayer ».

La Grande Découverte : L'IA cuisine des gâteaux plus rapidement

La principale conclusion de ce document est que CUDA-L2 peut concevoir automatiquement ces « recettes » de multiplication de matrices (appelées kernels) et les cuisiner plus rapidement que les meilleures recettes humaines actuellement disponibles.

Les chercheurs ont testé cela sur 1 000 tailles de gâteaux différentes (combinaisons de dimensions M, N et K allant de 64 à 16 384). Ces tailles couvrent les dimensions exactes utilisées par les célèbres modèles d'IA open-source comme Qwen, Llama et DeepSeek.

Voici à quel point l'IA cuisine plus vite que les champions actuels, mesuré sur un GPU A100 :

Vs. l'Outil Standard (torch.matmul) : Dans une session de cuisson continue (mode hors ligne), CUDA-L2 est 22,0 % plus rapide. Dans une cuisine très occupée où les commandes arrivent de manière aléatoire (mode serveur), il est 28,7 % plus rapide.
Vs. l'Étalon d'Or (cuBLAS) : Même contre la propre bibliothèque hautement optimisée de NVIDIA, CUDA-L2 l'emporte. Il est 19,2 % plus rapide en mode continu et 26,0 % plus rapide en mode serveur très occupé.
Vs. l'« Auto-Optimiseur » (cuBLASLt-AutoTuning) : C'est la comparaison la plus importante. cuBLASLt-AutoTuning est un outil qui essaie jusqu'à 100 recettes différentes pour trouver la meilleure. CUDA-L2 le bat tout de même de 11,4 % en mode continu et de 15,9 % en mode serveur.

Les chercheurs sont très sûrs de ces chiffres car ils ont été mesurés directement en exécutant le code des milliers de fois, et non simplement devinés ou simulés.

Ce que l'IA n'a PAS fait

Il est important de savoir ce que ce système ne fait pas. Le document précise explicitement que la version actuelle de CUDA-L2 est limitée à l'architecture A100. Cependant, le cadre est conçu pour une large applicabilité, et l'équipe travaille activement à l'étendre à d'autres architectures de GPU, incluant les puces Ampere plus anciennes comme la RTX 3090, ainsi que les puces plus récentes Hopper (ex: H100) et Blackwell (ex: B200). Le document soutient également l'idée que les experts humains n'ont pas « résolu » la multiplication de matrices ; le fait que l'IA ait trouvé de meilleures recettes prouve que l'optimisation humaine est loin d'être parfaite.

Comment l'IA a appris à mieux cuisiner

L'IA n'a pas seulement deviné ; elle a appris des astuces spécifiques et ingénieuses que même les experts humains pourraient manquer parce qu'ils sont trop occupés pour vérifier chaque possibilité.

Le Remplissage du Gâteau (Padding) : Imaginez que vous avez un gâteau de 8 192 pouces de large, mais que votre moule ne convient parfaitement que si la largeur est divisible par 160. 8 192 n'est pas divisible par 160. Un humain pourrait dire : « J'utiliserai un moule de taille 128 car il convient ». Mais l'IA a dit : « Je vais ajouter un peu de pâte supplémentaire (padding) pour que le gâteau fasse 8 320 pouces de large afin de pouvoir utiliser le moule de 160 pouces ». Ce petit travail supplémentaire a en fait rendu l'ensemble du processus plus rapide.
La Stratégie du Ping-Pong : Habituellement, un boulanger charge les ingrédients, mélange, puis charge la fournée suivante. L'IA a découvert une méthode de « ping-pong » : pendant que le mélangeur travaille sur le Lot A, l'assistant est déjà en train de charger les ingrédients pour le Lot B. Cela signifie que le mélangeur n'a jamais besoin d'attendre.
La Livraison « Échelonnée » : Parfois, l'IA a réalisé que demander deux ingrédients à la fois (A et B) provoque un embouteillage dans la cuisine. Au lieu de cela, elle a demandé l'ingrédient A, a commencé à mélanger, puis a demandé l'ingrédient B. Cela a permis de maintenir le mouvement fluide dans la cuisine.
Choisir la Bonne Taille de Moule : L'IA a appris que pour les petits gâteaux, les petits moules fonctionnent le mieux. Mais pour les gâteaux géants, elle a besoin de moules beaucoup plus grands. Elle a trouvé la taille parfaite pour chaque dimension de gâteau, une tâche qui prendrait une vie entière à un humain pour calculer pour 1 000 tailles différentes.

La Différence entre le Mode « Serveur » et « Hors Ligne »

Le document a également remarqué quelque chose d'intéressant concernant l'environnement de la cuisine.

Mode Hors Ligne : Imaginez une ligne de production où les gâteaux sont cuits les uns après les autres sans interruption. Le four reste chaud et les travailleurs sont dans un certain rythme. Ici, l'IA est de 11,4 % à 22,0 % plus rapide que la concurrence.
Mode Serveur : Imaginez un restaurant très fréquenté où les commandes arrivent à des moments aléatoires. Le four peut refroidir entre les commandes, et les travailleurs doivent se remettre en action. Dans ce chaos du « monde réel », l'avantage de l'IA s'est en fait accentué, battant la concurrence de 15,9 % à 28,7 %. Le document suggère que c'est parce que les recettes de l'IA sont meilleures pour gérer ces « démarrages à froid » et les pauses imprévisibles.

En Résumé

Le document conclut que même pour les tâches les plus critiques et les plus optimisées comme la multiplication de matrices, l'Apprentissage par Renforcement guidé par un LLM peut trouver de meilleures solutions que les humains en explorant un espace de possibilités trop vaste pour qu'une personne puisse le vérifier. Bien que cette version spécifique de CUDA-L2 soit actuellement limitée aux GPU A100, le cadre est conçu pour être étendu à d'autres puces à l'avenir.

En bref : l'IA n'a pas seulement ajusté la recette ; elle a découvert de nouvelles façons de cuire le gâteau auxquelles les humains n'avaient pas pensé, prouvant que même dans un domaine aussi mature que l'optimisation de GPU, il reste encore de la place pour l'amélioration.

Résumé Technique : CUDA-L2

Énoncé du Problème

La multiplication de matrices (matmul) est une opération fondamentale dans les modèles de langage de grande taille (LLM), représentant une part significative du temps de calcul tant pour l'entraînement que pour l'inférence. Bien que des noyaux CUDA optimisés manuellement existent, atteindre une performance optimale à travers diverses dimensions de matrices ( $M, N, K$ ) et diverses architectures de GPU reste un défi majeur. Des triplets de dimensions différents nécessitent souvent des stratégies d'optimisation distinctes qui ne se transfèrent pas bien d'un matériel à l'autre. De plus, même pour des dimensions identiques, les stratégies optimales varient en fonction de détails de configuration tels que la précision de l'accumulateur (FP16 vs FP32).

Les approches automatisées existantes, telles que celles utilisant des modèles de langage de grande taille (LLM) pour la génération de noyaux, se sont principalement concentrées sur des benchmarks avec des configurations uniques et fixes (par exemple, KernelBench). Il reste incertain de savoir comment ces méthodes se traduisent dans des environnements de production où elles doivent rivaliser avec des bibliothèques hautement optimisées et à code source fermé comme cuBLAS et cuBLASLt de NVIDIA. Il y a un manque de systèmes automatisés capables d'explorer systématiquement le vaste espace de configuration de la multiplication de matrices générique en demi-précision (HGEMM) pour surpasser les bases de référence optimisées par des experts humains.

Méthodologie : CUDA-L2

Les auteurs proposent CUDA-L2, un système qui combine les modèles de langage de grande taille (LLM) et l'apprentissage par renforcement (RL) pour optimiser automatiquement les noyaux CUDA HGEMM. Le système est conçu pour gérer 1 000 configurations distinctes représentant toutes les combinaisons de valeurs $M, N, K$ issues de $\{64, 128, 256, 512, 1024, 2048, 4096, 8192, 12288, 16384\}$ .

Architecture du Système et Entraînement

CUDA-L2 étend le cadre précédent CUDA-L1 avec quatre améliorations techniques clés :

Pré-entraînement Continu : Le modèle est pré-entraîné sur un corpus diversifié de code CUDA au-delà des benchmarks standards, incluant des sources de PyTorch, ATen, CUTLASS et des tutoriels NVIDIA. Des descriptions d'instructions sont générées pour les extraits de code brut, et un contexte augmenté par la récupération (retrieval-augmented) est ajouté pour incorporer de nouvelles connaissances et caractéristiques architecturales.
Entraînement RL Multi-étapes : L'entraînement progresse de types de noyaux généraux vers des domaines spécialisés (spécifiquement matmul).
- RL de Noyau Général : Entraîne le modèle sur une large gamme d'opérations (algèbre linéaire, convolution, réduction, etc.) en utilisant la vitesse d'exécution comme récompense.
- RL HGEMM : Se concentre spécifiquement sur les noyaux HGEMM avec des configurations $M, N, K$ variables.
Contexte Enrichi par des Métriques de Profilage : Le contexte RL inclut des métriques de profilage complètes de NVIDIA Nsight Compute (NCU) (par exemple, débit mémoire, occupation SM, efficacité du cache) pour permettre de meilleures décisions d'optimisation au-delà du simple temps d'exécution de bout en bout.
Conception de la Fonction de Récompense : La récompense pour un noyau généré est basée sur le score de gain de vitesse moyen sur les itérations de test. Pour garantir la robustesse, la récompense est pénalisée par :
- La déviation numérique par rapport à une vérité terrain CPU en FP32.
- Une longueur de code excessive (pour encourager la concision).
- Le système impose des critères de correction stricts, incluant des correspondances exactes pour les entrées binaires et des déviations bornées contre des bases de référence fiables (cuBLAS, cuBLASLt).

Protocole d'Évaluation

Le système est évalué sous deux scénarios pour refléter différentes réalités de déploiement :

Mode Hors-ligne (Offline Mode) : Les noyaux sont exécutés consécutivement sans intervalles de temps, simulant un débit maximal.
Mode Serveur (Server Mode) : Les noyaux sont exécutés à des intervalles aléatoires pour simuler l'inférence en temps réel, tenant compte de la dynamique thermique du GPU (périodes de refroidissement et boost d'horloge).

L'évaluation compare CUDA-L2 à quatre bases de référence :

torch.matmul (dispatch par défaut de PyTorch).
cuBLAS (utilisant la sélection de layout optimale entre NN et TN).
cuBLASLt-heuristic (sélectionnant l'algorithme le mieux classé de l'API heuristique de NVIDIA).
cuBLASLt-AutoTuning (testant de manière exhaustive jusqu'à 100 candidats pour trouver le plus rapide).

Contributions Clés et Techniques Découvertes

CUDA-L2 démontre que le RL guidé par LLM peut découvrir des implémentations supérieures en explorant systématiquement des espaces de configuration impraticables pour un réglage manuel. Le système découvre et applique de manière autonome plusieurs techniques d'optimisation avancées :

Sélection d'Abstraction : Le modèle sélectionne automatiquement entre les intrinsèques WMMA bruts pour les petites matrices et les abstractions CuTe pour les opérations pavées (tiled) plus larges et complexes.
Remplissage d'Entrée (Input Padding) : Le système découvre des stratégies où les matrices d'entrée sont complétées par des zéros pour les dimensions non divisibles (par exemple, compléter $M=8192$ à $8320$) afin de permettre des tailles de pavage ( $B_M$ ) plus efficaces qui seraient autrement invalides, équilibrant le surcoût de calcul supplémentaire avec les gains de performance.
Chevauchement Avancé Mémoire et Calcul :
- Fragments de Registres à Double Tampon (Double-Buffered Register Fragments) : Alterner entre deux ensembles de fragments de registres pour chevaucher le mouvement de données avec le calcul (exécution ping-pong).
- Prélecture Agressive (Aggressive Prefetching) : Aller au-delà de la prélecture à une étape en passant à une prélecture multi-étapes (chargement de plusieurs itérations à l'avance) lorsque la pression sur les registres le permet.
- Planification de Prélecture Échelonnée (Staggered Prefetch Scheduling) : Entrelacer la prélecture des matrices A et B autour de l'opération de multiplication-accumulation de matrice (MMA) pour maximiser le parallélisme au niveau des instructions.
- Copie Directe Registre-vers-Mémoire Partagée : Éliminer les tenseurs temporaires intermédiaires dans l'épilogue lorsque les dispositions de registres correspondent aux dispositions de mémoire partagée, en utilisant des types de données larges (par exemple, uint128_t) pour réduire les opérations de copie.
- Swizzling de Bloc (Block Swizzling) : Réordonner l'exécution des blocs de threads pour améliorer les taux de succès du cache L2, particulièrement pour les grands problèmes de taille.

Résultats

CUDA-L2 surpasse systématiquement toutes les bases de référence majeures sur 1 000 configurations sur des GPU A100.

Performance en Mode Hors-ligne (Gain de Vitesse Moyen sur les Bases de Référence) :

+22,0 % par rapport à torch.matmul.
+19,2 % par rapport à cuBLAS (utilisant le layout optimal).
+16,8 % par rapport à cuBLASLt-heuristic.
+11,4 % par rapport à cuBLASLt-AutoTuning (la base de référence la plus forte, qui teste exhaustivement 100 candidats).

Performance en Mode Serveur :
Les gains de vitesse augmentent dans le scénario serveur, probablement en raison de la capacité du système à mieux gérer la dynamique thermique et les effets de refroidissement du cache :

+28,7 % par rapport à torch.matmul.
+26,0 % par rapport à cuBLAS.
+22,4 % par rapport à cuBLASLt-heuristic.
+15,9 % par rapport à cuBLASLt-AutoTuning.

Les taux de victoire varient de 79,3 % à 95,7 % à travers toutes les bases de référence, indiquant que les améliorations sont systématiques plutôt que dictées par des valeurs aberrantes. Le système montre également que les gains de vitesse sont généralement plus élevés pour les petites tailles de matrices où l'utilisation du GPU est plus faible, tandis que les matrices plus grandes saturent le débit du GPU, réduisant l'écart avec les bases de référence.

Signification

L'article affirme que CUDA-L2 démontre que même les noyaux les plus critiques pour la performance et les plus lourdement optimisés, tels que HGEMM, peuvent être améliorés grâce à l'automatisation par RL guidée par LLM. En dimensionnant l'optimisation sur des espaces de configuration difficiles à régler manuellement, le système atteint des gains de performance qui surpassent les bibliothèques à code source fermé de pointe.

Bien que la version actuelle soit limitée aux architectures A100 (Ampere), le cadre est conçu pour une large applicabilité. Les auteurs notent des travaux en cours pour étendre le système à d'autres architectures de GPU, notamment Ada Lovelace, Hopper et Blackwell. Ce travail suggère que les méthodes automatisées peuvent explorer systématiquement de vastes espaces de configuration pour trouver des optimisations que le réglage manuel ou les bibliothèques basées sur des heuristiques pourraient manquer.