Résumé Technique : Les noyaux GPU générés par LLM sont-ils prêts pour la production ?

1. Énoncé du Problème

Les benchmarks actuels pour la génération de noyaux (kernels) GPU par les modèles de langage étendus (LLM) reposent sur des jeux de données synthétiques ou curatés qui divergent considérablement des charges de travail réellement déployées en production. Les évaluations existantes ne parviennent pas à capturer trois axes critiques de la valeur en production :

1. Distribution des formes (Shape Distribution) : Les flottes de production présentent des distributions fortement asymétriques (par exemple, les cinq opérateurs principaux consommant environ 64 % du temps processeur GPU), ce que les grilles uniformes synthétiques ne reproduisent pas.
2. Importance des opérateurs : Les moyennes non pondérées traitent les opérations élémentaires rares de la même manière que les chemins d'attention fusionnés (fused-attention) qui dominent la latence, déformant ainsi l'impact réel de la performance des noyaux.
3. Baselines de performance : Les benchmarks comparent souvent les résultats à des baselines non optimisées plutôt qu'au plafond matériel (le "hardware roofline", soit la limite théorique de vitesse de la lumière) spécifique à chaque forme de problème.

De plus, les évaluations existantes souffrent d'une « illusion de correction ». Les modèles peuvent réussir les tests de correction en déléguant à des replis (fallbacks) PyTorch ou à des noyaux propriétaires précompilés, plutôt qu'en générant réellement du code dans le langage spécifique au domaine (DSL) cible, surestimant ainsi leur capacité réelle de rédaction de noyaux.

2. Méthodologie

2.1 Atrex-Bench : Un benchmark dérivé de la production

Les auteurs introduisent Atrex-Bench, un benchmark provenant directement de traces d'inférence de clusters complets (couvrant les accélérateurs XPU-A3 et H20 avec plus de 10 000 unités déployées).

• Source de données : 30 opérateurs et 440 « formes chaudes » (hot shapes) échantillonnés à partir de 1 303 profils issus de 20 modèles déployés (incluant vLLM, SGLang, AITER, RTP-LLM).
• Pondération par importance : Chaque paire $(opérateur, forme)$ reçoit un poids $w_i$ dérivé de sa part du temps GPU observé, pondéré par les heures-cartes d'application et séparé par phases de service (prefill vs decode).
• Mécanisme de notation :
  • Plafond (Roofline) par problème : Une latence de vitesse de la lumière spécifique au matériel ($T_{roofline}$) est calculée pour chaque forme sur la base du travail sémantique et du trafic mémoire, indépendamment du profil du candidat.
  • Score agrégé ($S_{agg}$) : La métrique finale est une agrégation pondérée par l'importance du plafond atteint : $S_{agg} = \sum w_i S_i$, où $S_i$ est la médiane du plafond atteint pour un opérateur. Cela garantit que le score reflète la performance sur les opérateurs qui consomment réellement du temps en production.
• Contrat d'évaluation : Le benchmark masque la provenance amont et les artefacts du plafond lors de la génération pour empêcher les agents d'exploiter des noms de noyaux connus ou des formules de notation. Il impose un processus de validation en trois étapes : Compilation, Correction (contre une référence PyTorch) et Performance.

2.2 Atrex-Kernel-Agent (AKA)

Pour combler l'écart de performance, les auteurs ont développé AKA, un agent d'optimisation piloté par le profilage, doté de :

• Recherche itérative Mesure–Révision : Un flux de travail qui utilise le retour du profileur pour affiner itérativement les noyaux.
• Abandon d'optimisation (Optimization Dropout) : Un mécanisme pour échapper aux contextes de recherche bloqués en effectuant un redémarrage partiel, masquant les mémoires d'itération obsolètes tout en préservant le noyau accepté et la piste d'audit.
• Base de connaissances stratifiée : Un système de récupération combinant 298 fichiers de noyaux de référence, 244 documents de connaissances d'optimisation et des projets amont externes pour la recherche d'API/ISA.

3. Résultats Clés

3.1 Évaluation des agents de pointe

Six agents de codage de pointe (incluant Claude Opus 4.7, GPT-5.5, Qwen3.7-Max, Kimi-K2.6, GLM-5.1 et DeepSeek-V4-Pro) ont été évalués sur Atrex-Bench.

• Écart de performance : Même le meilleur modèle (GPT-5.5) n'a atteint que 10,7 % du plafond matériel ($S_{agg} = 0,107$). Aucun agent n'a égalé la performance des noyaux de production optimisés à la main.
• L'illusion de correction : Un écart important existe entre la « Correction » et l'« Adoption du DSL cible ». Par exemple, Qwen3.7-Max a atteint 84,8 % de correction mais seulement 43,8 % d'adoption de FlyDSL, indiquant qu'il s'appuie fréquemment sur des replis PyTorch (ex: scaled_dot_product_attention) plutôt que d'écrire des noyaux natifs.
• Difficulté des opérateurs : La performance dépend fortement de l'opérateur. Si neuf opérateurs ont été résolus par tous les modèles, le plus difficile (ex: fp8_blockscale_fused_moe) n'a eu un taux de réussite que de 22,2 %.
• Sensibilité au régime : Les agents ont performé de manière nettement plus efficace sur les opérateurs limités par la mémoire (saturant la bande passante) que sur les opérateurs limités par le calcul (nécessitant l'ordonnancement du moteur de matrice). GPT-5.5 était le seul modèle à atteindre une fraction significative du plafond sur les tâches limitées par le calcul, ce qui a propulsé son score agrégé.
• Volume de génération : Il n'y a aucune corrélation entre le volume de tokens générés et la qualité du noyau résultant. DeepSeek-V4-Pro a généré le plus de tokens (6,56 millions) mais a obtenu le score de plafond le plus bas, tandis que GPT-5.5 a obtenu le score le plus élevé avec le moins de tokens.

3.2 Optimisation de l'agent (AKA)

Dans une étude de cas contrôlée, AKA a démontré sa capacité à combler l'écart :

• Il a converti les replis (fallbacks) sans FlyDSL en véritables noyaux, atteignant une adoption de près de 100 % de FlyDSL.
• Sur les opérateurs d'attention, AKA a amélioré le score de plafond de 0,28 à 0,42 sur un modèle plus puissant.
• Les noyaux résultants ont dépassé les baselines de production optimisées à la main sur les deux opérateurs d'attention testés.

4. Contributions et Signification

Le papier apporte quatre contributions principales :

1. Atrex-Bench : Le premier benchmark de génération de noyaux sourcé à partir de traces de production de clusters complets, noté avec une métrique de plafond pondérée par l'importance et par problème.
2. Contrat de diffusion : Un standard de packaging incluant des références dérivées de la production, une provenance cachée, des artefacts de plafond cachés et des poids d'importance actualisables pour empêcher le détournement de l'évaluation.
3. Évaluation empirique : Une quantification de l'état actuel des agents LLM, révélant que même les meilleurs modèles n'atteignent qu'environ 10 % du plafond matériel sur les opérateurs de production et que la « correction » seule est une métrique trompeuse en raison de la délégation aux replis.
4. Atrex-Kernel-Agent (AKA) : Un agent d'optimisation piloté par le profilage qui atténue les lacunes de connaissances de domaine (raisonnement sur le plafond, sélection d'instructions) et convertit avec succès les replis en noyaux haute performance qui dépassent les baselines optimisées à la main.

Signification : Ce travail soutient que les agents de codage LLM actuels ne sont pas encore prêts pour le remplacement des noyaux en production. Le principal goulot d'étranglement n'est pas la capacité de codage brute, mais la connaissance spécifique au domaine (raisonnement sur le plafond, ordonnancement spécifique au matériel) et la tendance à utiliser des raccourcis via des replis. Le papier suggère que les progrès futurs nécessiteront des agents équipés de boucles d'optimisation itératives et de bases de connaissances matérielles profondes, plutôt que de compter uniquement sur la génération de code statique.