🤖 machine learning

KernelEvolve: Scaling Agentic Kernel Coding for Heterogeneous AI Accelerators at Meta

KernelEvolve est un framework agentique qui automatise la génération et l'optimisation de noyaux haute performance pour divers modèles de recommandation par apprentissage profond sur des accélérateurs d'IA hétérogènes, réduisant considérablement le temps de développement tout en garantissant l'exactitude et en offrant des gains de performance substantiels par rapport aux références existantes.

Auteurs originaux : Gang Liao, Hongsen Qin, Ying Wang, Alicia Golden, Michael Kuchnik, Yavuz Yetim, Jia Jiunn Ang, Chunli Fu, Yihan He, Samuel Hsia, Zewei Jiang, Dianshi Li, Uladzimir Pashkevich, Varna Puvvada, Feng Shi

Publié 2026-07-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gang Liao, Hongsen Qin, Ying Wang, Alicia Golden, Michael Kuchnik, Yavuz Yetim, Jia Jiunn Ang, Chunli Fu, Yihan He, Samuel Hsia, Zewei Jiang, Dianshi Li, Uladzimir Pashkevich, Varna Puvvada, Feng Shi, Matt Steiner, Ruichao Xiao, Liyuan Li, Nathan Yan, Xiayu Yu, Zhou Fang, Roman Levenstein, Kunming Ho, Haishan Zhu, Alec Hammond, Richard Li, Ajit Mathews, Kaustubh Gondkar, Abdul Zainul-Abedin, Ketan Singh, Hongtao Yu, Wenyuan Chi, Barney Huang, Sean Zhang, Noah Weller, Zach Marine, Wyatt Cook, Carole-Jean Wu, Gaoxiang Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Cauchemar de la « Traduction »

Imaginez que Meta gère un système publicitaire mondial massif. Pour vous afficher la publicité parfaite, ce système doit effectuer des calculs mathématiques complexes des milliards de fois par jour. Ces calculs sont réalisés par des puces informatiques spécialisées appelées accélérateurs d'IA (comme les GPU NVIDIA, les GPU AMD et les puces personnalisées de Meta appelées MTIA).

Cependant, il y a un énorme problème : ces puces parlent des langues différentes.

Une puce NVIDIA parle le « CUDA ».
Une puce AMD parle le « ROCm ».
La puce personnalisée de Meta parle un dialecte unique du « Triton ».

De plus, les « mots » (opérations mathématiques) nécessaires pour la publicité sont incroyablement diversifiés. Certains sont des mathématiques standards (comme la multiplication), mais beaucoup sont des tâches étranges et personnalisées spécifiques à la publicité, comme le tri de l'historique des utilisateurs ou le hachage de données.

L'ancienne méthode :
Pour que les publicités s'exécutent rapidement, des ingénieurs humains devaient écrire manuellement une « traduction » spécifique (un noyau ou kernel) pour chaque tâche mathématique sur chaque type de puce.

L'analogie : Imaginez que vous êtes un chef essayant de servir un repas à 1 000 invités, mais chaque invité parle une langue différente et a un régime alimentaire différent. Vous devez écrire manuellement une recette unique et la traduire dans une langue différente pour chaque invité. Si vous manquez une seule traduction, cet invité ne sera pas nourri. Si vous voulez changer le menu (mettre à jour le modèle d'IA), vous devez réécrire les 1 000 recettes à partir de zéro. Cela prend des semaines, est sujet aux erreurs et coûte extrêmement cher.

La Solution : KernelEvolve (Le Robot « Super-Traducteur »)

L'article présente KernelEvolve, un système d'agent d'IA qui automatise l'ensemble de ce processus. Au lieu que des humains écrivent le code, KernelEvolve agit comme un robot chef de cuisine infatigable et super intelligent, capable d'apprendre instantanément n'importe quelle langue et d'écrire la recette parfaite pour n'importe quel invité.

Voici comment cela fonctionne, étape par étape :

1. La « Recherche en Arbre » (Essayer de nombreux chemins)

Lorsque KernelEvolve doit résoudre un problème mathématique, il ne se contente pas de deviner une seule fois. Il utilise une Recherche en Arbre (Tree Search).

L'analogie : Imaginez que vous essayez de trouver le chemin le plus rapide à travers un labyrole géant. Un humain pourrait essayer un chemin, rester bloqué et abandonner. KernelEvolve est comme un essaim de fourmis. Il envoie des milliers d'« explorateurs » simultanément. Certains vont à gauche, d'autres à droite. Si un explorateur frappe un mur (une erreur de code), il s'arrête. Si un explorateur trouve un raccourci (un moyen plus rapide d'effectuer le calcul), il marque ce chemin comme « bon » et envoie plus de fourmis sur cette voie.
Il continue ainsi, apprenant de chaque impasse et de chaque succès, jusqu'à ce qu'il trouve le chemin absolument optimal.

2. La « Bibliothèque de Mémoire » (Apprendre du passé)

KernelEvolve possède une immense bibliothèque de notes organisée appelée Base de Connaissances Persistante.

L'analogie : Si vous essayez de réparer un robinet qui fuit, vous ne devinez pas au hasard ; vous consultez un manuel. KernelEvolve fait de même, mais son manuel est gigantesque. Il contient des instructions spécifiques pour chaque type de puce (NVIDIA, AMD, MTIA).
La Magie : Même pour la puce personnalisée de Meta (MTIA), qui est si nouvelle qu'aucune IA ne l'a jamais vue auparavant, KernelEvolve possède un « manuel d'instructions » spécial injecté dans sa bibliothèque. Il lit ces notes, apprend les particularités uniques de la puce et écrit du code spécifiquement pour elle. Cela lui permet de travailler sur du matériel qui n'existe pas dans les données d'entraînement publiques d'Internet.

3. La « Boucle d'Auto-Correction » (Se déboguer soi-même)

Une fois que le robot a écrit un morceau de code, il ne se contente pas de lui faire confiance. Il exécute une Boucle d'Auto-Correction.

L'analogie : Le robot écrit une recette, cuisine le plat, puis le goûte.
- Test de goût (Exactitude) : Est-ce que cela a le même goût que l'original ? (Est-ce que le calcul correspond au résultat attendu ?)
- Test de vitesse (Performance) : Est-ce que cela a cuit plus vite que l'ancienne méthode ?
- La Correction : Si le plat est trop salé (trop lent) ou a un mauvais goût (erreur mathématique), le robot analyse pourquoi. Il consulte les « registres de cuisine » (données de profilage) pour voir si le four était trop chaud ou si les ingrédients ont été mal mélangés. Il réécrit ensuite la recette et réessaie.
Il répète ce cycle des centaines de fois pour une seule tâche, affinant le code jusqu'à ce qu'il soit parfait.

4. La « Cuisine à Distance » (FaaS)

Pour tester ces recettes, le robot doit utiliser les puces réelles qui sont coûteuses.

L'analogie : Le robot (le cerveau) vit dans un ordinateur de bureau standard. Les puces (les fours) sont dans une cuisine technologique séparée. Au lieu que le robot se rende à la cuisine, attende le four, puis revienne, il envoie la recette à un Service de Cuisine à Distance (FaaS). La cuisine distante cuit le plat et renvoie les résultats instantanément. Cela permet au robot de tester des milliers de recettes en même temps sans rester bloqué à attendre un four.

Les Résultats : Pourquoi c'est important

L'article affirme que KernelEvolve change la donne pour trois raisons :

Vitesse : Il a réduit le temps de création de ces codes spécialisés de plusieurs semaines à quelques heures.
Performance : Le code qu'il écrit est incroyablement rapide. Dans les tests, il a rendu l'IA 1,2 à 17 fois plus rapide que le code standard écrit par des humains.
- Exemple : Pour une tâche spécifique de tri de données, il était 9,8 fois plus rapide. Pour une opération mathématique spécifique sur la puce personnalisée de Meta, il était 17 fois plus rapide.
Fiabilité : Il a réussi 100 % des tests d'exactitude. Il ne s'est pas contenté de rendre les choses rapides ; il a veillé à ce que les calculs soient corrects à chaque fois.

Résumé

KernelEvolve est un système d'IA qui automatise le travail ennuyeux, difficile et coûteux de traduction de code informatique pour différents types de puces d'IA. En utilisant une stratégie de « tentative et d'apprentissage » (Recherche en Arbre), une vaste bibliothèque de règles matérielles (Base de Connaissances) et une boucle d'auto-correction, il peut générer du code à haute vitesse pour le système publicitaire de Meta en quelques heures plutôt qu'en plusieurs semaines, rendant l'ensemble du système plus rapide et moins coûteux à exploiter.

Résumé Technique : KernelEvolve

Problématique

Le déploiement des modèles de recommandation par apprentissage profond (DLRM) pour les systèmes publicitaires à grande échelle chez Meta fait face à une « malédiction de la dimensionnalité » pilotée par trois facteurs convergents : la diversité des architectures de modèles (allant des MLP traditionnels aux modèles de séquences basés sur les Transformers), la diversité des primitives de noyaux (s'étendant au-delà des GEMM standards à des centaines d'opérateurs complexes de prétraitement de données) et l'hétérogénéité du matériel (englobant les GPU NVIDIA, les GPU AMD et les accélérateurs propriétaires de Meta pour l'entraînement et l'inférence, MTIA).

Cette complexité crée un goulot d'étranglement critique. Le développement manuel de noyaux est économiquement irréalisable, nécessitant de 2 à 8 semaines d'effort d'expert par combinaison opérateur-matériel. De plus, l'absence de noyaux optimisés pour des opérateurs de prétraitement spécifiques sur les accélérateurs propriétaires force des architectures de « service désagrégé ». Dans ces configurations, le prétraitement doit s'exécuter sur des CPU hôtes sous-provisionnés tandis que l'inférence du réseau neuronal s'exécute sur des accélérateurs, occasionnant une latence réseau pure de 10 à 20 ms. Cette taxe architecturale consomme une part importante du budget de latence inférieur à 100 ms requis pour le service publicitaire, impactant directement l'expérience utilisateur et les revenus. Les agents de codage existants basés sur l'IA sont limités par des périmètres étroits, des benchmarks synthétiques, une focalisation sur une plateforme unique et un manque de gestion autonome et persistante des connaissances requise pour une optimisation de classe production.

Méthodologie

KernelEvolve est un framework agentique conçu pour automatiser la génération, l'optimisation et la validation de noyaux haute performance à travers un matériel hétérogène. Il traite l'optimisation de noyau comme un problème de recherche sur graphe plutôt que comme une simple tâche de génération de code.

Architecture Centrale

Recherche en Arbre et Machine à États : Le système modélise le processus d'optimisation comme un graphe de recherche $G_t = (V_t, E_t)$ . Il emploie des stratégies incluant la recherche gloutonne (Greedy Search), la recherche arborescente de Monte Carlo (MCTS) et des algorithmes évolutionnaires. Le processus itère à travers la sélection, la transformation et la notation :
- Fonction de Fitness : Évalue les noyaux en fonction de l'accélération par rapport aux baselines PyTorch, avec la correction (précision numérique) comme contrainte stricte (un échec égale une fitness de 0).
- Opérateur Universel : Contrairement aux frameworks multi-opérateurs statiques, KernelEvolve utilise un opérateur unique sensible au contexte. Il synthétise dynamiquement des prompts basés sur le contexte d'exécution (erreurs, données de profilage) plutôt que sur des modèles fixes.
Récupération Agentique et Gestion de Contexte Auto-gérée :
- Sous-agent de Mémoire de Contexte : Analyse les artefacts d'exécution (logs, métriques de profilage, résultats de correction) pour diagnostiquer les goulots d'étranglement et synthétiser des directives d'optimisation. Il maintient un magasin de métadonnées persistant (base de données relationnelle) traçant l'arbre de recherche, les scores de fitness et les relations parent-enfant, permettant la tolérance aux pannes et la réutilisation des connaissances entre les sessions.
- Sous-agent de Recherche Profonde : Effectue une récupération ciblée à partir d'une Base de Connaissances Persistante. Cette base de connaissances encode les contraintes spécifiques au matériel (NVIDIA, AMD, MTIA), les modèles d'optimisation et les méthodologies de débogage dans un système de fichiers hiérarchique. Pour le matériel propriétaire comme MTIA, qui manque de représentation dans les corpus d'entraînement des LLM, l'injection de cette documentation spécifique au domaine (ex: opérations SFU de MTIA, primitives de communication inter-PE) est cruciale pour générer un code correct.
Framework d'Évaluation et d'Outillage :
- Interface de Double Implémentation : Les noyaux générés sont encapsulés dans une interface standardisée aux côtés d'une baseline PyTorch pour la validation automatique de la correction (torch.allclose) et le benchmarking de performance.
- Interpréteurs Matériels : Des environnements dédiés (basés sur Bento) pour NVIDIA, AMD et MTIA garantissent une exécution reproductible avec des chaînes d'outils à jour.
- Profilage Unifié (Triton MPP) : Le Multi-Pass Profiler de Meta unifie l'instrumentation à travers les couches d'abstraction (MLIR, assembly, runtime), fournissant des données de performance structurées au niveau de l'instruction sans la fragmentation des chaînes d'outils traditionnelles.
- Intégration FaaS : L'évaluation est déchargée vers une plateforme Function-as-a-Service, découplant la génération liée au CPU de l'évaluation liée au GPU/accélérateur pour maximiser l'utilisation des ressources.

Contributions Clés

Système de Noyau IA de Classe Production : KernelEvolve est le premier système d'optimisation de noyau piloté par l'IA déployé à l'échelle industrielle pour l'entraînement et l'inférence de modèles de recommandation. Il génère de manière autonome des noyaux Triton optimisés pour des centaines de modèles servant des milliards d'utilisateurs.
Optimisation Automatisée pour le Matériel Propriétaire : En intégrant une base de connaissances persistante avec une synthèse de prompt assistée par la récupération (RAG), le système parvient à générer des noyaux pour des architectures propriétaires (MTIA) absentes des données d'entraînement des LLM, comblant ainsi l'écart entre les capacités des modèles et les contraintes matérielles.
Gains de Performance et d'Efficacité : Le système réduit le temps de développement de plusieurs semaines à quelques heures. Il atteint des accélérations substantielles (1,2x à 17x) par rapport aux baselines PyTorch sur diverses charges de travail, incluant le prétraitement de données, les transformateurs convolutionnels et les modèles de classement.
Perspectives Opérationnelles : L'article partage des analyses de modes de défaillance, des stratégies de débogage pour la génération de noyaux incorrects et des modèles organisationnels pour intégrer des flux de travail automatisés en production.

Résultats

KernelEvolve a été validé sur la suite publique KernelBench et une suite personnalisée de 160 opérateurs PyTorch ATen sur trois plateformes hétérogènes (NVIDIA H100, AMD MI350, MTIA v3).

Correction : A atteint un taux de réussite de 100 % sur les 250 problèmes KernelBench et une correction de 100 % sur l'ensemble des 480 configurations opérateur-plateforme.
Performance : A démontré des accélérations allant de 1,25x à 17x par rapport aux baselines PyTorch. Améliorations notables :
- Prétraitement de données : MapId (4,1x), MergeBucketizedDense (9,3x), Batch Event Truncate (9,8x).
- Transformateurs Convolutionnels : Conv1d (6,5x), Conv2d (4,7x).
- Modèles de Classement : WuKong Optimized FM (4,0x), InterFormer PFFN (2,5x).
- Spécificités MTIA : RMSNorm 2D backward (17x).
Efficacité de Recherche : Les trajectoires d'optimisation montrent que la recherche sur graphe avec retour d'exécution améliore systématiquement les scores de fitness au fil des étapes itératives, découvrant des stratégies de fusion et des configurations de tiling que le développement manuel mettrait des semaines à explorer.

Signification

L'article soutient que KernelEvolve transforme fondamentalement le développement de noyaux, passant d'un processus manuel dépendant de l'expertise à un service automatisé et scalable. Sa signification réside dans :

Permettre le Déploiement de Monolithe d'Accélérateurs : En automatisant la génération de noyaux pour tous les opérateurs (y compris le prétraitement à faible intensité arithmétique), il lève la contrainte binaire qui impose des architectures de service désagrégées CPU-accélérateur. Cela élimine la taxe de latence réseau de 10–20 ms, améliorant directement l'efficacité du service et réduissant le coût total de possession (TCO).
Scalabilité à l'Hétérogénéité : Il démontre que l'IA agentique peut naviguer efficacement dans l'explosion combinatoire des paires opérateur-matériel, rendant le déploiement de nouveaux modèles sur de nouvelles générations de matériel possible sans attendre le portage manuel des noyaux.
Combler le Fossé des Connaissances : L'approche consistant à injecter des connaissances matérielles propriétaires dans une base de connaissances persistante permet aux LLM de générer du code de haute qualité pour des accélérateurs personnalisés sans réentraînement, offrant un modèle pour la conception et l'optimisation de futurs systèmes IA à grande échelle.