Towards Cold-Start Drafting and Continual Refining: A Value-Driven Memory Approach with Application to NPU Kernel Synthesis

Le papier présente EvoKernel, un cadre d'agents auto-évolutif qui surmonte le manque de données pour la synthèse de noyaux NPU en utilisant une approche de mémoire basée sur la valeur pour passer du brouillage initial au raffinement continu, améliorant ainsi considérablement la justesse et les performances des modèles de langage.

L'essentiel

🌟 Le Problème : Construire une maison sur un terrain vide

Imaginez que vous êtes un architecte de génie (une Intelligence Artificielle très puissante) capable de construire des gratte-ciels parfaits dans des villes connues comme New York ou Tokyo. Ces villes sont pleines de plans, de livres d'architecture et d'experts pour vous aider. C'est comme programmer pour les puces graphiques de NVIDIA (CUDA), où tout est documenté.

Mais, imaginez maintenant qu'on vous envoie sur une nouvelle île déserte (une nouvelle puce informatique appelée NPU).

• Il n'y a aucun livre sur l'île.
• Il n'y a aucun expert local.
• Les règles de construction sont totalement différentes.

Si vous essayez de construire une maison ici avec vos anciennes connaissances, vous allez échouer. C'est ce qu'on appelle le "Cold Start" (démarrage à froid). Les meilleures IA du monde échouent lamentablement sur ces nouvelles puces car elles ne peuvent pas "deviner" les règles sans exemples.

🚀 La Solution : EvoKernel, l'Apprenti Ingénieur qui a une Mémoire

Les chercheurs de l'Université Jiao Tong de Shanghai ont créé EvoKernel. Ce n'est pas une IA qui apprend par cœur, mais un système qui apprend en faisant et en se souvenant.

Imaginez EvoKernel comme un apprenti ingénieur très curieux qui possède deux super-pouvoirs :

1. Le "Brouillon" (Drafting) : Essayer de faire fonctionner la machine

Au début, l'ingénieur ne sait pas par où commencer. Il essaie de construire une maison, mais elle s'effondre.

• L'erreur : "Oh, j'ai utilisé le mauvais ciment."
• La leçon : Au lieu de jeter ce brouillon à la poubelle, EvoKernel le note dans un carnet de notes magique. Il écrit : "Ne jamais utiliser ce ciment pour ce type de sol."
• Le but : Trouver une maison qui tient debout, même si elle est moche.

2. Le "Raffinement" (Refining) : Rendre la maison rapide et élégante

Une fois qu'il a une maison qui ne s'effondre pas, il ne s'arrête pas là. Il veut qu'elle soit construite en 10 minutes au lieu de 10 heures.

• Il regarde son carnet de notes pour voir ce qui a fonctionné sur d'autres chantiers.
• Il dit : "Tiens, sur le chantier d'à côté, j'ai utilisé une grue différente qui a fait gagner du temps."
• Il applique cette astuce. Si ça marche, il note la nouvelle astuce dans le carnet. Si ça rate, il note aussi pourquoi.

🧠 Le Secret : La "Mémoire à Valeur" (Value-Driven Memory)

C'est ici que la magie opère. La plupart des systèmes oublient tout une fois le projet fini. EvoKernel, lui, a une mémoire qui apprend à trier.

Imaginez que votre carnet de notes soit rempli de milliers d'astuces.

• Le problème : Si vous cherchez "comment faire une porte", vous ne voulez pas lire 100 pages sur "comment peindre un mur".
• La solution d'EvoKernel : Il a un petit assistant (un algorithme de "valeur") qui regarde votre problème actuel et dit : "Attends, pour ce problème précis, l'astuce #42 sur la 'grue rapide' est la plus utile !"

Cet assistant apprend à chaque essai. Plus il essaie, plus il devient bon pour savoir quelle information chercher dans le carnet pour résoudre le problème actuel. Il ne se contente pas de copier-coller ; il comprend pourquoi une astuce fonctionne dans un contexte donné.

🏆 Les Résultats : De l'échec total à la maîtrise

Grâce à cette méthode, EvoKernel a réussi à faire ce que les plus grandes IA du monde ne pouvaient pas faire sur les puces NPU :

1. Il a appris de zéro : Sans aucun manuel ni expert humain.
2. Il a réussi : Il est passé d'un taux de réussite de 11% (presque rien) à 83% (presque parfait).
3. Il a accéléré : Les maisons qu'il construit sont 3,6 fois plus rapides que ses premiers brouillons.

💡 En résumé

EvoKernel, c'est comme donner à un génie une mémoire collective qui s'améliore toute seule. Au lieu de réinventer la roue à chaque fois, il consulte son carnet de notes intelligent pour savoir quelle astuce utiliser, ce qui lui permet de maîtriser des technologies nouvelles et complexes (comme les puces NPU) beaucoup plus vite que n'importe quel humain ou IA traditionnelle.

C'est la preuve que pour apprendre dans un monde sans données, il ne faut pas plus de livres, mais un meilleur système pour se souvenir de ses propres erreurs et de ses propres succès.

Résumé technique

Voici un résumé technique détaillé de l'article « Towards Cold-Start Drafting and Continual Refining: A Value-Driven Memory Approach with Application to NPU Kernel Synthesis », présenté en français.

1. Le Problème : Le Mur des Données et le Démarrage à Froid

L'article aborde un défi majeur dans le déploiement des grands modèles de langage (LLM) : leur incapacité à généraliser dans des domaines de programmation rares ou émergents, spécifiquement la synthèse de kernels pour des architectures spécifiques au domaine (DSA) comme les NPU (Neural Processing Units).

• Le Mur des Données (Data Wall) : Contrairement à l'écosystème mature de NVIDIA (CUDA) qui dispose de décennies de code d'entraînement, les écosystèmes émergents (comme Ascend C pour les NPU) souffrent d'une extrême pénurie de données. Le code public est rare, la documentation est obscure et les retours des compilateurs sont opaques.
• Échec des modèles de pointe : Même les LLM les plus avancés (ex: GPT-5.2) subissent un effondrement catastrophique lorsqu'ils sont transférés de CUDA vers des langages spécifiques comme Ascend C. Par exemple, la précision chute de 92 % sur CUDA à 14 % sur Ascend C pour des tâches de niveau 1.
• Limites des approches existantes :
  • Le Fine-Tuning Supervisé (SFT) est trop coûteux en données étiquetées.
  • Le Reinforcement Learning (RL) paramétrique nécessite un nombre d'échantillons prohibitif et risque l'oubli catastrophique.
  • La Génération Augmentée par Récupération (RAG) classique échoue car la similarité sémantique ne garantit pas l'efficacité dans des environnements où la syntaxe et la logique sont rigides.

L'objectif est de permettre à un agent d'apprendre à synthétiser des kernels rigoureux à partir de zéro (Cold-Start), sans démonstrations d'experts ni fine-tuning coûteux.

2. Méthodologie : EvoKernel

Les auteurs proposent EvoKernel, un cadre d'agents auto-évolutifs qui formule la synthèse de kernels comme une tâche d'apprentissage par renforcement basée sur la mémoire.

A. Formulation du Problème (M-MDP)

Le processus est modélisé comme un Processus Décisionnel de Markov basé sur la Mémoire (M-MDP). L'agent interagit avec un environnement via une boucle de génération, de vérification et de mise à jour de la mémoire.

• État : La tâche statique (opérateur PyTorch + métadonnées) et l'état dynamique (statut de vérification, latence actuelle).
• Action : La génération de code source du kernel.
• Mémoire (M) : Une banque de connaissances dynamique et auto-évolutive contenant des modèles d'API, des expériences de succès/échec, des traces de génération et des meilleures pratiques.

B. Récupération Pilotée par la Valeur (Value-Driven Retrieval)

C'est le cœur de l'innovation. Au lieu d'utiliser une récupération basée sur la similarité sémantique, EvoKernel apprend des valeurs Q spécifiques à l'étape pour évaluer l'utilité des expériences passées.

• Phase de Brouillon (Drafting) : L'agent cherche à maximiser la probabilité de trouver un kernel fonctionnellement correct. La valeur Q1 estime la contribution d'une expérience à la correction fonctionnelle.
• Phase de Raffinement (Refining) : Une fois un kernel valide trouvé, l'objectif passe à l'optimisation de la latence. La valeur Q2 estime la contribution d'une expérience à la réduction du temps d'exécution.
• Mise à jour Unifiée : Une règle de mise à jour Monte-Carlo ajuste les valeurs Q en fonction des retours de l'environnement (récompenses) sans modifier les poids du modèle de base (LLM).

C. Vérification Multi-Gates

Un vérificateur robuste fournit un feedback structuré via trois portes :

1. Anti-Hacking : Empêche le modèle de contourner le kernel NPU en utilisant des API Python ou PyTorch de haut niveau (vérification de l'intégrité architecturale).
2. Compilation : Vérifie la compilation réussie avec la chaîne d'outils Ascend C.
3. Correction : Compare la sortie du kernel à la référence PyTorch avec des tolérances numériques.
   Pour les kernels valides, la latence est mesurée pour guider l'optimisation.

3. Contributions Clés

1. Pipeline Unifié Brouillon-Raffinement : Un cadre à deux étapes sur une mémoire partagée qui passe du pilotage par la faisabilité au pilotage par la latence.
2. Récupération Évolutive Pilotée par la Valeur : Un mécanisme qui apprend à prioriser les expériences historiques selon leur utilité actuelle (correctitude vs performance), permettant une adaptation dynamique sans mise à jour des poids du LLM.
3. Partage Transversal de Mémoire : La capacité de transférer des connaissances d'une tâche simple à une tâche complexe, et d'un modèle de base à un autre, comblant le fossé des données rares.

4. Résultats Expérimentaux

Les expériences ont été menées sur un benchmark NPU (Ascend C) dérivé de KernelBench, avec des modèles comme GPT-5.2, DeepSeek-V3.2 et Qwen3-Coder.

• Amélioration de la Précision : EvoKernel a porté le taux de correction des modèles de pointe (GPT-5.2) de 11,0 % à 83,0 % sur des tâches complexes, surpassant largement les baselines (Codex à 46,0 % et Raffinement simple à 22,0 %).
• Gain de Performance : Grâce au raffinement itératif, le système a atteint un accélération médiane de 3,60x par rapport au premier brouillon fonctionnel. Certains kernels ont montré des gains supérieurs à 200x.
• Généralisation et Transfert :
  • Le transfert de la mémoire des tâches de niveau 1 (L1) vers les tâches de niveau 2 (L2) a permis une convergence plus rapide et une précision finale supérieure (64 % contre 34 % pour un démarrage à froid).
  • La mémoire construite par un modèle fort (GPT-5.2) a considérablement amélioré les performances de modèles plus faibles (DeepSeek, Qwen), prouvant l'efficacité du partage de connaissances.
• Robustesse Hors Distribution : Le système a réussi à s'adapter à de nouvelles familles d'opérateurs (Attention Set) et à de nouvelles architectures (kernels mHC de DeepSeek) sans réentraînement, démontrant qu'il n'apprend pas par cœur des modèles de benchmark mais acquiert des principes de synthèse.

5. Signification et Impact

Cet article démontre que l'accumulation d'expériences guidée par la valeur permet aux modèles de langage généraux de maîtriser des tâches de synthèse de kernels sur des écosystèmes matériels de niche, même en l'absence de données d'entraînement.

• Démocratisation de l'expertise : EvoKernel offre une voie pour pallier la pénurie d'experts en programmation NPU, permettant de déployer des modèles performants sur des architectures émergentes sans coûts de fine-tuning prohibitifs.
• Nouvelle approche pour le Cold-Start : La méthode suggère que pour les tâches à vérification binaire (correct/incorrect) et à données rares, l'approche non-paramétrique basée sur la mémoire est plus viable que le fine-tuning ou le RL paramétrique lourd.
• Avenir de l'IA Adaptative : Cela ouvre la voie à des systèmes autonomes capables de s'adapter à de nouveaux domaines techniques avec un minimum de données, en s'appuyant sur l'apprentissage par renforcement en temps d'exécution (inference-time RL) et la mémoire à long terme.

En résumé, EvoKernel transforme le problème de la synthèse de kernels NPU d'un défi de manque de données en un problème de gestion efficace de l'expérience, permettant aux LLMs de "apprendre à apprendre" sur des architectures spécifiques.