From Human Guidance to Autonomy: Agent Skill System for End-to-End LLM Deployment on Spatial NPUs
Cet article présente une méthodologie en deux étapes qui passe d'un développement guidé par l'humain à un système de compétences d'agent autonome, déployant avec succès plusieurs LLM de bout en bout sur les NPU spatiaux AMD XDNA 2 avec des gains de performance significatifs et une intervention humaine minimale.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez un nouvel appareil de cuisine incroyablement puissant mais très capricieux (le NPU Spatial). Il est conçu pour cuisiner des repas (exécuter des modèles d'IA) avec une efficacité énergétique étonnante, parfait pour les petits appareils portables. Cependant, cet appareil ne vient pas avec un livre de recettes, et les instructions sont écrites dans un code secret que seuls quelques chefs experts comprennent.
Pendant des années, faire en sorte qu'un plat complexe comme un « Large Language Model » (LLM) fonctionne sur cette machine nécessitait qu'un chef maître humain passe des semaines à ajuster manuellement chaque étape, essayant de comprendre comment déplacer les ingrédients dans la cuisine sans perdre de temps ou d'énergie.
Ce document décrit une nouvelle façon de résoudre ce problème en utilisant un système de « Robot Chef » à deux étapes qui apprend d'un humain, puis commence à cuisiner de son propre chef.
Étape 1 : L'Humain et l'Apprenti
Tout d'abord, les chercheurs ont appris à un agent de codage IA (l'« Apprenti ») comment cuisiner un plat spécifique : Llama-3.2-1B.
- Le Processus : Un chef humain n'a pas seulement regardé ; il a agi comme un guide. Il disait à l'Apprenti : « Voici le plan. Essayons cette étape. Oh, cela a échoué ? Notons pourquoi cela a échoué et comment nous l'avons corrigé. »
- Le Résultat : Ensemble, ils ont créé une recette qui était 2,2 fois plus rapide pour lancer le processus de cuisson et 4,0 fois plus rapide pour servir le plat par rapport à la meilleure tentative manuelle précédente.
- La Recette Secrète : Crucialement, ils n'ont pas seulement cuisiné le repas ; ils ont rédigé un livre de cuisine détaillé (documentation) de chaque erreur, de chaque correction et de chaque moment de compréhension (« aha! »). Ce n'était pas seulement un journal de bord ; c'était un plan de leçon structuré.
Étape 2 : Le Chef Pilote Automatique
Dans la deuxième étape, les chercheurs ont pris ce livre de cuisine détaillé et l'ont transformé en un ensemble de Compétences de Robot.
- Le Système de Compétences : Ils ont construit un système avec huit phases spécifiques (comme « Couper les oignons », « Saisir la viande », « Assaisonner la sauce »). Chaque phase possède un « test de goût » strict (une vérification numérique) pour s'assurer que la nourriture a exactement le bon goût avant de passer à l'étape suivante. Si le goût n'est pas correct, le robot essaie automatiquement une autre technique de sa liste de compétences.
- L'Autonomie : Une fois ce système prêt, ils ont laissé le Robot Chef travailler seul. Ils lui ont donné huit nouvelles recettes différentes (d'autres LLM comme Qwen et SmolLM) qu'il n'avait jamais vues auparavant.
- Le Résultat : Sans aucune aide humaine, le Robot Chef a réussi à cuisiner les huit nouveaux plats en 0,5 à 4 heures.
- Trois de ces nouveaux plats ont été cuisinés aussi efficacement que l'original avec lequel l'humain l'avait aidé.
- Le système a prouvé qu'il pouvait généraliser : il n'a pas seulement mémorisé la première recette ; il a appris comment cuisiner pour cet appareil spécifique et a appliqué ces compétences à de nouveaux ingrédients.
Pourquoi cela importe (en termes simples)
Considérez le NPU Spatial comme un moteur de voiture haute technologie et économe en énergie.
- Avant : Pour faire fonctionner une voiture, il fallait qu'un mécanicien câble manuellement chaque bougie d'allumage et chaque injecteur de carburant. Cela prenait un temps infini et coûtait cher.
- Maintenant : Les chercheurs ont construit un « Mécanicien Autonome ». D'abord, un humain a appris au mécanicien comment réparer un modèle de moteur spécifique. Ensuite, le mécanicien a appris les principes de réparation de ce type de moteur. Désormais, le mécanicien peut entrer dans un garage avec un autre modèle du même moteur et le réparer parfaitement en quelques heures, en vérifiant son propre travail pour s'assurer qu'il fonctionne en toute sécurité.
L'essentiel
Le document affirme qu'en combinant le guidage humain avec une IA qui prend des notes détaillées et transforme ces notes en « compétences » réutilisables, ils peuvent désormais déployer des modèles d'IA complexes sur du matériel spécialisé et économe en énergie de manière autonome. Ils ont déployé avec succès huit nouveaux modèles qui n'avaient jamais été exécutés sur ce matériel auparavant, prouvant que le système peut apprendre, s'adapter et travailler sans supervision humaine constante.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.