SkillNet: Create, Evaluate, and Connect AI Skills

Le papier présente SkillNet, une infrastructure open-source qui permet de créer, évaluer et connecter des compétences d'IA à grande échelle via une ontologie unifiée, améliorant ainsi significativement les performances des agents en évitant la redécouverte constante de solutions.

L'essentiel

Imaginez que vous apprenez à cuisiner. Au début, vous suivez une recette précise pour faire une omelette. La prochaine fois, vous devez tout recommencer depuis zéro, même si vous avez déjà réussi la veille. C'est un peu frustrant, n'est-ce pas ?

C'est exactement le problème que rencontrent les intelligences artificielles (les "agents") aujourd'hui. Elles sont très douées pour résoudre des problèmes, mais elles ont une mémoire à court terme. Une fois la tâche terminée, elles oublient comment elles ont fait. Elles doivent "réinventer la roue" à chaque fois, comme si elles apprenaient à marcher chaque matin.

Voici SkillNet, présenté dans cet article, expliqué simplement.

🧠 SkillNet : La "Bibliothèque de Recettes" des Robots

SkillNet, c'est comme une immense bibliothèque de compétences pour les robots. Au lieu de laisser l'IA apprendre par hasard à chaque fois, SkillNet lui permet de :

1. Créer des compétences (comme écrire une nouvelle recette).
2. Tester si la recette est bonne et sûre.
3. Relier les recettes entre elles pour créer des plats complexes.

1. Comment ça marche ? (L'Analogie du Cuisinier)

Imaginez un chef cuisinier (l'IA) qui travaille dans une cuisine géante.

• Avant SkillNet : Le chef regarde une tâche (ex: "Faites-moi un gâteau"), cherche des ingrédients au hasard, essaie, rate, recommence. Il perd du temps et gaspille des ressources.
• Avec SkillNet : Le chef ouvre un livre de recettes structuré.
  • Il cherche "Gâteau".
  • Il trouve une fiche appelée "Faire un gâteau".
  • Cette fiche lui dit exactement quoi faire, quels outils utiliser, et combien de temps ça prend.
  • S'il veut faire un "Gâteau aux fraises", il combine la fiche "Gâteau" avec la fiche "Ajouter des fraises".

SkillNet transforme l'expérience éphémère en savoir durable. C'est comme passer d'un apprenti qui oublie tout à un chef étoilé qui a un carnet de recettes parfait.

2. Les 5 Gardiens de la Qualité (L'Inspection)

Dans SkillNet, on ne met pas n'importe quelle recette dans le livre. Avant qu'une compétence ne soit ajoutée, elle passe par 5 contrôles de qualité, comme un inspecteur de cuisine très strict :

1. Sécurité (Safety) : Est-ce que cette recette va faire exploser la cuisine ? (Ex: Ne pas effacer des fichiers importants par erreur).
2. Complétude (Completeness) : La recette a-t-elle toutes les étapes ? Manque-t-il un ingrédient ?
3. Exécutabilité (Executability) : Est-ce que le robot peut vraiment faire ça ? Ou est-ce que la recette est juste du blabla ?
4. Entretien (Maintainability) : Si on change un ingrédient, est-ce que toute la recette reste valide ? Est-ce facile à modifier ?
5. Coût (Cost-awareness) : Est-ce que cette recette est trop chère ou trop longue à préparer ?

3. Le Réseau de Connexions (Le Chef d'Orchestre)

Ce qui rend SkillNet spécial, c'est qu'il ne se contente pas d'empiler des fiches. Il les relie entre elles.

• Si vous avez une compétence "Coder en Python" et une autre "Analyser des données", SkillNet sait qu'elles peuvent travailler ensemble.
• Il crée un réseau où les compétences se disent : "Je t'ai besoin pour faire ça" ou "Je suis similaire à toi".
• C'est comme si le chef savait que pour faire un "Soupe", il doit d'abord "Couper les légumes", puis "Faire bouillir l'eau". Il assemble les compétences automatiquement.

4. Les Résultats : Plus Vite, Mieux, Moins Cher

Les chercheurs ont testé SkillNet avec des robots intelligents sur des tâches complexes (comme faire des achats en ligne, résoudre des énigmes scientifiques ou ranger une maison virtuelle).

Les résultats sont impressionnants :

• Les robots ont gagné 40% de plus en réussite.
• Ils ont fait 30% d'étapes en moins pour arriver au but.
• Ils ont moins "hésité" et ont été plus sûrs d'eux.

C'est comme si un étudiant qui a appris à résoudre des équations par cœur (SkillNet) résolvait un examen beaucoup plus vite et avec moins d'erreurs qu'un étudiant qui doit redécouvrir les formules à chaque question.

🚀 En Résumé

SkillNet, c'est le passage de l'ère de l'IA qui "essaie et se trompe" à l'ère de l'IA qui "sait et maîtrise".

C'est une infrastructure ouverte (tout le monde peut y contribuer) qui permet de transformer des milliers de petites expériences en une mémoire collective structurée. Grâce à cela, les agents artificiels ne sont plus de simples exécutants qui oublient tout, mais deviennent de véritables experts qui accumulent du savoir, s'améliorent avec le temps et peuvent accomplir des tâches de plus en plus complexes, comme un vrai "scientifique" ou un "ingénieur" numérique.

En bref : SkillNet donne aux robots une mémoire à long terme et un manuel d'instructions pour devenir vraiment intelligents.

Résumé technique

Titre : SkillNet : Créer, Évaluer et Connecter les Compétences de l'IA

1. Problématique

Les agents IA actuels, bien qu'incapables d'exécuter des tâches complexes en invoquant dynamiquement des outils, souffrent d'un manque de mécanisme systématique pour l'accumulation et le transfert de compétences à long terme.

• Le problème du "réinventer la roue" : Sans une consolidation unifiée, les agents redisent souvent des solutions dans des contextes isolés sans exploiter les stratégies antérieures.
• Limites des approches actuelles :
  • Les méthodes reposent souvent sur l'ingénierie manuelle ou l'apprentissage contextuel éphémère (in-context learning), qui ne permet pas de transformer l'expérience épisodique en capacité durable.
  • Il n'existe pas de cadre unifié pour acquérir, consolider et valider la qualité des compétences à grande échelle. Les référentiels existants manquent de structure, sont sujets à la "pollution" (manque de sécurité, d'exécutabilité) et ne permettent pas une réutilisation fiable.
• Objectif : Transformer l'expérience fragmentée en unités de compétences modulaires, durables et composites pour passer d'une intelligence transitoire à une maîtrise durable.

2. Méthodologie : L'Infrastructure SkillNet

SkillNet est une infrastructure ouverte conçue pour créer, évaluer et organiser les compétences d'IA à grande échelle. Elle repose sur trois piliers principaux :

A. Ontologie des Compétences (Skill Ontology)
SkillNet structure les compétences dans un réseau unifié à trois couches (illustré par la Figure 3) :

1. Taxonomie des Compétences : Organisation hiérarchique par catégories (ex: Développement, AIGC, Science) et tags sémantiques fins.
2. Graphe de Relations des Compétences : Modélisation des interactions entre les entités de compétences via des relations sémantiques :
   • similar_to (similitude fonctionnelle),
   • belong_to (composition hiérarchique),
   • compose_with (chaînage de flux de travail),
   • depend_on (dépendances et prérequis).
3. Bibliothèque de Packages de Compétences : Encapsulation physique des compétences en modules déployables (ex: un package "data-science-visualization" regroupant matplotlib, seaborn, etc.).

B. Création et Filtrage Automatisés

• Sources de données : Le système ingère des trajectoires d'exécution, des dépôts GitHub, des documents semi-structurés (PDF, Word) et des prompts directs.
• Pipeline de création : Utilisation de LLMs pour extraire des motifs exécutables et structurer les compétences sous forme de dossiers contenant un fichier SKILL.md (métadonnées, instructions, scripts).
• Filtrage : Un processus de déduplication (hash MD5), de filtrage par règles et de catégorisation automatique assure la qualité initiale.

C. Évaluation Multidimensionnelle
Pour garantir la fiabilité, chaque compétence est évaluée selon cinq dimensions critiques via un évaluateur automatisé (basé sur LLM) et des validations empiriques en bac à sable (sandbox) :

1. Sécurité : Risques d'opérations dangereuses ou d'injections de prompts.
2. Complétude : Présence de toutes les étapes procédurales et des prérequis.
3. Exécutabilité : Capacité à être exécutée sans erreur dans un environnement contrôlé.
4. Maintenabilité : Modularité et facilité de mise à jour sans casser les dépendances globales.
5. Conscience des Coûts : Latence, consommation de ressources et coûts d'API.

D. Outils et Ressources Ouvertes

• Référentiel : Plus de 200 000 compétences candidates, dont 150 000+ soigneusement sélectionnées.
• Kit de développement : Une bibliothèque Python (skillnet-ai) et une interface CLI permettant la recherche (vectorielle et par mots-clés), le téléchargement, l'évaluation et l'analyse des compétences.

3. Contributions Clés

1. SkillNet Framework : Un cadre unifié transformant l'expérience fragmentée en un réseau structuré de compétences modulaires et composites, servant de fondation pour l'ingénierie de connaissances actionnables.
2. Protocole d'Évaluation Rigoureux : Une méthode quantitative pour mesurer la sécurité, la complétude, l'exécutabilité, la maintenabilité et les coûts, assurant la fiabilité des référentiels à grande échelle.
3. Écosystème Open Source : Mise à disposition d'un référentiel massif de compétences, d'outils d'analyse et de benchmarks, démontrant empiriquement des améliorations significatives dans la planification et l'exécution des agents.

4. Résultats Expérimentaux

Les évaluations ont été menées sur trois environnements simulés textuels : ALFWorld (tâches domestiques), WebShop (achat en ligne) et ScienceWorld (laboratoire scientifique), en utilisant différents modèles de base (DeepSeek V3, Gemini 2.5 Pro, o4 Mini).

• Amélioration des Performances :
  • Augmentation du récompense moyenne de 40 % par rapport aux méthodes de base (ReAct, Few-Shot).
  • Réduction du nombre d'étapes d'exécution de 30 %, indiquant des trajectoires d'action plus cohérentes et moins redondantes.
• Généralisation : Les gains sont observés sur des modèles de tailles variées (du compact au très grand) et dans des scénarios vus (seen) et non vus (unseen), prouvant la capacité de transfert des compétences.
• Fiabilité de l'Évaluateur : L'évaluateur automatisé montre un accord quasi-parfait avec des annotateurs humains (Kappa pondéré quadratique $\approx$ 1.000, erreur absolue moyenne < 0.03).

5. Signification et Perspectives

SkillNet marque un changement de paradigme dans le développement des agents IA :

• De l'expérience éphémère à la maîtrise durable : Il permet aux agents de ne plus apprendre uniquement "à la volée" mais de construire une base de connaissances procédurales réutilisables.
• Infrastructure pour l'IA Autonome : En formalisant les compétences comme des actifs évolutifs, SkillNet ouvre la voie à des "sociétés d'agents" où les connaissances sont partagées, composées et améliorées continuellement (concept de "one-person lab").
• Applications Potentielles : Découverte scientifique autonome (analyse de données biologiques, génération de rapports) et ingénierie logicielle autonome (refactoring, tests, maintenance de code).

En conclusion, SkillNet comble le fossé entre la compréhension linguistique non structurée et la logique exécutable structurée, fournissant les fondations nécessaires pour des agents IA capables d'évolution continue et de collaboration à grande échelle.