Résumé Technique : SkillOps

Énoncé du Problème : Dette Technique des Compétences

À mesure que les agents de modèles de langage (LLM) dépendent de plus en plus de bibliothèques de compétences pour résoudre des tâches complexes et multi-étapes, ces bibliothèques évoluent de simples pools de récupération statiques vers des actifs logiciels persistants. Cependant, à mesure que des compétences sont ajoutées, corrigées, réutilisées et liées à des dépendances changeantes, les bibliothèques accumulent une dette technique des compétences. Ce mode de défaillance désigne des défauts persistants au niveau de la bibliothèque — tels que la redondance, l'absence de validateurs, la dérive des interfaces et des implémentations obsolètes — qui peuvent ne pas provoquer l'échec d'une compétence isolée localement, mais qui dégradent la fiabilité des futures récupérations, compositions et exécutions.

Les agents basés sur les compétences existants se concentrent principalement sur les opérations de temps de tâche (récupération, planification et réparation à la volée). Ils supposent souvent que la bibliothèque sous-jacente est saine, une prémisse qui s'affaiblit à mesure que la bibliothèque grandit. Par conséquent, les réparations au moment de la tâche corrigent des épisodes individuels sans traiter la cause racine : les défauts persistants au sein de la bibliothèque elle-même. L'article identifie un vide dans la maintenance de temps de bibliothèque, où la bibliothèque de compétences est traitée comme un écosystème logiciel géré plutôt que comme une ressource statique.

Méthodologie : Le Framework SkillOps

Les auteurs proposent SkillOps, un framework agnostique de méthode et plug-in conçu pour maintenir les bibliothèques de compétences en tant qu'écosystèmes logiciels auto-suffisants. SkillOps fonctionne via deux boucles alternées : une Boucle de Temps de Tâche pour l'exécution et une Boucle de Temps de Bibliothèque pour la maintenance.

1. Représentations Fondamentales

• Contrat de Compétence : Chaque compétence $s$ est modélisée comme un contrat exécutable typé $(P, O, A, V, F)$ :
  • $P$: Préconditions.
  • $O$: Opération exécutable.
  • $A$: Artifacts produits.
  • $V$: Validateurs (vérifications pour $A$).
  • $F$: Modes de défaillance connus.
  • Un « écart de validation » existe si $V = \emptyset$.
• Graphe d'Écosystème de Compétences Hiérarchique (HSEG) : Les compétences sont organisées dans un graphe $L = (S, R)$ avec quatre relations dirigées typées :
  • Dépendance ($dep$) : L'artefact de $s_i$ satisfait la précondition de $s_j$.
  • Compatibilité ($comp$) : Le type de sortie de $s_i$ correspond au type d'entrée de $s_j$.
  • Redondance ($red$) : Interfaces équivalentes ($P_i \equiv P_j, A_i \equiv A_j$).
  • Alternative ($alt$) : Même objectif mais opérations différentes.

2. La Boucle de Temps de Tâche

Cette boucle planifie et exécute des tâches en utilisant la bibliothèque maintenue :

• Appariement de Compétences : Score des compétences en utilisant un hybride de pertinence lexicale (BM25) et sémantique, en filtrant pour les préconditions satisfaites.
• Assemblage de Dépendances : Construit des plans en traversant le HSEG, en imposant à la fois les contraintes de dépendance et de compatibilité pour éviter les incompatibilités d'interface au moment de l'exécution.
• Insertion de Validateurs et d'Adaptateurs : Insère dynamiquement des nœuds de validateur pour les compétences présentant des écarts ($V=\emptyset$) et des nœuds d'adaptateur pour les incompatibilités de type entre compétences dépendantes.
• Réparation Locale : Remplace les compétences échouées par des alternatives ou réinvoque la réparation basée sur les traces d'erreur.

3. La Boucle de Temps de Bibliothèque

Cette boucle diagnostique et répare la bibliothèque après l'exécution, en utilisant des signaux observables plutôt que des appels LLM supplémentaires :

• Diagnostic de Santé à Cinq Dimensions : Les compétences sont notées sur :
  1. Utilité : Taux de succès des appels récents.
  2. Redondance : Taille du cluster de redondance.
  3. Compatibilité : Fraction des arêtes de dépendance qui sont également compatibles.
  4. Risque de Défaillance : Taux de défaillance empirique.
  5. Écart de Validation : Présence de validateurs manquants.
• Diagnostic Propagé par ContratGraph (CGPD) : Un mécanisme avancé qui propage les scores de risque le long des arêtes de dépendance. Si une compétence en amont présente un risque élevé, les compétences en aval héritent de ce risque, déclenchant une maintenance préventive (par exemple, ajout de validateurs) avant que des défaillances ne se produisent.
• Actions de Maintenance Typées : Basées sur les scores de santé et le CGPD, le système applique des actions spécifiques :
  • merge (fusion) : Collapse les compétences redondantes.
  • repair (réparation) : Réécrit les opérations en utilisant les retours d'information.
  • retire (retrait) : Supprime les compétences obsolètes ou défaillantes.
  • add_validator (ajout_validateur) : Insère des validateurs manquants.
  • add_adapter (ajout_adaptateur) : Insère des shims de conversion de type.
  • instantiate (instanciation) : Lie des arguments spécifiques à la tâche.

Contributions Clés

1. Formalisation de la Dette Technique des Compétences : L'article définit la maintenabilité des bibliothèques de compétences comme un problème distinct de temps de bibliothèque, introduisant le HSEG et les dimensions de santé (utilité, redondance, compatibilité, risque, validation) pour capturer la dégradation de la bibliothèque.
2. Framework SkillOps : Un système de maintenance plug-and-play qui transforme les bibliothèques brutes en bibliothèques maintenues via des actions typées (fusion, réparation, retrait, etc.) sans nécessiter de modifications au code des agents en aval.
3. Effets Conditionnels à la Méthode : Preuves empiriques montrant que les bénéfices de la maintenance sont conditionnels au type d'agent ; cela aide considérablement les agents axés sur la récupération tout ayant des effets neutres ou conflictuels sur les agents disposant de fortes capacités d'auto-réparation au temps de tâche.
4. Implémentation à Faible Surcharge : L'implémentation actuelle basée sur des règles effectue la maintenance avec presque aucun appel LLM ou token au temps de bibliothèque, positionnant la maintenance comme une couche architecturale légère plutôt que comme une charge d'inférence.

Résultats Expérimentaux

Le framework a été évalué sur ALFWorld, un benchmark de manipulation domestique basé sur le texte, utilisant une bibliothèque de compétences allant de 200 à 2000 compétences (incluant une dette technique synthétique).

• Performance Autonome : En tant qu'agent autonome, SkillOps a atteint un taux de réussite des tâches (SR) de 79,5 %, surpassant la meilleure référence (LLM_Skill_Planner) de +8,8 points de pourcentage sans utiliser d'appels LLM supplémentaires au temps de tâche.
• Efficacité en Mode Plug-in : Lorsqu'utilisé comme couche de maintenance pour des références existantes, SkillOps a constamment amélioré les méthodes axées sur la récupération :
  • Récupération Hybride : +2,90 pp
  • BM25 Seulement : +1,00 pp
  • Dense Seulement : +1,12 pp
  • Les gains étaient plus faibles pour les références basées sur des graphes ou la planification par LLM, qui possèdent déjà certaines capacités de filtrage.
• Évolutivité et Robustesse : SkillOps est resté stable à mesure que la taille de la bibliothèque augmentait jusqu'à 2000 compétences et que la densité de dégradation montait à 90 %, maintenant une avance de plus de 31 pp sur la meilleure référence suivante. En revanche, les références basées uniquement sur le temps de tâche se sont dégradées de manière significative sous le bruit.
• Efficacité des Coûts : La boucle de maintenance a engendré presque aucun appel LLM. L'utilisation de tokens au temps de tâche était généralement neutre ou réduite (jusqu'à -3,95 % pour Dense Seulement) car la bibliothèque maintenue fournissait un pool de candidats plus propre et moins redondant pour la récupération.

Importance et Revendications

L'article soutient que les bibliothèques de compétences doivent être traitées comme des actifs logiciels gérés plutôt que comme des pools de récupération statiques. En introduisant une couche de maintenance de temps de bibliothèque, SkillOps adresse l'accumulation de dette technique qui sape la fiabilité des agents au fil du temps.

Les auteurs affirment que :

• La maintenance est une couche architecturale distincte : Elle peut être découplée de la planification au temps de tâche et intégrée dans les systèmes existants en tant que composant « plug-and-play ».
• Les contrats typés et les structures de graphes sont essentiels : Ils permettent la détection des incompatibilités d'interface et de la redondance que la récupération plate ignore.
• La maintenance basée sur des règles est viable : Une maintenance de bibliothèque de haute qualité ne nécessite pas nécessairement une inférence LLM coûteuse ; des signaux observables et des actions basées sur des règles peuvent efficacement nettoyer et réparer l'écosystème.
• Le contexte compte : La valeur de la maintenance de temps de bibliothèque est maximale pour les agents dépendant fortement de la récupération, tandis que les agents disposant de mécanismes robustes d'auto-réparation au temps de tâche peuvent voir des rendements décroissants ou des conflits.

Ce travail suggère un changement dans la conception des agents LLM : passer d'une réparation réactive purement au temps de tâche à une gestion proactive de l'écosystème au temps de bibliothèque pour assurer la fiabilité à long terme des agents.