Résumé technique : SkillCoach

1. Énoncé du problème

Les agents basés sur les grands modèles de langage (LLM) s'appuient de plus en plus sur des compétences (skills) — des couches opérationnelles réutilisables encodant des procédures opérationnelles normalisées (SOP), des règles de domaine, des flux de travail d'outils et des routines de validation. Cependant, à mesure que les référentiels de compétences croissent, les agents sont confrontés à des défis importants concernant l'utilisation fiable des compétences au sein d'environnements réalistes caractérisés par des flux de travail chevauchants et des compétences de distraction.

Le problème central identifié est que la réussite de la tâche finale (succès/échec du vérificateur) est un signal insuffisant pour évaluer ou entraîner l'utilisation des compétences par un agent. Un agent peut réussir un test de vérification par :

• Essais et erreurs plutôt que par une invocation correcte de la compétence.
• Sélection de compétences de distraction qui produisent par coïncidence un résultat correct.
• Saut d'étapes requises ou omission des contrôles de validation finaux.
• Composition incorrecte des flux de travail.

Les méthodes d'évaluation existantes supposent souvent que si une compétence existe, l'agent peut l'utiliser correctement. En réalité, les agents échouent fréquemment à sélectionner la bonne compétence, à suivre ses étapes prescrites, à la composer avec d'autres compétences ou à réfléchir sur le résultat avant la soumission. Cela conduit à des comportements fragiles qui ne sont ni réutilisables ni évolutifs dans des contextes d'entreprise.

2. Méthodologie : Le cadre SkillCoach

Les auteurs proposent SkillCoach, un cadre de rubriques auto-évolutives conçu pour évaluer et améliorer l'utilisation des compétences par les agents en déplaçant l'attention des métriques basées uniquement sur le résultat vers une supervision au niveau du processus.

2.1 Définitions fondamentales

SkillCoach définit l'Utilisation de Compétence Agentique comme une méta-capacité au niveau de la trajectoire comprenant quatre dimensions distinctes, maintenues séparées du signal du vérificateur externe :

1. Sélection de la compétence : Évaluer si l'agent invoque les compétences d'or appropriées tout en évitant les distracteurs.
2. Respect de la compétence : Évaluer l'adhérence aux procédures et étapes clés spécifiées dans les compétences d'or.
3. Composition de la compétence : Déterminer si plusieurs compétences ou sous-processus dépendants sont coordonnés dans un ordre de flux de travail valide.
4. Réflexion ancrée dans la compétence : Vérifier la validation explicite des sorties (ex: schéma, format, contraintes) avant la soumission finale.

2.2 Le processus de rubrique auto-évolutive

SkillCoach opère selon un cycle en trois étapes pour faire évoluer les rubriques spécifiques aux tâches à partir de rollouts réels d'agents :

• Étape 1 : Configuration de l'environnement et de la tâche : Les tâches sont définies comme dépendantes de compétences (résolvables avec les compétences d'or mais difficiles sans elles). L'environnement comprend des compétences d'or et des compétences de distraction (non liées ou sémantiquement similaires mais inaplicables) pour simuler des référentiels d'entreprise.
• Étape 2 : Cœur de SkillCoach (Évolution) :
  • Construction initiale : Une rubrique de base ($R_0$) est construite à partir des instructions de la tâche, des compétences d'or et des solutions oracle, définissant les étapes clés observables et les exigences de preuves.
  • Jugement de trajectoire : Les rollouts réels de l'agent sont notés par rapport à la rubrique actuelle. Des preuves sont extraites (lectures de compétences, appels d'outils, modifications de fichiers) pour noter les quatre dimensions de méta-capacité.
  • Évolution par porte de validation : Un modèle d'arbitrage propose des correctifs locaux (ex: ajout d'exigences de preuves, clarification des cas négatifs) à la rubrique. Ces correctifs subissent une porte matérielle (rejetant les changements destructeurs comme l'ignorance des distracteurs) et une vérification d'objectif souple (amélioration de la couverture des preuves et de la cohérence). Seuls les correctifs passant la validation sur des rollouts non utilisés sont acceptés.
  • Sélection : La meilleure rubrique évoluée ($R_{best}$) est sélectionnée en fonction de la performance de validation.
• Étape 3 : Utilisations en aval :
  • Diagnostic de trajectoire : Identifie les échecs spécifiques au niveau du processus (ex: mauvaise sélection de compétence, étapes sautées).
  • Entraînement filtré par rubrique : Les trajectoires de haute qualité (celles passant le vérificateur externe et obtenant un score $\ge 0,95$ sur la rubrique évoluée) sont sélectionnées pour l'apprentissage supervisé (SFT).

3. Contributions clés

Le papier revendique trois contributions principales :

1. Formulation de l'utilisation de compétence agentique : Définition de l'utilisation de la compétence comme une méta-capacité au niveau de la trajectoire (sélection, respect, composition, réflexion) distincte du succès final de la tâche.
2. Cadre SkillCoach : Introduction du premier cadre de rubriques auto-évolutives qui calibre les rubriques de processus à partir de rollouts réels en utilisant un jugement fondé sur les preuves et des mises à jour validées par porte, spécifiquement conçu pour des tâches dépendantes de compétences avec des bibliothèques augmentées de distracteurs.
3. Double utilité des rubriques évoluées : Démonstration que les rubriques évoluées servent à la fois d'instruments d'évaluation améliorés (exposant les échecs cachés par la précision finale) et de filtres de supervision supérieurs pour l'entraînement, surpassant le SFT basé uniquement sur le résultat.

4. Résultats expérimentaux

Des expériences ont été menées sur des tâches dépendantes de compétences avec des bibliothèques augmentées de distracteurs, comparant les rubriques initiales ($R_0$) aux rubriques évoluées ($R_{best}$).

• Validation de la qualité de la rubrique :

  • Couverture des points clés d'or : Augmentation de 71,56 % à 83,70 %, indiquant un meilleur alignement avec les preuves de processus humaines d'or.
  • Score d'utilisabilité : Amélioration de 81,53 à 94,33, suggérant des critères plus clairs pour les juges LLM.
  • Taux d'hallucination : Réduction de 2,00 % à 0,00 %, confirmant que les gains de couverture n'ont pas introduit de contraintes non supportées.
  • Cohérence du filtrage : Amélioration de 82,00 % à 96,00 % par rapport aux jugements de trajectoire humains d'or.

• Performance de l'utilisation des compétences agentiques :

  • Dans les configurations "Or + Distracteurs", la précision finale masque souvent les échecs de processus. Par exemple, alors que les agents atteignent une précision finale élevée avec les compétences d'or, leurs scores de Sélection de compétence chutent considérablement lorsque les distracteurs sont introduits (ex: Qwen3.5-9B passe de 92,0 à 44,0).
  • L'évaluation des quatre dimensions a révélé que les agents sélectionnent souvent de mauvaises compétences ou sautent des étapes, même lorsque le résultat final est correct.

• Efficacité de l'entraînement (SFT) :

  • Le SFT filtré par rubrique a nettement surperformé le SFT basé uniquement sur le résultat.
  • Pour Qwen3.5-9B, le SFT basé uniquement sur le résultat a amélioré la précision de 14,0 % à 18,0 %, tandis que le SFT filtré par rubrique (utilisant $R_{best}$) l'a améliorée à 32,0 %.
  • Les études d'ablation ont montré que le respect des étapes clés était la dimension la plus critique pour le filtrage, suivie de l'ordre de composition et de la réflexion.

• Analyse des limites de distraction :

  • À mesure que la bibliothèque de compétences augmentait (jusqu'à 50k distracteurs), les modèles présentaient deux modes d'échec : la dégradation (baisse de performance) et l'effondrement (échec quasi total de la sélection des compétences d'or).
  • Les modèles plus puissants (ex: GPT-5.5, Opus 4.7) retardent la dégradation et l'effondrement par rapport aux modèles plus petits, mais font tous face à des limites de fiabilité dans de grandes bibliothèques chevauchantes.
  • Les distracteurs à haute similitude causent des chutes de performance nettement plus importantes que les distracteurs non liés, soulignant la difficulté de distinguer les compétences voisines proches.

5. Signification et Revendications

Le papier pose que l'utilisation fiable des compétences est à la fois mesurable et entraînable grâce à une supervision de processus ancrée dans les compétences.

• Au-delà de la précision finale : Les auteurs soutiennent que dans les environnements d'entreprise, un résultat réussi ne garantit pas un agent réutilisable ou robuste. Un agent qui réussit un vérificateur via des essais et erreurs ou une invocation de compétence incorrecte introduit de la latence, des coûts et des risques de conformité.
• Supervision de processus : En séparant la qualité du processus du signal de résultat, SkillCoach fournit un feedback actionnable pour diagnostiquer des modes d'échec spécifiques (sélection, respect, composition, réflexion) plutôt que de simples résultats binaires succès/échec.
• Évolutivité : La nature auto-évolutive des rubriques permet de s'adapter à la complexité des référentiels de compétences croissants et chevauchants sans réingénierie manuelle, ce qui les rend adaptés au déploiement industriel où les bibliothèques de compétences sont dynamiques.
• Signal d'entraînement : Le cadre démontre que le filtrage des données d'entraînement basé sur des rubriques de niveau processus produit des agents dotés de comportements d'utilisation de compétences plus robustes que ceux entraînés uniquement sur le succès du résultat.

Les auteurs concluent que bien que leur travail soit limité au SFT hors ligne et à un ensemble spécifique de tâches dépendantes de compétences, l'approche établit une base pour traiter l'utilisation des compétences comme une capacité distincte, évaluable et optimisable dans les systèmes agentiques.