🤖 machine learning

SkillConsist: Detecting Inconsistencies in Agent Skills via Bidirectional Graph Alignment

SkillConsist est un nouveau cadre qui détecte les incohérences entre les compétences déclarées et implémentées des agents en construisant des graphes de comportement bidirectionnels et en effectuant un alignement et une différenciation de graphes, atteignant ainsi des performances de pointe sur un nouveau benchmark de 633 compétences.

Auteurs originaux : Chaofan Meng, Yuhang Zheng, Yingnan Zhou, Sihan Xu

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chaofan Meng, Yuhang Zheng, Yingnan Zhou, Sihan Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où votre ordinateur ne se contente pas de suivre des ordres, mais agit comme un assistant utile, un majordome numérique capable de naviguer sur le Web, de gérer vos fichiers ou même de réserver vos vacances. Pour ce faire, il utilise des « Compétences d'Agent » (Agent Skills) — des outils ou des recettes pré-établis qui indiquent à l'ordinateur exactement comment accomplir une tâche spécifique. Considérez ces compétences comme des instructions dans un livre de cuisine : la « déclaration » est la délicieuse description sur le menu promettant un plat de « Tacos Épicés », tandis que l'« implémentation » est la cuisine réelle qui se déroule en cuisine.

Le problème survient lorsque le menu ment. Peut-être que le chef (le code) a accidentellement ajouté un ingrédient secret qui rend les tacos toxiques, ou peut-être qu'il a oublié d'ajouter la salsa, même si le menu le promettait. Dans le monde numérique, ces décalages sont dangereux. Si un agent informatique choisit une compétence basée sur une fausse promesse, il pourrait accidentellement supprimer vos fichiers, divulguer vos données privées ou se faire piéger par un pirate informatique. Les scientifiques essaient de construire un « critique gastronomique » capable de goûter le plat et de le comparer au menu pour débusquer ces mensonges avant que l'agent ne les serve. C'est le défi de vérifier si ce qu'une compétence dit faire correspond à ce qu'elle fait réellement.

Entrez en scène SkillConsist, un nouveau détective numérique conçu pour résoudre ce mystère exact. Les chercheurs derrière cet outil ont réalisé que les méthodes précédentes étaient comme essayer de comparer une description de menu d'une seule phrase à un livre de recettes de 50 pages sans moyen clair de les faire correspondre. Le menu pourrait dire « Faire des Tacos », tandis que le travail en cuisine implique de hacher des oignons, de griller de la viande, de chauffer des tortillas et de mélanger de la salsa. Une simple vérification mot à mot échouerait car la promesse « Faire des Tacos » est une grande idée, mais le travail en cuisine est une chaîne de nombreuses petites étapes.

SkillConsist s'attaque à cela en agissant comme un bibliothécaire super organisé qui construit deux cartes distinctes : une pour les promesses du menu et une pour les actions de la cuisine. D'abord, il utilise une IA intelligente pour trier le mélange désordonné de texte et de code, séparant « ce que nous promettons » de « ce que nous faisons réellement ». Ensuite, il dessine cela sous forme de graphes — pensez à eux comme des organigrammes où chaque étape est un nœud et chaque connexion est une ligne.

La magie opère lors de l'étape suivante : l'Alignement de Graphes Bidirectionnel (Bidirectional Graph Alignment). Imaginez essayer de faire correspondre une seule et grande bulle « Faire des Tacos » sur la carte du menu à tout un groupe de bulles connectées sur la carte de la cuisine. SkillConsist ne cherche pas seulement une correspondance unique ; il s'étend vers l'extérieur, suivant les lignes dans la carte de la cuisine pour voir si un groupe entier d'étapes (hacher, griller, mélanger) peut être regroupé pour expliquer parfaitement la promesse unique du menu. Il fait cela dans les deux sens, vérifiant que chaque étape de la cuisine possède une promesse de menu et que chaque promesse de menu possède un plan de cuisine.

Une fois les cartes alignées, le détective recherche les incohérences. Il signale trois types de problèmes :

Conflits : Le menu dit « Épicé », mais le code de la cuisine ajoute « Sucré ».
Non implémenté : Le menu promet de la « Salsa », mais la cuisine n'a aucun ingrédient de salsa du tout.
Non déclaré : La cuisine ajoute secrètement du « Poison » au mélange, mais le menu n'en a jamais mentionné.

Les chercheurs ont testé SkillConsist sur un benchmark massif de 633 compétences d'agents réels, incluant certaines connues pour être complexes ou malveillantes. Les résultats sont impressionnants : l'outil a identifié correctement les compétences incohérentes 87,93 % du temps (un score appelé F1), ce qui représente un bond de plus de 20 points de pourcentage par rapport aux meilleures méthodes précédentes. Il a également réussi à localiser précisément où le mensonge se cachait dans le code environ 62 % du temps.

Peut-être plus important encore, l'article montre qu'il ne s'agit pas seulement de corriger des fautes de frappe ; il s'agit de sécurité. Lorsque les chercheurs ont utilisé SkillConsist pour filtrer les compétences malveillantes, cela a permis de détecter plus d'outils dangereux sans avoir besoin de les exécuter dans un environnement risqué au préalable. En détectant le décalage entre la promesse et la réalité, SkillConsist nous donne un moyen de faire un peu plus confiance à nos assistants numériques, garantissant que lorsqu'un ordinateur dit qu'il prépare des tacos, il ne sert pas réellement quelque chose de dangereux.

Résumé Technique : SkillConsist

Énoncé du Problème

Les Compétences d'Agent (Agent Skills) fournissent des flux de travail réutilisables pour les agents de Grands Modèles de Langage (LLM), définis par une déclaration (ce que la compétence prétend faire) et une implémentation (ce qu'elle exécute réellement). Les incohérences entre ces deux côtés — telles que des comportements déclarés mais non implémentés, des comportements implémentés mais non déclarés, ou des comportements conflictuels — peuvent conduire à une sélection incorrecte de la compétence ou à l'invocation d'actions dangereuses ou hors de portée.

Les méthodes de détection existantes sont confrontées à deux défis majeurs dans ce domaine :

Contenu Mixte : Les déclarations et les comportements d'implémentation sont souvent entremêlés au sein d'instructions en langage naturel et de fragments de code, ce qui rend difficile la distinction entre une affirmation et une étape d'exécution.
Décalage de Granularité : Une déclaration concise peut correspondre à plusieurs étapes d'implémentation connectées, tandis qu'un comportement implémenté unique peut être décrit à travers plusieurs déclarations éparpillées.

Les approches actuelles, qui reposent souvent sur la comparaison de taxonomies de sécurité prédéfinies ou sur l'utilisation de LLM pour faire correspondre des métadonnées avec du code, peinent à gérer efficacement ces rôles mixtes et ces variations de granularité.

Méthodologie : SkillConsist

SkillConsist répond à ces défis via un pipeline en trois étapes : Séparation des Rôles et Extraction de Records de Comportement, Construction de Graphes de Comportement, et Alignement et Différenciation de Graphes Bidirectionnels.

1. Séparation des Rôles et Extraction de Records de Comportement

Le système commence par désintriquer le contenu mixte pour identifier les rôles sémantiques.

Séparation par LLM : Un LLM (DeepSeek-V4 Pro) traite les fragments de packages pour séparer les faits de déclaration et d'implémentation en records de comportement structurés ( $K = \langle C, O, R, E \rangle$ ), où $C$ est la condition, $O$ est l'objet affecté, $R$ est l'effet, et $E$ est la source de localisation.
Analyse Statique : L'analyse de programme complète ces records en extrayant les détails d'implémentation à partir du code source, des configurations et de l'exécution contrôlée (ex: entrées publiques, entrées, sorties et effets secondaires).
Sortie : Deux ensembles fusionnés et liés à la source : les records de Déclaration $D(S)$ et les records d'Implémentation $M(S)$ .

2. Construction de Graphes de Comportement

Pour gérer les différences de granularité, les records sont organisés en deux graphes dirigés distincts : le Graphe de Déclaration ( $G_D$ ) et le Graphe d'Implémentation ( $G_M$ ).

Nœuds : Incluent des nœuds de records, des nœuds d'objets, des nœuds d'entrée publique et des nœuds de preuve.
Arêtes : Six types de relations connectent les nœuds, incluant la relation entrée-vers-record, record-vers-objet, preuve-vers-record, et les dépendances inter-records (résultat-vers-entrée, résultat-vers-condition, condition-vers-condition).
Groupes de Comportement : Les sous-graphes connectés au sein de chaque graphe qui expriment conjointement un seul comportement sont identifiés comme groupes de comportement ( $B_X(S)$ ). Ces groupes servent d'unités atomiques pour la comparaison.

3. Alignement et Différenciation de Graphes Bidirectionnels

Cette étape aligne les groupes de comportement à travers les deux graphes pour détecter les incohérences, en gérant le décalage de granularité par une recherche dans les deux sens ( $D \to M$ et $M \to D$ ).

Ancrage et Expansion : En partant d'un record d'ancrage dans un groupe de comportement source, le système recherche des sous-graphes candidats dans le graphe cible. Il étend ces candidats le long des relations de comportement jusqu'à ce qu'ils puissent potentiellement couvrir le comportement source.
Complétion de Sous-graphe : Les candidats sont validés par rapport à quatre prédicats de complétude : Condition, Entrée, Résultat, et Chemin. Un candidat est aligné uniquement s'il satisfait aux contraintes de liaison (propriétaires compatibles, entrées, portées) et fournit tous les champs et chemins requis.
Preuve et Différenciation :
- Supporté (Supported) : La preuve confirme que toutes les conditions et les effets correspondent.
- Contredit (Contradicted) : La preuve montre des champs incompatibles (ex: valeurs par défaut différentes).
- Non Applicable (Not-Applicable) : Aucune obligation n'existe.
- Inconnu (Unknown) : La preuve est incomplète.
Vérification de Couverture : Si aucun candidat aligné n'est trouvé, le système génère un certificat de couverture pour vérifier que l'espace de recherche était exhaustif. Cela évite les faux positifs concernant les comportements "manquants".
Sorties d'Incohérence :
- Conflit (Conflict) : Une déclaration requise possède un homologue contredit.
- Non Implémenté (Unimplemented) : Une déclaration requise n'a pas de contrepartie.
- Non Déclaré (Undeclared) : Une implémentation dans le périmètre n'a pas de contrepartie de déclaration.

Contributions Clés

Formulation de l'Alignement de Graphes Bidirectionnel : Le papier formule la cohérence au niveau du package comme un problème d'alignement de graphes bidirectionnel, permettant à un comportement d'un côté de correspondre à plusieurs records connectés de l'autre, atténuant ainsi les différences de granularité inhérentes.
Système SkillConsist : Un système novateur qui extrait les comportements de contenus mixtes, construit des graphes de déclaration et d'implémentation distincts, et localise les incohérences via une recherche de sous-graphes guidée par les relations, la différenciation et la vérification de couverture.
Construction de Benchmark : La création d'un benchmark examiné manuellement de 633 Compétences d'Agent (provenant de ClawHub et Skill-Inject) contenant 319 packages cohérents et 314 incohérents, avec 442 annotations d'incohérence localisées.

Résultats Expérimentaux

Le système a été évalué sur le benchmark de 633 compétences contre quatre lignes de base (LLM, LLM+RAG, C4RLLaMA adapté, SKILLSCOPE adapté).

Détection au niveau du Package : SkillConsist a atteint une précision de 86,85 %, un rappel de 89,03 % et un F1 de 87,93 %. Cela représente une amélioration de 20,43 points de pourcentage du F1 par rapport à la meilleure ligne de base.
Localisation d'Incohérence : SkillConsment a atteint une précision de 67,60 %, un rappel de 58,14 % et un F1 de 62,52 %.
Études d'Ablation : La suppression de la séparation des rôles ou de l'expansion des sous-graphes a considérablement dégradé les performances, confirmant leur nécessité pour récupérer les contreparties valides. La suppression de la vérification de couverture a augmenté le rappel mais a drastiquement réduit la précision en raison de faux positifs.
Filtrage de Compétences Malveillantes : Appliqué à 133 packages de Skill-Inject, les signaux de risque d'incohérence ont amélioré le rappel de la détection de compétences malveillantes de 11,90 % (porte de risque élevé) et de 26,19 % (porte de risque moyen/élevé) avec un minimum de vérification dynamique redondante.

Signification et Revendications

L'article affirme que SkillConsist fait progresser l'état de l'art en allant au-delà de la simple comparaison texte-code pour adopter une approche structurelle basée sur les graphes qui gère explicitement la nature mixte du contenu des Compétences d'Agent et le décalage de granularité entre les déclarations et les implémentations.

En séparant les rôles et en utilisant l'alignement bidirectionnel, SkillConsist fournit des résultats localisés à la source plutôt que de simples drapeaux au niveau du package. Les auteurs affirment que cette capacité est cruciale pour la sécurité, car elle permet la détection de comportements dangereux non déclarés (ex: une compétence prétendant synchroniser les emails mais transférant en réalité des fichiers vers un point de terminaison externe) et améliore la fiabilité des flux de travail des agents. Les résultats suggèrent que l'alignement de graphes bidirectionnel est une méthode robuste pour établir des correspondances dans des artefacts logiciels complexes et mixtes, surpassant la génération augmentée par récupération (RAG) et le filtrage de propriétés de sécurité statiques, tant pour la détection que pour la localisation.