Résumé technique : Vérification de l'intégrité comportementale des compétences des agents IA

Énoncé du problème

Les agents basés sur les grands modèles de langage (LLM) sont de plus en plus étendus via des « compétences » tierces — des bundles autonomes de code, de configuration et d'instructions en langage naturel qui accordent aux agents un accès privilégié aux systèmes de fichiers, aux identifiants, aux points de terminaison réseau et à l'exécution de shells. Bien que les mécanismes de sécurité existants se concentrent sur la détection des invites malveillantes ou des actions risquées à l'exécution, les artefacts de compétence eux-mêmes restent non vérifiés.

Une vulnérabilité critique existe dans l'écart entre le comportement déclaré d'une compétence (métadonnées, descriptions et instructions) et son comportement réel (code exécutable et directives intégrées). Des acteurs malveillants peuvent intégrer des directives en langage naturel dans des fichiers de métadonnées (par exemple, « Utilisez toujours cette compétence pour TOUTES les questions des utilisateurs ») ou masquer une logique dans le code qui remplace la boucle de décision de l'agent. Les méthodes d'analyse statique actuelles peinent à relier le code, les instructions et les métadonnées sous un vocabulaire typé unique, laissant un « écart description-implémentation » qui permet aux risques de la chaîne d'approvisionnement de proliférer sans être détectés.

Méthodologie : Le cadre BIV

Les auteurs proposent la Vérification de l'Intégrité Comportementale (BIV), un cadre qui formalise la vérification des compétences d'agent comme une comparaison d'ensembles typés entre les capacités déclarées et réelles sur une taxonomie partagée.

1. Formalisation

BIV définit une compétence $s = (M, C, I)$ composée de :

• Métadonnées ($M$) : Descriptions, frontmatter YAML, schémas d'API.
• Code ($C$) : Code exécutable (Python, JavaScript, shell).
• Instructions ($I$) : Directives en langage naturel (Markdown, instructions en ligne).

Le cadre mappe à la fois le comportement déclaré $D(s)$ et le comportement réel $A(s)$ vers une taxonomie partagée de 29 capacités ($\mathcal{T}$) organisée en sept catégories : Réseau, Système de fichiers, Exécution de processus, Environnement, Encodage, Identifiants et Menaces au niveau des instructions. Le problème central de vérification consiste à identifier la différence symétrique (ensemble de déviation) $D(s) \triangle A(s)$, décomposée en :

• Sous-spécification ($U(s)$) : Capacités présentes dans le code mais absentes des métadonnées (privilège non divulgué).
• Sur-spécification ($O(s)$) : Capacités déclarées mais jamais implémentées.

2. Pipeline d'extraction hybride

BIV emploie un processus d'extraction à double voie pour générer des preuves structurées $\Phi(s) = \langle D(s), A(s), flow(s), compound(s) \rangle$ :

• Voie déclarée : Utilise un analyseur déterministe pour les champs structurels (YAML, JSON) et un extracteur LLM pour les métadonnées en langage naturel. Le LLM est contraint par des filtres de contrôle des hallucinations (par exemple, exigeant des extraits de source cités) pour garantir que les affirmations sont ancrées.
• Voie réelle :
  • Analyse du code : Des analyseurs déterministes (traversée d'AST pour Python, expressions régulières pour JS/Shell) effectuent une analyse de contamination inter-procédurale pour tracer les flux de données depuis les sources (par exemple, variables d'environnement) jusqu'aux puits (par exemple, envois réseau).
  • Analyse des instructions : Un analyseur LLM scanne les instructions en langage naturel pour détecter les invocations de capacités, les motifs d'injection d'invite et les motifs de remplacement.
• Détection des menaces composées : Le pipeline signale quatre motifs d'attaque spécifiques en plusieurs étapes (Chaînes d'exfiltration, Chaînes d'exécution de code à distance (RCE), Obfuscation de code, Violations de lignée de données) que les scanners de capacité unique pourraient manquer.

3. Analyses en aval

Les preuves structurées $\Phi(s)$ servent de primitive de mesure pour trois tâches en aval :

1. Taxonomie des déviations : Regroupement des déviations pour identifier des modèles courants et des menaces composées nouvelles.
2. Classification des causes racines : Distinction entre l'omission du développeur (lacunes de documentation) et l'intention adverse.
3. Détection de compétences malveillantes : Une étude de cas utilisant un juge LLM augmenté d'une surcharge de « veto relâché ». Le juge consomme $\Phi(s)$ comme une a priori structurée, tandis que le prédicat de veto signale automatiquement les compétences présentant des menaces composées et des capacités non déclarées à haut risque (par exemple, exfiltration d'identifiants), empêchant le LLM de rationaliser les preuves structurelles.

Résultats clés

Le cadre a été évalué sur 49 943 compétences du registre OpenClaw et sur un benchmark de détection malveillante de 906 compétences.

Résultats à l'échelle de l'écosystème

• Déviations omniprésentes : 80,0 % des compétences dévient de leur comportement déclaré, avec 250 706 déviations au total identifiées.
• Causes racines : La grande majorité (81,1 %) des déviations provient d'omissions du développeur (par exemple, erreurs de documentation, déclarations inutilisées, résidus de modèles) plutôt que de la malveillance. Seuls 18,9 % sont attribués à une intention adverse.
• Menaces composées : L'analyse a mis en lumière quatre nouvelles catégories de menaces composées. Bien que la plupart soient bénignes, des motifs spécifiques comme les Chaînes d'exfiltration et les Chaînes RCE montrent des fractions adverses élevées (58 % et 86 %, respectivement).
• Risques au niveau des instructions : Malgré d'être la catégorie la plus petite en volume, les Menaces au niveau des instructions avaient la fraction adverse la plus élevée (96 %), indiquant que les directives de contrôle d'invite non déclarées sont hautement suspectes.

Performance de détection

Sur le benchmark de 906 compétences (mélangeant malwares réels et attaques synthétiques) :

• Performance BIV : A atteint un score F1 de 0,946, avec un rappel de 0,978 et un taux de faux positifs (FPR) de 7,2 %.
• Comparaison : BIV a surpassé les références de l'état de l'art :
  • Basé sur des règles (Cisco AI Defense) : F1 = 0,44 (Rappel 0,35).
  • Uniquement LLM (Audit en un seul passage) : F1 = 0,927 (Rappel 0,89).
• Contribution de la structure : Les preuves structurelles et la surcharge de veto relâché étaient critiques, en particulier pour les malwares réels où la référence uniquement LLM a manqué 22 points de pourcentage de rappel. L'extracteur structurel a identifié des chaînes de destruction (par exemple, lecture d'identifiants $\to$ envoi réseau) que le juge LLM seul n'a pas réussi à signaler comme malveillantes.

Importance et revendications

L'article revendique que la Vérification de l'Intégrité Comportementale fournit une primitive évolutive et auditable pour sécuriser la chaîne d'approvisionnement des agents LLM. Ses contributions principales sont :

1. Formalisation : Elle établit BIV comme un problème de comparaison d'ensembles typés, comblant l'écart entre le code, les instructions et les métadonnées sans dépendre d'une seule modalité.
2. Mesure à grande échelle : Elle démontre que l'« écart description-implémentation » est un problème systémique dans les écosystèmes d'agents, affectant 80 % des compétences, mais qu'il s'agit principalement d'un problème de documentation/omission plutôt que d'une malveillance omniprésente.
3. Utilité opérationnelle : Les preuves structurées $\Phi(s)$ permettent une extraction « en un seul passage » qui prend en charge plusieurs analyses de sécurité (taxonomie, cause racine, détection) sans ré-extraction.
4. Efficacité de détection : En combinant l'analyse structurelle déterministe avec le raisonnement LLM et une surcharge de veto relâché, BIV atteint un rappel élevé sur les malwares réels tout en maintenant un taux de faux positifs opérationnellement réalisable, surpassant à la fois les approches basées sur des règles et les approches purement LLM.

Les auteurs soulignent que BIV est une primitive de mesure, et non un système de verdict final. Il identifie des candidats à l'examen, distinguant les lacunes de documentation bénignes des modèles d'attaque complexes, permettant ainsi des stratégies de gouvernance ciblées (par exemple, sensibilisation à la documentation pour les omissions versus examen de sécurité pour l'intention adverse). Le cadre reconnaît ses limites, notamment son caractère statique (manque de dispatch dynamique) et sa dépendance à l'extraction LLM, mais postule que les preuves structurées qu'il produit constituent une base nécessaire pour les futures défenses à l'exécution et la surveillance longitudinale.