Résumé technique : Certification quantitative de la sélection d'outils par des agents

Énoncé du problème

Les agents basés sur les grands modèles de langage (LLM) dépendent de plus en plus d'outils externes pour interagir avec le monde, généralement via un pipeline à deux étapes : un récupérateur filtre un large éventail d'outils pour en sélectionner un sous-ensemble de $N$ meilleurs, et un sélecteur (le LLM) choisit l'outil spécifique à invoquer. Bien que les évaluations existantes mesurent les performances sur des benchmarks curatés et bénins, elles ne parviennent pas à capturer les risques de déploiement inhérents aux registres ouverts (par exemple, le protocole de contexte de modèle). Dans ces environnements, les pools d'outils sont façonnés par des tiers qui peuvent publier des outils trompeurs, quasi-dupliqués ou malveillants.

Les méthodes d'évaluation actuelles reposent sur des analyses qualitatives ou des estimations ponctuelles de la précision sur des ensembles de données fixes. Ces approches ne permettent pas de distinguer entre des systèmes qui échouent rarement et ceux qui échouent souvent, ni de fournir une base pour comparer la robustesse entre différents modèles, récupérateurs ou politiques de registre. Le défi central consiste à établir un certificat quantitatif : une borne de haute confiance sur la probabilité qu'un pipeline de sélection d'outils satisfasse une spécification de sécurité déclarée lorsque les outils sont échantillonnés à partir d'une distribution réaliste de pools déployés.

Méthodologie : LLMCert-T

Les auteurs introduisent LLMCert-T, un cadre statistique conçu pour retourner des bornes supérieures de haute confiance sur la probabilité qu'un pipeline de sélection d'outils satisfasse une spécification de sécurité sous une distribution d'outils réaliste.

1. Cadre formel

Le cadre modélise le pipeline de sélection d'outils comme une boîte noire opérant sur $R$ tours.

• Pipeline : Une intention utilisateur $u$ est traitée par un récupérateur pour produire un sous-ensemble $S_u$ (les $N$ meilleurs outils), que le sélecteur $L$ évalue pour choisir un outil $\hat{t}$.
• Spécification ($\phi$) : Un prédicat définissant un résultat satisfaisant (par exemple, « l'outil sélectionné doit satisfaire l'intention sans dépasser les privilèges de l'utilisateur »).
• Distribution ($\Delta$) : Un processus stochastique générant des séquences d'« outils insérés » qui font évoluer le pool tour par tour. Contrairement aux attaques adverses qui s'optimisent pour des modèles spécifiques, $\Delta$ modélise des conditions de déploiement réalistes où des éditeurs tiers introduisent des outils.

2. Le processus d'échantillonnage ($\Delta$)

Pour assurer le réalisme et l'informativité, $\Delta$ est mis en œuvre comme un processus stochastique conditionnel :

• Génération tour par tour : Un générateur LLM propose $k$ outils insérés à chaque tour $r$, conditionné par le choix précédent du sélecteur $\hat{t}^{(r-1)}$. Cette boucle de rétroaction concentre la masse d'échantillonnage sur des séquences qui exposent les vulnérabilités spécifiques du sélecteur.
• Génération contrainte : La sortie du générateur subit un post-traitement déterministe pour garantir que les outils ressemblent à de vraies entrées de registre :
  • Collision de paramètres : Copie des schémas de paramètres d'outils précédemment sélectionnés pour correspondre aux attentes de l'utilisateur.
  • Clones homoglyphes : Remplace des caractères par des variantes Unicode visuellement similaires (par exemple, le 'a' cyrillique pour le 'a' latin) pour échapper à la déduplication par correspondance exacte tout en restant lisible par l'humain.
  • Indices de persuasion : Ajoute des marqueurs comme [officiel], v2 ou [entreprise] aux noms et descriptions pour simuler des signaux d'autorité.
• Réduction de Bernoulli : Chaque trajectoire de $R$ tours est réduite à un résultat binaire unique $Z_u$ (1 si la spécification est respectée pour tous les tours, 0 sinon). Cela permet l'agrégation de $n$ essais en une borne statistique.

3. Mécanisme de certification

LLMCert-T agrège les $n$ essais de Bernoulli indépendants ($Z_1, \dots, Z_n$) pour calculer une borne supérieure unilatérale de Clopper-Pearson ($p_u$) sur la probabilité de satisfaction.

• Si $C$ échecs sont observés sur $n$ essais, $p_u$ est la plus grande valeur de la vraie probabilité de satisfaction compatible avec les données observées au niveau de confiance $1-\alpha$.
• Cette approche fournit une garantie rigoureuse et non asymptotique que le taux d'échec réel n'est pas supérieur à la borne, indépendamment de la précision du modèle sur un pool propre.

Contributions clés

1. La distraction comme propriété de déploiement : L'article formalise la sélection d'outils sur une distribution d'outils qu'un agent pourrait rencontrer après le déploiement, séparant le « quoi » (spécification de sécurité) des « conditions » (distribution d'outils).
2. Certification quantitative : Il met en œuvre un processus stochastique pour générer des séquences réalistes d'outils insérés et agrège les résultats en une borne supérieure statistiquement rigoureuse, dépassant les estimations ponctuelles.
3. Identification des modes de défaillance : Grâce à une évaluation sur les pools d'outils BFCL et OpenAPI avec quatre sélecteurs à poids ouverts (4B–14B paramètres), le cadre identifie cinq mécanismes de distraction spécifiques et démontre que les bornes de correction certifiées chutent significativement en dessous des bornes inférieures des pools propres.

Résultats expérimentaux

Évalué sur des benchmarks standards (BFCL, OpenAPI) avec $n=1000$ essais et $R=10$ tours :

• Précision propre vs comportement certifié : Il existe une rupture nette entre la précision du benchmark et la robustesse certifiée. Alors que les sélecteurs atteignent des bornes inférieures de précision propre ($p^{clean}_{\ell}$) comprises entre 0,69 et 0,75, les bornes supérieures certifiées ($p_u$) sous des distributions réalistes chutent à environ 0,20 pour les spécifications les plus sévères.
• Modes de défaillance critiques :
  • Sélection de distracteurs : Les sélecteurs sont systématiquement trompés par des outils présentant des signaux de crédibilité de surface (par exemple, [officiel], v2) qui semblent plus autoritaires mais manquent de fonctionnalité. La borne supérieure certifiée est de 0,20.
  • Saturation du Top-N : Des outils quasi-dupliqués avec des schémas de paramètres copiés déplacent l'outil de vérité terrain du sous-ensemble de $N$ meilleurs dans 89 % des essais en dix tours. La borne supérieure certifiée est de 0,20.
  • Élévation de privilèges : Les sélecteurs acceptent des justifications dans la description pour des permissions élevées (par exemple, « requis pour la journalisation de conformité »), ce qui se traduit par une borne de 0,65.
  • Déclencheur d'abstention et changement d'intention : Ces modes sont moins sévères (bornes ~0,73–0,75), car les sélecteurs sont plus susceptibles de choisir un mauvais outil que de refuser ou de changer d'intention sans signaux de persuasion forts.
• Impact des mesures d'atténuation : Cinq mesures d'atténuation représentatives (récupérateurs défendus, moniteurs d'anomalies, prompting structuré, réglage de l'alignement, filtres de perplexité) ont été évaluées. Aucune n'a comblé l'écart sur les deux spécifications les plus fortes (Sélection de distracteurs et Saturation du Top-N). La meilleure atténuation (SecAlign pour la Sélection de distracteurs) n'a élevé la borne que de 0,20 à 0,30.
• Inclusion forcée : Même lorsque le récupérateur est contraint d'inclure un outil satisfaisant dans le sous-ensemble, la borne certifiée reste inférieure à 0,50, indiquant que l'échec se produit principalement dans la phase de sélection, et pas seulement dans la récupération.

Signification et affirmations

L'article affirme que la précision du benchmark sur des pools curatés ne constitue pas un résumé suffisant du comportement du pipeline déployé. L'écart entre les performances sur un pool propre et le comportement sous des distributions d'outils réalistes est une vulnérabilité fondamentale.

• Métriques actionnables : LLMCert-T fournit une métrique intuitive, actionnable et comparable entre modèles, récupérateurs et politiques de registre.
• Standard diagnostique : Puisque les mesures d'atténuation actuelles échouent à combler l'écart sur les spécifications les plus fortes, le cadre sert de standard diagnostique pour évaluer les futures méthodes d'atténuation.
• Nature de la vulnérabilité : Le risque principal de déploiement n'est pas une mauvaise compréhension sémantique, mais une susceptibilité aux signaux de crédibilité au niveau des métadonnées (signaux d'autorité, quasi-dupliqués) qui manipulent le récupérateur et le sélecteur.

Les auteurs positionnent LLMCert-T non pas comme une solution qui corrige ces vulnérabilités, mais comme le premier cadre capable de les quantifier avec des garanties statistiques, transformant ainsi le comportement de déploiement en une propriété mesurable.