Résumé technique : Ne faites confiance à aucun outil : Évaluation et défense des agents LLM face à des retours d'outils non fiables

1. Formulation du problème : Empoisonnement cognitif

Ce papier identifie un mode de défaillance distinct dans les agents de modèles de langage (LLM) utilisant des outils, qualifié d'empoisonnement cognitif. Contrairement à l'injection de prompt indirect traditionnelle ou à l'empoisonnement de réponse unique, où la malveillance est localisée à un passage textuel ou à un descripteur d'outil spécifique, l'empoisonnement cognitif opère par le biais du processus exploratoire de formation de la confiance.

Dans ce modèle de menace, un outil malveillant se comporte de manière plausible lors des étapes d'exploration initiales, accumulant la confiance grâce à des retours d'information apparemment bénins. L'outil ne devient nuisible que lorsqu'une condition de déclenchement cachée est satisfaite par la dernière action exécutable et l'état latent de l'environnement. L'attaque réussit non pas parce qu'un message unique est ouvertement malveillant, mais parce que la trajectoire d'interaction façonne l'a priori de l'agent pour traiter une action finale dangereuse comme ordinaire. Le risque décisif est une propriété de la composition état-action : l'histoire de la manière dont la confiance a été formée, combinée aux paramètres spécifiques de l'appel d'outil final.

Les benchmarks et défenses existants supposent souvent implicitement que, une fois un outil sélectionné, ses retours sont dignes de confiance. Ce papier soutient que dans les écosystèmes d'outils en boîte noire, les agents ne peuvent pas vérifier directement la fiabilité interne et doivent l'inférer par l'interaction, créant une surface d'attaque unique où la « cible de défense décisive » n'est pas le texte du prompt local, mais le risque conditionné par la trajectoire de l'action finale.

2. Méthodologie

2.1 TRUST-BENCH : Un benchmark conditionné par la tâche

Pour étudier ce régime, les auteurs ont construit TRUST-BENCH (Trajectory Risk under Untrusted Stateful Tools).

• Construction : Dérivé de cinq suites amont (OpenAgentSafety, RedTeamCUA, MCP-SafetyBench, MCPMark, Toolathlon), résultant en 1 970 épisodes soigneusement sélectionnés.
• Structure : Chaque épisode consiste en une paire appariée : un contrôle bénin et une variante malveillante. Les deux partagent la même interface d'outil externe et la même intention de tâche.
• Déclencheurs cachés : Les variantes malveillantes sont définies par une spécification de déclencheur structurée comprenant :
  • required_all_tokens : Champs qui doivent apparaître conjointement (par exemple, op=export, cross_check=off).
  • required_any_tokens : Ancres contextuelles où au moins un doit apparaître.
  • forbidden_tokens : Champs permettant la sécurité qui, s'ils sont présents, suppriment le déclencheur.
• Protocole d'interaction : Un agent « équipe bleue » sonde l'outil sur un budget standardisé de trois tours (collecte de référence, vérification de cohérence, sondage approfondi) avant de proposer une action finale. Les règles de déclenchement et les étiquettes sont cachées au défenseur lors de l'inférence.

2.2 Métrique d'évaluation : GUARDEDJOINT

Le papier introduit GUARDEDJOINT, une métrique de sécurité-utilité asymétrique conçue pour refléter les risques de déploiement réel où les faux négatifs (acceptation d'actions malveillantes) et les faux positifs (rejet d'actions bénignes) sont coûteux.

• Formule : $G_\rho(AMR, RNR) = \max(0, 100 - (\rho + 0.5)AMR - 1.5RNR)$
  • $AMR$ : Taux d'acceptation des malveillances.
  • $RNR$ : Taux de rejet des actions normales.
  • $\rho$ : Coût relatif de l'acceptation d'un appel malveillant (fixé à 1,5 dans les expériences principales).
• Signification : Cette métrique pénalise les stratégies de « rejet total » ou d'« exécution totale », forçant les défenses à minimiser simultanément l'acceptation malveillante et le rejet bénin.

2.3 Cadre de défense : VISTA-GUARD

Les auteurs proposent VISTA-GUARD (Variable-state Inference for Safe Tool Actions), un cadre agnostique du modèle de base pour le score de risque d'action finale.

• Idée centrale : Abstraire les interactions multi-étapes avec les outils en variables d'environnement structurées qui encodent la dynamique de formation de la confiance.
• Représentation d'entrée : Le modèle reçoit un triplet sérialisé :
  1. État de la trajectoire ($z_{traj}$) : Résume les preuves d'exploration (par exemple, comptes des phases déclenchées, détections de sondage, scores de discordance, dérive d'ID, avertissements) en une densité d'anomalie et un résumé de risque d'état.
  2. Paramètres de l'action finale ($z_{param}$) : Encode la sémantique exécutable de l'appel final proposé (nom de l'outil, clés de charge utile, comptes de marqueurs à fort impact/de contournement/de sécurité).
  3. Cible ($y$) : Une étiquette binaire (high_risk / low_risk) utilisée uniquement pour l'entraînement.
• Mécanisme : Un LLM de base (par exemple, Mistral, Qwen, Llama) est affiné pour évaluer le risque de l'action finale conditionné par les preuves de la trajectoire. Il apprend à rejeter les actions où le paquet de paramètres final est incompatible avec l'état inféré du comportement de l'outil.

3. Résultats clés

3.1 Performance en domaine

Sous la métrique GUARDEDJOINT ($\rho=1,5$), VISTA-GUARD surpasse significativement les bases de référence existantes :

• VISTA-GUARD (Mistral-7B) : A obtenu un score en domaine de 84,2.
• Autres modèles de base : Les six modèles LLM de base testés (Qwen3, Qwen2.5, OLMo-2, Llama-3.1, Meta CWM) ont tous obtenu des scores positifs (allant de 39,0 à 67,6), démontrant une robustesse à travers les architectures.
• Effondrement des bases de référence : Les méthodes optimisant uniquement un côté du compromis ou s'appuyant sur des heuristiques centrées sur le prompt se sont effondrées à 0,0 :
  • Les juges centrés sur le prompt (GPT-5.4 en zéro-shot) et les garde-fous heuristiques (ToolShield, GuardAgent) n'ont pas réussi à distinguer les dynamiques de confiance subtiles, optant souvent par défaut pour l'acceptation de toutes les actions malveillantes ou le rejet de toutes les actions bénignes.
  • Les classificateurs scalaires (Gradient Boosting, SVM) et les modèles textuels non-LLM (BERT) n'ont pas réussi à capturer le contexte temporel, résultant en des scores proches de zéro.

3.2 Transfert hors distribution (OOD)

• VISTA-GUARD a maintenu son efficacité sur des données OOD équilibrées (familles d'outils non vues de ToolEmu et SafeToolBench), obtenant un score GUARDEDJOINT de 56,9.
• Cela indique que la représentation structurée de la trajectoire se transfère mieux que les approches centrées sur le prompt ou scalaires, qui ont chuté significativement ou se sont effondrées.

3.3 Études d'ablation

• Représentation vs Modèle de base : Une étude d'isolement a montré que le gain provient principalement de la représentation structurée de la trajectoire plutôt que du choix du modèle de base seul. Fournir aux modèles non-LLM la même entrée structurée a amélioré leurs performances, mais a laissé un écart par rapport aux modèles de base LLM.
• Échec des seuls paramètres : Les modèles entraînés uniquement sur les paramètres de l'action finale (sans contexte de trajectoire) se sont effondrés, confirmant que l'historique de la trajectoire est essentiel pour distinguer les contrôles bénins des actions finales malveillantes.

4. Signification et revendications

Le papier affirme que la contribution décisive de ce travail est représentationnelle : le problème de défense devient traitable lorsque l'interaction avec l'outil est convertie en variables d'environnement structurées plutôt que traitée comme du texte brut ou des paramètres isolés.

• Changement de focalisation : Les auteurs soutiennent que pour l'empoisonnement cognitif conditionné par l'état, la cible de défense pertinente est le score de risque d'action finale basé sur la manière dont la confiance est formée à travers la trajectoire.
• Limites : Les auteurs sont modestes dans leurs revendications, notant que TRUST-BENCH est un benchmark construit avec une exploration standardisée en trois étapes et un espace d'action binaire exécuter/rejeter. Ils reconnaissent que les déploiements réels peuvent impliquer des interactions plus longues, des attaquants adaptatifs et des états latents plus complexes.
• Conclusion : Les résultats motivent une question d'évaluation plus large : lorsque les retours d'outils eux-mêmes peuvent être non fiables, les défenses de sécurité doivent raisonner sur la formation de confiance conditionnée par la trajectoire plutôt que de s'appuyer uniquement sur l'inspection locale du prompt ou des descripteurs d'outils.

Le papier conclut que, tandis que les résumés scalaires éliminent trop d'informations de trajectoire et que les modèles textuels bruts récupèrent certains signaux, les modèles de base séquentiels bénéficient le plus lorsque l'historique d'interaction est organisé comme une preuve d'état de trajectoire et d'action finale, fournissant un cadre principé pour la généralisation sécurisée des outils.