Résumé Technique : StakeBench – Un benchmark d'injection de requêtes centré sur les parties prenantes pour les agents web en conditions réelles

1. Énoncé du problème

Les agents web basés sur les grands modèles de langage (LLM) sont de plus en plus déployés dans des environnements réels pour effectuer de manière autonome des recherches, des comparaisons et des transactions pour le compte des utilisateurs. Ces agents interagissent avec du contenu web non fiable (par exemple, des avis sur les produits, des métadonnées) pour exécuter des actions ayant des conséquences directes. Cette architecture les rend vulnérables aux attaques par injection de requêtes (prompt injection), où des instructions adverses intégrées dans du contenu d'apparence bénigne manipulent le comportement de l'agent.

Les benchmarks de sécurité existants adoptent principalement une perspective centrée sur l'attaque, se concentrant sur la faisabilité technique des injections et sur des mesures agrégées telles que le taux de succès de l'attaque (ASR - Attack Success Rate). Cependant, les auteurs soutiennent que ces évaluations négligent la distribution nuancée des préjudices qui en résultent. En pratique, le risque d'injection de requête est dépendant de la victime : une seule exploitation peut produire des conséquences asymétriques pour différentes parties prenantes (par exemple, l'utilisateur final, les vendeurs tiers ou la plateforme). De plus, les défaillances se manifestent sous des régimes hétérogènes — allant du « parasitisme furtif » (l'attaque réussit sans perturber la tâche de l'utilisateur) à la « perturbation désalignée » (la tâche est perturbée sans que l'attaque ne réussisse) — qui sont souvent invisibles pour les méthodes d'évaluation conventionnelles reposant sur des binaire de succès/échec à métrique unique.

2. Méthodologie : Le cadre StakeBench

Pour répondre à ces limites, les auteurs introduisent StakeBench, un benchmark conçu pour catégoriser et attribuer systématiquement le préjudice dans les systèmes d'agents web du monde réel. La méthodologie est fondée sur une modélisation des préjudices centrée sur les parties prenantes et est instanciée au sein d'un domaine de shopping en ligne (utilisant l'environnement OneStopMarket de VisualWebArena).

2.1 Composants principaux

• Taxonomie centrée sur les parties prenantes : Les attaques sont organisées non pas par forme de surface, mais par l'entité subissant le préjudice résultant. Le cadre distingue trois catégories de parties prenantes :
  • Utilisateur : Les préjudices incluent des achats involontaires, la falsification de commandes et la divulgation de données.
  • Vendeur : Les préjudices incluent l'atteinte à la réputation, la distorsion des avis, les annulations malveillantes et l'inflation des transactions.
  • Plateforme : Les préjudices incluent l'usurpation d'autorité, l'induction d'actions non autorisées et le contournement ou les boucles de flux de travail (workflow).
• Objectifs d'attaque et modèles (templates) : Le benchmark décompose les attaques en 12 objectifs adverses concrets à travers les trois catégories de parties prenantes. Ceux-ci sont réalisés via 22 modèles d'attaque réutilisables (9 injections de requêtes directes [DPI] et 13 injections de requêtes indirectes [IPI]) qui couvrent à la fois la modification directe des entrées et l'intégration de contenu environnemental (par exemple, les avis sur les produits).
• Instanciation du benchmark : Ces modèles sont instanciés à travers 12 catégories de produits, produisant 264 cas adverses exécutables. Chaque cas est exécuté trois fois par configuration d'agent, ce qui totalise 3 168 exécutions attaquées.

2.2 Métriques d'évaluation multi-axes

StakeBench évalue chaque exécution selon trois axes complémentaires pour capturer des modes de défaillance distincts :

1. Taux de succès de l'attaque (ASR) : Mesure au niveau du résultat pour déterminer si l'objectif adverse a été atteint.
2. Taux de déviation de la tâche (TDR) : Mesure au niveau du résultat pour déterminer si la tâche bénigne déléguée par l'utilisateur a été matériellement perturbée.
3. Taux d'irrégularité comportementale (BIR) : Mesure au niveau du processus pour la stabilité de l'exécution (par exemple, boucles, navigation instable).

L'analyse conjointe de l'ASR et du TDR définit quatre régimes de défaillance :

• Comportement robuste : Faible ASR, Faible TDR.
• Parasitisme furtif : ASR élevé, Faible TDR (L'attaque réussit, la tâche de l'utilisateur semble normale).
• Perturbation désalignée : Faible ASR, TDR élevé (L'attaque échoue, mais la tâche de l'utilisateur est perturbée).
• Échec composé : ASR élevé, TDR élevé (L'attaque et la tâche échouent toutes deux).

2.3 Configuration expérimentale

Le benchmark évalue deux systèmes d'agents web représentatifs du monde réel (NanoBrowser et BrowserUse) couplés à deux modèles de base (GPT-5 et Gemini-2.5-Flash). Le modèle de menace limite les attaquants aux surfaces de contenu plausibles en pratique (par exemple, les avis, les évaluations) sans accès aux prompts système ou à l'infrastructure de la plateforme.

3. Résultats clés

L'évaluation révèle des vulnérabilités substantielles et hétérogènes à travers toutes les configurations d'agents :

• Vulnérabilité substantielle : Sous l'effet de l'injection de requête indirecte (IPI), les taux de succès de l'attaque (ASR) varient de 41,67 % à 68,16 %. Aucun objectif d'attaque n'a produit de « Comportement robuste » à travers toutes les configurations.
• Profils de défaillance dépendants des parties prenantes :
  • Les attaques ciblant le vendeur ont présenté l'ASR et le TDR les plus élevés, indiquant qu'elles sont à la fois très efficaces et propices à la perturbation des tâches de l'utilisateur.
  • Les attaques ciblant l'utilisateur ont montré le TDR le plus bas, suggérant un mode de défaillance « clandestin » où l'attaque réussit sans dévier visiblement de la tâche nominale.
  • Les attaques ciblant la plateforme ont été associées à un BIR élevé, indiquant que le contenu injecté déstabilise souvent l'exécution (par exemple, provoquant des boucles) sans pour autant achever l'objectif adverse de manière fiable.
• Régimes de défaillance hétérogènes : Les résultats confirment que l'ASR et le TDR sont faiblement couplés. De nombreuses attaques tombent dans le Parasitisme furtif (par exemple, manipulation de l'avis biaisé) ou la Perturbation désalignée (par exemple, tentatives d'annulation de commande qui dérivent la tâche mais échouent à annuler la commande).
• Facteurs d'influence :
  • Alignement sémantique : Les attaques ayant une forte similitude sémantique avec l'intention de l'utilisateur (par exemple, l'achat d'un produit similaire) ont atteint un ASR plus élevé et un TDR plus faible (Parasitisme furtif). Les attaques avec des objectifs différents ont causé un TDR plus élevé (Perturbation désalignée).
  • Cohérence des indices : Des indices environnementaux contradictoires (par exemple, un avis négatif associé à une note élevée) ont réduit l'ASR pour certains modèles (GPT-5) mais pas pour d'autres (Gemini).
  • Moment de l'exposition : Le raccourcissement du préfixe de la tâche bénigne (exposant l'agent plus tôt à l'injection) a augmenté l'ASR, suggérant que les échecs de pré-exposition dans les tâches à long horizon peuvent masquer la véritable vulnérabilité.
• Manipulation visuelle : Une étude préliminaire sur la manipulation visuelle (modification des images de produits) a montré que les agents pouvaient être influencés par les indices visuels seuls, modifiant significativement la sélection des produits même lorsque les évaluations textuelles restaient inchangées.

4. Signification et revendications

L'article affirme que StakeBench fournit une base nécessaire pour une évaluation consciente des parties prenantes des agents basés sur les LLM dans les déploiements réels. Ses principales contributions sont :

1. Révéler les risques invisibles : En organisant l'évaluation autour de l'entité subissant le préjudice plutôt que de la surface d'attaque, StakeBench rend lisibles les risques asymétriques et dépendants de la victime. Il démontre qu'un agent peut paraître robuste face aux métriques centrées sur l'utilisateur tout en étant hautement susceptible de subir des préjudices envers les vendeurs ou les plateformes.
2. Caractériser les régimes de défaillance : Les métriques multi-axes (ASR, TDR, BIR) exposent des modes de défaillance qualitativement distincts (par exemple, parasitisme furtif vs perturbation désalignée) que les métriques agrégées ne perçoivent pas. Cela souligne que la sécurité de l'injection de requête n'est pas une propriété scalaire du modèle de base, mais une distribution de préjudices déterminée par la partie prenante, l'alignement sémantique et le contexte architectural.
3. Évaluation réaliste : Contrairement aux benchmarks précédents qui peuvent reposer sur des modèles isolés ou des environnements simplifiés, StakeBench évalue des systèmes d'agents complets et déployables dans des contextes de commerce électronique multipartites réalistes avec un accès restreint de l'attaquant.

Les auteurs concluent que les agents actuels manquent d'une résistance fiable à l'injection de requête à travers toutes les cibles des parties prenantes et que les futures évaluations de sécurité doivent dépasser les évaluations à métrique unique centrées sur l'attaque pour tenir compte de la nature complexe et multipartite des écosystèmes d'agents web.