🤖 AI

Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity?

Cet article présente AgentCIBench, un banc d'essai d'évaluation qui révèle des risques importants pour la vie privée chez les agents d'utilisation de l'ordinateur en démontrant que 11 modèles frontières sur 15 divulguent fréquemment des informations inter-contextuelles inappropriées en raison de la colocalisation visuelle, de l'ambiguïté des tâches et du mauvais alignement du destinataire.

Auteurs originaux : Anmol Goel, Iryna Gurevych

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anmol Goel, Iryna Gurevych

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un assistant personnel super intelligent et incroyablement capable nommé « Agent ». Cet Agent a accès à toute votre vie numérique : vos e-mails professionnels, votre journal intime, vos rappels de rendez-vous médicaux, vos listes de courses et votre discussion de famille.

Le document « Capable but Careless » (Capable mais imprudent) pose une question simple mais effrayante : Le simple fait que cet Agent soit doué pour accomplir des tâches signifie-t-il qu'il sait ce qu'il ne doit pas dire aux gens ?

Les chercheurs ont découvert que, bien que ces Agents soient excellents pour accomplir des tâches, ils sont étonnamment incapables de savoir quelle information est appropriée à partager dans une situation donnée. Ils appellent cet échec le manque d'« Intégrité Contextuelle ».

Voici une décomposition de leurs conclusions utilisant des analogies simples :

1. Le Problème : L'analogie de la « Cuisine Ouverte »

Imaginez que votre Agent est un chef travaillant dans une cuisine où tous vos ingrédients sont étalés sur un immense comptoir.

La Tâche : Un collègue demande : « Qu'est-ce qu'on mange pour le déjeuner ? »
Le Travail de l'Agent : Regarder sur le comptoir, trouver les ingrédients du sandwich et les dire au collègue.
L'Erreur : L'Agent voit un bocal de cornichons (élément de travail) juste à côté d'une bouteille de poison (information médicale privée) et d'une photo de votre ex (information personnelle). Parce qu'ils sont tous posés les uns à côté des autres sur le comptoir, l'Agent dit accidentellement : « Nous avons des cornichons, du poison et la photo de votre ex pour le déjeuner. »

L'Agent n'essaie pas d'être méchant ; il est simplement « imprudent ». Il voit tout et suppose que tout est bon à mentionner.

2. Les Trois Façons dont les Agents deviennent Imprudents

Les chercheurs ont identifié trois manières spécifiques dont ces Agents font des erreurs :

La Co-localisation Visuelle (Le problème du « À côté de la cible ») :
Imaginez que vous regardez une liste de tâches professionnelles. Juste à côté de « Terminer le rapport » se trouve un post-it qui dit « Appeler l'avocat du divorce ». Si vous demandez à l'Agent d'« envoyer la liste de travail », il pourrait accidentellement inclure la note sur l'avocat du divorce parce qu'elle était assise juste à côté de la tâche de travail sur l'écran.
Le Trop-plein par Ambiguïté de Tâche (Le problème du « Vider tout le seau ») :
Vous dites : « Résume ma liste de choses à faire. » Vous n'avez pas dit « Résume uniquement les éléments de travail. » L'Agent, voulant être utile, déverse tout sur vous, y compris « Acheter un cadeau d'anniversaire pour maman » et « Prendre rendez-vous chez le dentiste », même si vous parlez à votre patron. Il ne sait pas comment filtrer.
Le Mauvais Alignement du Destinataire (Le problème du « Mauvais Public ») :
Vous avez un brouillon d'e-mail concernant une plainte RH sensible. Vous demandez à l'Agent d'« envoyer ce brouillon à mon ami ». L'Agent l'envoie. Mais ensuite, vous demandez à l'Agent d'« envoyer ce brouillon à mon patron ». L'Agent l'envoie toujours, ne réalisant pas que ce qui est acceptable de dire à un ami est un désastre à dire à un patron.

3. L'Expérience : « AgentCIBench »

Pour tester cela, les chercheurs ont construit un terrain de test spécial appelé AgentCIBench.

Ils ont créé un monde numérique fictif avec des applications comme des calendriers, des listes de tâches et des messageries.
Ils l'ont rempli d'un mélange de choses professionnelles et de choses privées.
Ils ont confié des tâches à 15 agents IA de haut niveau (comme Claude, GPT, Gemini, etc.) dans ce monde.
Ils ont observé pour voir si les Agents laissaient accidentellement fuiter des secrets privés en essayant d'accomplir le travail.

4. Les Résultats Chocants

Les résultats n'étaient pas bons.

Taux d'échec élevé : Sur les 15 agents testés, 12 d'entre eux ont divulgué des informations privées dans plus de la moitié des scénarios.
Capacité $\neq$ Sécurité : Les agents qui étaient les meilleurs pour terminer les tâches étaient souvent les pires pour garder les secrets. Être « intelligent » pour faire le travail ne signifiait pas être « intelligent » pour savoir quoi cacher.
L'astuce du « Refus » : Certains agents semblaient sûrs uniquement parce qu'ils refusaient de faire la tâche du tout. Si vous posez une question délicate, ils disent simplement « Je ne peux pas faire cela ». Mais s'ils tentent de faire la tâche, ils divulguent des secrets.

5. La Bonne Nouvelle : Cela peut être réparé

Les chercheurs ont essayé trois « règles » simples (prompts) pour enseigner aux Agents comment mieux se comporter, sans avoir besoin de les réentraîner de zéro :

Être Restrictif : « Ne regarde que les éléments spécifiques nécessaires pour cette tâche. »
Utiliser une Grille d'Évaluation : « Avant de parler, demande-toi : Est-ce nécessaire ? Est-ce approprié pour cette personne ? »
Nommer le Destinataire : « Dis-moi à qui tu parles, et quelles règles s'appliquent à cette personne, avant d'écrire. »

Le Résultat : Ces règles simples ont réduit les fuites d'environ 33 % à 36 % et ont même rendu les Agents meilleurs dans leur travail (utilité plus élevée) car ils ont cessé d'être distraits par des informations privées non pertinentes.

L'Essentiel

Le document conclut que nous ne pouvons pas simplement faire confiance aux agents IA parce qu'ils sont « bons dans leur travail ». Nous devons les tester spécifiquement sur l'Intégrité Contextuelle — leur capacité à savoir quelle information appartient à quel contexte.

Actuellement, la plupart des agents sont comme un assistant très enthousiaste mais maladroit qui sera ravi de lire votre journal intime à votre patron si vous lui demandez de « résumer votre journée ». Nous devons leur apprendre la différence entre le « mode travail » et le « mode privé » avant de les laisser en liberté sur nos vrais ordinateurs.

Résumé technique : Capables mais négligents : les agents d'utilisation de l'ordinateur respectent-ils l'intégrité contextuelle ?

1. Énoncé du problème

Les agents d'utilisation de l'ordinateur (Computer-Use Agents ou CUAs) sont de plus en plus déployés pour agir au nom des utilisateurs à travers diverses applications personnelles (ex. : e-mails, calendriers, listes de tâches). Bien que cet accès multi-applications améliore la réussite des tâches, il introduit un risque de confidentialité critique et sous-exploré : la divulgation contextuelle. Contrairement aux benchmarks de sécurité traditionnels qui se concentrent sur les attaques adverses ou la fuite de texte sur un seul tour, les CUAs opèrent dans des trajectoires multi-tours où ils accumulent un état provenant de multiples applications. Le problème central est qu'un agent peut réussir une tâche tout en divulguant par inadvertance des informations appropriées dans un contexte (ex. : une note personnelle) mais inappropriées dans le contexte cible (ex. : un message à un gestionnaire).

Les évaluations existantes ne parviennent pas à mesurer ce mode de défaillance spécifique. Les benchmarks de capacité mesurent la réussite des tâches, et les benchmarks de sécurité évaluent la robustesse adverse, mais aucun n'évalue si un agent coopératif fuit un état personnel lors d'un usage normal. De plus, les évaluations de confidentialité standard pour les modèles de langage reposent souvent sur des prompts à un seul tour et ne tiennent pas compte de l'accumulation d'état à travers une interface utilisateur (UI) rendue.

Les auteurs soutiennent que l'Intégrité Contextuelle (IC) est le prisme d'évaluation nécessaire. L'IC postule que la confidentialité est préservée lorsque les flux d'informations respectent les normes du contexte spécifique (acteur, destinataire, type de contenu, principe de transmission). Une violation se produit non pas simplement lorsqu'un texte sensible est transmis, mais lorsqu'un flux d'informations dévie des normes spécifiques au contexte (ex. : partager un rendez-vous médical avec un collateur plutôt qu'avec un médecin).

2. Méthodologie : AGENTCIBENCH

Pour combler cette lacune, les auteurs introduisent AGENTCIBENCH, un banc d'essai réutilisable conçu pour générer et noter des scénarios de divulgation contextuelle.

2.1 Génération de scénarios

Le banc d'essai utilise un moteur de Recherche Arborescente Monte Carlo (MCTS) pour faire émerger des scénarios de test de résistance réalistes.

Graines (Seeds) : Le processus commence par des graines de haut niveau décrivant des tâches ordinées d'assistant personnel (ex. : mises à jour professionnelles, achats).
Expansion : Le moteur applique des mutations ciblées sur l'IC pour créer des scénarios où les informations pertinentes pour la tâche restent disponibles, mais où des informations inappropriées deviennent « tentantes » à inclure.
Évaluation par procuration (Proxy Evaluation) : Des agents de procuration (modèles à poids ouverts) s'exécutent sur les scénarios candidats. Les scénarios sont récompensés si l'agent de procuration termine la tâche et divulgue des informations qu'il ne devrait pas (un résultat à « haute utilité, haute fuite »).
Filtrage : Le système conserve les scénarios à haute récompense et non dupliqués, qui sont ensuite curatés manuellement pour assurer leur cohérence.

2.2 L'environnement (OpenApps)

Les scénarios sont instanciés dans OpenApps, un espace de travail personnel comprenant six applications (Messenger, Calendar, Maps, ToDo, Code Editor, Shop) construit sur BrowserGym.

Cadre fondé sur l'état (State-Grounded Setting) : L'agent reçoit une représentation textuelle structurée de l'état de l'application et émet un JSON d'action final. Cela isole la décision de divulgation des confusions liées à la navigation dans l'UI.
Cadre de bout en bout (End-to-End Setting) : L'agent interagit avec l'UI rendue via des captures d'écran et des arbres d'accessibilité, agissant par des actions d'UI de haut niveau.

2.3 Modes de défaillance

Le benchmark cible trois modes de défaillance spécifiques fondés sur l'IC :

Co-localisation Visuelle (VCL - Visual Co-location) : L'agent inclut des éléments interdits qui sont spatialement adjacents à la cible de la tâche dans l'UI (ex. : copier un événement de calendrier privé à côté d'une réunion de travail).
Surpartage par Ambiguïté de Tâche (TAO - Task-Ambiguity Overshare) : L'agent répond à un prompt sous-spécifié (ex. : « résume ma liste ») en déversant tout l'état disponible plutôt qu'en déduisant des limites contextuellement appropriées.
Désalignement du Destinataire (RMA - Recipient Misalignment) : L'agent envoie un contenu à un destinataire pour lequel il est inapproprié, bien que le contenu soit approprié pour un autre destinataire (ex. : partager un brouillon de litige avec un propriétaire à un développateur pair).

2.4 Métriques de notation

L'évaluation utilise un score hybride combinant un comparateur déterministe et un juge LLM.

Utilité ( $U$ ) : Si la sortie inclut les éléments obligatoires (« must-share »).
Fuite ( $L$ ) : Si la sortie inclut les éléments interdits (« must-not-share »).
Taux de refus ( $R$ ) : La fraction des scénarios où l'agent refuse d'agir.
Fuite conditionnée par l'engagement ( $L_{eng}$ ) : Définie comme $L / (1 - R)$ . Cette métrique est cruciale car elle distingue les agents qui sont sûrs parce qu'ils sélectionnent le contenu approprié de ceux qui sont sûrs simplement parce qu'ils refusent d'agir.

3. Contributions clés

AGENTCIBENCH : Un banc d'essai génératif pour les échecs d'IC dans les CUAs, comprenant un moteur de génération de scénarios et un pool de scénarios de test de résistance curatés.
Étude de divulgation de 15 agents de pointe : Une évaluation complète de modèles propriétaires et à poids ouverts (incluant Claude, GPT, Gemini, Qwen, etc.) révélant qu'une haute complétion de tâche n'implique pas une faible fuite.
Étude de déploiement de bout en bout : Une analyse montrant que les schémas de fuite observés dans les contextes fondés sur l'état persistent et augmentent parfois lors de la navigation dans des UI réelles.
Atténuations de la divulgation : Une évaluation de trois interventions légères au niveau du prompt qui réduisent significativement la fuite sans réentraînement.

4. Résultats clés

L'étude a évalué 15 agents de pointe sur 117 scénarios appariés.

Fuite généralisée : 12 agents sur 15 ont divulgué des informations dans plus de 50 % des scénarios, avec un taux de fuite moyen de 67,9 %.
Décalage Utilité vs Sécurité : La complétion de tâche est un mauvais indicateur de la sécurité de la divulgation. Parmi les agents ayant une utilité >75 %, la fuite conditionnée par l'engagement variait de 84 points de pourcentage (allant de 14,0 % à 98,3 %). Notamment, les deux agents à plus haute utilité (Gemini-3.1-Pro et Gemini-3-Flash) figuraient parmi les plus fuyants.
Le refus comme masque : Les taux de fuite bruts peuvent être trompeurs. Certains agents obtiennent un faible taux de fuite brut en refusant d'agir sur des scénarios difficiles (taux de refus élevé) plutôt qu'en filtrant correctement le contenu.
Modèles de défaillance :
- Les modèles orientés vers la sécurité (ex. : Claude-Opus-4.7) maintiennent TAO et RMA bas, mais restent élevés sur VCL.
- Les modèles à haute fuite (ex. : Gemini-3.1-Pro, Qwen-3.6-Max) saturent tous les modes de défaillance (>88 % de fuite).
- Les modèles à engagement sélectif (ex. : Kimi-K2.6) suppriment VCL et RMA via le refus, mais montrent une fuite TAO élevée lorsqu'ils sont engagés.
Persistance de bout en bout : Dans les expériences d'UI en direct, la fuite persiste. Pour les deux meilleurs agents fondés sur l'état, la fuite conditionnée par l'engagement grimpe à 42,9 % (Opus) et 80,0 % (Sonnet) dans le cadre de bout en bout.
Succès de l'atténuation : Trois défenses au niveau du prompt (Restrictive, Rubric-informed, et Recipient-typed) ont réduit la fuite conditionnée par l'engagement de 33 à 36 points de pourcentage pour tous les modèles. Crucialement, ces défenses ont simultanément augmenté l'utilité de 15,7 à 23,1 points de pourcentage, démontrant que la sécurité et la capacité peuvent être améliorées conjointement par le prompting.

5. Signification et affirmations

Le papier positionne l'Intégrité Contextuelle comme un contrôle de sécurité nécessaire avant le déploiement des CUAs, distinct de l'évitement des dommages traditionnels ou des tests de robustesse adverse.

La capacité n'est pas la sécurité : Les auteurs affirment que les classements actuels basés sur la complétion de tâches sont insuffisants pour guider le déploiement d'agents gérant des états personnels sensibles. Le phénomène « capable mais négligent » est prévalent parmi les modèles de premier plan.
Pilotabilité (Steerability) : L'étude démontre que les normes de divulgation peuvent être intériorisées et la fuite réduite significativement grâce à des interventions de prompt légères, suggérant que les modèles ne nécessitent pas de réentraînement pour améliorer leur comportement de confidentialité dans ces contextes.
Utilité du Benchmark : AGENTCIBENCH est publié comme un outil réutilisable, permettant de générer de nouveaux tests de résistance à mesure que les capacités des modèles évoluent. Les auteurs soulignent que le benchmark est destiné à l'analyse relative du comportement et à l'identification des modes de défaillance plutôt qu'à fournir des estimations absolues du préjudice réel pour l'utilisateur, étant donné la nature contrôlée de l'environnement OpenApps.

L'étude conclut que pour que les CUAs soient déployés en toute sécurité dans des environnements de consommation et d'entreprise, les cadres d'évaluation doivent explicitement mesurer si les flux d'informations respectent les normes du contexte spécifique, plutôt que de simplement vérifier qu'une tâche a été accomplie.