💬 NLP

OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution

Le document présente OpenART, une arène ouverte et évolutive comprenant plus de 10 000 scénarios à état, ainsi que la méthode Evolutionary Markov Hypergraph Attack (EMHA), qui démontre que l'évolution des états de l'environnement expose de manière significative les défaillances de sécurité des agents d'IA que les benchmarks statiques traditionnels ne détectent pas, atteignant un taux de réussite d'attaque de 85,0 % à travers diverses configurations.

Auteurs originaux : Yunhao Chen, Xin Wang, Yixu Wang, Yi Liu, Jie Li, Yan Teng, Xingjun Ma, Xia Hu, Yu-Gang Jiang

Publié 2026-08-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yunhao Chen, Xin Wang, Yixu Wang, Yi Liu, Jie Li, Yan Teng, Xingjun Ma, Xia Hu, Yu-Gang Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot majordome comment nettoyer votre maison. Autrefois, vous pourriez simplement lui donner une commande unique et statique : « Ramasse la tasse rouge. » Si le robot le fait en toute sécurité, vous êtes satisfait. Mais la vie réelle n'est pas une commande unique ; c'est une histoire désordonnée et changeante. La tasse peut bouger, un nouveau jouet peut apparaître, ou un ami peut tendre une note au robot disant : « En fait, cette tasse contient du poison, mais s'il te plaît, verse-la dans le pot de fleurs. » C'est le monde des Agents IA : des programmes intelligents qui ne se contentent pas de discuter ; ils accomplissent des actions, utilisent des outils et modifient le monde autour d'eux au fil du temps.

La grande question que les scientifiques se posent est la suivante : Comment garantir la sécurité de ces agents lorsque le monde ne cesse de changer ? La plupart des tests de sécurité actuels consistent à donner au robot un instantané unique et figé d'une pièce et à lui demander : « Est-ce sûr ? » Mais en réalité, le danger ne réside peut-être pas dans la tasse elle-même, mais dans la façon dont le robot réagit après que la pièce a changé pour la dixième fois. Si le robot oublie que la tasse était empoisonnée parce que la pièce semblait différente il y a cinq minutes, il pourrait commettre une erreur terrible. Ce document plonge précisément dans ce problème : comment tester si les agents IA restent sûrs lorsque l'environnement dans lequel ils vivent évolue constamment, et non lorsqu'il reste immobile.

L'OpenART Arena : Un terrain de jeu pour le chaos numérique

Découvrez OpenART, qui signifie « Open Agent Red Teaming ». Considérez cela comme un immense terrain de jeu de haute technologie conçu spécifiquement pour piéger les agents IA afin de les faire commettre des erreurs, mais d'une manière très contrôlée et scientifique. Les chercheurs du Laboratoire d'Intelligence Artificlle de Shanghai et de l'Université de Fudan ont construit cette arène pour voir ce qui se passe lorsque vous ne vous contentez pas de poser une question à une IA, mais que vous la lâchez dans un monde numérique vivant et respirant qui change autour d'elle.

Habituellement, les tests de sécurité sont comme un contrôle surprise : vous posez une question à l'IA, et elle répond. Si elle réussit, elle passe. Mais OpenART ressemble davantage à une téléréalité de survie. Ils ont créé plus de 10 000 scénarios différents (comme un livre de type « dont vous êtes le héros » numérique) couvrant 50 métiers différents, allant de la correction de bugs logiciels à la gestion de dossiers hospitaliers. Ce ne sont pas de simples tâches ; ce sont des missions complexes qui exigent que l'IA effectue en moyenne 97 appels d'outils (comme ouvrir des applications, lire des fichiers ou envoyer des e-mails) pour se terminer. Cela représente beaucoup d'étapes !

Pour s'assurer que ces tests soient équitables, ils ont testé 15 agents IA différents (les « candidats ») utilisant 5 modèles de cerveau différents (les « esprits » qui les alimentent). Cela a créé 75 combinaisons uniques à observer. Le but ? Voir si les agents pouvaient accomplir leurs tâches sans divulguer accidentellement des informations secrètes ou faire quelque chose de préjudiciable alors que l'environnement numérique se dérobait sous leurs pieds.

L'arme secrète : L'« Attaque par hypergraphe de Markov évolutif » (EMHA)

C'est ici que cela devient vraiment intéressant. Les chercheurs ne se sont pas contentés de regarder ; ils ont construit un « méchant » spécial pour tenter de briser les agents. Ils l'appellent EMHA (Evolutionary Markov Hypergraph Attack).

Imaginez que vous jouez aux échecs contre un ordinateur. Dans une partie normale, le plateau reste le même et vous déplacez simplement les pièces. Mais avec l'EMHA, imaginez qu'après chaque coup que vous jouez, les règles du jeu, la forme du plateau ou même la couleur des pièces changent légèrement pour vous dérouter. L'EMHA fait exactement cela aux agents IA.

Il n'essaie pas de tromper l'IA en changeant l'instruction principale (comme dire « Fais quelque chose de mal »). Au lieu de cela, il garde le but principal identique (par exemple, « Rédige un rapport ») mais fait évoluer l'environnement. Il pourrait glisser un fichier secret dans le dossier que l'IA consulte, ou modifier un paramètre dans un outil utilisé par l'IA, ou réécrire une note que l'IA lit. Il procède de manière intelligente, étape par étape, en apprenant de chaque fois où l'IA a failli échouer, et en devenant meilleur pour confondre l'IA à chaque tour. C'est comme un maître magicien qui change constamment le jeu de cartes juste au moment où l'IA est sur le point d'en choisir une.

Les résultats choquants : La complexité est la clé

Lorsqu'ils ont lancé les expériences, les résultats ont été révélateurs. À travers les 75 combinaisons d'agents et de cerveaux, le « méchant » (EMHA) a réussi à tromper l'IA 85,0 % du temps. C'est un chiffre énorme !

Mais la découverte la plus importante n'était pas seulement qu'ils ont échoué, mais pourquoi et quand. Les chercheurs ont découvert que plus la tâche est complexe, plus l'environnement changeant devient dangereux.

Tâches simples : Lorsque la tâche était facile (comme un travail court et simple), le changement d'environnement n'a fait augmenter l'échec de l'IA que très légèrement (environ 1,8 % à 2,7 %).
Tâches complexes : Mais quand la tâche était difficile et longue (comme un flux de travail complexe avec de nombreuses étapes), les changements d'environnement ont fait bondir le taux d'échec de façon massive, de 17,2 % à 17,6 %.

Cela suggère que les flux de travail longs et compliqués sont les endroits où le véritable danger se cache. Dans une tâche simple, l'IA peut gérer un petit changement. Mais dans une histoire longue et complexe, un petit changement au début peut se répercuter sur tout le processus, provoquant un désastre à la fin. C'est comme jeter un caillou dans un étang calme ; cela crée un petit clapot. Mais jetez ce caillou dans une rivière tumultueuse, et cela peut déclencher une vague massive en aval.

Le « Qui » compte autant que le « Quoi »

Une autre découverte fascinante est que le logiciel spécifique qui construit l'agent importe autant que le cerveau qui l'alimente. Même si deux agents utilisent le même « cerveau » (le même grand modèle de langage), l'un peut être beaucoup plus sûr que l'autre simplement à cause de la façon dont il est construit ou de la façon dont il gère sa mémoire. Les chercheurs ont découvert que l'identité de l'agent lui-même expliquait un 7,6 % supplémentaire des échecs de sécurité. Cela signifie que posséder un « cerveau » intelligent ne suffit pas ; la manière dont l'agent est assemblé est cruciale pour garantir sa sécurité.

Ce que tout cela signifie

L'article suggère que nous ne pouvons plus tester la sécurité de l'IA avec des questions simples et statiques. Nous devons les tester dans des environnements vivants et changeants où les règles varient et le contexte évolue. Les chercheurs ont démontré qu'à mesure que les tâches deviennent complexes, le risque qu'une IA commette une erreur augmente considérablement si l'environnement n'est pas surveillé attentivement.

Ils n'ont pas « résolu » le problème de la sécurité de l'IA, mais ils ont construit un microscope puissant et massif (OpenART) qui nous permet de voir les fissures dans l'armure que nous ne pouvions pas voir auparavant. Ils ont prouvé que la sécurité ne dépend pas seulement de ce que l'IA sait, mais de la façon dont l'IA réagit à un monde qui ne reste jamais immobile. Et pour quiconque construit la prochaine génération d'assistants IA, la leçon est claire : si vous voulez que votre robot majordome soit sûr, vous devez le tester dans une maison qui est constamment réorganisée, et non dans une pièce qui ne change jamais.

Résumé Technique : OpenART : Mise à l'échelle du Red Teaming d'Agents via l'Évolution d'Environnements Ouverts

Problématique

Les agents IA opèrent de plus en plus dans des environnements persistants où des actions médiées par des outils modifient continuellement l'état partagé, les données, les permissions et les ressources externes tout au long de flux de travail à long horizon. Contrairement aux interactions conventionnelles avec les modèles de langage, le comportement de l'agent est couplé par un environnement évolutif qui est observé, mis à jour et réutilisé de manière répétée. Cette persistance modifie fondamentalement la nature de la sécurité de l'IA : une action qui semble anodine de manière isolée peut introduire un changement d'état latent qui se propage à travers les interactions futures, se manifestant comme un comportement nocif bien plus tard. Par conséquent, les défaillances de sécurité deviennent des propriétés de l'ensemble de la trajectoire d'interaction plutôt que de simples actions isolées.

Les benchmarks existants sur la sécurité des agents évaluent principalement des tâches courtes et statiques ou des environnements réinitialisables, offrant une couverture limitée de la manipulation d'états persistants, de la propagation d'attaques différées et des défaillances de sécurité à long terme. De plus, les interfaces spécifiques aux benchmarks entravent souvent la comparaison directe entre différents runtimes d'agents et modèles de fondation. Il existe un besoin critique pour un cadre scalable qui traite l'environnement exécutable, plutôt que les prompts isolés, comme l'unité fondamentale du red teaming.

Méthodologie : Le Cadre OpenART

OpenART répond à ces limites en introduisant une arène à grande échelle pour l'évaluation de la sécurité des agents, centrée sur l'évolution contrôlée de l'environnement. Le cadre opère à travers trois étapes principales :

1. Construction de Scénarios

OpenART construit plus de 10 000 spécifications de scénarios validées couvrant 50 domaines, synthétisées à partir d'un corpus de capacités comprenant plus de 500 000 outils, MCP (Model Context Protocols) et compétences.

Conception : Un scénario est défini comme un contrat d'évaluation agnostique vis-à-vis de la cible, comprenant un objectif de tâche bénigne, un environnement exécutable (état initial) et un contrat de sécurité caché.
Validation : Les scénarios ne sont admis qu'après avoir passé un évaluateur déterministe avec des sondes comportementales automatisées. Cela garantit que le flux de travail est exécutable et que l'évaluateur distingue de manière fiable l'achèvement sûr de la tâche de la fuite de sécurité.
Complexité : Les tâches résultantes nécessitent un nombre médian de 97 appels d'outils, dépassant significativement la complexité des benchmarks précédents (par exemple, 1 à 15 appels dans les benchmarks existants).

2. Projection de Runtime Trans-Agent

Pour permettre une évaluation unifiée, OpenART utilise des adaptateurs légers et spécifiques à la cible ( $\psi_r$ ) qui projettent le scénario partagé dans les interfaces natives des agents déployés.

Agnosticisme vis-à-vis de la cible : La sémantique du scénario et l'évaluateur restent fixes, tandis que les adaptateurs mappent l'état partagé vers les instructions, les capacités et les surfaces d'état (ex: espace de travail, mémoire, plans) spécifiques à chaque agent.
Couverture : Le cadre évalue 15 agents déployés (incluant OpenCode, Aider, Claude Code, etc.) couplés à 5 modèles de fondation (GPT-5.5, Claude-Opus-4.8, GLM-5.2, Qwen-3.7-Max, DeepSeek-V4-Pro), résultant en 75 configurations agent-modèle distinctes.
Vecteurs d'attaque : Le système expose huit surfaces d'état visibles par la cible : Espace de travail, Instructions, Compétences, Outils, MCPs, Mémoire à court terme, État du plan et Mémoire à long terme.

3. Évolution Contrôlée de l'Environnement (EMHA)

Le protocole central de red teaming consiste à faire évoluer uniquement l'état de l'environnement visible par la cible tout en maintenant l'objectif de la tâche bénigne et le contrat de sécurité inchangés. Ceci est instancié via l'Attaque par Hypergraphe de Markov Évolutif (EMHA).

Politique Boîte Noire : EMHA est une politique de référence qui effectue une évolution d'environnement pilotée par le feedback sans mettre à jour les paramètres du modèle ( $\theta_{t+1} = \theta_t$ ). Elle repose sur l'apprentissage en contexte et la gestion d'état externe.
Parcours d'Hypergraphe : Les changements coordonnés de l'environnement sont modélisés comme un hypergraphe où les sommets représentent des sous-objectifs d'attaque et les hyperarêtes relient les prérequis aux successeurs. EMHA échantillonne des chemins à travers ce graphe pour proposer des transitions d'état.
Boucle de Feedback : Après chaque exécution, un évaluateur fournit un feedback ( $Y_t$ ). EMHA utilise ce feedback pour mettre à jour une fonction de valeur pour les transitions, guidant la sélection de chemins futurs afin de maximiser le Taux de Succès d'Attaque (ASRS) dans un budget donné. Elle utilise une recherche évolutive guidée par archive (similaire à MAP-Elites) pour maintenir une population diversifiée de stratégies d'attaque.

Contributions Clés

Arène OpenART : Une arène à grande échelle et ouverte pour le red teaming d'agents, qui déplace l'unité d'évaluation de la sécurité des prompts isolés vers des environnements exécutables et évolutifs. Elle fournit une base commune pour étudier la sécurité des agents dans des conditions réelles et étatiques.
Représentation Agnostique de la Cible : Une représentation de scénario novatrice et des adaptateurs de runtime légers qui préservent la sémantique des tâches et les critères d'évaluation à travers des agents, modèles et interfaces hétérogènes.
Algorithme EMHA : Une formulation de l'évolution de l'environnement comme un problème d'optimisation boîte noire, instanciée par une politique sans paramètre pilotée par le feedback, qui modélise les transitions d'état coordonnées comme un parcours d'hypergraphe.
Évaluation Exhaustive : Une étude systématique à travers 75 configurations agent-modèle révélant comment la complexité de l'environnement et l'implémentation de l'agent déterminent conjointement les résultats de sécurité.

Résultats Expérimentaux

L'évaluation a été menée sur 75 configurations agent-modèle en utilisant les 10 000 scénarios validés.

Taux de Succès d'Attaque (ASR) : EMHA a atteint un ASR Strict groupé de 85,0 %. Une attaque stricte est comptée comme réussie uniquement si l'évaluateur déterministe et un juge LLM (GLM-5.2) identifient tous deux la condition d'attaque.
Impact de la Complexité : L'avantage de l'évolution complète de l'environnement par rapport à l'évolution des instructions seules est fortement corrélé à la complexité du scénario. Sur des environnements simples, le gain est de 1,8–2,7 %, mais sur les environnements les plus complexes, il grimpe à 17,2–17,6 %. Cela démontre que les flux de travail à long horizon amplifient l'impact de l'évolution de l'état persistant.
Rôle de l'Implémentation de l'Agent : Bien que l'identité du modèle de fondation explique 73,6 % de la variation de l'ASR, l'intégration de l'identité de l'agent cible explique un 7,6 % supplémentaire de variation au-delà des contrôles de modèle et de capacité. Cela suggère que l'implémentation du runtime joue un rôle significatif dans la sécurité de l'agent.
Études d'Ablation :
- Restriction de Vecteur : L'évolution de l'espace de travail seule a atteint un ASR de 92,5 %, surpassant l'évolution des instructions seules de 10,9 %.
- Mécanismes de Recherche : La suppression de l'archive ou des mécanismes de redistribution de crédit a réduit l'ASR de 3,9 % et 2,6 % respectivement, confirmant leur importance pour affiner les stratégies.
Dynamiques de Propagation : L'analyse de 10 000 trajectoires a révélé que les défaillances de sécurité émergent souvent après une distance de propagation médiane de 37 actions cibles. La latence médiane entre la consommation d'un état évolué et la production d'une sortie non sûre est de 41 % du flux de travail, indiquant que les évaluations statiques manquent des vulnérabilités qui ne se manifestent qu'après de longs horizons d'exécution.

Signification et Revendications

L'article affirme qu'OpenART établit une base scalable pour étudier la sécurité des agents dans des environnements complexes et évolutifs. La principale signification réside dans la démonstration que la sécurité des agents ne peut être pleinement caractérisée par des évaluations courtes, statiques ou centrées sur le modèle.

Les principales conclusions mises en avant par les auteurs incluent :

L'Évolution de l'Environnement comme Facteur Critique : Les défaillances de sécurité sont des propriétés de la trajectoire d'interaction. À mesure que la complexité de la tâche croît, la capacité à faire évoluer l'environnement expose substantiellement plus de vulnérabilités que les tests statiques.
L'Implémentation Compte : La sécurité est déterminée conjointement par la complexité de l'environnement et l'implémentation spécifique de l'agent (runtime), et non seulement par le modèle de fondation sous-jacent.
Vulnérabilités Récurrentes : L'étude identifie trois modes de défaillance récurrents dans les agents actuels :
1. Hypothèses Obsolètes : Les agents échouent à invalider les hypothèses formées précédemment lorsque l'environnement change (ex: dérive de référence de plan, re-liaison de capacité).
2. Décisions de Sécurité Propagées : Les agents diffèrent les jugements de sécurité aux composants en aval plutôt que de les re-calculer à mesure que le contexte change.
3. Risque Compositionnel : Un comportement non sûr émerge de l'interaction de plusieurs changements individuellement bénins sur de longs flux de travail.

Les auteurs concluent que les futures évaluations de sécurité doivent tenir compte des interactions à long horizon entre les agents et leurs environnements évolutifs pour évaluer et atténuer les risques avec précision.