🤖 AI

Proteus: A Self-Evolving Red Team for Agent Skill Ecosystems

L'article présente Proteus, un cadre de red team auto-évolutif qui démontre que les systèmes actuels de validation des compétences sous-estiment considérablement les risques de sécurité en révélant comment des attaquants adaptatifs et guidés par des retours d'information peuvent contourner itérativement les audits pour créer des variantes mortelles de compétences d'agents.

Auteurs originaux : Zhaojiacheng Zhou

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhaojiacheng Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où vous pouvez télécharger des "compétences" pour votre assistant IA, tout comme vous téléchargez des applications sur votre téléphone. Ces compétences indiquent à l'IA comment effectuer des tâches spécifiques, comme consulter votre compte bancaire ou gérer votre calendrier. Mais que se passe-t-il si un pirate informatique crée une compétence "empoisonnée" qui semble inoffensive mais qui vole secrètement vos données ?

Ce document présente Proteus, un chercheur en sécurité numérique conçu pour tester l'efficacité de nos gardes-fous actuels à détecter ces compétences empoisonnées.

Voici le détail de son fonctionnement, à l'aide d'analogies simples :

1. Le Problème : Le Jeu de "Tam-Tam"

Actuellement, lorsqu'une nouvelle compétence est soumise, elle passe par un Auditeur de Sécurité (un garde numérique). Le garde examine le code de la compétence et sa description (documentation) pour vérifier s'il est dangereux.

Le Défaut : La plupart des tests de sécurité ne vérifient la compétence qu'une seule fois. Si le garde dit "Passé", la compétence est installée.
La Réalité : Un pirate intelligent ne se contente pas de soumettre une mauvaise compétence et d'abandonner. Il observe pourquoi le garde l'a rejetée, ajuste légèrement la compétence et réessaie. Il continue ainsi jusqu'à trouver une version qui passe le garde mais qui cause toujours les dégâts.

Le document appelle cela une "Fuite Adaptative". C'est le risque qu'un pirate puisse continuer à essayer jusqu'à ce qu'il casse la serrure.

2. La Solution : Proteus (Le Pirate Auto-Évolutif)

Les chercheurs ont créé Proteus, un agent IA qui agit comme un pirate implacable et apprenant. Au lieu de simplement essayer de tromper le garde une fois, Proteus joue un jeu en plusieurs tours :

Soumettre : Il envoie une compétence au garde.
Écouter : Si le garde dit "Non", Proteus lit la raison (par exemple : "Ce code semble suspect" ou "La description ne correspond pas au code").
Évoluer : Proteus utilise ce retour pour réécrire la compétence. Il peut modifier le code, réécrire la description, ou réorganiser la façon dont la compétence se connecte à d'autres outils.
Répéter : Il continue ainsi jusqu'à trouver une version qui passe le garde et exécute avec succès l'action nuisible (comme voler des données) dans un bac à sable simulé et sécurisé.

3. Les Cinq Axes d'Attaque

Proteus ne modifie pas seulement une chose ; il attaque la compétence sous cinq angles différents simultanément, comme un maître pickpocket essayant différents outils :

L'Objectif : Que cherche à faire la compétence ?
La Structure : Comment la compétence est-elle organisée ?
Le Code : Les instructions réelles.
Le Canal : Comment elle communique avec le monde extérieur.
La Documentation : La description écrite qui explique ce que fait la compétence.

Proteus peut combiner et mélanger des modifications dans tous ces domaines pour confondre le garde.

4. Le "Contrat de Tour" (L'Arène de Test)

Pour s'assurer que Proteus trouve réellement des failles, les chercheurs ont construit une arène de test stricte avec trois étapes pour chaque tentative :

L'Audit : Le garde le laisse-t-il passer ?
Le Bac à Sable : La compétence s'exécute-t-elle réellement sans planter ?
L'Oracle : A-t-elle réellement effectué l'action nuisible (comme supprimer un fichier ou voler un mot de passe) ?

Proteus n'est compté comme un "gagnant" que s'il réussit les trois étapes.

5. Ce qu'ils ont Découvert

Les chercheurs ont testé Proteus contre deux gardes de sécurité réels (un open-source et un provenant d'une grande entreprise technologique) et deux modèles d'IA différents.

Les Résultats : Proteus était terrifialement efficace.
- En seulement 5 tours d'essais, il a réussi à contourner les gardes 40 % à 90 % du temps.
- Il n'a pas trouvé une seule astuce ; il a trouvé 438 façons différentes de casser le système.
- Même le garde le plus fort qu'ils aient testé (AI-Infra-Guard) a échoué à arrêter Proteus environ 41 % du temps.
- L'Astuce de "Transfert" : Lorsque Proteus apprenait comment contourner un garde, il pouvait souvent utiliser les mêmes astuces pour contourner l'autre garde sans avoir besoin d'apprendre quoi que ce soit de nouveau.

6. La Grande Conclusion

Le document conclut que notre façon actuelle de vérifier les compétences IA sous-estime le danger. Nous vérifions les compétences comme un garde de sécurité vérifiant une seule photo d'une personne. Mais un véritable attaquant est comme un métamorphe qui continue de changer de visage jusqu'à ce que le garde le laisse entrer.

Proteus prouve que si nous ne construisons pas des systèmes capables de gérer des attaquants qui apprennent et s'adaptent, nos écosystèmes d'IA auront d'énormes failles cachées que les pirates pourront facilement exploiter.

En bref : Nous pensions que nos gardes de sécurité étaient bons pour repérer les mauvaises compétences. Ce document montre que si un mauvais acteur est assez intelligent pour apprendre de ses erreurs, ces gardes sont en réalité assez faciles à tromper.

Résumé Technique : Proteus – Une Équipe Rouge Auto-Évolutive pour les Écosystèmes de Compétences d'Agents

1. Formulation du Problème : Fuite Adaptative

L'article comble une lacune critique dans l'évaluation de la sécurité des compétences d'agents basés sur les grands modèles de langage (LLM). Alors que la recherche existante a identifié des risques liés à des compétences malveillantes statiques et conçues à la main, elle échoue largement à mesurer le risque résiduel persistant lorsqu'un attaquant réviser itérativement une compétence en utilisant les retours des auditeurs et des environnements d'exécution.

Les auteurs définissent la Fuite Adaptative comme le risque de déploiement où un attaquant disposant d'un budget peut réviser itérativement une compétence tierce jusqu'à ce qu'elle satisfasse simultanément les trois critères suivants :

Elle passe l'audit statique ou basé sur un LLM.
Elle s'exécute avec succès dans l'environnement d'exécution cible.
Elle produit un dommage vérifiable et détectable par un oracle.

Les évaluations actuelles traitent les auditeurs comme des classificateurs en un seul tir contre des entrées fixes. Cependant, comme les auditeurs open-source (par exemple, SkillVetter, AI-Infra-Guard) publient souvent leurs ensembles de règles et leurs résultats, les attaquants peuvent reproduire localement les résultats de l'audit. Cela crée un canal « boîte grise » où un attaquant peut utiliser les résultats d'audit structurés et les traces d'exécution pour affiner son attaque sur plusieurs tours, une capacité non capturée par les tests d'intrusion (red-teaming) en un seul tir ou les lignes de base à rétroaction scalaire.

2. Méthodologie : Le Cadre Proteus

Proteus est un cadre d'équipe rouge en boîte grise, auto-évolutif, conçu pour mesurer la fuite adaptative. Il fonctionne via un système en boucle fermée composé de quatre composants couplés :

A. L'Espace d'Attaque de Compétences à Cinq Axes

Proteus décompose une variante de compétence $s$ en un 5-uplet $(o, \tau, c, \kappa, d)$ :

$o$ (Objectif) : Le but de l'attaque (par exemple, exfiltration de données, élévation de privilèges).
$\tau$ (Topologie) : La structure de la chaîne de compétences (compétence unique ou chaîne de $k$ compétences).
$c$ (Code) : L'artefact exécutable.
$\kappa$ (Canal d'Effet Secondaire) : Le mécanisme de dommage (par exemple, écriture de fichier, égress réseau).
$d$ (Documentation) : La documentation de mise en contexte chargée dans l'invite de l'agent.

B. Le Contrat de Tour en Boîte Grise

Chaque tour d'évaluation suit un pipeline indépendant du défenseur : Audit $\to$ Bac à Sable $\to$ Oracle.

Audit : La compétence est soumise à un auditeur (par exemple, SkillVetter ou AI-Infra-Guard).
Bac à Sable : Si l'audit réussit, la compétence s'exécute dans un environnement conteneurisé (OpenClaw).
Oracle : Un juge basé sur des règles vérifie si l'exécution a produit l'effet secondaire ciblé (léthalité).
Quadruplet de Rétroaction : Le système renvoie un tuple structuré $\langle b, \ell, F, R \rangle$ $⟨ b, ℓ, F, R ⟩$ :
- $b$ : Verdict booléen de l'audit (contourné ?).
- $\ell$ : Verdict booléen de léthalité (dommage réalisé ?).
- $F$ : Résultats d'audit structurés (codes de raison, sévérités, pointeurs de preuve).
- $R$ : Trace/Conseil d'exécution (par exemple, quels capteurs ont été déclenchés ou bloqués).

C. Mutateur Auto-Évolutif

L'agent d'équipe rouge est une boucle d'utilisation d'outils basée sur un LLM qui consomme le quadruplet de rétroaction comme information secondaire en contexte (un « gradient verbal ») plutôt que comme une récompense scalaire. Il utilise un catalogue de 12 opérateurs de mutation (par exemple, purpose-coherent-embed, code-offload, thematic-chain-insert) pour modifier les cinq axes de la compétence.

D. Processus d'Évolution à Trois Couches

Proteus emploie une stratégie de recherche imbriquée :

Couche 1 (Découverte Libre) : Recherche librement dans l'objectif parent pour trouver le premier contournement réussi ( $b \land \ell$ ).
Couche 2 (Expansion de Chemin) : Après succès, génère des implémentations alternatives du même objectif d'attaque (par exemple, remplacer cron par des minuteries systemd) sans consommer le budget principal de tours.
Couche 3 (Expansion de Surface) : Transfère les motifs d'implémentation appris (motifs structurels) à de nouveaux objectifs d'attaque, testant si l'attaquant peut généraliser au-delà de la graine initiale.

3. Configuration Expérimentale

Auditeurs : SkillVetter (open-source, MIT-0) et AI-Infra-Guard (Tencent, Apache-2.0).
Cibles : GPT-5.4-mini et GLM-5.
Mutateurs : DeepSeek-V4-Pro et Kimi-2.6.
Graines : 20 compétences malveillantes générées via une composition de chaînes guidée par graphe sur un graphe de compétences de 47 000 nœuds (ClawHub).
Budget : $T=5$ tours pour la Phase 1 ; expansion hors budget pour la Phase 2.

4. Résultats Clés

Phase 1 : Contournement Itératif

Sur huit cellules de configuration, Proteus a atteint un Taux de Succès de l'Attaque (ASR@5) de 40 à 90 %.

Courbes d'Apprentissage : Proteus a démontré des pentes de courbes d'apprentissage positives (LCS), indiquant que les taux de succès augmentaient significativement à chaque tour de rétroaction.
Comparaison avec les Lignes de Base :
- Ligne de Base Boîte Noire : Lorsqu'il ne recevait qu'un verdict booléen de réussite/échec (sans résultats structurés), le taux de succès plafonnait à environ 43 % avec une pente d'apprentissage négligeable.
- PyRIT : Un outil standard d'équipe rouge externe (réécriture narrative uniquement) n'a réussi que 5 graines sur 20, soulignant la nécessité de muter le code et la topologie, et pas seulement la documentation.
Performance des Auditeurs : L'auditeur plus robuste, AI-Infra-Guard, a réduit les taux de succès de 10 à 30 points de pourcentage par rapport à SkillVetter, mais Proteus a tout de même atteint jusqu'à 41,3 % de succès contre lui.

Phase 2 : Expansion de Chemin et de Surface

Après avoir trouvé une variante réussie, Proteus a élargi la surface d'attaque :

Total des Variantes : 438 variantes contournant conjointement et létales ont été générées.
SkillVetter : Contourné à $\ge 93 \%$ dans chaque cellule d'expansion.
AI-Infra-Guard : A encore admis 25 à 41 % des variantes.
Expansion de Surface : L'agent a transféré avec succès des motifs d'attaque vers de nouveaux objectifs (par exemple, passer de la persistance à l'exfiltration de données) en utilisant des motifs structurels partagés, démontrant une généralisation émergente.

Transfert Inter-Auditeur

Une découverte cruciale est la transférabilité des attaques apprises. 87,7 % des variantes évoluées contre le plus robuste AI-Infra-Guard ont également contourné SkillVetter sans aucune nouvelle mutation. Cela suggère que la fuite adaptative n'est pas spécifique à l'auditeur, mais représente une vulnérabilité fondamentale dans le paradigme de validation des compétences.

5. Signification et Revendications

L'article revendique que la validation actuelle des compétences sous-estime considérablement le risque résiduel lorsqu'elle est évaluée face à des attaquants adaptatifs et pilotés par la rétroaction.

Lacune de Mesure : Les études de sécurité existantes traitent les auditeurs comme des classificateurs statiques. Proteus démontre que lorsqu'un attaquant a accès à une rétroaction structurée (le canal « boîte grise »), il peut affiner itérativement les attaques pour contourner à la fois l'analyse statique et les vérifications narratives basées sur les LLM.
Le « Gradient Verbal » : L'étude valide empiriquement que l'utilisation de résultats d'audit structurés comme information secondaire en contexte est significativement plus efficace que les récompenses scalaires. La réduction de la rétroaction à un verdict binaire diminue la pente d'apprentissage d'un ordre de grandeur.
Vulnérabilité à Double Canal : Les résultats mettent en évidence que la combinaison de l'exécution de code et de la documentation de mise en contexte crée une surface d'attaque à double canal. Les attaques réussies nécessitent souvent des mutations coordonnées sur plusieurs axes (par exemple, réécrire la narration pour correspondre au code tout en déchargeant la charge utile vers un binaire).
Risque Écosystémique : Le taux élevé de transfert inter-auditeur implique que les vulnérabilités découvertes contre un auditeur persistent probablement chez les autres, suggérant un risque systémique dans l'écosystème des compétences d'agents qui ne peut être résolu par un simple changement d'auditeur.

Les auteurs concluent que la fuite adaptative est une menace mesurable et significative qui nécessite de nouveaux mécanismes de défense capables de gérer des adversaires itératifs et pilotés par la rétroaction, plutôt que de s'appuyer sur des audits statiques en un seul tir.