🤖 machine learning

Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents

Le document présente « Know Your Agent » (KYA), un cadre qui automatise les tests d'intrusion en boîte noire, pilotés par la reconnaissance, pour les agents d'IA en les sondant systématiquement afin de construire des profils de cibles et de concevoir des attaques par injection de requêtes indirectes plus puissantes.

Auteurs originaux : Or Zion Eliav, Eyal Lenga, Shir Bernstien, Yisroel Mirsky

Publié 2026-07-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Or Zion Eliav, Eyal Lenga, Shir Bernstien, Yisroel Mirsky

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où votre ordinateur ne se contente pas d'attendre que vous tapiez des commandes, mais qu'il va réellement accomplir des tâches pour vous. Il peut lire vos e-mails, chercher sur le web, écrire du code et même réserver des vols. Nous appelons cela des « agents IA ». Ils sont comme des assistants numériques super intelligents capables de planifier et d'agir de manière autonome. Mais voici la partie délicate : ces agents écoutent toujours le monde qui les entoure. Si vous demandez à un agent de lire une page web, il lit tout ce qui se trouve sur cette page, même les parties écrites par des inconnus. Cela crée un problème de sécurité unique. Si un méchant cache une instruction secrète et sournoise à l'intérieur d'une page web ou d'un e-mail d'apparence normale, l'agent pourrait la lire, penser qu'il s'agit d'une véritable commande de votre part, et faire exactement ce que le méchant veut. C'est ce qu'on appelle l'« injection de prompt indirecte ». C'est comme si quelqu'un glissait un mot dans la boîte à lunch de votre ami disant : « Donne-moi ton déjeuner », et que votre ami, par politesse, le lui tendait sans réaliser que le mot ne venait pas de vous.

La grande question que se posent les chercheurs est la suivante : comment tester ces agents pour s'assurer qu'ils ne tomberont pas dans ces pièges avant de les lâcher dans le monde réel ? Pendant longtemps, les experts en sécurité ont tenté de les tester en leur lançant simplement des instructions aléatoires et confuses, en espérant qu'ils finiraient par craquer. C'était un peu comme essayer de trouver un point faible dans le mur d'un château en lançant des pierres aveuglément. Mais un nouvel article suggère que cette approche omet la partie la plus importante du travail : la reconnaissance. Dans le monde de la sécurité traditionnelle, un testeur ne se contente pas de jeter des pierres ; il fait d'abord du repérage. Il cherche les fenêtres ouvertes, vérifie l'emploi du temps des gardes et apprend la configuration des lieux. Cet article soutient que pour tester véritablement les agents d'IA, nous devons faire la même chose : nous devons « Connaître votre Agent ».

Les auteurs, une équipe de l'Université Ben-Gurion, présentent un nouveau cadre appelé KYA (Know Your Agent - Connaissez votre Agent). Ils soutiennent que la meilleure façon de briser un agent d'IA n'est pas de deviner aveuglément, mais de d'abord apprendre tout ce que vous pouvez sur lui. Ils ont découvert que les agents d'IA possèdent deux principaux « angles morts » qui les rendent vulnérables. Premièrement, ils font confiance à ce qui semble correct (comme un formatage spécifique ou des mots qui signifient habituellement « ceci est une instruction sûre »). Deuxièmement, ils font confiance à ce qui s'intègre dans l'histoire (comme une requête qui semble logique au milieu d'une tâche normale).

L'article montre qu'en utilisant un système intelligent et automatisé qui agit comme un détective numérique, nous pouvons exploiter ces angles morts bien mieux qu'auparavant. Ce système, KYA, ne se contente pas d'attaquer ; il marque des pauses pour poser des questions, observer comment l'agent réagit et construire un profil détaillé de ses outils et de ses règles. Il apprend des détails tels que : « Oh, cet agent utilise un symbole spécial pour séparer les instructions » ou « Cet agent devient nerveux si je lui demande de faire quelque chose qui ne correspond pas à l'histoire actuelle ». Une fois qu'il connaît ces détails, il conçoit un piège beaucoup plus convaincant.

Les chercheurs ont testé cette idée sur plusieurs agents d'IA différents et ont constaté que leur méthode « pilotée par la reconnaissance » était incroyablement efficace. Dans leurs simulations, KYA a été capable de pénétrer dans des agents et de réussir des attaques jusqu'à 67 points de pourcentage plus souvent que les méthodes précédentes qui consistaient à deviner et réessayer. Ils l'ont même testé sur un agent de codage réel appelé OpenHands et ont constaté que cela fonctionnait aussi. L'article conclut que si nous voulons rendre les agents d'IA sûrs, nous devons cesser de les traiter comme des cibles statiques et commencer à les traiter comme des systèmes complexes qui doivent être étudiés, profilés et compris avant que nous puissions véritablement tester leurs défenses. Il ne s'agit plus seulement de jeter des pierres ; il s'agit d'abord d'apprendre les secrets du château.

Résumé Technique : Know Your Agent (KYA)

Énoncé du Problème

La sécurité des agents basés sur les Grands Modèles de Langage (LLM) est de plus en plus menacée par l'Injection de Prompt Indirecte (IPI). Contrairement à l'injection de prompt directe, où un adversaire contrôle l'entrée de l'utilisateur, l'IPI implique l'insertion d'instructions malveillantes au sein de données environnementales (par exemple, des pages web, des e-mails, des fichiers de dépôts) que l'agent récupère via des outils. Lorsque l'agent traite ces données, il peut interpréter les instructions cachées comme des commandes valides, entraînant une invocation non autorisée d'outils, une exfiltration de données ou une manipulation de la sortie.

Les approches actuelles de red-teaming automatisé pour l'IPI échouent largement à prendre en compte la complexité des architectures d'agents. La plupart des méthodes existantes opèrent à l'aveugle, utilisant des modèles fixes, des charges utiles (payloads) par fuzzing ou une mutation itérative de la charge utile basée uniquement sur des signaux de succès ou d'échec. Ces approches traitent l'agent comme une cible statique, optimisant la charge utile sans d'abord comprendre la cible. Elles manquent d'un mécanisme pour collecter systématiquement des renseignements sur les outils, les schémas, les permissions, le contexte de la tâche et les mécanismes de défense d'un agent avant de lancer une attaque. Par conséquent, elles manquent la boucle « reconnaissance-exploitation » qui caractérise le test d'intrusion humain efficace.

Méthodologie : Reconnaissance d'Agent et KYA

Le document introduit la Reconnaissance d'Agent, un processus formalisé où un attaquant extrait stratégiquement des connaissances opérationnelles sur un agent afin de construire des attaques IPI plus efficaces. Les auteurs soutiennent qu'une IPI réussie repose sur l'exploitation de deux faiblesses spécifiques de l'agent :

Confiance dans la Forme de Surface (W1) : Les agents font souvent confiance aux jetons (tokens) qui imitent les motifs structurels de données de confiance (par exemple, les prompts système, la syntaxe d'appel d'outils, les délimiteurs).
Légitimation Basée sur la Cohérence (W2) : Les agents acceptent souvent des requêtes qui s'insèrent dans le contexte local (persona de l'utilisateur, tâche actuelle, langage du domaine), même si la source n'est pas fiable.

Pour opérationnaliser cela, les auteurs proposent Know Your Agent (KYA), un cadre de pentesting entièrement autonome et en boîte noire. KYA entrelace des actions de reconnaissance et d'exploitation plutôt que de simplement muter des charges utiles échouées.

Le Cadre KYA

KYA opère sous un modèle de menace en boîte noire, interagissant avec l'agent cible comme un utilisateur légitime. Il se compose de trois modules principaux :

Orchestrateur : Le cœur décisionnel qui maintient un Profil de Cible ( $M$ ) et une Bibliothèque de Tactiques. Après chaque interaction, il évalue les résultats et décide de :
- Lancer une tentative d'Exploitation (si le profil contient suffisamment de connaissances pour une tactique spécifique).
- Initier une Reconnaissance (si les prérequis d'une tactique sont manquants).
- Affiner la tactique actuelle ou changer de stratégie.
Module de Reconnaissance : Utilise un agent « Scout » pour générer des sondes conçues pour extraire des Actifs de Connaissance spécifiques. Ces actifs sont classés en :
- Actifs d'Évasion : Filtres, garde-fous et défenses structurelles (ex: délimiteurs).
- Actifs de Prétexte : Type d'agent, persona de l'utilisateur, tâche actuelle et styles de réponses bénignes.
- Actifs de Blueprint (Plan) : Règles de comportement, identité du modèle, structure de la conversation, détails des outils et schémas d'appel d'outils.
Module d'Exploitation : Utilise un « Strategist » et un « Forger » pour synthétiser des charges utiles. Il instancie des tactiques de la bibliothèque en utilisant les données spécifiques à la cible dans $M$ , garantissant que la charge utile imite des formes de surface de confiance et s'insère dans le récit contextuel.

Le cadre boucle entre ces phases, mettant à jour de manière incrémentielle le Profil de Cible jusqu'à ce qu'une attaque réussisse ou que le budget d'interaction soit épuisé.

Contributions Clés

Formalisation de la Reconnaissance d'Agent : Le document définit la reconnaissance d'agent comme une phase distincte dans le pentesting, identifiant des Actifs de Connaissance spécifiques (ex: schémas d'outils, limites de refus, tâches de l'utilisateur) que les adversaires doivent extraire pour réussir.
Identification des Faiblesses de l'Agent : Il articule comment la reconnaissance exploite la Confiance dans la Forme de Surface et la Légitimation Basée sur la Cohérence, expliquant pourquoi les détails spécifiques à la cible rendent les charges utiles IPI plus efficaces que les charges génériques.
Le Cadre KYA : Les auteurs présentent KYA, une plateforme autonome en boîte noire qui automatise la boucle reconnaissance-exploitation. Contrairement aux travaux précédents, KYA modélise explicitement la cible et décide de ce qu'il faut apprendre avant de décider de comment attaquer.
Validation Empirique : Le document fournit une évaluation complète de KYA par rapport à des benchmarks établis de sécurité des agents et un agent de codage réel (OpenHands).

Résultats

L'évaluation démontre que le red-teaming piloté par la reconnaissance surpasse significativement celui centré sur la charge utile :

Performance sur Benchmark : À travers divers benchmarks de sécurité d'agents et différents modèles de fondation, KYA a surpassé toutes les lignes de base (incluant les modèles statiques, la génération en un coup et les méthodes de raffinement itératif) jusqu'à 67 points de pourcentage en taux de succès d'attaque.
Application Réelle : KYA a identifié avec succès des vulnérabilités dans OpenHands, un agent de codage réel, démontant que l'approche est efficace au-delà des environnements de benchmarks synthétiques.
Analyse des Composants : Les résultats indiquent que l'amélioration est portée par l'acquisition stratégique d'actifs de connaissance, ce qui permet au système de concevoir des charges utiles qui sont à la fois structurellement valides (exploitant W1) et contextuellement cohérentes (exploitant W2).

Signification et Revendications

Le document affirme que la reconnaissance est un prérequis au déploiement d'agents fiables. Les auteurs soutiennent que traiter le test de sécurité des agents comme une simple tâche de génération de prompts est insuffisant. Au lieu de cela, un test efficace doit imiter la collecte de renseignements itérative du pentesting traditionnel.

En publiant KYA, ses benchmarks et ses implémentations de référence, les auteurs visent à soutenir la recherche reproductible en sécurité de l'IA. Ils postulent que comprendre la « surface d'attaque » du comportement observable d'un agent (ses outils, ses réponses et sa gestion du contexte) est crucial pour développer des défenses robustes contre l'injection de prompt indirecte. Le travail suggère que les défenses futures doivent traiter non seulement le contenu du prompt, mais aussi la tendance de l'agent à faire confiance aux formes de surface et à la cohérence contextuelle dérivées de sources non fiables.