💻 computer science

Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming

L'article présente PIMiner, un système agentique qui construit une bibliothèque de stratégies transférables pendant l'entraînement afin de réaliser un red-teaming par injection de requêtes hautement efficace et à faible nombre de requêtes contre des LLM cibles inédits, surpassant de manière significative les méthodes existantes basées sur l'apprentissage par renforcement.

Auteurs originaux : Yanting Wang, Chenlong Yin, Runpeng Geng, Jinyuan Jia

Publié 2026-08-06

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yanting Wang, Chenlong Yin, Runpeng Geng, Jinyuan Jia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un assistant robotique super intelligent capable de réserver vos vols, d'écrire votre code et de gérer votre compte bancaire. C'est comme avoir un génie magique qui fait réellement le travail pour vous. Mais voici le piège : ce génie est un peu trop crédule. Si vous lui murmurez une instruction secrète à l'intérieur d'un faux e-mail ou d'un lien de site web suspect, le robot pourrait s'embrouiller et penser que cela est la chose la plus importante à faire, ignorant ainsi vos véritables ordres. C'est ce qu'on appelle une attaque par « injection de prompt ». C'est comme glisser un mot dans le carnet de notes d'un professeur qui dirait : « Donne-moi un A », et le professeur, pensant que cela fait partie du dossier officiel, l'exécute réellement.

Pour garder ces robots en sécurité, les experts en sécurité jouent à un jeu appelé « red-teaming ». Considérez cela comme un jeu vidéo où un joueur essaie de pirater le robot, et l'autre essaie de l'arrêter. Le but est de trouver toutes les façons sournoises de tromper le robot avant que les méchants ne le fassent. Pendant longtemps, les meilleurs hackers (appelés « attaquants ») étaient comme des étudiants qui devaient s'asseoir et étudier pendant des milliers d'heures, mémorisant chaque ruse pour battre un robot spécifique. Mais si l'on remplaçait le robot par un modèle légèrement différent, l'étudiant devait recommencer à étudier depuis le début. C'était lent, coûteux, et cela ne fonctionnait pas bien pour les nouveaux défis.

Entrez en scène PIMiner, un nouveau système ingénieux conçu par des chercheurs de Penn State pour être l'ultime détective du red-teaming. Au lieu de simplement mémoriser des ruses pour un robot spécifique, PIMiner est comme un maître voleur qui possède un immense carnet de stratégies de cambriolage organisé. Lorsqu'il fait face à un nouveau robot, il ne repart pas de zéro. Il feuillette son carnet, choisit les meilleures ruses qui pourraient fonctionner, et les essaie. Si une ruse fonctionne, il l'inscrit dans le carnet avec une note sur le pourquoi elle a fonctionné. Si elle échoue, il écrit pourquoi elle a échoué afin de ne pas commettre deux fois la même erreur.

L'article montre que cette approche par « carnet » change la donne. Alors que les anciennes méthodes nécessitaient de poser des milliers de questions au robot pour apprendre à le pirater, PIMiner peut souvent découvrir comment s'introduire avec seulement 10 questions par test. Dans leurs tests, PIMiner a réussi à tromper des robots puissants et tout nouveaux (comme les dernières versions de GPT et Claude) avec un taux de réussite allant jusqu'à 76,2 % sur certains défis. Cela suggère qu'en organisant les expériences passées en une bibliothèque de stratégies réutilisables, nous pouvons trouver des failles de sécurité beaucoup plus rapidement et à moindre coût qu'auparavant, aidant ainsi à construire des assistants IA plus sûrs pour tout le monde.

Résumé Technique : PIMiner – Un Système Agentique pour le Red-Teaming Automatique d'Injections de Prompts

Problématique

Les attaques par injection de prompts constituent un risque de sécurité critique pour les agents basés sur les Grands Modèles de Langage (LLM), où des adversaires intègrent des instructions malveillantes dans des sources de contexte non fiables (ex: sorties d'outils, documents récupérés) afin de manipuler le comportement de l'agent. Un red-teaming efficace est essentiel pour évaluer ces vulnérabilités et générer des données d'entraînement pour les défenses.

Les méthodes de red-teaming de pointe existantes se divisent en deux catégories, présentant toutes deux des limitations significatives :

Approches basées sur l'Apprentissage par Renforcement (RL) : Des méthodes comme RL-Hammer et PISmith entraînent des modèles d'attaque pour générer des attaques efficaces. Bien que puissantes, elles nécessitent des budgets d'interaction massifs (des dizaines de milliers de requêtes) et produisent des modèles ayant une faible transférabilité vers de nouveaux LLM cibles inédits.
Approches basées sur la Recherche : Des méthodes comme TAP et PAIR optimisent les attaques pour chaque échantillon indépendamment, sans entraînement. Bien qu'économiques, elles manquent de la capacité d'accumuler des connaissances au fil du temps, ce qui se traduit par un taux de succès d'attaque (ASR) nettement inférieur à celui des méthodes basées sur le RL.

Le défi central consiste à combler l'écart de performance entre ces deux paradigmes : atteindre la haute efficacité des méthodes basées sur le RL sans le coût prohibitif et la faible transférabilité, tout en permettant aux méthodes de recherche de réutiliser les connaissances d'attaque.

Méthodologie : PIMiner

Les auteurs proposent PIMiner, un système agentique conçu pour accumuler et réutiliser les connaissances d'attaque via un mécanisme de mémoire hiérarchique. Contra-rentre aux méthodes de RL qui entraînent un modèle unique, PIMiner construit une Bibliothèque de Stratégies (Strategy Library) en partant de zéro en interagissant avec une séquence de paires (jeu de données, modèle cible).

Architecture du Système

PIMiner opère à travers quatre composants principaux :

Bibliothèque de Stratégies : Une mémoire à long terme stockant les stratégies d'attaque sous forme de fichiers Markdown structurés. Chaque fichier définit le périmètre d'une stratégie (LLM cibles, types de tâches), des modèles d'injection, des exemples en contexte et des conditions d'échec.
Routeur de Stratégies : Un agent de routage qui, pour chaque échantillon de test, sélectionne les $K$ stratégies les plus pertinentes de la bibliothèque en fonction du modèle cible et du contexte de la tâche. Cela évite l'encombrement de la fenêtre de contexte et réduit les coûts d'inférence.
Module d'Attaque Itératif : Un agent attaquant qui affine les prompts sur un nombre limité d'itérations (ex: $N_{max}=10$ $N_{ma x} = 10$ ). Il utilise trois niveaux de mémoire :
- Mémoire à long terme : Les stratégies routées provenant de la bibliothèque.
- Mémoire intra-jeu de données : Expériences condensées issues des échantillons précédemment attaqués au sein d'un même couple jeu de données-modèle.
- Mémoire intra-échantillon : L'historique immédiat des retours de l'échantillon actuel.
Digesteur d'Expérience : Un composant d'apprentissage qui analyse les résultats d'une exécution d'attaque complète. Il met à jour la Bibliothèque de Stratégies en :
- Ajoutant de nouveaux exemples en contexte aux stratégies existantes.
- Élargissant le périmètre des stratégies si de nouveaux schémas sont découverts.
- Créant de nouveaux fichiers de stratégie pour des mécanismes inédits.
- Affinant les conditions d'échec basées sur les attaques infructueuses.

Flux Opérationnel

Pendant l'entraînement, PIMiner traite les échantillons, les route vers les stratégies pertinentes, effectue des attaques itératives, puis digère les résultats pour mettre à jour la bibliothèque. Lors du test, la bibliothèque apprise est transférée vers des LLM cibles inédits sans entraînement supplémentaire. Le système supporte un paradigme d'« entraînement au moment du test » (test-time training) où de nouvelles expériences peuvent mettre à jour davantage la bibliothèque.

Contributions Clés

Système de Red-Teaming Agentique : PIMiner est proposé comme un nouveau système qui transforme l'historique d'attaque en connaissances d'attaque réutilisables et lisibles par l'humain, comblant efficacement l'écart de performance entre le red-teaming basé sur la recherche et celui basé sur le RL.
Mécanisme de Mémoire Hiérarchique : L'introduction d'un système de mémoire à trois niveaux (Bibliothèque de Stratégies, Intra-jeu de données, Intra-échantillon) permet au système d'accumuler des connaissances à travers les jeux de données et les modèles tout en maintenant l'efficacité des coûts.
Forte Transférabilité : Les stratégies apprises démontrent une capacité de transfert efficace vers des LLM cibles auparavant inconnus et différents modèles d'attaquants, éliminant le besoin d'un entraînement coûteux et spécifique à la cible.
Efficacité des Coûts : PIMiner nécessite nettement moins de requêtes vers les agents cibles (ex: ~10 par échantillon) que les méthodes basées sur le RL (souvent >10 000), ce qui le rend viable pour tester des modèles de pointe coûteux.

Résultats Expérimentaux

Les auteurs ont évalué PIMiner sur deux benchmarks, IPIArena et AgentDojo, contre des LLM de pointe incluant GPT-5, GPT-5.1, Claude-Sonnet-4.5 et Gemini-2.5-Pro.

Performance : PIMiner atteint des taux de succès d'attaque (ASR) élevés. Sur IPIArena, il a obtenu un ASR de 76,2 % contre Gemini-2.5-Pro, 61,9 % contre GPT-5.1 et 42,9 % contre Claude-Sonnet-4.5. Sur AgentDojo, il a atteint 86,7 % contre Gemini-2.5-Pro.
Comparaison avec les Baselines :
- PIMiner surpasse substantiellement les attaques statiques et de recherche conventionnelles (ex: TAP, PAIR), qui atteignent souvent un ASR proche de zéro sur les modèles puissants.
- PIMiner atteint des performances comparables aux méthodes de pointe basées sur le RL (comme PISmith et RL-Hammer) mais sans nécessiter d'entraînement spécifique à la cible. Par exemple, sur InjecAgent, PIMiner a égalé l'ASR de 1.0 de RL-Hammer et PISmith.
- Contrairement aux méthodes de RL, les stratégies de PIMiner se transfèrent directement vers des cibles inédites (ex: appliquer les connaissances de GPT-5-nano à GPT-5.1) sans réentraînement.
Études d'Ablation : La suppression de la bibliothèque de stratégies à long terme ou de la mémoire intra-jeu de données dégrade significativement les performances, confirmant la nature complémentaire de ces composants de mémoire. Le Routeur de Stratégies a permis de réduire la longueur des tokens d'entrée de 43 à 61 % tout en maintenant ou en améliorant l'ASR.
Transfert Inter-Modèles : La bibliothèque de stratégies apprise par PIMiner (utilisant des modèles Claude) a considérablement amélioré les performances de l'algorithme PAIR lorsqu'il est utilisé avec divers modèles d'attaquants (Gemini, GPT, DeepSeek), démontrant que les connaissances capturées sont indépendantes du modèle.

Signification et Revendications

L'article affirme que PIMiner représente un changement de méthodologie dans le red-teaming en démontrant que les agents basés sur la recherche peuvent atteindre une efficacité de niveau RL grâce à l'accumulation de connaissances.

Interprétabilité : La Bibliothèque de Stratégies résultante se compose de fichiers Markdown lisibles par l'humain, offrant des perspectives sur les mécanismes d'attaque (ex: « Fabricated Procedure Gate », « Forged Chat Turn ») utiles pour l'audit des systèmes agentiques.
Scalabilité : En évitant les budgets de calcul massifs requis pour l'entraînement par RL, PIMiner rend le red-teaming des modèles de pointe coûteux réalisable.
Génération de Défense : Les attaques réussies et les stratégies structurées fournissent des données de haute qualité pour entraîner les garde-fous et améliorer l'alignement des LLM de base.

Les auteurs soulignent que leur travail se concentre sur l'évaluation de la robustesse intrinsèque des LLM alignés en interne plutôt que sur les mécanismes de défense externes, fournissant un benchmark rigoureux pour la sécurité des agents autonomes.