Bypassing AI Control Protocols via Agent-as-a-Proxy Attacks

1. Problématique : La vulnérabilité des défenses de surveillance

L'article aborde la sécurité croissante des agents autonomes basés sur les grands modèles de langage (LLM). Alors que ces agents exécutent des flux de travail complexes (transactions financières, interactions API), ils sont exposés aux injections de prompts indirectes (IPI), où des instructions malveillantes sont intégrées dans des données externes (emails, sites web, RAG).

Pour contrer cela, la communauté de sécurité a développé des mécanismes de surveillance hybrides (monitoring-based defenses). Ces systèmes, comme AlignmentCheck ou LlamaFirewall, ne se contentent pas de filtrer les entrées/sorties ; ils analysent conjointement :

1. La Chaîne de Pensée (CoT) de l'agent.
2. Ses appels d'outils et les résultats de ces outils.

L'hypothèse centrale remise en cause : Les auteurs démontrent que cette surveillance conjointe, censée renforcer la sécurité, crée paradoxalement une nouvelle surface d'attaque. En forçant le modèle de surveillance à traiter les appels d'outils et le raisonnement de l'agent, les défenseurs offrent involontairement aux attaquants un canal direct pour manipuler le modèle de surveillance lui-même.

2. Méthodologie : L'attaque « Agent-as-a-Proxy » et Parallel-GCG

Les auteurs proposent une nouvelle approche d'attaque et un algorithme d'optimisation pour la réaliser.

A. Le concept : Agent-as-a-Proxy

Contrairement aux attaques classiques qui tentent de tromper l'agent pour qu'il agisse mal, cette méthode utilise l'agent comme un vecteur de livraison (un proxy) pour transmettre des chaînes d'attaque optimisées au système de surveillance.

• Mécanisme : L'attaquant force l'agent à répéter une chaîne d'adversaire optimisée (adversarial string) à plusieurs endroits critiques de son exécution (dans sa CoT, dans les arguments des outils, dans les logs).
• Objectif : En répétant ces chaînes, l'agent « contamine » le contexte d'entrée du modèle de surveillance, le forçant à classer une trajectoire malveillante comme sûre.

B. L'algorithme : Parallel-GCG

Pour générer ces chaînes d'attaque, les auteurs développent Parallel-GCG, une extension de l'algorithme Greedy Coordinate Gradient (GCG).

• Défi : Un GCG standard optimise une chaîne pour un seul point d'injection. Dans un contexte d'agent, la chaîne est répétée à $K$ endroits différents (différents contextes temporels et sémantiques). Une chaîne optimisée pour un seul endroit peut échouer lorsqu'elle est réinjectée ailleurs.
• Solution : Parallel-GCG optimise simultanément une seule chaîne d'adversaire $a$ pour qu'elle reste efficace à travers $K$ sites d'injection distincts.
• Fonctionnement mathématique : L'algorithme calcule le gradient de la perte (loss) par rapport aux tokens adverses en sommant les gradients obtenus à chaque occurrence de la chaîne dans la trace simulée de l'agent :
  $$\nabla E L(S(a); y) = \sum_{k=1}^{K} \frac{\partial L}{\partial E^{(k)}}$$
  Cela garantit que la chaîne est « furtive » (stealthy) pour le moniteur, qu'il l'observe pendant le raisonnement interne ou lors des interactions externes.

C. Contournement des défenses multi-couches

Pour contourner des systèmes comme LlamaFirewall (qui combine un classifieur PromptGuard et un moniteur AlignmentCheck), les auteurs utilisent une GCG multi-objectifs. L'optimisation vise simultanément à :

1. Faire en sorte que PromptGuard classe l'entrée comme sûre.
2. Faire en sorte que AlignmentCheck conclue que l'agent est aligné (safe).

3. Contributions Clés

1. Cadre d'attaque Agent-as-a-Proxy : Une méthode exploitant l'agent pour livrer des attaques au système de surveillance, contournant ainsi à la fois l'agent et le moniteur.
2. Algorithme Parallel-GCG : Une nouvelle méthode d'optimisation garantissant la robustesse des chaînes d'attaque lorsqu'elles sont répétées dans les traces de raisonnement et les appels d'outils.
3. Vulnérabilité des surveillances hybrides : Preuve que la surveillance conjointe (CoT + Actions), bien que plus robuste contre les attaques statiques, est plus vulnérable aux attaques adaptatives que la surveillance CoT seule.
4. Réfutation de l'hypothèse de « surveillance scalable » : Démonstration qu'un agent de capacités similaires (voire inférieures) au modèle de surveillance peut réussir à le tromper. La simple augmentation de la taille du modèle de surveillance ne garantit pas la sécurité.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark AgentDojo (suite Slack et Banking) contre plusieurs modèles de surveillance open-source (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B).

• Taux de réussite élevés (ASR) :
  • Contre AlignmentCheck seul : Les taux de réussite varient de 42,3 % à 93,3 % selon le modèle de surveillance utilisé.
  • Contre PromptGuard 2 + AlignmentCheck : Les taux atteignent jusqu'à 99,0 % (avec Mistral-7B).
  • Contre Extract-and-Evaluate : Jusqu'à 95,5 % de réussite.
• Comparaison Statique vs Adaptative : Les attaques statiques (baseline) ont un taux de réussite proche de 0 %, prouvant que les défenses fonctionnent contre les injections simples, mais échouent totalement face aux attaques adaptatives optimisées.
• Paradoxe de la surveillance hybride : Alors que la surveillance hybride bloque mieux les attaques statiques que la surveillance CoT seule, elle subit des taux de réussite plus élevés (jusqu'à 98,9 %) contre les attaques adaptatives proposées, car elle expose plus de surface d'attaque (les appels d'outils).
• Indépendance de l'échelle (Capability Gap) :
  • Les auteurs ont utilisé des agents comme GPT-4o mini et Llama-3.1-70B pour attaquer un moniteur Qwen2.5-72B.
  • Résultats : Taux de réussite de 46,0 % (GPT-4o mini) et 60,2 % (Llama-3.1-70B).
  • Conclusion : Un agent n'a pas besoin d'être plus puissant que le moniteur pour le tromper ; il suffit qu'il soit capable de répéter fidèlement la chaîne d'attaque.

5. Signification et Implications

Ce travail remet en question les fondements actuels de la sécurité des agents IA :

1. Fragilité structurelle : Les défenses basées sur la surveillance (monitoring) sont fondamentalement fragiles, non pas à cause d'un manque de capacité des modèles, mais à cause de l'architecture même qui permet à l'agent d'injecter des informations dans le contexte du moniteur.
2. Échec de la « surveillance scalable » : L'idée qu'un modèle plus grand peut surveiller un agent plus petit est invalidée dans ce contexte. Des modèles de taille comparable peuvent se tromper mutuellement via des attaques adaptatives.
3. Nécessité d'un changement de paradigme : La sécurité ne peut plus reposer uniquement sur l'observation runtime ou le scaling des modèles. L'article plaide pour le développement d'architectures avec des garanties de sécurité structurelles (robustesse par conception) plutôt que par simple observation.

En résumé, l'article démontre que les mécanismes de défense les plus avancés actuellement déployés pour les agents autonomes peuvent être contournés de manière systématique en utilisant l'agent lui-même comme cheval de Troie pour manipuler le système de surveillance.