Conjunctive Prompt Attacks in Multi-Agent LLM Systems

1. Problématique : Une vulnérabilité structurelle des systèmes multi-agents

La majorité des recherches actuelles sur la sécurité des Grands Modèles de Langage (LLM) se concentre sur des agents individuels (single-agent). Cependant, les applications réelles reposent de plus en plus sur des systèmes multi-agents où plusieurs agents spécialisés collaborent via la décomposition de tâches, la communication et l'utilisation d'outils.

Les auteurs identifient une nouvelle surface d'attaque négligée : les attaques par prompt conjonctif.

• Le concept : Une attaque réussie nécessite la réunion de deux éléments distincts qui semblent bénins lorsqu'ils sont examinés isolément :
  1. Une clé de déclenchement (trigger key) insérée dans la requête utilisateur.
  2. Un modèle adversaire caché (hidden template) injecté dans un agent distant compromis (fourni par un tiers ou hébergé externalement).
• Le mécanisme : Individuellement, ni la clé ni le modèle ne déclenchent de comportement nuisible. L'attaque ne se produit que si le mécanisme de routage du système achemine spécifiquement le segment contenant la clé vers l'agent compromis, où les deux éléments interagissent pour activer un comportement malveillant (ex: accès à des outils privilégiés).
• Le défi : Les défenses existantes (comme PromptGuard ou Llama-Guard) échouent car elles inspectent les messages de manière isolée. Aucun composant ne semble malveillant en soi ; la menace émerge uniquement de la composition inter-agents.

2. Modèle de Menace et Hypothèses

Les auteurs formalisent un modèle de menace réaliste en boîte noire :

• Capacités de l'attaquant :
  • Contrôle total de l'entrée utilisateur et de l'emplacement de la clé de déclenchement.
  • Contrôle d'un seul agent distant compromis (contenant un modèle injecté).
  • Contraintes : L'attaquant ne modifie ni les poids du modèle, ni l'agent client (orchestrateur), ni la logique de routage interne.
• Environnement : Le système est composé d'un agent client qui segmente la requête utilisateur et la route stochastiquement vers des agents distants (topologies en étoile, chaîne ou DAG).
• Condition d'activation : L'attaque réussit si et seulement si le segment contenant la clé est routé vers l'agent compromis.

3. Méthodologie : Optimisation consciente du routage

Pour exploiter cette vulnérabilité sans modifier les modèles sous-jacents, les auteurs proposent un cadre d'attaque basé sur l'optimisation au niveau du prompt.

A. Objectif d'optimisation

L'objectif est de maximiser le taux de réussite de l'attaque (ASR) dans le régime « conjonctif » (clé + modèle) tout en minimisant les activations fausses (dans les régimes « clé seule » ou « modèle seul »).

B. Variables d'optimisation

L'attaquant optimise trois paramètres discrets :

1. Placement de la clé ($j$) : Dans quel segment de la requête segmentée placer la clé de déclenchement.
2. Placement du modèle ($\tau$) : Où insérer le modèle injecté dans l'agent compromis (préfixe, enveloppe, suffixe).
3. Biais de routage ($\rho$) : Un paramètre qui influence la probabilité qu'un segment sensible (contenant la clé) soit routé vers l'agent compromis.

C. Approche par modèle de substitution (Counterpart Model)

Comme l'optimisation directe est impossible (modèles en boîte noire, décisions discrètes, routage stochastique), les auteurs introduisent un objectif différentiable :

• Ils construisent un modèle de substitution qui approxime la probabilité de succès comme le produit de deux facteurs : la probabilité de routage vers l'agent compromis et l'efficacité du modèle injecté.
• Ils utilisent la relaxation Gumbel-Softmax pour optimiser ces variables discrètes par descente de gradient.
• Une fois l'optimisation convergée, les distributions sont converties en une configuration d'attaque concrète (placement exact de la clé et du modèle).

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs architectures de modèles (Gemma-2B, Mistral-7B, LLaMA3-8B) et différentes topologies de communication.

A. Efficacité de l'attaque

• Augmentation drastique du succès : Sans optimisation, le taux de réussite est faible et sporadique. Après optimisation, le taux de réussite (ASR) atteint 100% (1.0) sur les topologies Star, Chain et DAG pour tous les modèles testés.
• Spécificité conjonctive : L'optimisation n'augmente pas les taux de réussite dans les régimes « clé seule » ou « modèle seul », confirmant que les composants restent bénins isolément.
• Transférabilité : L'attaque fonctionne également sur des modèles plus grands (Llama-4-Scout-17B) et des modèles propriétaires fermés (GPT-5-mini), suggérant que la vulnérabilité est structurelle et non liée à un modèle spécifique.

B. Échec des défenses existantes

• Les modèles de sécurité (PromptGuard, Llama-Guard) voient leur performance de détection chuter drastiquement face aux attaques optimisées.
• Raison : Ces défenses analysent les prompts de manière isolée. Comme ni la requête utilisateur ni le modèle de l'agent compromis ne contiennent de signal malveillant évident seul, les détecteurs les classent comme bénins.
• Les contrôles système (restrictions d'outils, principe du moindre privilège) atténuent légèrement l'attaque mais ne l'éliminent pas totalement.

C. Sensibilité à la topologie

Les résultats montrent que la topologie du système (étoile, chaîne, DAG) influence la probabilité de succès. L'optimisation consciente du routage permet de compenser les incertitudes de routage inhérentes aux topologies complexes (comme les DAG), rendant l'attaque robuste quelle que soit la structure de communication.

5. Contributions Clés

1. Formalisation d'une nouvelle menace : Définition du modèle de menace « conjonctif » où la compromission résulte de l'interaction entre un déclencheur utilisateur et un modèle d'agent compromis, sans modification des poids du modèle.
2. Cadre d'attaque optimisé : Développement d'une méthode d'optimisation au niveau du prompt qui exploite le routage stochastique et la composition des agents sans toucher au code source ou aux modèles.
3. Évaluation topologique : Démonstration que les évaluations de sécurité actuelles, souvent limitées à un seul agent ou une topologie simple, manquent des vulnérabilités critiques qui n'apparaissent que dans des pipelines multi-agents complexes.

6. Signification et Implications

Cet article met en lumière une vulnérabilité systémique dans les pipelines d'agents LLM. Il démontre que la sécurité des systèmes multi-agents ne peut pas être garantie par la simple somme des sécurités des agents individuels.

• Blind-spot des défenses actuelles : Les garde-fous traditionnels sont inefficaces car ils ne raisonnent pas sur la provenance des messages, le routage ou la composition des prompts à travers plusieurs agents.
• Nécessité de nouvelles défenses : Les auteurs appellent à des mécanismes de défense qui prennent en compte la dynamique de routage et la composition inter-agents (ex: suivi de la provenance, surveillance des traces de routage, modèles de garde conditionnés à la structure de communication).
• Impact sur l'industrie : À mesure que les systèmes d'IA deviennent plus décentralisés et collaboratifs, les mécanismes de sécurité doivent évoluer pour détecter les menaces qui émergent uniquement de l'interaction entre les composants, et non de leur contenu isolé.

En résumé, cette recherche révèle que la complexité des architectures multi-agents crée de nouvelles portes d'entrée pour les attaques, rendant les évaluations de sécurité traditionnelles obsolètes et nécessitant une refonte des stratégies de protection pour les systèmes d'agents autonomes.