BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks

1. Énoncé du problème

Les systèmes multi-agents (MAS) basés sur les grands modèles de langage (LLM) sont de plus en plus vulnérables aux vulnérabilités de propagation, où quelques agents malveillants peuvent fausser la prise de décision collective par le biais d'interactions inter-agents. Les vecteurs d'attaque courants incluent :

• Injection de prompt (PI) : Manipulation des prompts système ou des entrées utilisateur.
• Empoisonnement de mémoire (MA) : Corruption des données d'interaction historiques ou des bases de connaissances.
• Exploitation d'outils (TA) : Exploitation des vulnérabilités des plugins externes.

Limites des solutions existantes :
Les mécanismes de défense actuels, tels que G-Safeguard, reposent sur la détection d'anomalies de graphes supervisée (GAD). Ces méthodes nécessitent des données étiquetées d'agents malveillants pour entraîner les modèles de détection. Cela crée deux goulots d'étranglement critiques :

1. Pénurie de données : Les attaques adverses réelles sont rares et camouflées, rendant difficile l'obtention d'échantillons malveillants bien annotés.
2. Manque de généralisabilité : Les modèles supervisés entraînés sur des types d'attaques spécifiques échouent souvent à détecter des motifs d'attaque nouveaux, inédits ou évolutifs.

La question de recherche centrale est : Pouvons-nous concevoir un cadre de défense pour les MAS qui fonctionne sans données d'attaque étiquetées ni connaissance préalable des motifs d'attaque ?

2. Méthodologie : BlindGuard

BlindGuard est un cadre de défense non supervisé conçu pour détecter et atténuer les agents malveillants en utilisant uniquement des données d'interaction normales. Il se compose de trois composants principaux :

A. Encodeur hiérarchique d'agents

Pour combler le manque de "conscience contextuelle multi-niveaux", BlindGuard construit des représentations d'agents complètes en fusionnant des informations provenant de trois niveaux distincts :

1. Niveau Agent (Ego) : Capture les caractéristiques sémantiques individuelles dérivées de la réponse textuelle de l'agent (encodées via SentenceBERT).
2. Niveau Voisin : Agrège les informations contextuelles des agents directement connectés pour modéliser les interactions locales.
3. Niveau Système : Intègre les informations globales à travers l'ensemble du graphe MAS pour capturer les dépendances à longue distance et les motifs de comportement collectif.

L'encodeur utilise une architecture de "résumé-transformation" pour combiner ces caractéristiques ($h^s_i, h^n_i, h^g_i$) en une représentation unifiée $z_i$, permettant au modèle de détecter à la fois les attaquants isolés (via la divergence du voisinage) et les groupes d'attaque coordonnés (via la divergence comportementale globale).

B. Détecteur d'attaques guidé par la corruption

Puisqu'aucune donnée malveillante étiquetée n'existe pour l'entraînement, BlindGuard emploie une stratégie basée sur la corruption pour simuler des attaques :

1. Corruption sémantique : Au lieu de manipuler le texte brut (ce qui est complexe), le modèle injecte un bruit directionnel dans l'espace d'incorporation des caractéristiques d'agents normaux. Cela simule la déviation sémantique causée par les attaques adverses.
   • Formule : $\tilde{x}_i = x_i + \alpha \|x_i\|_2 \cdot \frac{\epsilon_i}{\|\epsilon_i\|_2}$, où $\epsilon_i$ est un bruit aléatoire et $\alpha$ contrôle l'intensité.
2. Apprentissage contrastif supervisé : Le modèle est entraîné en utilisant ces agents "corrompus" synthétiques comme échantillons négatifs et les agents normaux comme échantillons positifs. L'objectif est de maximiser la similarité entre les agents normaux tout en minimisant la similarité entre les agents normaux et corrompus. Cela crée une frontière de décision robuste dans l'espace d'incorporation sans avoir besoin d'étiquettes d'attaque réelles.

C. Remédiation basée sur l'élagage

Lors de l'inférence, le système calcule un score d'anomalie pour chaque agent basé sur sa similarité contextuelle avec la représentation globale.

• Détection : Les agents avec des scores d'anomalie élevés (faible similarité avec le cluster normal) sont signalés.
• Remédiation : Le système effectue un élagage bidirectionnel des arêtes, coupant tous les liens de communication vers et depuis les agents malveillants détectés. Cela isole la menace et empêche la propagation adverse tout en préservant les interactions légitimes entre les agents normaux.

3. Contributions clés

1. Innovation de scénario : Propose un paradigme de défense pratique pour les MAS qui fonctionne sans données d'attaque étiquetées ni connaissance préalable de motifs d'attaque spécifiques, comblant une lacune critique dans le déploiement réel.
2. Avancement méthodologique : Introduit BlindGuard, la première méthode GAD non supervisée spécifiquement adaptée aux MAS basés sur les LLM. Elle combine de manière unique un encodage hiérarchique (contexte local + global) avec un apprentissage contrastif guidé par la corruption pour gérer les anomalies sémantiques que les méthodes GAD structurelles traditionnelles manquent.
3. Évaluation complète : Valide extensivement la méthode sur 4 topologies MAS différentes (Chaîne, Arbre, Étoile, Aléatoire), 3 types d'attaques (PI, MA, TA) et plusieurs architectures de LLM (GPT-4o-mini, DeepSeek-V3, Qwen3).

4. Résultats expérimentaux

BlindGuard a été évalué par rapport à des bases de référence de l'état de l'art, incluant des méthodes supervisées (G-Safeguard) et des méthodes GAD non supervisées (DOMINANT, PREM, TAM).

• Performance vs bases de référence non supervisées : BlindGuard surpasse nettement les autres méthodes non supervisées, atteignant des scores AUC > 80 % dans la plupart des scénarios. Il réduit systématiquement le taux de réussite de l'attaque (ASR) de manière significative par rapport à "Aucune défense" et aux autres approches non supervisées.
• Performance vs borne supérieure supervisée : Malgré l'absence de données d'entraînement étiquetées, BlindGuard atteint des performances comparables au G-Safeguard supervisé (qui a accès aux étiquettes d'attaque de vérité terrain).
• Généralisation :
  • Attaques invisibles : BlindGuard démontre une généralisation supérieure contre des types d'attaques non vus (par exemple, entraîné sur l'injection de prompt, testé sur l'empoisonnement de mémoire), tandis que les modèles supervisés subissent des baisses de performance importantes.
  • Agnosticisme de topologie et de LLM : La méthode maintient des performances robustes à travers différentes topologies de communication et diverses architectures de LLM, indiquant qu'elle apprend des motifs adverses universels plutôt que de surajuster à des structures ou modèles spécifiques.
• Évolutivité : La méthode s'adapte efficacement à des MAS plus grands (jusqu'à 50 agents) sans dégradation des performances.

5. Signification et impact

• Praticité : En éliminant la dépendance aux données malveillantes étiquetées, BlindGuard rend la sécurité robuste réalisable pour les déploiements réels de MAS où les données d'attaque sont indisponibles ou classifiées.
• Agnosticisme des attaques : La capacité à détecter des attaques "inconnues" en fait un outil critique pour se défendre contre les menaces émergentes dans des environnements dynamiques.
• Contribution théorique : Le papier souligne la nécessité d'un contexte système global dans la sécurité des MAS. Il démontre que compter uniquement sur les caractéristiques du voisinage local est insuffisant pour détecter des attaques sémantiques coordonnées ou subtiles, établissant une nouvelle norme pour la détection d'anomalies basée sur les graphes dans les systèmes centrés sur le langage.

En conclusion, BlindGuard représente une avancée significative dans la sécurisation des systèmes multi-agents basés sur les LLM, offrant une solution évolutive, généralisable et pratique face à la menace croissante de la propagation adverse.