BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks

1. Probleemstelling

Systemen met meerdere agenten op basis van Large Language Models (LLM's) worden steeds kwetsbaarder voor propagatiekwetsbaarheden, waarbij een paar kwaadaardige agenten de collectieve besluitvorming kunnen verstoren via interacties tussen agenten. Veelvoorkomende aanvalsvectoren zijn:

• Prompt Injectie (PI): Manipulatie van systeemprompts of gebruikersinvoer.
• Memory Poisoning (MA): Corruptie van historische interactiegegevens of kennisbanken.
• Tool Exploitatie (TA): Misbruik maken van kwetsbaarheden in externe plugins.

Beperkingen van Bestaande Oplossingen:
Huidige verdedigingsmechanismen, zoals G-Safeguard, vertrouwen op supervised Graph Anomaly Detection (GAD). Deze methoden vereisen gelabelde data van kwaadaardige agenten om detectiemodellen te trainen. Dit creëert twee kritieke knelpunten:

1. Data Schaarste: Realistische adversarial attacks zijn schaars en gecamoufleerd, wat het moeilijk maakt om goed geannoteerde kwaadaardige samples te verkrijgen.
2. Gebrek aan Generaliseerbaarheid: Supervised modellen die zijn getraind op specifieke aanvalstypen, falen vaak bij het detecteren van nieuwe, ongekende of evoluerende aanvalspatronen.

De kernvraag van het onderzoek is: Kunnen we een verdedigingskader voor MAS ontwerpen dat werkt zonder gelabelde aanvalsdata of voorkennis van aanvalspatronen?

2. Methodologie: BlindGuard

BlindGuard is een unsupervised verdedigingskader dat is ontworpen om kwaadaardige agenten te detecteren en te mitigeren met uitsluitend normale interactiedata. Het bestaat uit drie kerncomponenten:

A. Hiërarchische Agent Encoder

Om de kloof in "multi-level contextbewustzijn" aan te pakken, bouwt BlindGuard uitgebreide agentrepresentaties door informatie te fuseren uit drie distincte niveaus:

1. Agent Niveau (Ego): Vangt individuele semantische kenmerken op die zijn afgeleid van de tekstuele respons van de agent (gecodeerd via SentenceBERT).
2. Buurniveau: Aggregeert contextuele informatie van direct verbonden agenten om lokale interacties te modelleren.
3. Systeem Niveau: Integreert globale informatie over het gehele MAS-graf om langetermijnafhankelijkheden en collectieve gedragspatronen te vangen.

De encoder gebruikt een "samenvatting-transformatie"-architectuur om deze kenmerken ($h^s_i, h^n_i, h^g_i$) te combineren tot een uniforme representatie $z_i$, waardoor het model zowel geïsoleerde aanvallers (via afwijking in de buurt) als gecoördineerde aanvalsgroepen (via afwijking in globaal gedrag) kan detecteren.

B. Corruption-Guided Attack Detector

Omdat er geen gelabelde kwaadaardige data bestaat voor training, hanteert BlindGuard een corruptie-gebaseerde strategie om aanvallen te simuleren:

1. Semantische Corruptie: In plaats van ruwe tekst te manipuleren (wat complex is), injecteert het model directionele ruis in de embeddingruimte van normale agentkenmerken. Dit simuleert de semantische afwijking die wordt veroorzaakt door adversarial attacks.
   • Formule: $\tilde{x}_i = x_i + \alpha \|x_i\|_2 \cdot \frac{\epsilon_i}{\|\epsilon_i\|_2}$, waarbij $\epsilon_i$ willekeurige ruis is en $\alpha$ de intensiteit regelt.
2. Supervised Contrastive Learning: Het model wordt getraind met deze synthetische "gecorrumpeerde" agenten als negatieve samples en normale agenten als positieve samples. Het doel is om de gelijkenis tussen normale agenten te maximaliseren en de gelijkenis tussen normale en gecorrumpeerde agenten te minimaliseren. Dit creëert een robuuste beslissingsgrens in de embeddingruimte zonder dat echte aanvalsetiketten nodig zijn.

C. Pruning-Based Remediation

Tijdens inferentie berekent het systeem een anomaliescore voor elke agent op basis van zijn contextuele gelijkenis met de globale representatie.

• Detectie: Agenten met hoge anomaliescores (lage gelijkenis met de normale cluster) worden gemarkeerd.
• Remediatie: Het systeem voert bidirectionele edge pruning uit, waarbij alle communicatielinks naar en van gedetecteerde kwaadaardige agenten worden verbroken. Dit isoleert de bedreiging en voorkomt adversarial propagatie, terwijl legitieme interacties tussen normale agenten behouden blijven.

3. Belangrijkste Bijdragen

1. Scenario Innovatie: Stelt een praktisch verdedigingsparadigma voor MAS voor dat werkt zonder gelabelde aanvalsdata of voorkennis van specifieke aanvalspatronen, waarmee een kritieke kloof in real-world implementaties wordt gedicht.
2. Methodologische Vooruitgang: Introduceert BlindGuard, de eerste unsupervised GAD-methode die specifiek is toegesneden op LLM-gebaseerde MAS. Het combineert uniek hiërarchische encoding (lokale + globale context) met corruptie-geleide contrastive learning om semantische anomalieën aan te pakken die traditionele structurele GAD-methoden missen.
3. Uitgebreide Evaluatie: Valideert de methode uitgebreid over 4 verschillende MAS-topologieën (Chain, Tree, Star, Random), 3 aanvalstypen (PI, MA, TA) en meerdere LLM-backbones (GPT-4o-mini, DeepSeek-V3, Qwen3).

4. Experimentele Resultaten

BlindGuard is geëvalueerd tegen state-of-the-art baselines, waaronder supervised methoden (G-Safeguard) en unsupervised GAD-methoden (DOMINANT, PREM, TAM).

• Prestaties vs. Unsupervised Baselines: BlindGuard presteert aanzienlijk beter dan andere unsupervised methoden, met AUC-scores > 80% in de meeste scenario's. Het verlaagt consistent de Attack Success Rate (ASR) met een grote marge vergeleken met "Geen Verdediging" en andere unsupervised benaderingen.
• Prestaties vs. Supervised Upper Bound: Ondanks het ontbreken van gelabelde trainingsdata, bereikt BlindGuard prestaties die vergelijkbaar zijn met de supervised G-Safeguard (die toegang heeft tot ground-truth aanvalsetiketten).
• Generalisatie:
  • Ongeziene Aanvallen: BlindGuard toont superieure generalisatie tegen ongeziene aanvalstypen (bijvoorbeeld getraind op Prompt Injectie, getest op Memory Poisoning), terwijl supervised modellen aanzienlijke prestatiedalingen lijden.
  • Topologie- en LLM-onafhankelijk: De methode behoudt robuuste prestaties over verschillende communicatietopologieën en diverse LLM-backbones, wat aangeeft dat het universele adversarial patronen leert in plaats van over te fitten op specifieke structuren of modellen.
• Schaalbaarheid: De methode schaalt effectief naar grotere MAS (tot 50 agenten) zonder prestatiedegrade.

5. Betekenis en Impact

• Praktijktoepasbaarheid: Door de afhankelijkheid van gelabelde kwaadaardige data te verwijderen, maakt BlindGuard robuuste beveiliging haalbaar voor real-world MAS-implementaties waar aanvalsdata niet beschikbaar of geclassificeerd is.
• Aanvalsonafhankelijkheid: Het vermogen om "onbekende" aanvallen te detecteren maakt het een kritieke tool voor verdediging tegen opkomende bedreigingen in dynamische omgevingen.
• Theoretische Bijdrage: Het paper benadrukt de noodzaak van globale systeemcontext in MAS-beveiliging. Het toont aan dat vertrouwen uitsluitend op lokale buurkenmerken onvoldoende is voor het detecteren van gecoördineerde of subtiele semantische aanvallen, en stelt een nieuwe standaard voor grafgebaseerde anomaliedetectie in taalkundige systemen.

Concluderend vertegenwoordigt BlindGuard een belangrijke stap voorwaarts in het beveiligen van LLM-gebaseerde multi-agent systemen, en biedt een schaalbare, generaliseerbare en praktische oplossing voor de groeiende bedreiging van adversarial propagatie.