BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks

1. Enunciato del Problema

I Sistemi Multi-Agente (MAS) basati su Large Language Model (LLM) sono sempre più vulnerabili a vulnerabilità di propagazione, dove pochi agenti malevoli possono distorcere il processo decisionale collettivo attraverso interazioni inter-agenti. I vettori di attacco comuni includono:

• Iniezione di Prompt (PI): Manipolazione dei prompt di sistema o degli input utente.
• Avvelenamento della Memoria (MA): Corruzione dei dati storici di interazione o delle basi di conoscenza.
• Sfruttamento degli Strumenti (TA): Sfruttamento delle vulnerabilità nei plugin esterni.

Limitazioni delle Soluzioni Esistenti:
I meccanismi di difesa attuali, come G-Safeguard, si basano sul Rilevamento di Anomalie su Grafo Supervisionato (GAD). Questi metodi richiedono dati etichettati di agenti malevoli per addestrare i modelli di rilevamento. Ciò crea due colli di bottiglia critici:

1. Scarsità di Dati: Gli attacchi avversari nel mondo reale sono scarsi e camuffati, rendendo difficile ottenere campioni malevoli ben annotati.
2. Mancanza di Generalizzabilità: I modelli supervisionati addestrati su tipi di attacco specifici spesso falliscono nel rilevare pattern di attacco nuovi, non visti o in evoluzione.

La domanda di ricerca fondamentale è: Possiamo progettare un framework di difesa per MAS che operi senza dati di attacco etichettati o conoscenze preliminari dei pattern di attacco?

2. Metodologia: BlindGuard

BlindGuard è un framework di difesa non supervisionato progettato per rilevare e mitigare agenti malevoli utilizzando esclusivamente dati di interazione normali. È composto da tre componenti fondamentali:

A. Encoder Gerarchico degli Agenti

Per colmare il divario nella "consapevolezza contestuale multi-livello", BlindGuard costruisce rappresentazioni complete degli agenti fondendo informazioni da tre livelli distinti:

1. Livello Agente (Ego): Cattura le caratteristiche semantiche individuali derivate dalla risposta testuale dell'agente (codificate tramite SentenceBERT).
2. Livello Vicinato: Aggrega informazioni contestuali dagli agenti direttamente connessi per modellare le interazioni locali.
3. Livello Sistema: Integra informazioni globali attraverso l'intero grafo MAS per catturare dipendenze a lungo raggio e pattern di comportamento collettivo.

L'encoder utilizza un'architettura "sintesi-trasformazione" per combinare queste caratteristiche ($h^s_i, h^n_i, h^g_i$) in una rappresentazione unificata $z_i$, permettendo al modello di rilevare sia attaccanti isolati (tramite divergenza del vicinato) sia gruppi di attacco coordinati (tramite divergenza comportamentale globale).

B. Rilevatore di Attacchi Guidato dalla Corruzione

Poiché non esistono dati malevoli etichettati per l'addestramento, BlindGuard impiega una strategia basata sulla corruzione per simulare gli attacchi:

1. Corruzione Semantica: Invece di manipolare il testo grezzo (che è complesso), il modello inietta rumore direzionale nello spazio di embedding delle caratteristiche degli agenti normali. Questo simula la deviazione semantica causata dagli attacchi avversari.
   • Formula: $\tilde{x}_i = x_i + \alpha \|x_i\|_2 \cdot \frac{\epsilon_i}{\|\epsilon_i\|_2}$, dove $\epsilon_i$ è rumore casuale e $\alpha$ controlla l'intensità.
2. Apprendimento Contrastivo Supervisionato: Il modello viene addestrato utilizzando questi agenti "corrotti" sintetici come campioni negativi e gli agenti normali come campioni positivi. L'obiettivo è massimizzare la similarità tra gli agenti normali minimizzando al contempo la similarità tra agenti normali e corrotti. Ciò crea un confine decisionale robusto nello spazio di embedding senza la necessità di etichette di attacco reali.

C. Rimedio Basato sulla Potatura

Durante l'inferenza, il sistema calcola un punteggio di anomalia per ogni agente basato sulla sua similarità contestuale con la rappresentazione globale.

• Rilevamento: Gli agenti con punteggi di anomalia elevati (bassa similarità con il cluster normale) vengono segnalati.
• Rimedio: Il sistema esegue una potatura bidirezionale degli archi, recidendo tutti i collegamenti di comunicazione da e verso gli agenti malevoli rilevati. Questo isola la minaccia e previene la propagazione avversaria preservando al contempo le interazioni legittime tra agenti normali.

3. Contributi Chiave

1. Innovazione di Scenario: Propone un paradigma di difesa pratico per MAS che funziona senza dati di attacco etichettati o conoscenze preliminari di specifici pattern di attacco, affrontando una lacuna critica nel deployment nel mondo reale.
2. Avanzamento Metodologico: Introduce BlindGuard, il primo metodo GAD non supervisionato specificamente adattato per MAS basati su LLM. Combina in modo unico la codifica gerarchica (contesto locale + globale) con l'apprendimento contrastivo guidato dalla corruzione per gestire anomalie semantiche che i metodi GAD strutturali tradizionali trascurano.
3. Valutazione Completa: Convalida estensivamente il metodo su 4 diverse topologie MAS (Catena, Albero, Stella, Random), 3 tipi di attacco (PI, MA, TA) e molteplici backbones LLM (GPT-4o-mini, DeepSeek-V3, Qwen3).

4. Risultati Sperimentali

BlindGuard è stato valutato rispetto a baseline all'avanguardia, inclusi metodi supervisionati (G-Safeguard) e metodi GAD non supervisionati (DOMINANT, PREM, TAM).

• Prestazioni rispetto alle Baseline Non Supervisionate: BlindGuard supera significativamente gli altri metodi non supervisionati, raggiungendo punteggi AUC > 80% nella maggior parte degli scenari. Riduce costantemente il Tasso di Successo dell'Attacco (ASR) con un ampio margine rispetto a "Nessuna Difesa" e ad altri approcci non supervisionati.
• Prestazioni rispetto al Limite Superiore Supervisionato: Nonostante la mancanza di dati di addestramento etichettati, BlindGuard raggiunge prestazioni paragonabili al G-Safeguard supervisionato (che ha accesso alle etichette di attacco ground-truth).
• Generalizzazione:
  • Attacchi Non Visti: BlindGuard dimostra una superiorità nella generalizzazione contro tipi di attacco non visti (ad esempio, addestrato su Iniezione di Prompt, testato su Avvelenamento della Memoria), mentre i modelli supervisionati subiscono cali significativi delle prestazioni.
  • Agnosticismo Topologico e LLM: Il metodo mantiene prestazioni robuste attraverso diverse topologie di comunicazione e vari backbones LLM, indicando che apprende pattern avversari universali piuttosto che adattarsi eccessivamente a strutture o modelli specifici.
• Scalabilità: Il metodo scala efficacemente a MAS più grandi (fino a 50 agenti) senza degradazione delle prestazioni.

5. Significato e Impatto

• Praticità: Rimuovendo la dipendenza da dati malevoli etichettati, BlindGuard rende la sicurezza robusta fattibile per i deployment reali di MAS dove i dati di attacco sono non disponibili o classificati.
• Agnosticismo verso gli Attacchi: La capacità di rilevare attacchi "sconosciuti" lo rende uno strumento critico per la difesa contro minacce emergenti in ambienti dinamici.
• Contributo Teorico: Il paper evidenzia la necessità di un contesto di sistema globale nella sicurezza dei MAS. Dimostra che affidarsi esclusivamente a caratteristiche di vicinato locali è insufficiente per rilevare attacchi semantici coordinati o sottili, stabilendo un nuovo standard per il rilevamento di anomalie basato su grafi in sistemi centrati sul linguaggio.

In conclusione, BlindGuard rappresenta un passo significativo avanti nella sicurezza dei sistemi multi-agente basati su LLM, offrendo una soluzione scalabile, generalizzabile e pratica alla crescente minaccia della propagazione avversaria.