Riepilogo Tecnico: INFA-GUARD

Definizione del Problema

La rapida evoluzione dei sistemi Multi-Agente (MAS) basati su Large Language Model (LLM) ha introdotto significative vulnerabilità di sicurezza in cui l'influenza malevola può propagarsi viralmente attraverso la comunicazione tra agenti. Le difese esistenti per i MAS operano tipicamente sotto un paradigma binario — distinguendo rigorosamente tra agenti "benigni" e agenti di "attacco" — ma non tengono conto di una terza categoria critica: gli agenti infetti.

Gli agenti infetti sono entità benigne che sono state persuase o fuorviate da agenti di attacco, causando la compromissione della loro logica interna. Essi successivamente emettono conclusioni errate e continuano a disseminare informazioni dannose anche se gli agenti di attacco originali vengono rimossi. Le difese attuali spesso trascurano questi agenti infetti, portando a due fallimenti primari:

1. Propagazione Continua: Gli agenti infetti agiscono come propagatori secondari, sostenendo l'attacco anche dopo che la fonte è stata interrotta.
2. Perdita di Informazioni Topologiche: I metodi esistenti non riescono a sfruttare la relazione strutturale per cui gli agenti infetti hanno un'alta probabilità di essere adiacenti alle fonti di attacco, perdendo un indicatore chiave per la localizzazione.

Metodologia: INFA-GUARD

Il documento propone INFA-GUARD (Infection-Aware Guard), un framework di difesa che modella e distingue esplicitamente tra agenti di attacco originari e agenti infetti persuasi. Il framework opera attraverso tre meccanismi centrali:

1. Rilevamento Consapevole dell'Infezione (Infection-Aware Detection)

Il sistema modella il MAS come un grafo $G=(V, E)$ e tratta il rilevamento come un compito di rilevamento delle anomalie nei grafi.

• Dinamiche Temporali: Cattura la transizione dinamica degli agenti dallo stato benigno a quello infetto modellando le rappresentazioni (embeddings) temporali delle espressioni degli agenti. Una funzione specializzata $\Psi$ destilla queste dinamiche analizzando le auto-risposte e gli scambi di messaggi attraverso le iterazioni.
• GNN Adattiva al Turno (Turn-Adaptive GNN): Per allinearsi alla natura evolutiva delle infezioni, il rilevatore impiega una rete neurale a grafi (GNN) con rami paralleli adattivi al turno. Ciò consente al modello di ottimizzare i parametri specificamente per le diverse fasi del dialogo multi-agente.
• Classificazione a Doppia Testa (Dual-Head Classification): Il modello utilizza un'architettura a doppia testa per prevedere simultaneamente la probabilità che un agente sia un attaccante ($V_{atk}$) o un agente infetto ($V_{inf}$), trattandoli come categorie di minaccia distinte.

2. Regolazione Spaziale tramite Vincoli Topologici

Il framework incorpora vincoli topologici derivanti dall'osservazione che l'infezione è un processo strutturalmente vincolato, non casuale.

• Colpevolezza per Associazione (Guilt-by-Association): Il sistema impone un vincolo in cui la presenza di un agente infetto aumenta significativamente la probabilità di una fonte di attacco nel suo vicinato immediato.
• Funzione di Perdita: Una funzione di perdita consapevole della topologia ($L_{topo}$) viene aggiunta durante l'addestramento per penalizzare l'identificazione di agenti infetti "isolati" che mancano di agenti vicini attaccanti o infetti, riducendo così i falsi positivi.
• Post-Adattamento: Durante il ripristino, il sistema affina le previsioni analizzando le tendenze temporali e le relazioni di vicinato. Se un agente è previsto come infetto ma isolato, il sistema inferisce l'esistenza di vicini non rilevati e regola la classificazione dei vicini di conseguenza.

3. Rimedio Mirato (Targeted Remediation)

INFA-GUARD impiega strategie distinte per le due categorie di minaccia per preservare l'integrità topologica del sistema:

• Agenti di Attacco: Questi vengono sostituiti con agenti benigni (selezionati in base alla più bassa probabilità di attacco) per interrompere la generazione di risposte malevole mantenendo la struttura del grafo.
• Agenti Infetti: Questi vengono riabilitati anziché rimossi. Il sistema utilizza una funzione di rimedio a livello di risposta ($R_F$) che sfrutta un LLM per controllare e riscrivere la risposta dell'agente, rimuovendo i contesti malevoli pur preservando la semantica utile. Ciò consente all'agente di recuperare come fonte di informazione benigna nelle iterazioni successive.

Contributi Chiave

1. Nuova Categorizzazione delle Minacce: Il documento è il primo a definire ed affrontare esplicitamente gli agenti infetti come una categoria di minaccia distinta nella sicurezza dei MAS, andando oltre il paradigma binario benigno/attacco.
2. Framework Consapevole dell'Infezione: Introduce un meccanismo di difesa che rileva e localizza congiuntamente sia le fonti di attacco che gli agenti infetti utilizzando dinamiche temporali e vincoli topologici.
3. Preservazione della Topologia: A differenza dei metodi che eliminano i nodi (il che interrompe la connettività del sistema), INFA-GUARD sostituisce gli attaccanti e riabilita gli agenti infetti, mantenendo l'integrità strutturale e la diversità delle risposte del grafo MAS.
4. Validazione Empirica: Il framework è validato attraverso diversi sceni di attacco (Prompt Injection, Tool Attacks, Memory Attacks), diversi backbone LLM (GPT-4o-mini, Qwen3) e varie topologie (catena, albero, stella, casuale).

Risultati Sperimentali

Esperimenti estesi dimostrano che INFA-GUARD raggiunge prestazioni allo stato dell'arte:

• Tasso di Successo dell'Attacco (ASR): Il framework riduce l'ASR in media del 33% rispetto ai baseline. In scenari specifici, supera il miglior baseline esistente (Inspector) con margini superiori al 3% - 12,9%. Ad esempio, negli attacchi agli strumenti (Tool Attacks - TA), ha raggiunto un ASR@3 del 2,1% su GPT-4o-mini, significativamente inferiore ai competitor.
• Tasso di Successo della Difesa (MDSR): Raggiunge costantemente il più alto MDSR in tutti i compiti, recuperando al 98,3% negli attacchi agli strumenti e al 96,7% negli attacchi alla memoria.
• Scalabilità: Il metodo dimostra una robusta generalizzazione a sistemi su scala maggiore (fino a 50 agenti) senza riaddestramento, mostrando capacità di "auto-guarigione" in cui l'ASR diminuisce nel corso dei round di comunicazione.
• Efficienza: INFA-GUARD raggiunge un rapporto superiore tra costo e prestazioni. Incombe solo un aumento del 7,2% nei token di prompt e del 9,3% nei token di completamento, significativamente inferiore ai baseline come AgentXposed (che può superare il 200% di overhead).

Significato e Rivendicazioni

Il documento sostiene che INFA-GUARD offre una soluzione metodologica per arginare la propagazione dell'attacco dalla sua causa radice, affrontando la dinamica di "infezione" che le precedenti difese binarie hanno ignorato. Modellando esplicitamente la transizione dallo stato benigno a quello infetto e utilizzando vincoli topologici, il framework protegge efficacementamente i MAS senza compromettere la loro connettività collaborativa.

Gli autori posizionano questo lavoro come un passo necessario verso lo sviluppo di ecosistemi di IA collaborativi affidabili, sostenendo che trascendere i paradigmi di rilevamento binario è fondamentale per combattere le attività non etiche e malevole negli ambienti multi-agente avanzati. Il lavoro evidenzia che ignorare gli agenti infetti lascia i sistemi vulnerabili a rischi di sicurezza residui, mentre INFA-GUARD fornisce un approccio completo sia al rilevamento che alla riabilitazione.