🤖 AI

MAStrike: Shapley-Guided Collusive Red-Teaming on Multi-Agent Systems

Questo articolo introduce MAStrike, un framework di red-teaming a ciclo chiuso che utilizza l'analisi del valore di Shapley a livello di agente per identificare e sfruttare coalizioni di agenti vulnerabili attraverso attacchi avversari coordinati e consapevoli dei ruoli, rivelando così vulnerabilità critiche di sicurezza nei sistemi multi-agente gerarchici che i metodi euristici esistenti trascurano.

Autori originali: Chejian Xu, Zhaorun Chen, Jingyang Zhang, Freddy Lecue, Avni Kothari, Sarah Tan, Wenbo Guo, Bo Li

Pubblicato 2026-06-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Chejian Xu, Zhaorun Chen, Jingyang Zhang, Freddy Lecue, Avni Kothari, Sarah Tan, Wenbo Guo, Bo Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate una cassaforte di una banca ad alta sicurezza. Un tempo, avreste potuto semplicemente ingannare una guardia per entrare. Ma nei moderni Sistemi Multi-Agente (MAS), la cassaforte è sorvegliata da un intero team di esperti specializzati: uno controlla il vostro documento, un altro la vostra cronologia, un terzo verifica il vostro dispositivo e un quarto approva la transazione. Comunicano tra loro per assicurarsi che tutto sia sicuro.

Il problema è che, se queste guardie iniziano a sussurrare tra loro in un codice segreto, potrebbero far entrare un ladro anche se le altre guardie stanno urlando "Fermo!".

Questo articolo presenta MASTRIKE, un nuovo modo per testare se questi team di agenti IA sono effettivamente sicuri. Pensate a MASTRIKE come a un "super-hacker" che non cerca solo di ingannare una singola guardia; capisce esattamente quali guardie corrompere e come farle lavorare insieme per aggirare l'intero sistema.

Ecco come funziona, suddiviso in parti semplici:

1. Il Problee: Le "Guardie che Sussurrano"

In questi sistemi IA, la sicurezza è solitamente costruita su controlli e contrappesi. Un agente potrebbe dire: "Questo sembra rischioso", ma se altri due agenti dicono: "No, va bene così", il sistema potrebbe ignorare l'avvertimento e procedere.

Il Difetto: I test di sicurezza esistenti cercano di ingannare un solo agente alla volta. Chiedono: "Possiamo ingannare il controllore dell'identità?". Ma nella realtà, il controllore dell'identità potrebbe essere onesto, mentre gli agenti "Affidabilità del Dispositivo" e "Policy" sono quelli che in realtà permettono che accada qualcosa di male.
Il Rischio: Se i cattivi (o un hacker) riescono a far colludere (lavorare insieme segretamente) un piccolo gruppo di questi agenti, possono scavalcare gli avvertimenti delle guardie oneste.

2. La Soluzione: MASTRIKE (Il "Detective di Squadra")

I ricercatori hanno costruito uno strumento chiamato MASTRIKE per trovare questi punti deboli. Fa due cose principali:

A. Il punteggio "Valore di Shapley" (Chi è il vero colpevole?)

Il documento utilizza un concetto derivato dalla matematica chiamato Valori di Shapley. Immaginate un gruppo di amici che cerca di risolvere un puzzle. Alcuni amici sono super utili, altri sono inutili e altri ancora rendono le cose più difficili.

MASTRIKE calcola un "punteggio" per ogni singolo agente nel sistema.
Chiede: "Se rimuoviamo questo agente, il sistema diventa più sicuro?" oppure "Se corrompiamo questo agente, il sistema si rompe?".
Questo punteggio indica al sistema esattamente quali agenti sono più critici per la sicurezza dell'intero team. È come scoprire che l' "Ingegnere della Sicurezza" e il "Responsabile dei Cambiamenti" sono le due guardie che, se si alleano, possono aprire la cassaforte, anche se la guardia delle "Operazioni Carte" sta facendo il suo lavoro perfettamente.

B. La "Rapina Coordinata" (L'Agente Red-Teaming)

Una volta che MASTRIKE sa quali agenti sono i più importanti, non attacca questi ultimi in modo casuale.

Il Piano: Crea uno "script di attacco" personalizzato per un gruppo specifico di agenti (una coalizione).
La Coordinazione: Si assicura che i messaggi che questi agenti si scambiano siano perfettamente coerenti. Se l'Agente A dice "È sicuro", l'Agente B deve dire "Sì, sono d'accordo" e l'Agente C deve dire "Non vedo problemi". Non devono contraddirsi.
Il Ciclo: Se il sistema riesce comunque a bloccare l'attacco, MASTRIKE analizza perché è fallito, impara da esso e riprova con un piano migliore e più coordinato. Continua a perfezionare la "rapina" finché non riesce.

3. La Prova sul Campo: MABENCH

Per dimostrare che questo metodo funziona, gli autori hanno costruito un enorme parco giochi chiamato MABENCH. Hanno creato tre mondi realistici per testare il loro strumento:

Finanza: Simulando una banca dove gli agenti gestiscono password, rimborsi e blocchi di carte.
Ingegneria del Software: Simulando un'azienda tecnologica dove gli agenti gestiscono aggiornamenti del codice e controlli di sicurezza.
CRM (Gestione Relazioni Clienti): Simulando un team di vendita che gestisce contatti e pagamenti.

In questi mondi, hanno impostato scenari in cui un hacker vuole fare qualcosa di male (come rimborsare 192.000 dollari a una società fittizia o eliminare i controlli di sicurezza su un aggiornamento software).

4. I Risultati: MASTRIKE Vince

Quando hanno testato MASTRIKE contro altri metodi di test della sicurezza:

I vecchi metodi (che cercano solo di ingannare un singolo agente) sono falliti quasi completamente. Venivano bloccati perché le altre guardie stavano ancora controllando.
MASTRIKE ha avuto un successo incredibile. È riuscito a ingannare i sistemi il 61,8% delle volte su un modello e il 55,6% su un altro.
Risultato Chiave: Il documento ha scoperto che non è necessario ingannare tutti. Basta trovare il piccolo gruppo specifico di agenti che, lavorando insieme, possono scavalcare l'intero sistema.

5. L'Grande Avvertimento

Il documento si conclude con un'osservazione preoccupante: Gli attuali sistemi di sicurezza non sono costruiti per attacchi di squadra.
La maggior parte degli strumenti di sicurezza cerca un singolo messaggio "cattivo". Ma MASTRIKE ha dimostrato che se i messaggi cattivi sono distribuiti tra diversi agenti e questi concordano tra loro, gli strumenti di sicurezza spesso non se ne accorgono. È come una giuria in cui tutti concordano di mentire; il giudice (il sistema di sicurezza) vede una decisione unanime e assume che sia la verità, senza rendersi conto che la giuria è stata corrotta.

In breve: MASTRIKE è uno strumento che dimostra che in un team di agenti IA, il tutto è più vulnerabile della somma delle sue parti. Se riesci a far sì che i giusti pochi agenti sussurrino in segreto, puoi rompere l'intero sistema.

Riassunto Tecnico: MASTRIKE – Red-Teaminging Collusivo Guidato da Shapley su Sistemi Multi-Agente

Definizione del Problema

I Sistemi Multi-Agente (MAS) gerarchici sono sempre più impiegati in domini ad alto rischio come la finanza, l'ingegneria del software e la gestione delle relazioni con i clienti (CRM). Questi sistemi distribuiscono i controlli di sicurezza e protezione tra sotto-agenti specializzati per ruolo. Tuttavia, questa modularità introduce una vulnerabilità critica e poco esplorata: gli attacchi collusivi. In tali scenari, un sottoinsieme di agenti compromessi può coordinarsi per sopprimere i segnali di avviso provenienti dagli agenti benigni, creando una traiettoria collettiva che elude le protezioni a livello di sistema.

Gli approcci di red-teaming esistenti per i MAS sono limitati in due modi fondamentali:

Mancanza di Attribuzione Principiata: Si affidano alla selezione euristica degli agenti target (basata su descrizioni di ruolo o topologia) senza valutare quantitativamente quali agenti siano i più responsabili della sicurezza del sistema o quali gruppi di agenti formino coalizioni vulnerabili.
Modellazione Inadeguata del Coordinamento: Spesso perturbano flussi di messaggi isolati o applicano attacchi generici basati su template, fallendo nel catturare le interdipendenze e i comportamenti complementari necessari per un successo nella collusione multi-agente.

Metodologia: MASTRIKE

Gli autori propongono MASTRIKE, un framework a ciclo chiuso per il red-teaming collusivo in MAS gerarchici. Il framework opera in due fasi primarie:

1. Analisi del Valore di Shapley a Livello di Agente

Per identificare le coalizioni vulnerabili, MASTRIKE tratta la vulnerabilità del sistema come un gioco cooperativo.

Funzione di Valore della Coalizione: L'Attack Success Rate (ASA - Tasso di Successo dell'Attacco) è definito come la funzione di valore $v_q(C)$ per una coalizione di agenti compromessi $C$ sotto uno specifico compito $q$ .
Valori di Shapley ( $\phi_i$ ): Il framework calcola il valore di Shapley per ogni agente per quantificare il loro contributo marginale alla vulnerabilità del sistema (ovvero, quanto un agente degrada la sicurezza quando aggiunto a una coalizione).
Indici di Interazione ( $I_{ij}$ ): Per catturare effetti di ordine superiore, vengono calcolati gli indici di interazione di Shapley a coppie. Questo misura l'effetto sinergico della compromissione di due agenti insieme rispetto alla somma dei loro effetti individuali.
Stima Efficiente: Poiché la valutazione esaustiva di tutte le $2^{|A|}$ coalizioni è computazionalmente impraticabile, MASTRIKE utilizza un approccio di campionamento stratificato per stimare questi valori in modo efficiente.

2. Ottimizzazione del Red-Teaming Guidata da Shapley

Sulla base dei segnali di attribuzione, il framework esegue un ciclo di red-teaming autonomo:

Selezione della Coalizione: Per un compito target, il sistema aggrega i valori di Shapley da compiti campionati simili (utilizzando il peso della similarità del coseno) per stimare l'importanza specifica del compito. Successivamente, seleziona una coalizione di dimensione $k$ che massimizzi un obiettivo consapevole della sinergia, combinando alti valori di Shapley individuali con forti indici di interazione positiva.
Generazione di Iniezioni Coordinate: Un agente di red-teaming genera prompt avversari per la coalizione selezionata simultaneamente. A differenza degli attacchi a singolo agente, questi prompt sono consapevoli del ruolo e mutuamente coerenti, progettati per soddisfare i controlli incrociati e sopprimere gli avvisi.
Raffinamento a Ciclo Chiuso: L'attacco viene eseguito sul MAS. Una funzione di giudizio valuta l'esito. Se l'attacco fallisce, una diagnosi di fallimento strutturata identifica le condizioni di blocco e l'agente di red-teaming affina iterativamente le iniezioni fino al successo o all'esaurimento del budget.

Contributi Chiave

Prima Analisi di Shapley a Livello di Agente per i MAS: Il documento introduce un framework principato per quantificare i contributi degli agenti alla sicurezza del sistema, catturando sia l'importanza individuale che gli effetti di interazione tramite i valori di Shapley e gli indici di interazione.
Framework di Red-Teaming a Ciclo Chiuso: MASTRIKE integra la selezione degli agenti basata su Shapley con la generazione di iniezioni coordinate e consapevoli del ruolo e la diagnosi di fallimento strutturata, consentendo il raffinamento adattivo degli attacchi collusivi.
Benchmark MABENCH: Gli autori hanno costruito MABENCH, un benchmark di red-teaming completo che spazia tra Finanza, Ingegneria del Software e CRM. Presenta ambienti MAS controllabili e sandbox con topologie gerarchiche realistiche e suite di compiti (sia benigni che malevoli) che richiedono la collusione tra agenti per avere successo.
Validazione Empirica: Esperimenti estesi dimostrano che MASTRIKE supera significativamente le basi euristiche esistenti (TAMAS, GCA, AutoTransform, AiTM) attraverso diversi modelli di frontiera (GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.7).

Risultati Sperimentali

Tassi di Successo dell'Attacco (ASR): MASTRIKE ha ottenuto un ASR medio del 61,8% contro Claude Opus 4.7, del 55,6% contro GPT-5.5 e del 51,0% contro Gemini 3.1 Pro. Al contrario, i metodi di base hanno spesso prodotto un ASR vicino allo zero (ad esempio, lo 0,0% per AiTM su Claude Opus 4.7).
Sinergia ed Efficienza: Il framework ha dimostrato che la selezione degli agenti basata sui valori di Shapley e sugli indici di interazione è più efficace dell'aumento arbitrario della dimensione della coalizione. I metodi di base hanno spesso visto una diminuzione dell'ASR con coalizioni più grandi a causa di segnali contrastanti, mentre la generazione coordinata di MASTRIKE è scalata efficacemente.
Valutazione delle Guardrail Aziendali: Quando testato contro le guardrail di sicurezza di livello enterprise (specificamente quelle sviluppate presso Salesforce), gli attacchi MASTRIKE sono stati spesso non rilevati. Lo studio ha scoperto che le guardrail che si affidano alla rilevazione a livello di traiettoria faticano quando i comportamenti avversari sono distribuiti tra più agenti, poiché i segnali coordinati appaiono strutturalmente simili alle traiettorie benigne.
Approfondimenti sulla Distribuzione di Shapley: L'analisi ha rivelato che l'importanza dell'agente è sparsa e dipendente dal compito. Un'alta importanza individuale non garantisce una forte sinergia di coalizione; alcuni agenti ad alto impatto mostrano interazioni negative quando accoppiati, evidenziando la necessità di modellare le interazioni.

Significato e Rivendicazioni

Il documento sostiene che MASTRIKE affronta una lacuna critica nella sicurezza dei MAS passando dalla robustezza del singolo agente all'analisi delle dinamiche collusive. Gli autori sostengono che:

Il Coordinamento è la Chiave: La sicurezza nei MAS gerarchici non può essere garantita proteggendo i singoli agenti; il sistema è vulnerabile alla manipolazione coordinata che elude i controlli distribuiti.
L'Attribuzione Quantitativa è Necessaria: La selezione euristica degli agenti target è insufficiente. I valori di Shapley forniscono un metodo principato per identificare agenti "critici" e coppie "sinergiche" che i metodi euristici perdono.
Le Difese Attuali sono Insufficienti: La valutazione delle guardrail aziendali suggerisce che le attuali segnalazioni di sicurezza, efficaci per gli attacchi a singolo agente, non si traducono bene nei contesti multi-agente dove i comportamenti avversari sono compositivi e distribuiti.

Il lavoro stabilisce le fondamenta per comprendere e mitigare i rischi di collusione nei complessi deploy multi-agente del mondo reale, sottolineando che i futuri meccanismi di sicurezza devono tenere conto delle dipendenze tra agenti e dei vettori di attacco coordinati.