🤖 machine learning

MaMa: A Game-Theoretic Approach for Designing Safe Agentic Systems

Questo articolo introduce MaMa, un algoritmo basato sulla teoria dei giochi che sfrutta la ricerca avversaria basata su LLM per progettare automaticamente sistemi multi-agente che mantengono una sicurezza robusta contro compromissioni dell'agente nel caso peggiore, preservando al contempo le prestazioni del compito.

Autori originali: Jonathan Nöther, Adish Singla, Goran Radanovic

Pubblicato 2026-05-25

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jonathan Nöther, Adish Singla, Goran Radanovic

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un team di robot esperti per aiutarti a gestire un'attività complessa, come pianificare un viaggio, scrivere notizie finanziarie o programmare un nuovo videogioco. Questi robot (chiamati "agenti") parlano tra loro, utilizzano strumenti come browser web e file system e collaborano per portare a termine il lavoro.

Il problema è: e se uno di questi robot viene hackerato, diventa ribelle o semplicemente commette un errore terribile? In passato, se un robot impazziva, poteva trascinare giù l'intero team, causando perdite finanziarie o azioni pericolose.

Questo documento introduce un nuovo modo per costruire questi team di robot in modo che siano infrangibili, anche se alcuni membri si voltano contro il team. Gli autori chiamano il loro metodo MaMa (Meta-Adversary–Meta-Agent).

Ecco come funziona, usando una semplice analogia:

Il Gioco: L'Architetto contro il Sabotatore

Gli autori trattano la progettazione di un team di robot sicuro come un gioco ad alto rischio tra due giocatori:

L'Architetto (Meta-Agent): È il progettista. Il suo lavoro è costruire il team di robot. Decide chi sono i robot, quali strumenti hanno e come parlano tra loro. Il suo obiettivo è rendere il team veloce, intelligente e bravo nel lavoro.
Il Sabotatore (Meta-Adversary): È l'IA "cattiva". Il suo lavoro è cercare di rompere il team dell'Architetto. Ha il permesso di "hackerare" alcuni dei robot (nel documento, di solito ne hackerano solo uno) e costringerli a fare cose pericolose, come cancellare file, inviare spam o prenotare voli verso zone di guerra.

Il Campo di Addestramento: "Red Teaming"

Invece di costruire semplicemente un team e sperare che funzioni, MaMa esegue un ciclo di addestramento continuo:

L'Architetto costruisce un team.
Il Sabotatore lo attacca. Il Sabotatore prova ogni trucco possibile per far fallire il team. Se il Sabotatore riesce, registra esattamente come l'ha fatto.
L'Architetto impara. L'Architetto esamina gli attacchi riusciti del Sabotatore e dice: "Ah, capisco! Se aggiungo un 'Robot di Sicurezza' per controllare i messaggi del 'Robot Pianificatore', il Sabotatore non può più ingannarli".
L'Architetto ricostruisce. Crea un nuovo team, più forte, con queste nuove difese.
Ripeti. Il Sabotatore cerca di rompere il nuovo team. Se trova un nuovo modo per farlo, l'Architetto lo ripara di nuovo.

Questo va avanti e indietro fino a quando il team è così ben protetto che nemmeno il Sabotatore più forte può romperlo senza rovinare la capacità del team di svolgere il suo lavoro effettivo.

I Risultati: Più Forti e Più Intelligenti

Il documento ha testato questo metodo in sei scenari diversi, dalla pianificazione di viaggi alla scrittura di codice. Ecco cosa hanno scoperto:

Sicurezza Prima di Tutto: I team progettati da MaMa erano significativamente più sicuri rispetto ai team progettati da umani o ai team progettati solo per essere veloci. Quando il Sabotatore ha cercato di hackerarli, i team MaMa hanno tenuto il loro posto.
Nessuna Perdita di Velocità: Di solito, quando si aggiungono controlli di sicurezza, le cose diventano più lente o meno efficienti. Ma MaMa è riuscito a mantenere i team funzionanti esattamente allo stesso modo (o talvolta anche meglio) rispetto alle versioni non sicure.
Generalizzazione: La parte interessante è che questi team non hanno imparato solo a fermare un tipo specifico di attacco. Poiché sono stati addestrati contro un Sabotatore "intelligente" che cambiava continuamente tattiche, i team hanno imparato a essere robusti contro qualsiasi tipo di attacco, anche quelli che non avevano mai visto prima.

L'Analogia della "Rete di Sicurezza"

Pensa a un normale team di robot come a un gruppo di amici che cerca di costruire un castello di sabbia. Se un amico si arrabbia e inizia a calciare il castello, tutto viene rovinato.

MaMa è come assumere una Guardia di Sicurezza che osserva gli amici.

Se un amico cerca di calcare il castello, la guardia lo ferma.
Ma la guardia non sta solo lì; la guardia impara da ogni tentativo di calcare il castello.
Alla fine, la guardia sa esattamente come fermare qualsiasi tipo di calcio, e gli amici possono costruire il loro castello di sabbia perfettamente, anche se uno di loro sta cercando di sabotarlo.

Perché Questo È Importante

Il documento sostiene che mentre permettiamo agli agenti AI di svolgere più compiti nel mondo reale (come gestire denaro o controllare software), non possiamo semplicemente sperare che si comportino bene. Dobbiamo progettarli in modo che siano sicuri per costruzione. MaMa fornisce un progetto per costruire automaticamente questi team "infrangibili", garantendo che anche se alcune parti falliscono o diventano malvagie, l'intero sistema rimanga sicuro ed efficace.

Riepilogo Tecnico: MaMa – Un Approccio Teorico-Giocoso per Progettare Sistemi Agentici Sicuri

Enunciato del Problema

I sistemi multi-agente basati su Modelli Linguistici di Grande Dimensione (LLM) hanno dimostrato capacità significative in domini quali la generazione di codice, la diagnosi medica e la scoperta scientifica. Tuttavia, questi sistemi introducono rischi di sicurezza sostanziali, in particolare quando singoli agenti falliscono, allucinano o si comportano in modo avversario. Sebbene lavori precedenti abbiano esplorato la sicurezza per sistemi progettati manualmente, le pipeline di progettazione automatizzata mancano largamente di meccanismi di sicurezza robusti. I modelli di minaccia esistenti spesso assumono avversari deboli che possono influenzare gli agenti solo indirettamente. Questo articolo sostiene che la progettazione di sistemi veramente robusti richiede la difesa contro un avversario strettamente più forte: uno che può compromettere direttamente un sottoinsieme di agenti sovrascrivendo le loro istruzioni e coordinandoli verso obiettivi malevoli. Il problema centrale è la progettazione automatizzata di sistemi agentici che rimangano sicuri in tali condizioni avverse peggiori, mantenendo al contempo elevate prestazioni nel compito.

Metodologia

Gli autori propongono MaMa (Meta-Adversary–Meta-Agent), un nuovo framework che formalizza la progettazione di sistemi agentici sicuri come un Gioco di Sicurezza di Stackelberg. Questo gioco coinvolge due giocatori:

Il Meta-Agente (Leader): Si impegna in una progettazione di sistema agenticio, specificando agenti, strumenti e strutture di comunicazione. Il suo obiettivo è massimizzare una somma ponderata della qualità del compito (in contesti benigni) e della sicurezza (sotto attacco).
Il Meta-Avversario (Seguace): Osserva il sistema proposto dal Meta-Agente e risponde selezionando e compromettendo un sottoinsieme di $\epsilon$ agenti per minimizzare la sicurezza del sistema. Cerca l'attacco di "migliore risposta".

L'Algoritmo MaMa

MaMa opera in modo iterativo, sfruttando una ricerca avversaria basata su LLM:

Inizializzazione: Il processo inizia con un archivio di progetti di sistema iniziali (ad esempio, sistemi con barriere di sicurezza di base).
Fase del Meta-Avversario: In ogni iterazione, il Meta-Avversario analizza il sistema corrente. Genera un insieme di attacchi sovrascrivendo le istruzioni per $\epsilon$ agenti affinché eseguano azioni malevole (ad esempio, cancellare file, inviare messaggi di phishing). Questi attacchi vengono validati, eseguiti e valutati utilizzando una funzione di sicurezza $s$ . I $k$ attacchi più forti vengono archiviati.
Fase del Meta-Agente: Il Meta-Agente recupera il sistema corrente e i $k$ attacchi migliori dall'archivio. Analizza le vulnerabilità esposte da questi attacchi e propone modifiche alla progettazione del sistema (ad esempio, aggiungere un "Agente di Sicurezza", modificare i protocolli di comunicazione o introdurre meccanismi di voto) per mitigare le minacce identificate preservando al contempo la qualità del compito.
Valutazione e Aggiornamento dell'Archivio: Il nuovo sistema viene valutato sia in contesti benigni che avversari. I risultati (punteggio di qualità $q$ e punteggio di sicurezza $s$ ) vengono registrati e il sistema viene aggiunto all'archivio.
Terminazione: Dopo un numero fisso di generazioni, viene selezionato il sistema con il punteggio ponderato più alto.

Lo spazio di ricerca è strutturato come una tupla $a = (A, T, G)$ , dove $A$ è l'insieme degli agenti, $T$ è l'insieme degli strumenti e $G$ è il grafo di comunicazione. Questa definizione strutturata consente una specifica chiara sia degli spazi di progettazione che di attacco.

Contributi Chiave

Framework: Il documento introduce il primo framework per la progettazione automatizzata di sistemi agentici che garantisce esplicitamente la sicurezza in caso di fallimento degli agenti e compromissione avversaria. Formalizza questo aspetto come un Gioco di Sicurezza di Stackelberg tra un progettista e un attaccante che risponde con la migliore risposta.
Metodologia: Gli autori propongono MaMa, un algoritmo che ottimizza iterativamente i sistemi sia per le prestazioni del compito che per la sicurezza, addestrandoli sotto gli attacchi avversari di massima risposta scoperti tramite ricerca basata su LLM.
Valutazione: Il documento fornisce prove empiriche attraverso sei ambienti diversi (Pianificazione di Viaggi, Assistente Personale, Scrittura di Articoli Finanziari, Generazione di Codice e altri provenienti dai benchmark BAD-ACTS e AgentDojo).

Risultati Sperimentali

La valutazione dimostra che MaMa produce sistemi significativamente più sicuri rispetto ai progetti iniziali e ai precedenti meccanismi di sicurezza (come Agenti Guardiani o Gate degli Strumenti a Privilegio Minimo), mantenendo al contempo una qualità del compito comparabile o migliorata.

Robustezza: I sistemi progettati con MaMa difendono costantemente contro attacchi nel caso peggiore. Ad esempio, nell'ambiente di Pianificazione di Viaggi, il punteggio di sicurezza di un sistema iniziale è sceso da 4,89 (pulito) a 1,66 (attaccato) senza MaMa, mentre i sistemi progettati con MaMa hanno mantenuto alti punteggi di sicurezza anche sotto attacco.
Preservazione della Qualità: A differenza dei meccanismi di sicurezza che spesso degradano le prestazioni, i sistemi progettati con MaMa hanno mantenuto un'elevata efficacia nel compito. In alcuni ambienti, il processo iterativo di difesa ha persino migliorato la qualità delle uscite rispetto ai sistemi ottimizzati esclusivamente per la qualità.
Generalizzazione: I sistemi risultanti hanno dimostrato una sicurezza robusta oltre il contesto di addestramento:
- LLM Diversi: I sistemi sono rimasti sicuri quando gli LLM sottostanti sia per gli agenti che per l'avversario sono stati modificati.
- Avversari Più Forti: I sistemi progettati per resistere a un singolo agente compromesso ( $\epsilon=1$ ) sono rimasti robusti anche quando l'avversario controllava fino a tre agenti.
- Tipi di Attacco Diversi: I sistemi si sono generalizzati ad attacchi mirati e ad attacchi di iniezione di prompt indiretti (manipolazione degli strumenti), superando le linee di base nel Tasso di Successo dell'Attacco (ASR).

Significato e Affermazioni

Il documento afferma che MaMa rappresenta un approccio principiato alla "sicurezza per costruzione" per i sistemi agentici. Modellando esplicitamente il processo di progettazione come un gioco contro un avversario potente, il metodo costringe il sistema a evolvere difese robuste alla compromissione diretta degli agenti.

Gli autori sottolineano che, sebbene i metodi esistenti di progettazione automatizzata si concentrino sulle prestazioni del compito, spesso ignorano i rischi catastrofici del fallimento degli agenti o del comportamento malevolo. MaMa colma questo divario integrando la sicurezza direttamente nel ciclo di ottimizzazione. Il documento conclude che i sistemi progettati con MaMa sono significativamente più sicuri delle alternative realizzate manualmente o di quelli ottimizzati solo per la qualità, offrendo una via per distribuire sistemi agentici in ambienti ad alto rischio con maggiore fiducia. Gli autori notano modestamente che, sebbene i loro benchmark simulino scenari del mondo reale, sono necessari lavori futuri per convalidare questi risultati su sistemi AI incarnati più complessi e per affrontare i costi computazionali del processo di valutazione iterativa.