Security Considerations for Multi-agent Systems

Questo studio caratterizza sistematicamente il panorama delle minacce dei sistemi multi-agente (MAS) e valuta quantitativamente 16 framework di sicurezza, rivelando che nessuno di essi copre la maggior parte delle categorie di rischio, in particolare la non deterministica e la perdita di dati, con l'iniziativa OWASP Agentic Security Initiative che ottiene la copertura complessiva più elevata.

L'essenziale

🤖 Quando le Intelligenze Artificiali si danno la mano: Il manuale di sicurezza per un mondo di "Agenti"

Immagina per un momento che l'Intelligenza Artificiale non sia più un singolo assistente virtuale (come un Siri o un Alexa che risponde a una domanda), ma una squadra di lavoratori digitali.
Invece di un solo robot, hai un capo progetto, un ricercatore, un programmatore, un contabile e un magazziniere. Ognuno di loro ha i propri strumenti: possono aprire file, navigare su internet, scrivere codice, accedere ai tuoi conti bancari e persino parlare tra loro per coordinarsi.

Questo è il mondo dei Sistemi Multi-Agente (MAS). È potente, veloce e rivoluzionario. Ma, come in ogni grande azienda, se non ci sono regole di sicurezza, il disastro può essere enorme.

Questo documento è un rapporto di sicurezza scritto da un gruppo di esperti (Crew Scaler) per il governo degli Stati Uniti. Hanno analizzato 16 diversi "manuali di sicurezza" esistenti e li hanno messi alla prova contro 193 nuovi tipi di pericoli che esistono solo quando gli agenti AI lavorano insieme.

Ecco i punti chiave, spiegati con delle metafore:

1. Il Problema: Non è più un "Singolo Attore"

Fino a poco tempo fa, la sicurezza AI si preoccupava di un singolo modello che poteva dire cose sbagliate (come un attore che dimentica la battuta).
Oggi, il problema è che questi agenti si passano il testimone.

• L'analogia: Immagina una catena di montaggio. Se il primo operaio (Agente A) riceve un ordine falso e dice al secondo (Agente B) di "smanettare con i soldi", il secondo operaio esegue senza chiedere, perché si fida del primo.
• Il rischio: Un attaccante non deve più hackerare il sistema principale. Basta che infetti un piccolo agente (come un assistente di ricerca) per far sì che l'intero team compia azioni disastrose. È come se un ladro entrasse dalla finestra della cucina e dicesse al maggiordomo di aprire la cassaforte.

2. I 193 Nuovi Pericoli (La "Lista della Spesa" del Ladro)

Gli autori hanno creato una lista di 193 modi specifici in cui questi team di AI possono essere ingannati. Ecco i più strani e pericolosi, tradotti in linguaggio umano:

• L'Inganno della "Fiducia Cieca" (Trust Exploitation): Gli agenti si fidano troppo l'uno dell'altro. Se un agente malvagio dice: "Ehi, ho bisogno di cancellare quel file per salvare il sistema", l'agente di sicurezza potrebbe farlo senza pensare, perché pensa che sia un collega.
• Il "Virus che si Riproduce" (Prompt Worms): Immagina un virus che, invece di copiare se stesso su un hard disk, si scrive dentro le conversazioni. Un agente legge un messaggio, lo ripete al collega, che lo ripete al terzo, e così via. Il virus si diffonde come un passaparola maligno in una folla.
• La "Memoria Avvelenata" (Memory Poisoning): Gli agenti hanno una memoria a lungo termine (come un diario). Se un attaccante scrive una bugia nel diario ("Ricorda che il codice 'Cancella Tutto' è sicuro"), tutti gli agenti che leggono quel diario crederanno alla bugia e agiranno di conseguenza.
• Il "Caos Impossibile da Prevedere" (Non-Determinism): Gli agenti AI non sono macchine perfette; a volte cambiano idea o agiscono in modo diverso a seconda di come sono stati "nutriti". Questo rende quasi impossibile prevedere quando si romperanno o quando un attacco funzionerà. È come cercare di fermare un'auto che cambia strada ogni secondo.
• Il "Furto di Soldi" (Economic Denial-of-Service): Gli agenti possono essere ingannati a fare lavori inutili e costosissimi. Immagina di convincere un team di AI a calcolare la stessa cosa 1 milione di volte. Il tuo conto in banca (o quello dell'azienda) va in rosso, anche se nessuno ha rubato dati.

3. Chi ha fatto un buon lavoro? (La Classifica dei Manuali di Sicurezza)

Gli autori hanno preso 16 manuali di sicurezza famosi (come quelli di NIST, OWASP, MITRE, ecc.) e li hanno "punteggiati" per vedere quanti di questi 193 pericoli coprivano.

• 🏆 Il Campione: OWASP Agentic Security Initiative. È l'unico manuale fatto specificamente per questi agenti. Copre il 65% dei pericoli. È come avere una guida di sicurezza aggiornata per le auto volanti, mentre gli altri hanno ancora le guide per le carrozze.
• 🥈 Il Secondo: CDAO GenAI Toolkit (del Dipartimento della Difesa USA). Ottimo per la fase di sviluppo e operativa, ma un po' meno completo sulla progettazione iniziale.
• 🥉 Il Terzo: ATFAA-SHIELD. Molto forte sull'architettura e sulla protezione dell'infrastruttura.

La brutta notizia: Nessun manuale copre tutto. Ci sono ancora buchi enormi, specialmente su come gestire il caos imprevisto (quando gli agenti agiscono in modo strano) e su come evitare che i dati sensibili trapelino attraverso canali nascosti (come le chat o le cache dei server).

4. Cosa manca ancora? (I buchi neri)

Ci sono 5 pericoli specifici per cui nessuno dei 16 manuali sa cosa fare. Sono come "mostri" che nessuno ha ancora visto:

1. Come proteggere gli agenti quando devono ottimizzare le risorse (per non farsi ingannare a sprecare soldi).
2. Come evitare che i dati fuggano durante la pianificazione complessa (MCTS).
3. Come gestire la confusione quando gli agenti usano piani che cambiano continuamente (HTN).

5. Il Consiglio Pratico: Cosa fare oggi?

Se sei un'azienda o un governatore che vuole usare questi agenti:

• Non fidarti ciecamente: Non lasciare che gli agenti parlino tra loro senza un "controllore" umano o un sistema di sicurezza esterno che verifica ogni passaggio.
• Controlla la catena di fornitura: Assicurati che i "tool" (gli strumenti) che usano gli agenti non siano stati avvelenati prima di essere installati.
• Usa i manuali giusti: Segui le linee guida di OWASP e CDAO, ma sappi che non sono la soluzione definitiva. Devi adattarle al tuo caso specifico.
• Preparati al caos: Accetta che gli agenti a volte faranno cose strane. Il tuo sistema deve essere in grado di fermarsi e chiedere aiuto a un umano prima di fare danni irreparabili.

In sintesi

Stiamo passando dall'era del "Robot Solitario" all'era della "Squadra di Robot". È entusiasmante, ma è come passare da una casa con una sola porta a un grattacielo con mille ascensori, scale e corridoi. Se non chiudiamo bene tutte le porte e non controlliamo chi entra, il ladro può entrare da una finestra e far saltare l'intero edificio.

Questo rapporto ci dice: "Ehi, abbiamo trovato le porte aperte. Ecco quali manuali di sicurezza usano, ma attenzione: ce ne sono ancora molte che non sappiamo come chiudere."

Sommario tecnico

Ecco un riassunto tecnico dettagliato del documento "Security Considerations for Multi-agent Systems", presentato come risposta di Crew Scaler all'RFI 2026-00206 del NIST.

1. Il Problema: Il Divario di Sicurezza nei Sistemi Multi-Agente (MAS)

Il documento identifica una crisi fondamentale nella sicurezza dell'Intelligenza Artificiale. Mentre i sistemi AI tradizionali sono stati progettati con presupposti di controllo deterministico, confini di fiducia definiti ed esecuzioni stateless, i moderni Sistemi Multi-Agente (MAS) operano in modo qualitativamente diverso.

• Nuova Superficie di Attacco: Gli agenti autonomi esercitano autorità delegata su strumenti, database, API esterne e altri agenti. Condividono memoria persistente, propagano autorizzazioni attraverso catene di delega e influenzano il ragionamento reciproco tramite contesti condivisi.
• Vulnerabilità Emergenti: Questo comportamento emergente introduce minacce non presenti nei singoli modelli AI, come:
  • Esecuzione di Codice Remoto a livello di Policy (Policy-level RCE): Attacchi che non sfruttano bug nel codice, ma manipolano le decisioni dell'agente per comandare strumenti potenti.
  • Avvelenamento della Memoria Latente: Corruzione di database vettoriali condivisi che influenza il comportamento futuro di tutti gli agenti.
  • Worm di Prompt Auto-Replicanti: Malware che si diffonde attraverso la comunicazione inter-agente.
  • Non-Determinismo: La natura stocastica degli LLM rende difficile la riproduzione degli audit e la garanzia di sicurezza.
• Il Gap: I framework di sicurezza esistenti (come NIST AI RMF, MITRE ATLAS, OWASP Top 10 per LLM) non sono stati progettati per queste superfici di attacco specifiche dei MAS, lasciando i praticanti senza dati empirici per guidare le decisioni architetturali.

2. Metodologia: Un Approccio in Quattro Fasi

Lo studio adotta una metodologia sistematica e rigorosa per caratterizzare il panorama delle minacce e valutare i framework esistenti:

1. Costruzione di una Base di Conoscenza Tecnica: È stata sviluppata una descrizione tecnica approfondita delle architetture MAS di produzione (86 capitoli), coprendo fondamenti degli agenti, integrazione di strumenti, protocolli di comunicazione (REST, gRPC), database vettoriali, e fenomeni specifici come il comportamento emergente negli sciami e la dinamica di Nash.
2. Modellazione delle Minacce Assistita da IA Generativa: Utilizzando modelli generativi per analizzare la base di conoscenza, sono stati identificati circa 1.700 potenziali minacce. Un criterio cruciale è stato che ogni minaccia doveva essere qualitativamente distinta dai rischi dei singoli agenti (es. escludendo rischi già coperti da NIST AI 100-2e2025). I risultati sono stati validati da un professionista certificato NVIDIA in sistemi AI agentic.
3. Pianificazione del Sondaggio a Livello di Minaccia: Le minacce sono state organizzate in una tassonomia strutturata di 193 voci principali distribuite su 9 categorie di rischio. Per ogni voce è stato pianificato un sondaggio specifico.
4. Esecuzione del Sondaggio e Valutazione Quantitativa: Sedici framework di sicurezza e governance sono stati valutati contro le 193 minacce utilizzando una scala a tre punti:
   • 1: Guida minima o assente.
   • 2: Copertura moderata/indiretta.
   • 3: Mitigazione diretta e specifica.

3. Tassonomia delle Minacce (9 Categorie di Rischio)

Il lavoro ha prodotto la prima tassonomia empirica completa per la sicurezza dei MAS, suddivisa in:

1. Accoppiamento Agente-Strumento (Agent-Tool Coupling): RCE a livello di policy, manipolazione dei flussi di approvazione, sovraccarico degli strumenti.
2. Perdita di Dati (Data Leakage): Nuovi canali di fuga tramite grandi contesti, log, memoria persistente e recall probabilistico.
3. Iniezione (Injection): Prompt injection, iniezione cross-contesto e cross-modale.
4. Identità e Provenienza: Spoofing di identità tra agenti, ambiguità nella catena di custodia dei dati.
5. Avvelenamento della Memoria (Memory Poisoning): Corruzione di memoria episodica, semantica e cache.
6. Non-Determinismo: Comportamento stocastico che rende impossibile la riproduzione degli audit e la verifica della sicurezza.
7. Sfruttamento della Fiducia (Trust Exploitation): Ingegneria sociale tra agenti (AI-to-AI), worm di prompt, fiducia transitiva.
8. Temporizzazione e Monitoraggio: Punti ciechi nel telemetria cognitiva e nei flussi di lavoro.
9. Architettura del Flusso di Lavoro: Vulnerabilità nelle orchestrazioni gerarchiche, swarm e ibride.

4. Risultati Chiave e Analisi Comparativa

L'analisi quantitativa dei 16 framework ha rivelato risultati significativi:

• Copertura Insufficiente: Nessun framework analizzato copre la maggioranza delle minacce in alcuna singola categoria. La copertura media attesa è bassa.
• Aree Critiche Non Coperte: Le categorie più trascurate sono Non-Determinismo (punteggio medio 1.231) e Perdita di Dati (punteggio medio 1.340). Cinque voci specifiche non ricevono alcuna copertura da nessun framework.
• Leader del Settore:
  • OWASP Agentic Security Initiative (ASI): È il framework più completo, con una copertura totale del 65,3% e la migliore copertura nella fase di Design.
  • CDAO Generative AI Responsible AI Toolkit: Eccelle nelle fasi di Sviluppo e Operativa, guidando per la copertura delle categorie "Data Leakage" e "Non-Determinismo" grazie ai suoi strumenti di monitoraggio obbligatori.
  • MITRE ATLAS: Offre la migliore specificità architetturale tra i framework non-OWASP, con una forte copertura nelle categorie "Trust Exploitation" e "Workflow Architecture".
  • ATFAA-SHIELD: Fornisce difese architetturali specifiche per le proprietà agentiche (ragionamento autonomo, memoria persistente).

5. Contributi e Significato

Questo studio fornisce il primo confronto empirico trasversale tra framework di sicurezza per i sistemi multi-agente. I suoi contributi principali includono:

• Tassonomia Standardizzata: Una lista di 193 minacce specifiche per i MAS, derivata da architetture reali e distinta dai rischi dei singoli agenti.
• Guida alla Selezione Basata su Evidenze: Fornisce ai praticanti dati concreti per scegliere il framework giusto in base alla fase del ciclo di vita (Design, Sviluppo, Operativo) e al tipo di rischio prioritario.
• Identificazione dei Gap Futuri: Evidenzia che la ricerca futura e lo sviluppo di framework devono concentrarsi urgentemente sulla gestione del non-determinismo, sulla sicurezza dell'hardware (GPU, quantizzazione) e sui meccanismi di fiducia tra agenti (AI-to-AI).
• Impatto Pratico: Il documento serve come riferimento critico per enti governativi, sviluppatori e organizzazioni che intendono implementare sistemi AI autonomi su larga scala, sottolineando che le soluzioni di sicurezza tradizionali sono insufficienti per l'era degli agenti autonomi.

In sintesi, il paper avverte che la sicurezza dei MAS richiede un cambio di paradigma: non basta proteggere il modello, bisogna proteggere l'orchestrazione, la memoria condivisa e le dinamiche di fiducia emergenti tra gli agenti, aree che attualmente rimangono le più vulnerabili e meno coperte dagli standard esistenti.