Security Considerations for Artificial Intelligence Agents

Questo articolo, basato sull'esperienza di Perplexity nella gestione di sistemi agenziali, analizza le nuove vulnerabilità di sicurezza introdotte dagli agenti AI avanzati e propone una strategia difensiva stratificata, insieme a raccomandazioni per colmare le lacune nella ricerca e negli standard normativi.

L'essenziale

Ecco una spiegazione semplice e creativa del documento, pensata per chiunque voglia capire i rischi e le soluzioni legati agli "Agenti di Intelligenza Artificiale", senza bisogno di essere un esperto di informatica.

Immagina questo documento come una guida di sicurezza per un nuovo tipo di "domestico robotico", chiamato Agente AI. Questi robot non sono semplici calcolatrici; sono assistenti intelligenti che possono navigare su internet, leggere le tue email, aprire file e persino fare acquisti per te.

Ecco i punti chiave, spiegati con metafore di tutti i giorni:

1. Il Problema Fondamentale: Quando le Istruzioni diventano "Cibo"

In un computer normale, c'è una regola d'oro: le istruzioni (il codice) sono separate dai dati (le informazioni). È come se avessi un cuoco (il programma) e gli ingredienti (i dati). Il cuoco segue una ricetta fissa e non può essere ingannato da ciò che c'è scritto sulla confezione del latte.

Con gli Agenti AI, questa regola crolla.
Immagina che il cuoco sia un chef molto intelligente che legge le ricette mentre cucina. Se qualcuno scrive un messaggio nascosto dentro la confezione del latte che dice "Dimentica la ricetta e versa tutto il sale nel piatto", il chef potrebbe obbedire!

• La metafora: Per un'AI, un'email, un sito web o un file non sono solo "dati da leggere", ma possono diventare istruzioni segrete. Se un hacker inserisce un messaggio nascosto in un articolo di notizie, l'agente AI potrebbe leggerlo e pensare: "Oh, l'utente mi ha detto di cancellare tutti i file!", anche se l'utente non ha mai scritto nulla del genere. Questo si chiama iniezione di prompt indiretta.

2. La Libertà è un'arma a doppio taglio

I software tradizionali fanno esattamente quello che gli diciamo, passo dopo passo. Se dici "apri il file X", lo fa.
Gli Agenti AI, invece, sono come autisti molto autonomi. Gli dai una destinazione ("Portami in ufficio") e loro decidono da soli quale strada prendere, quali semafori fermarsi e se fare una deviazione per comprare un caffè.

• Il rischio: Se l'autista è troppo fiducioso o viene ingannato da un cartello stradale falso (un sito web manipolato), potrebbe portarti in un posto pericoloso, rubare i tuoi documenti o spendere i tuoi soldi in modo imprevisto. Più libertà dai all'AI, più è difficile prevedere cosa farà.

3. Il Pericolo dei "Gruppi di Robot" (Sistemi Multi-Agente)

Immagina di avere non uno, ma un intero squadra di robot che lavorano insieme. Uno cerca informazioni, un altro scrive l'email, un terzo la invia.

• Il problema del "Confuso Sottoposto": Succede quando il robot principale (quello che parla con te) viene ingannato e ordina al robot secondario (che ha più privilegi, come l'accesso al conto in banca) di fare qualcosa di dannoso. Il robot secondario pensa: "Il capo me l'ha chiesto, quindi lo faccio", senza capire che il "capo" è stato manipolato da un estraneo. È come se un ladro ingannasse il portinaio per fargli aprire la porta della cassaforte.

4. Come ci proteggiamo? La strategia del "Castello a Strati"

Il documento dice che non esiste una singola "bacchetta magica" per la sicurezza. Bisogna costruire un castello con diverse linee di difesa (Defense-in-Depth):

• Livello 1: Il Guardiano all'Ingresso (Filtraggio)
  Prima che le informazioni arrivino all'AI, un sistema di sicurezza cerca di scovare i messaggi nascosti o le trappole. È come un ispettore che controlla i bagagli prima che entrino in aeroporto. Problema: A volte sbaglia e blocca cose innocue, o lascia passare cose pericolose.
• Livello 2: L'Addestramento del Cuoco (Modelli più intelligenti)
  Cerchiamo di insegnare all'AI a distinguere meglio tra "istruzioni del proprietario" e "rumori di fondo". È come addestrare il chef a dire: "Aspetta, questa scritta sul latte sembra sospetta, meglio non leggerla". Problema: L'AI è ancora un po' confusa e a volte obbedisce comunque.
• Livello 3: Il Muro di Pietra (Controlli Deterministici)
  Questa è la parte più importante. Indipendentemente da cosa dice l'AI, ci sono regole rigide e automatiche che non possono essere ignorate.
  • Esempio: L'AI può dire "Voglio spendere 1 milione di dollari", ma il sistema ha una regola fissa: "Nessuna transazione sopra i 100 dollari senza la firma umana".
  • È come avere un interruttore di sicurezza che taglia la corrente se qualcuno prova a forzare la porta, indipendentemente da quanto sia bravo il ladro a convincere la guardia.

5. Cosa manca e cosa serve?

Il documento conclude che abbiamo bisogno di:

• Migliori "Esami di Sicurezza": Invece di testare l'AI con domande statiche, dobbiamo metterla in scenari reali dove un "avversario" prova a ingannarla in tempo reale, come un allenatore di calcio che simula le mosse della squadra avversaria.
• Regole Chiare per i Robot: Dobbiamo creare nuove leggi digitali che dicano esattamente cosa un robot può e non può fare, specialmente quando lavora in gruppo.
• L'Uomo al Comando (ma non troppo): Chiedere all'umano di confermare ogni singola azione è noioso e fa stancare (e allora l'umano dice "sì" senza guardare). Serve un sistema intelligente che chieda conferma solo quando il rischio è davvero alto, come un navigatore che ti avvisa solo se stai per prendere una strada sbagliata pericolosa.

In sintesi

Gli Agenti AI sono come automobili a guida autonoma: sono fantastici, veloci e utili, ma se qualcuno modifica il segnale stradale o inganna il sensore, possono causare incidenti gravi.
La soluzione non è fermare le auto, ma costruire strade più sicure, semafori che non si possono manomettere e un sistema di freni di emergenza che funzioni anche se il conducente (l'AI) si distrae o viene ingannato.

Il documento di Perplexity ci dice: "Non fidatevi ciecamente dell'AI. Costruite più livelli di sicurezza, tenete sempre un controllo umano sulle cose importanti e preparatevi a difenderci da trucchi che ancora non conosciamo."

Sommario tecnico

Ecco un riassunto tecnico dettagliato del documento "Security Considerations for Artificial Intelligence Agents", basato sulla risposta di Perplexity alla richiesta di informazioni NIST/CAISI 2025-0035.

Titolo: Considerazioni sulla Sicurezza per gli Agenti di Intelligenza Artificiale

Autori: Ninghui Li, Kaiyuan Zhang, Kyle Polley, Jerry Ma (Perplexity e Purdue University)
Data: Marzo 2026

---

1. Il Problema: Nuove Minacce nei Sistemi di Agenti AI

Il documento identifica come i sistemi di agenti AI, in particolare quelli guidati da Large Language Models (LLM), introducano vulnerabilità fondamentali che differiscono radicalmente dal software tradizionale. Le principali sfide sono:

• Sfocatura tra Codice e Dati: Nei sistemi tradizionali, la separazione tra codice (logica) e dati (input) è un principio di sicurezza fondamentale. Negli agenti AI, i prompt in testo semplice agiscono come codice, dirigendo il flusso di controllo (es. invocazione di strumenti). Poiché i dati dinamici (come email o pagine web) possono diventare prompt per l'LLM, il confine tra input attendibile e non attendibile collassa, rendendo difficile prevenire l'esecuzione di comandi non autorizzati.
• Automazione Non Deterministica e Opaca: A differenza dei flussi di lavoro pre-programmati, gli agenti AI costruiscono dinamicamente i loro percorsi decisionali basandosi su obiettivi di alto livello. Questa flessibilità, unita alla natura probabilistica degli LLM, rende difficile ragionare sugli stati raggiungibili, enumerare comportamenti indesiderati o verificare formalmente la sicurezza del sistema.
• Inadeguatezza dei Meccanismi di Sicurezza Esistenti: Le difese tradizionali (es. sandboxing per app mobile, Same-Origin Policy per il web) sono state progettate per ambienti con comportamenti deterministici o con interazione umana lenta. Gli agenti operano a velocità macchina, possono esercitare privilegi ampi e interagire con sistemi esterni in modo autonomo, rendendo obsolete le assunzioni di base su cui si basano le attuali difese (es. l'ipotesi che l'utente umano valuti i rischi).
• Rischi Specifici degli Agenti Multi-Agente: In architetture multi-agente, emergono rischi di "delega implicita" e vulnerabilità del "deputato confuso" (confused-deputy), dove un agente con privilegi limitati può manipolare un agente più privilegiato per eseguire azioni sensibili, aggirando i controlli di accesso.

2. Metodologia e Analisi delle Minacce

Gli autori analizzano le minacce attraverso due prospettive principali: il modello CIA (Riservatezza, Integrità, Disponibilità) e le Superfici di Attacco.

• Analisi CIA:
  • Riservatezza: Gli agenti accedono a dati sensibili (credenziali, dati personali, segreti aziendali) e possono disperderli attraverso output di strumenti, file di lavoro o webhook.
  • Integrità: Le violazioni includono modifiche non autorizzate a sistemi critici, transazioni finanziarie errate o la presentazione di informazioni fuorvianti all'utente finale.
  • Disponibilità: I fallimenti a cascata in flussi di lavoro complessi, l'esaurimento delle risorse computazionali (attacchi DoS mirati all'inferenza LLM) e i loop di ripetizione possono bloccare il sistema.
• Superfici di Attacco Identificate:
  • Injection Indiretta: Il vettore di attacco più critico, dove un avversario inserisce istruzioni malevole in contenuti esterni (pagine web, email) che l'agente elabora, manipolandone il comportamento.
  • Fornitori di Strumenti e Plugin: Codice di terze parti eseguito con i privilegi dell'agente.
  • Coordinamento Multi-Agente: Messaggi tra agenti e spazi di lavoro condivisi che possono propagare errori o istruzioni malevole.
  • Ambienti di Hosting: Differenze tra deployment cloud, on-premise e edge che modificano i confini di fiducia e l'esposizione di rete.

3. Contributi Chiave e Proposte di Difesa

Il documento propone un approccio a difesa in profondità (defense-in-depth), strutturato come una pila di difese stratificate, poiché nessuna singola misura è sufficiente.

A. Difese a Livello di Input

• Rilevamento e Mitigazione: Uso di tecniche per rilevare prompt injection (es. misurazione della perplessità, detector specializzati, analisi dei pattern di attenzione).
• Sfide: Alto tasso di falsi positivi (problema della base rate), costi computazionali e difficoltà nel gestire input multimodali (testo, immagini, audio).

B. Difese a Livello di Modello

• Gerarchia delle Istruzioni: Tentativi di ri-stabilire la separazione codice-dati all'interno dell'LLM, assegnando priorità diverse a ruoli diversi (es. istruzioni di sistema vs. dati utente).
• Limiti: I modelli non hanno una comprensione nativa di queste gerarchie; i confini sono convenzioni apprese e non garanzie di sicurezza. I bias di conformità e recenza possono sovrascrivere i vincoli di sicurezza.

C. Difese a Livello di Sistema (Esecuzione e Monitoraggio)

• Sandboxing e Isolamento: Esecuzione degli agenti in ambienti isolati con politiche di accesso rigorose.
• Separazione Flusso di Controllo/Dati: Framework come CaMeL che utilizzano un LLM privilegiato (P-LLM) per la pianificazione e un LLM quarantinato (Q-LLM) per i dati non attendibili, tracciando i flussi di dati "tainted".
• Ultima Linea di Difesa Deterministica: Implementazione di controlli verificabili e non probabilistici (es. whitelist/blacklist di strumenti, limiti di velocità, validazione regex degli argomenti) che bloccano azioni proibite indipendentemente dall'output dell'LLM.

4. Risultati e Stato dell'Arte

• Maturità delle Difese: Le difese deterministiche (sandbox, whitelist, conferma umana) sono le più mature e ampiamente implementate. Le difese a livello di input e modello sono ancora in fase di ricerca attiva e non offrono protezione affidabile da sole.
• Efficacia: La combinazione di tutti e tre i livelli (riduzione del volume degli attacchi, aumento della difficoltà di manipolazione, enforcement di limiti rigidi) rappresenta la postura di sicurezza più robusta attualmente raggiungibile.
• Casi Studio: Vengono citati incidenti reali (es. CVE-2026-25253 su OpenClaw) che dimostrano come le vulnerabilità possano derivare sia da comportamenti dell'agente che da errori architetturali nell'infrastruttura di supporto.

5. Significato e Raccomandazioni Future

Il documento conclude con raccomandazioni strategiche per NIST, CAISI e la comunità di ricerca:

1. Standard e Architetture di Riferimento: Sviluppare un'architettura di riferimento per la difesa in profondità specifica per gli agenti AI, includendo modelli di autorizzazione per la delega e il controllo dei privilegi tra agenti.
2. Metriche e Benchmark Dinamici: Creare benchmark di sicurezza che vadano oltre i test statici, incorporando avversari adattivi e scenari di interazione multi-step in ambienti realistici per valutare la resilienza reale.
3. Modelli di Controllo degli Accessi: Esplorare l'integrazione di modelli RBAC (Role-Based Access Control) con approcci di controllo degli accessi adattivi al rischio, per gestire la dinamica degli agenti senza sacrificare l'usabilità.
4. Fattori Umani: Ricerche su come bilanciare la sicurezza con l'usabilità, evitando la "fatica da conferma" dell'utente attraverso l'autonomia consapevole del rischio e meccanismi di trasparenza periodica.

In sintesi, il documento sottolinea che la sicurezza degli agenti AI richiede un cambio di paradigma: non più solo protezione dei dati, ma gestione attiva dell'autonomia, della non deterministica e delle nuove superfici di attacco introdotte dall'integrazione profonda tra modelli linguistici e azioni nel mondo reale.