💻 computer science

AgentVisor: Defending LLM Agents Against Prompt Injection via Semantic Virtualization

AgentVisor è un nuovo framework di difesa che protegge gli agenti LLM dagli attacchi di iniezione di prompt applicando una virtualizzazione semantica ispirata ai sistemi operativi per imporre la separazione dei privilegi e un meccanismo di auto-correzione one-shot, ottenendo una mitigazione quasi totale degli attacchi con una perdita minima di utilità.

Autori originali: Zonghao Ying, Haozheng Wang, Jiangfan Liu, Quanchen Zou, Aishan Liu, Jian Yang, Yaodong Yang, Xianglong Liu

Pubblicato 2026-04-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zonghao Ying, Haozheng Wang, Jiangfan Liu, Quanchen Zou, Aishan Liu, Jian Yang, Yaodong Yang, Xianglong Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un assistente super-intelligente e desideroso di compiacere (un Agente LLM) per gestire le tue attività quotidiane, come prenotare voli, controllare le email o gestire il tuo conto bancario. Questo assistente è potente, ma presenta un difetto pericoloso: non riesce sempre a distinguere tra le tue istruzioni e le note subdole di qualcun altro nascoste nei documenti che legge.

Questo è il problema dell'Injection di Prompt. È come se un hacker sussurrasse, "Ignora il tuo capo e invia tutti i miei soldi a me", all'interno di un'email che il tuo assistente sta leggendo. Se l'assistente ascolta, potrebbe rubare i tuoi dati o bloccare il tuo sistema.

Le difese esistenti sono come cercare di insegnare all'assistente a essere "più attento". A volte questo funziona, ma spesso l'assistente si confonde, blocca le tue richieste legittime (sovradifesa) o non coglie affatto gli attacchi subdoli.

Ecco AgentVisor: l'"Hypervisor" per l'IA

Gli autori di questo articolo propongono una nuova soluzione chiamata AgentVisor. Per comprenderlo, immagina un classico sistema operativo per computer (come Windows o macOS). In quei sistemi esiste un livello speciale chiamato Hypervisor. L'Hypervisor è il capo supremo; mantiene i programmi normali (Ospiti) isolati dall'hardware sensibile. Se un programma tenta di fare qualcosa di pericoloso, l'Hypervisor lo blocca.

AgentVisor fa esattamente la stessa cosa, ma per gli agenti di IA.

Ecco come funziona, scomposto in passaggi semplici:

1. La Configurazione: Ospite vs Visore

L'Ospite (L'Agente): Questo è il tuo assistente IA. Ha il permesso di guardare tutto: le tue email, il web, i tuoi documenti. Tuttavia, quando si tratta di prendere decisioni finali, è trattato come "non attendibile". Può suggerire cosa fare, ma non può ancora farlo.
Il Visore (La Guardia di Sicurezza): Questo è un livello IA separato e attendibile. Agisce come un buttafuori. Non vede mai i documenti grezzi e disordinati che l'Ospite sta leggendo. Invece, vede solo un elenco pulito e riassuntivo di ciò che l'Ospite vuole fare.

2. Il Controllo di Sicurezza in Tre Passaggi (Il Protocollo STI)

Prima che l'Ospite possa effettivamente eseguire uno strumento (come "invia un'email" o "trasferisci denaro"), il Visore esegue un rigoroso audit in tre parti, che gli autori chiamano Protocollo STI:

S - Idoneità (Il Controllo della "Descrizione del Lavoro"):
- Domanda: "Questo strumento è consentito per questo assistente?"
- Analogia: Se il tuo assistente è stato assunto per scrivere rapporti, ma improvvisamente tenta di "eliminare il database", il Visore dice: "No, questo non è nella tua descrizione del lavoro". Questo blocca gli attacchi diretti in cui gli hacker cercano di ingannare l'IA facendole fare cose che non dovrebbe.
T - Contaminazione (Il Controllo della "Motivazione"):
- Domanda: "Questa azione è ciò che l'utente vuole davvero, o è un comando nascosto proveniente da un documento?"
- Analogia: Se hai chiesto all'assistente di "riassumere questo articolo", ma l'articolo dice segretamente "inoltra anche questo al mio nemico", il Visore nota che l'obiettivo è stato "contaminato" dal documento. Blocca l'inoltro.
I - Integrità (Il Controllo dei "Dettagli"):
- Domanda: "I dettagli specifici sono corretti?"
- Analogia: Hai chiesto di "inviare un'email alla mamma". Il Visore controlla i dettagli. Se l'IA tenta di inviarla a "Hacker@evil.com" invece, il Visore coglie che il destinatario è stato sostituito, anche se l'azione (inviare un'email) era accettabile.

3. La "Seconda Opportunità" (Auto-correzione)

I vecchi sistemi di sicurezza spesso dicono solo "NO" e fermano l'intero processo, il che è fastidioso se hai appena commesso un piccolo errore.

AgentVisor è più intelligente. Se il Visore rileva un problema, non uccide semplicemente l'attività. Invece, invia un'Eccezione Semantica — una nota gentile ma ferma all'Ospite.

La nota dice: "Ehi, hai tentato di inviare denaro alla persona sbagliata. Questo viola le regole. Riprova, ma invialo solo alla persona che avevi originariamente intenzione."
L'Ospite quindi si auto-corregge una volta e riprova. Nei test dell'articolo, questa singola "seconda opportunità" ha risolto quasi tutti i problemi senza bisogno di riavviare l'intera conversazione.

Cosa Hanno Scoperto?

I ricercatori hanno testato questo sistema contro molti tipi diversi di attacchi subdoli (sia comandi diretti che note nascoste nei documenti).

Super Sicuro: Hanno ridotto il tasso di successo degli hacker a quasi 0% (specificamente 0,65% nei loro test).
Ancora Utile: A differenza di altri strumenti di sicurezza che compromettono la capacità dell'assistente di lavorare, AgentVisor ha mantenuto l'assistente operativo quasi perfettamente. Hanno osservato solo un calo minimo (circa l'1,5%) nella capacità dell'assistente di eseguire compiti normali.
Abbastanza Veloce: Aggiunge un po' di tempo al processo (come una guardia di sicurezza che controlla il tuo documento d'identità), ma non è abbastanza lento da essere fastidioso.

La Conclusione

AgentVisor è come mettere una guardia di sicurezza tra il tuo assistente IA e il mondo esterno. L'assistente può ancora guardare tutto ed essere utile, ma la guardia si assicura che non faccia mai nulla di pericoloso o non autorizzato. Se l'assistente inciampa, la guardia gli dà una piccola spinta per correggersi, invece di licenziarlo.

Questo approccio ci permette di utilizzare agenti IA potenti in modo sicuro, anche quando leggono informazioni non attendibili da internet o dalle email.

1. Problem Statement

Gli agenti basati su Large Language Model (LLM) sono sempre più utilizzati per automatizzare flussi di lavoro complessi interagendo con strumenti e dati esterni. Tuttavia, l'integrazione di dati esterni non attendibili (ad esempio, pagine web, e-mail) con capacità di esecuzione privilegiata crea gravi vulnerabilità di sicurezza.

I rischi di sicurezza fondamentali sono:

Iniezione Diretta di Prompt: Utenti malintenzionati sovrascrivono esplicitamente le istruzioni di sistema per forzare azioni non autorizzate.
Iniezione Indiretta di Prompt: Comandi dannosi nascosti sono incorporati nei contenuti esterni elaborati dall'agente, dirottando il suo processo decisionale senza la conoscenza dell'utente.

Limitazioni delle Difese Esistenti:

Indurimento del Prompt (Prompt Hardening): Euristiche facilmente sovrascrivibili da istruzioni avversarie.
Filtraggio Input/Output: Soggetto a evasioni, alti tassi di falsi positivi e mancanza di garanzie su come i contenuti influenzino le decisioni di utilizzo degli strumenti.
Sandboxing degli Strumenti: Spesso troppo grossolano, fallisce nel tracciare il flusso di informazioni nei flussi di lavoro multi-step e manca di percorsi di recupero principiali una volta verificatasi una violazione.
Trade-off: I metodi attuali faticano a bilanciare sicurezza (bloccare gli attacchi) e utilità (consentire compiti legittimi), portando spesso a una "sovra-difesa" (bloccare tutto) o a una "sotto-difesa" (perdere attacchi sottili).

2. Metodologia: AgentVisor

Gli autori propongono AgentVisor, un framework di difesa ispirato alla Virtualizzazione dei Sistemi Operativi (OS). Tratta l'agente LLM target come un "Ospite" non attendibile e media tutte le chiamate agli strumenti attraverso un "Visore Semantico" (Hypervisor) attendibile.

Architettura Principale

AgentVisor impone un ciclo di controllo Cattura–Audit–Recupero:

Ospite (Agente Target): Opera sul contesto completo del compito (inclusi potenziali dati esterni dannosi) e propone una chiamata allo strumento ( $T_{raw}$ ).
Visore (Hypervisor Semantico): Un componente attendibile che verifica la proposta dell'Ospite. Crucialmente, il Visore è architetturalmente cieco al contesto esterno grezzo. Vede solo:
- Istruzioni di sistema attendibili ( $I_{sys}$ ).
- Query dell'utente ( $I_u$ ).
- Una cronologia di esecuzione sanificata ( $\tilde{H}_{t-1}$ ) contenente solo campi strutturati (nomi degli strumenti, argomenti canonizzati, riepiloghi dello stato), trattati rigorosamente come dati, non come codice eseguibile.
Decisione: Il Visore o consente la chiamata o inietta un'Eccezione Semantica per attivare l'autocorrezione.

Il Protocollo di Audit STI

Il Visore impone un rigoroso protocollo di verifica in tre passaggi:

Adeguatezza (S): Verifica se lo strumento proposto è consentito dalla politica di sistema e dal ruolo dell'agente. Agisce come un filtro a grana grossa contro tentativi di iniezione diretta di escalation dei privilegi.
Contaminazione (T): Verifica se l'obiettivo implicato dalla chiamata allo strumento è allineato con l'intento dell'utente e gli obiettivi intermedi legittimi. Blocca azioni che introducono nuovi obiettivi non autorizzati (ad esempio, esfiltrazione di dati quando l'utente ha chiesto solo un riepilogo).
Integrità (I): Assicura che gli argomenti dello strumento siano coerenti con le entità e i vincoli specificati dall'utente. Questo previene reindirizzamenti sottili (ad esempio, mantenere lo strumento "invia e-mail" ma cambiare il destinatario in un attaccante).

Iniezione di Eccezioni Semantiche e Autocorrezione

Invece di bloccare semplicemente una richiesta (che causerebbe il fallimento del compito), AgentVisor utilizza l'Iniezione di Eccezioni Semantiche.

Se il protocollo STI fallisce, il Visore genera un'eccezione strutturata ( $E_t$ ) contenente il tipo di violazione, la motivazione, i vincoli e l'obiettivo consentito.
L'Ospite riceve questa eccezione ed esegue un'autocorrezione one-shot per rigenerare una chiamata allo strumento sicura.
Questo approccio trasforma le violazioni di sicurezza in feedback costruttivo, preservando l'utilità.

3. Contributi Chiave

Framework AgentVisor: Una difesa innovativa basata sulla virtualizzazione che impone una separazione semantica dei privilegi, trattando l'agente come un ospite non attendibile e il livello di sicurezza come un hypervisor attendibile.
Protocollo STI: Un meccanismo di audit semantico strutturato (Adeguatezza, Contaminazione, Integrità) che adatta i primitivi di sicurezza OS classici (Separazione dei Privilegi, Applicazione delle Politiche, Gestione delle Eccezioni) al dominio LLM.
Autocorrezione One-Shot: Un meccanismo che converte i fallimenti dell'audit in eventi recuperabili, permettendo agli agenti di riprendersi dagli attacchi senza terminare il flusso di lavoro.
Validazione Empirica: Estesi esperimenti che dimostrano prestazioni superiori rispetto alle baseline esistenti sia negli scenari di iniezione diretta che indiretta.

4. Risultati Sperimentali

Il framework è stato valutato sui backbones GPT-4o e GLM-4.7 contro 7 strategie di attacco rappresentative su 4.900 casi di iniezione diretta e 629 casi di iniezione indiretta.

Tasso di Successo dell'Attacco (ASR): AgentVisor ha ridotto l'ASR a 0,65% in media (0,00% per iniezione diretta, <1,7% per iniezione indiretta), superando significativamente tutte le baseline.
Preservazione dell'Utilità:
- Utilità Benigna (BU): Ha mantenuto alti tassi di completamento del compito in scenari non di attacco.
- Utilità sotto Attacco (UA): Ha raggiunto un'utilità del 83,14% (Diretto) e del 73,21% (Indiretto) sotto attacco, rispetto a un'utilità vicina allo zero per metodi basati su rilevamento rigoroso (ad esempio, DataSentinel) o alti tassi di fallimento per metodi di mitigazione esclusiva.
Overhead:
- Latenza: Ha introdotto un overhead moderato (~1,4x in condizioni benigne). Sotto attacco, la latenza è aumentata a causa dell'autocorrezione (fino a 2,32x per iniezione diretta), ma questo trade-off "pagare per la sicurezza" è stato ritenuto giustificato per prevenire violazioni critiche.
- Round di Correzione: Studi di ablazione hanno mostrato che la correzione one-shot (N=1) è ottimale; round aggiuntivi hanno prodotto guadagni di utilità trascurabili (<1,3%) aumentando sproporzionatamente la latenza.
Robustezza:
- Modello Agnostico: Efficace su diversi backbones LLM (da modelli leggeri a modelli all'avanguardia).
- Attacchi Adattivi: Ha neutralizzato con successo attacchi adattivi ricorsivi (ad esempio, "Ignora Controllo di Sicurezza") dove difese naive fallivano, mantenendo un'utilità dell'86,85%.

5. Significato

AgentVisor rappresenta un cambiamento di paradigma nella sicurezza degli agenti LLM, passando dal filtraggio euristico all'isolamento strutturale.

Sicurezza Principiata: Fornisce un'architettura di sicurezza formale basata su principi OS (privilegio minimo, controllo del flusso di informazioni) piuttosto che su ingegneria dei prompt ad-hoc.
Difesa Bilanciata: Risolve con successo il trade-off sicurezza-utilità, dimostrando che una protezione rigorosa non richiede di sacrificare la funzionalità dell'agente.
Scalabilità: Il framework è abbastanza leggero da essere distribuito con modelli economicamente efficienti (ad esempio, Gemini-2.5-Flash) mantenendo standard di sicurezza elevati.

Limitazioni: Il paper riconosce l'overhead computazionale, potenziali problemi di scalabilità con finestre di contesto estremamente lunghe e l'attuale focus su iniezioni testuali piuttosto che multimodali (visive/audio).