Riepilogo Tecnico: Piantare, Persistere, Attivare: Attacco Sleeper su Agenti di Modelli Linguistici su Larga Scala

1. Definizione del Problema

Gli agenti basati su Modelli Linguistici su Larga Scala (LLM) sono vulnerabili a minacce alla sicurezza originate da ambienti esterni, dove gli attaccanti iniettano contenuti avversariali in osservazioni come dati restituiti da strumenti, pagine web o contesti MCP. Mentre la ricerca esistente si concentra principalmente su attacchi a singola interazione—in cui contenuti avversariali vengono iniettati e attivano immediatamente comportamenti dannosi all'interno della stessa richiesta utente—questo documento identifica una limitazione critica: i contenuti avversariali possono persistere attraverso le interazioni.

Gli autori formalizzano un nuovo modello di minaccia denominato Attacco Sleeper. In questo scenario, un contenuto avversariale viene piantato nello stato dell'agente (contesto della sessione, memoria o abilità riutilizzabili) durante un'interazione iniziale. Questo contenuto rimane dormiente nelle interazioni successive e viene attivato solo in seguito da una query utente benigna. Questo meccanismo rende la minaccia più difficile da rilevare e mitigare rispetto all'iniezione diretta, poiché l'azione dannosa è disaccoppiata dall'evento iniziale di iniezione.

2. Metodologia

2.1 Formalizzazione e Tassonomia della Minaccia

Gli autori definiscono il sistema dell'agente LLM come un processo di interazione che coinvolge un utente, una politica LLM ($\pi_\theta$), un ambiente esterno ($E$) e stati dell'agente ($s_t$). Un Attacco Sleeper si verifica quando un'osservazione avversariale $o^{adv}_{t,i}$ iniettata all'interazione $t$ non causa immediatamente comportamenti non sicuri ($U(h^{adv}_t) = 0$) ma viene memorizzata nell'aggiornamento dello stato ($s^{adv}_{t+1} = f(s_t, h^{adv}_t)$). In un'interazione futura $t+k$, una query benigna $x_{t+k}$ attiva lo stato memorizzato per produrre un comportamento non sicuro ($U(h^{adv}_{t+k}) = 1$).

Lo studio categorizza gli attacchi lungo due assi:

1. Strategie di Attacco (Modalità di Attivazione):
   • Piantaggio Latente di Istruzioni (LIP): Istruzioni maliziose vengono piantate per indurre azioni non sicure in un secondo momento.
   • Elicitazione Proattiva di Informazioni (PIE): Una variante avanzata di LIP in cui l'istruzione piantata induce l'agente a sollecitare informazioni sensibili dall'utente prima di eseguire l'azione maliziosa.
   • Corruzione Persistente di Informazioni (PIC): Le informazioni persistenti nello stato dell'agente vengono corrotte, inducendo l'agente a fare affidamento su dati errati per le future uscite.
2. Target dello Stato dell'Agente (Posizioni di Persistenza):
   • Contesto della Sessione: Contenuti avversariali trattenuti nella cronologia della conversazione.
   • Memoria: Contenuti scritti nei moduli di memoria e recuperati in seguito.
   • Abilità Riutilizzabili: Contenuti iniettati nelle definizioni gerarchiche delle abilità (abilità di alto livello e a livello di strumento) che guidano la selezione futura degli strumenti.

2.2 Costruzione del Benchmark

Per valutare questa minaccia, gli autori hanno costruito un benchmark completo con 1.896 istanze di valutazione.

• Dominî di Danno: Sei categorie: danno economico, compromissione di account/sistema, danno nel mondo fisico, fuga di dati personali, fuga di dati finanziari e fuga di altre informazioni sensibili.
• Ambiente di Simulazione: Costruito utilizzando l'SDK OpenAI Agents e ToolEmu, simulando 330 strumenti e stati dell'agente (memoria e abilità).
• Protocollo di Valutazione: È stato progettato un sistema di valutazione basato su regole per verificare la sicurezza a livello di traiettoria. Il successo è determinato dalla corrispondenza ordinata delle tracce (sequenza corretta di azioni) e dalla corrispondenza valore-argomento (ad esempio, verificare se i dati sono stati inviati a un indirizzo controllato dall'attaccante). Questo evita l'inaffidabilità dei giudici LLM per la valutazione della sicurezza.

2.3 Configurazione Sperimentale

Il benchmark è stato valutato su sette LLM potenti (sia open-source che closed-source), inclusi Gemini-3-Flash, Gemini-3.1-Pro, DeepSeek-R1, Qwen3.5-Plus/Flash, GPT-5.4 e Llama-3.3-70B. Gli esperimenti hanno confrontato il Tasso di Successo dell'Attacco (ASR) dell'Attacco Sleeper con un Baseline Diretta a Singola Interazione.

3. Risultati Chiave

3.1 Significativi Divari di Sicurezza

Gli esperimenti hanno rivelato un sostanziale divario di sicurezza "da diretto a sleeper". I modelli che hanno mostrato una bassa vulnerabilità agli attacchi diretti hanno spesso fallito significativamente sotto gli attacchi sleeper.

• LIP: L'ASR medio per la baseline diretta era 11,1%, ma è salito a 39,9% sullo stato dell'agente più forte. Ad esempio, Gemini-3.1-Pro è passato dal 6,2% (diretto) al 92,6% (stato abilità).
• PIE: La baseline diretta ha mediato 0,6%, mentre lo stato dell'agente più forte ha raggiunto 41,6%. Modelli come Qwen3.5-Plus sono passati da un ASR diretto vicino allo zero al 51,2% sullo stato abilità.
• PIC: Questa strategia ha mostrato la vulnerabilità complessiva più alta, con un ASR medio del 47,8% rispetto al 29,1% (LIP) e al 26,8% (PIE). Gemini-3.1-Pro ha raggiunto un ASR del 100% sullo stato abilità.

3.2 Vulnerabilità Specifiche per Stato

• Stati Abilità e Sessione: Questi sono risultati essere i target più pericolosi, con ASR medi del 45,6% e del 40,5% rispettivamente, rispetto al 34,8% per la memoria.
• Incoerenza: La performance di sicurezza di un modello non è uniforme tra le strategie o gli stati. Un modello sicuro in un contesto (ad esempio, iniezione diretta) può essere altamente vulnerabile in un altro (ad esempio, attacco sleeper basato su abilità).

3.3 Persistenza ed Effetti a Lungo Orizzonte

• Riproduzione in Sessione Fresca: Anche quando un attacco fallisce all'interno della stessa sessione, lo stato piantato può persistere in una sessione fresca. Per Qwen3.5-Plus, l'ASR cumulativo sulla memoria ha raggiunto il 94,3% per i casi PIC dopo la riproduzione in sessione fresca.
• Orizzonti Più Lunghi: Mentre gli attacchi basati sulla sessione si degradano all'aumentare della lunghezza del contesto (scendendo dal 62,7% al 40,7% di ASR su 20 interazioni), gli stati di memoria e abilità rimangono stabili, mantenendo un'alta vulnerabilità su orizzonti più lunghi.

3.4 Valutazione delle Difese

Gli autori hanno testato difese leggere e senza addestramento (istruzioni basate su regole e filtri basati su guardie) su Qwen3.5-Plus.

• Efficacia Limitata: Le difese hanno ridotto l'ASR in alcuni scenari (ad esempio, i filtri basati su guardie hanno ridotto l'ASR delle abilità PIE dal 51,2% al 30,9%) ma non sono riuscite a eliminare la minaccia completamente.
• Instabilità: In alcuni casi, le istruzioni basate su regole hanno effettivamente aumentato l'ASR, suggerendo che il semplice prompt engineering è insufficiente contro minacce esterne tra interazioni.

3.5 Scalabilità del Modello

La vulnerabilità non è strettamente correlata alle dimensioni del modello. I modelli open-source più grandi (ad esempio, Qwen3-32B) hanno mostrato ASR medi più elevati rispetto alle varianti più piccole (ad esempio, Qwen3-4B), in particolare per la strategia PIC, indicando che la scalabilità non risolve intrinsecamente le vulnerabilità degli attacchi sleeper.

4. Contributi e Significato

Il documento apporta tre contributi principali:

1. Formalizzazione dell'Attacco Sleeper: Introduce il primo modello di minaccia unificato da fonte esterna per attacchi a agenti LLM tra interazioni, evidenziando come contenuti avversariali possano essere piantati, memorizzati e attivati da richieste benigne.
2. Benchmark su Larga Scala: Fornisce un benchmark di 1.896 istanze che copre tre strategie di attacco, tre target di stato dell'agente e sei domî di danno reali, consentendo confronti controllati tra attacchi diretti e sleeper.
3. Evidenza Empirica di Vulnerabilità: Dimostra che gli agenti LLM all'avanguardia rimangono altamente vulnerabili agli attacchi sleeper, anche quando appaiono robusti contro gli attacchi a singola interazione.

Significato:
Gli autori sostengono che le attuali valutazioni di sicurezza siano insufficienti perché si concentrano principalmente sull'uso immediato degli strumenti. I risultati indicano che la valutazione della sicurezza degli agenti deve tracciare come i contenuti non attendibili vengono scritti, memorizzati e riutilizzati attraverso le interazioni. L'esistenza di un ampio divario di sicurezza tra attacchi diretti e sleeper suggerisce che le attuali difese non sono attrezzate per gestire minacce persistenti basate sullo stato, rendendo necessaria una nuova ricerca sul monitoraggio e la sanificazione degli stati dell'agente (memoria, abilità e contesto) piuttosto che sul semplice filtraggio degli input immediati.

Limitazioni:
Lo studio si basa su un ambiente di strumenti simulato (ToolEmu), che può differire dagli ecosistemi distribuiti con autenticazione aggiuntiva o registri di audit. Inoltre, il benchmark astrae dai livelli specifici di controllo del deployment (ad esempio, flussi di lavoro di revisione umana), il che significa che i risultati misurano la vulnerabilità sotto interfacce controllate piuttosto che i tassi di incidenti diretti in specifici sistemi reali.