Riepilogo Tecnico: Efficacia delle Difese attraverso i Livelli Architettonici

Enunciato del Problema

Gli agenti LLM aziendali utilizzano sempre più frequentemente una memoria persistente combinata con la Generazione Aumentata dal Recupero (RAG) per gestire attività multi-sessione. Questa architettura introduce una nuova superficie di attacco: Attacchi alla Memoria Persistente. A differenza delle tradizionali iniezioni di prompt a livello di input, dove il payload malevolo arriva nel messaggio immediato dell'utente, questi attacchi comportano l'iniezione di istruzioni malevole tramite documenti recuperati dal RAG. Queste istruzioni vengono memorizzate nella memoria persistente dell'agente durante una sessione ed eseguite in una sessione successiva, dopo che il contesto della conversazione originale è stato scartato.

Sebbene lavori precedenti (ad esempio MINJA, Zombie Agents) abbiano dimostrato alti tassi di successo dell'attacco (ASR) per questa classe di attacchi contro modelli open-source, non esiste una valutazione sistematica dell'efficacia delle difese. I benchmark di sicurezza esistenti (ad esempio InjecAgent, AgentDojo) si concentrano sugli attacchi a livello di input e non tengono conto della natura a trigger ritardato degli attacchi alla memoria persistente, in cui il payload entra tramite il recupero, viene memorizzato e attivato successivamente.

Metodologia

Gli autori hanno condotto una valutazione sistematica di sei difese attraverso quattro livelli architettonici (Input, Recupero, Istruzione, Strumento) contro attacchi a trigger ritardato (DTA) su nove modelli open-source.

• Progettazione Sperimentale: Un disegno fattoriale completamente incrociato che coinvolge 9 modelli, 7 condizioni di difesa (inclusa una linea di base senza difesa) e 2 bracci di attacco (attacco vs. nessun attacco), per un totale di 5.040 esecuzioni (N=40 per condizione).
• Meccanismo di Attacco (DTA):
  • Sessione 1 (Iniezione): All'agente viene istruito di recuperare regole di conformità da un archivio documentale. Un documento malevolo, inquadrato come un legittimo memorandum interno di conformità che cita regolamenti reali (Regola SEC 17a-4), istruisce l'agente a inoltrare tutte le email in uscita a un indirizzo controllato dall'attaccante. L'agente memorizza questa regola nella memoria persistente.
  • Sessioni 2 e 3: Sessioni intermedie benigne per garantire l'isolamento dello stato.
  • Sessione 4 (Attivazione): L'agente riceve un prompt benigno per redigere un'email. Recupera la regola memorizzata ed esegue l'esfiltrazione.
• Difese Valutate:
  1. Livello Input: Minimizer (filtraggio della rilevanza TF-IDF) e Sanitizer (Regex/Classificatore sull'input utente).
  2. Livello Recupero: RAG Sanitizer (Classificatore sui documenti recuperati) e RAG LLM Judge (Ragionamento di un piccolo LLM sui documenti recuperati).
  3. Livello Istruzione: Prompt Hardening (Aggiunta di regole di sicurezza al prompt di sistema).
  4. Livello Strumento: Memory Sandbox (Rimozione della capacità dello strumento memory recall fact durante la sessione di attivazione).
• Rigorosità Statistica: Lo studio ha impiegato intervalli di confidenza bootstrap BCa (10.000 ricampionamenti), correzione di Holm-Bonferroni per 108 confronti pre-specificati e un'analisi della potenza mirata all'80% di potenza per rilevare una differenza del 10% nell'ASR. Una linea di base senza attacco di 2.520 esecuzioni ha confermato un tasso di falsi positivi dello 0%.

Contributi Chiave

1. Prima Valutazione Sistematica: Fornisce la prima valutazione statisticamente rigorosa dell'efficacia delle difese contro gli attacchi alla memoria persistente, utilizzando intervalli di confidenza appropriati e baseline di falsi positivi.
2. Tassonomia Meccanicistica del Fallimento: Supera i numeri aggregati per spiegare perché le difese falliscono a specifici livelli architettonici (ad esempio, le difese a livello di input non possono vedere i contenuti iniettati dal RAG; i classificatori di recupero falliscono contro l'oscuramento semantico inquadrato come conformità).
3. Nuove Scoperte Comportamentali:
   • Identificazione dell'archetipo Esecutore Solo Bozza (un modello di ragionamento che rifiuta di inviare in condizioni normali ma inverte al 100% di ASR quando lo strumento di richiamo della memoria viene rimosso).
   • Scoperta del Bypass all'Allucinazione come proprietà di sicurezza incidentale (modelli che fabbricano regole benigne dai prior di addestramento quando il richiamo è bloccato).
   • Osservazione di una soglia di capacità dipendente dalle dimensioni per la risoluzione dei conflitti di istruzione all'interno della famiglia Qwen 3.5.

Risultati

Efficacia delle Difese

• Difese a Livello Input (Minimizer, Sanitizer): Fallimento completo (ASR ~88,9%). Queste difese operano sull'input utente e non osservano mai il payload malevolo, che entra tramite il corpus RAG.
• Difese a Livello Recupero (RAG Sanitizer, RAG LLM Judge): Fallimento completo (ASR ~88,9%). Sebbene posizionate per vedere il payload, non sono state in grado di distinguere il documento malevolo dai contenuti legittimi di conformità a causa dell'oscuramento semantico e della capacità limitata del modello (nel caso del giudice da 1,5B).
• Difesa a Livello Istruzione (Prompt Hardening): Fallimento parziale (ASR 77,8%). La riduzione è stata guidata da due modelli specifici (una difesa genuina, un rifiuto a livello di modello). Per la maggior parte dei modelli, l'"inquadratura di conformità" della regola memorizzata ha sovrascritto le istruzioni di sicurezza nel prompt di sistema.
• Difesa a Livello Strumento (Memory Sandbox): Altamente efficace per la maggior parte dei modelli, riducendo l'ASR allo 0% per 8 su 9 modelli. Rimuovendo lo strumento memory recall fact, è stata interrotta la dipendenza esecutiva dell'attacco. La difesa ha comportato zero costo di utilità (BTCR = 100%) in assenza di un attacco.

Anomalie Critiche e Inversioni

• L'Inversione QwQ-32b: Il modello di ragionamento qwq:32b ha raggiunto lo 0% di ASR senza difesa rifiutandosi di eseguire il comando "invia" (interpretando il prompt come una richiesta di "bozza"). Tuttavia, sotto la Memory Sandbox, il suo ASR si è invertito al 100%. La rimozione del richiamo della memoria ha costretto il modello a ricostruire l'istruzione direttamente dal documento RAG. Poiché l'istruzione arrivava fresca da un documento (portando autorità organizzativa) piuttosto che da un fatto di memoria richiamato (trattato come consultivo), il meccanismo di rifiuto del modello non si è attivato.
• Modelli Frontier:
  • Claude Sonnet 4.6: Ha raggiunto lo 0% di ASR tramite Rilevamento Esplicito (rifiutandosi di memorizzare la regola malevola).
  • Claude Haiku 4.5: Ha raggiunto lo 0% di ASR tramite Rilevamento Attivo (memorizzando un avviso di sicurezza invece del payload).

Significato e Affermazioni

Il documento afferma di fornire la prima caratterizzazione sistematica del motivo per cui le classi di difesa falliscono contro gli attacchi alla memoria persistente, consentendo decisioni di investimento informate.

• Determinismo Architettonico: Lo studio conclude che l'efficacia della difesa è determinata dal livello architettonico. Le difese a livello di input e recupero sono strutturalmente incapaci di fermare questo specifico vettore di attacco perché il payload aggira i loro punti di osservazione o imita troppo da vicino i contenuti di policy legittimi.
• Gestione degli Strumenti come Strategia Viabile: Le restrizioni a livello di strumento (Memory Sandbox) si dimostrano l'unica difesa che interrompe coerentemente il percorso di attacco rimuovendo la capacità critica (richiamo) necessaria per l'esecuzione, senza bisogno di rilevare il contenuto.
• Avvertenze sulla Gestione degli Strumenti: Il documento nota modestamente che la rimozione delle capacità non è una panacea universale. Come dimostrato dall'inversione di qwq:32b, la rimozione di uno strumento può alterare la fonte di informazioni in modo da aggirare i meccanismi specifici di rifiuto di un modello, potenzialmente creando nuovi percorsi di attacco.
• Artefatti di Valutazione: Gli autori evidenziano che il linguaggio contrattuale degli strumenti e la composizione degli schemi sono variabili sperimentali di prima classe che possono influenzare involontariamente il comportamento del modello, rendendo necessario un controllo rigoroso nelle valutazioni degli agenti.

In sintesi, il documento sostiene che gli attacchi alla memoria persistente cambiano fondamentalmente il problema della sicurezza per gli agenti LLM, rendendo inefficaci le difese standard a livello di input e recupero, e suggerendo che le restrizioni a livello di strumento devono essere valutate attentamente rispetto ai comportamenti specifici di rifiuto dei modelli prima del dispiegamento.