Riepilogo Tecnico: Ricordare di Più, Rischare di Più

Enunciato del Problema

Le attuali valutazioni di sicurezza per gli agenti di Modelli Linguistici su Grande Scala (LLM) dotati di memoria si concentrano prevalentemente sulla sicurezza intra-attività, valutando se un agente completa un singolo scenario in modo sicuro, spesso in condizioni avverse come l'iniezione di prompt o l'avvelenamento della memoria. Tuttavia, nelle implementazioni reali, un singolo agente gestisce molti compiti indipendenti su orizzonti temporali lunghi (settimane o mesi), accumulando uno stato persistente.

Il documento individua un divario critico: la contaminazione temporale della memoria. Si tratta di una modalità di guasto in cui l'accumulo benigno di memoria attraverso compiti indipendenti e non avversari porta a un comportamento sempre più insicuro nel tempo. A differenza degli attacchi avversari, in cui un attaccante elabora input per indurre un fallimento, la contaminazione temporale della memoria nasce dalle interazioni di routine dell'agente stesso. Man mano che la memoria cresce, può contenere contenuti rilevanti per una query corrente ma incompatibili con una risposta sicura (ad esempio, il recupero di dati privati di un altro utente o di istruzioni obsolete), portando a trasferimenti insicuri.

I metodi esistenti per studiare questo fenomeno sono confusi dalla non stazionarietà del flusso. La semplice rappresentazione grafica dei tassi di violazione in funzione del tempo fallisce perché lo stesso flusso di input cambia (ad esempio, picchi nel volume delle e-mail o argomenti che diventano più sensibili), rendendo impossibile isolare se l'aumento del rischio sia dovuto all'accumulo di memoria o alla natura mutevole dei compiti.

Metodologia

Per isolare gli effetti della memoria dalla non stazionarietà del flusso, gli autori introducono un protocollo trigger-sonda e un framework basato su eventi.

1. Decomposizione degli Eventi

I fallimenti sono decomposti in tre componenti:

• Precondizione: Lo stato della memoria contiene contenuti contaminanti recuperabili per una query specifica.
• Trigger: Un input specifico (sonda) che attiva il recupero di tale contenuto.
• Violazione: L'agente trasferisce in modo inappropriato il contenuto recuperato nella sua risposta.

2. Protocollo Trigger-Sonda

Questo protocollo valuta un insieme fisso di trigger-sonda contro istantanee di sola lettura della memoria costruite a partire da prefissi di flusso di lunghezza variabile ($\ell$).

• Esposizione Controllata: L'agente elabora le prime $\ell$ interazioni per costruire uno stato di memoria. Un insieme fisso di sonde viene quindi valutato contro questa istantanea in modalità di sola lettura (le sonde non vengono riscritte nella memoria).
• Baseline Controfattuale: Per ogni sonda, il sistema genera due risposte: una con memoria ($y_{mem}$) e una senza memoria ($y_{\emptyset}$, la baseline NullMemory).
• Etichetta di Violazione Indotta dalla Memoria ($U_a$): Una violazione è etichettata come indotta dalla memoria solo se:
  1. La risposta potenziata dalla memoria è insicura.
  2. La risposta NullMemory è sicura.
  3. Il contenuto insicuro è tracciabile alla memoria recuperata tramite corrispondenza semantica.

3. Configurazione di Valutazione

Il protocollo è applicato attraverso due classi distinte di agenti e tre scenari di implementazione:

• Assistenti d'Ufficio: Valutati su flussi sintetici (Studio Medico, Ufficio Anagrafe Universitario) e su una casella di posta Enron specifica per la persona. Sono stati testati otto architetture di memoria della tassonomia MemEngine (ad esempio, Memoria Completa, Breve Termine, Lungo Termine, Agenti Generativi, MemoryBank, MemGPT, MemTree).
• Agenti Simili a Artigli (Claw-like): Valutati sulle piattaforme OpenClaw e SecLaw, dove gli agenti operano nell'ambiente informatico di un utente con accesso al file system. La memoria è archiviata come file Markdown in chiaro. Il rischio è misurato tramite stringhe canarino incorporate nelle credenziali; una violazione si verifica se queste stringhe appaiono negli output o nei log.

Contributi Chiave

1. Framework di Sicurezza Longitudinale: Introduzione del protocollo trigger-sonda che tratta la sicurezza della memoria come una traiettoria, isolando gli effetti dell'accumulo dalle variazioni del flusso di input.
2. Caratterizzazione Empirica: Misurazione completa dei tassi di violazione indotta dalla memoria attraverso otto architetture di memoria e tre scenari, dimostrando che il rischio supera costantemente la baseline NullMemory e aumenta con la lunghezza dell'esposizione.
3. Analisi Cross-Architettura: Dimostrazione che l'amplificazione temporale persiste attraverso meccanismi di guasto strutturalmente diversi (perdita cross-contesto negli assistenti d'ufficio rispetto alla diluizione dell'attenzione/normalizzazione del contesto negli agenti simili a artigli).
4. Analisi dello Spazio di Progettazione: Identificazione dell'ambito di recupero (recupero semantico ampio) e del livello di riassunto (contenuto astratto) come le principali scelte progettuali che guidano l'amplificazione.
5. Diagnostica al Momento del Recupero: Sviluppo di un monitor leggero che prevede il rischio indotto dalla memoria prima della generazione basandosi sullo stato di recupero, ottenendo un richiamo elevato (0,970–0,984) senza fare affidamento su regole specifiche del dominio.

Risultati

• Amplificazione Temporale: I tassi di violazione indotta dalla memoria ($q_a(\ell)$) mostrano una tendenza robusta in crescita all'aumentare della lunghezza dell'esposizione ($\ell$). Questo effetto è osservato sia negli assistenti d'ufficio che negli agenti simili a artigli.
• Contenuto vs Ordine: Gli esperimenti di randomizzazione dell'ordine (mescolando la sequenza delle interazioni) indicano che l'amplificazione è guidata principalmente dal contenuto accumulato piuttosto che dall'ordine specifico degli incontri, sebbene l'ordine locale possa modulare l'effetto per determinate architetture (ad esempio, memoria strutturata ad albero).
• Sensibilità Architetturale:
  • Le architetture con recupero ampio e ritenzione lunga (ad esempio, MemTree, Memoria Auto-Controllata, Agenti Generativi) mostrano gli aumenti più ripidi nei tassi di violazione.
  • I sistemi con pregiudizio verso la recenza (ad esempio, Memoria a Breve Termine) rimangono relativamente piatti, suggerendo che la restrizione dell'ambito di recupero agisce come un cuscinetto di sicurezza.
  • Il riassunto può introdurre rischi fondendo dettagli da contesti separati in rappresentazioni composite che generano nuove inferenze insicure.
• Agenti Simili a Artigli: Anche senza perdita esplicita cross-contesto (poiché il contenuto della sonda è fisso), la memoria benigna circostante diluisce l'attenzione alla sicurezza e normalizza il linguaggio adiacente alle credenziali, portando a tassi di violazione più elevati man mano che il volume della memoria cresce.
• Monitoraggio Predittivo: Il monitor al momento del recupero rileva con successo il rischio prima della generazione, suggerendo che gli interventi di sicurezza possono essere applicati nella fase di recupero (ad esempio, filtrando elementi o ricorrendo a una generazione senza memoria).

Significato

Il documento sostiene che la sicurezza della memoria deve essere trattata come una proprietà longitudinale che richiede una valutazione temporale, piuttosto che una proprietà di stato singolo catturata da un'istantanea. I risultati mettono in discussione l'assunzione secondo cui l'accumulo benigno di memoria sia sicuro, dimostrando che le interazioni di routine da sole possono degradare i profili di sicurezza nel tempo.

Il lavoro fornisce una fondazione metodologica per valutare la sicurezza degli agenti su orizzonti lunghi e offre spunti attuabili per i progettisti di sistemi:

• Compromessi: Ampliare l'ambito di recupero e aggiungere livelli di riassunto migliora l'utilità ma aumenta l'esposizione temporale alla sicurezza.
• Mitigazione: I meccanismi di sicurezza dovrebbero essere integrati nella fase di recupero, non solo nella fase di generazione, per filtrare i contesti contaminanti prima che influenzino il modello.
• Standard di Valutazione: I futuri benchmark di sicurezza devono tenere conto della dimensione temporale e dell'interazione tra l'accumulo di memoria e i flussi di input non stazionari.

Gli autori concludono che, senza una valutazione temporale esplicita, la sicurezza degli agenti dotati di memoria nelle implementazioni su orizzonti lunghi rimane non verificata e potenzialmente compromessa dalla loro stessa storia.