MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents

Riepilogo Tecnico: MEMSAD – Rilevamento delle Anomalie Accoppiato al Gradiente per l'Avvelenamento della Memoria negli Agenti Retrieval-Augmented

1. Enunciato del Problema

I sistemi di memoria esterna persistenti (ad esempio, Mem0, MemGPT) permettono agli agenti basati su Large Language Model (LLM) di mantenere il contesto tra diverse sessioni memorizzando le preferenze degli utenti e le conoscenze fattuali come embedding vettoriali densi. Tuttavia, le proprietà di sicurezza di tali sistemi rimangono formalmente non caratterizzate. A differenza dell'injection di prompt, che richiede accesso per ogni interazione, l'avvelenamento della memoria consente a un avversario di iniettare una singola voce malevola che persiste indefinitamente, attivandosi per ogni query semanticamente correlata nelle sessioni future.

Il documento formalizza tre distinti modelli di minaccia con ipotesi di accesso crescenti:

• AGENTPOISON: Richiede accesso in scrittura allo store di memoria; ottimizza i trigger sugli embedding DPR.
• MINJA: Richiede accesso solo in lettura; sfrutta l'archiviazione automatica tramite indicazioni di progressivo accorciamento.
• INJECMEM: Richiede accesso a una singola interazione; realizza l'iniezione tramite ancoraggi indipendenti dal recuperatore.

Le difese esistenti per la Generazione Retrieval-Augmented (RAG) assumono tipicamente l'accesso a livello di corpus e la pulizia offline, che non si applicano al modello di ingestione in streaming della memoria degli agenti. Inoltre, le valutazioni precedenti hanno spesso sofferto di incoerenze nel protocollo (ad esempio, valutare query attivate con query semplici), portando a sottostimare i tassi di successo degli attacchi.

2. Metodologia: MEMSAD

Gli autori propongono MEMSAD (Rilevamento delle Anomalie Semantico), una difesa basata sulla calibrazione fondata su un teorema di accoppiamento del gradiente.

Idea Centrale: L'avvelenamento della memoria ha successo perché le voci avversarie sono semanticamente vicine alle query della vittima. MEMSAD ipotizza che questa vicinanza sia un segnale rilevabile. Il sistema opera al momento della scrittura, filtrando le voci candidate prima che vengano confermate nello store di memoria.

Il Teorema di Accoppiamento del Gradiente:
Il contributo teorico centrale stabilisce che, sotto la regolarità dell'encoder (Assunzione 4), il gradiente del punteggio di anomalia e il gradiente dell'obiettivo di recupero sono provabilmente identici per i rilevatori monotoni.

• Sufficienza: Qualsiasi funzione monotona del punteggio di recupero eredita la direzione del gradiente. Pertanto, qualsiasi perturbazione continua che riduce il rischio di rilevamento degrada necessariamente la posizione nel ranking di recupero.
• Necessità: I rilevatori non monotoni ammettono percorsi di evasione continui in cui un avversario può aumentare la posizione nel ranking di recupero mentre evade il rilevamento.
• Canonicità: Il punteggio max-cosine è l'unica statistica sufficiente minima per il test di ipotesi avversario-vs-benigno.

Algoritmo:
MEMSAD calcola un punteggio di anomalia $s(c; H)$ per una voce candidata $c$ rispetto a una storia scorrevole di query della vittima $H$. Il punteggio è una combinazione della massima similarità coseno e della media della similarità coseno tra la candidata e la storia.
$$s_{comb}(c; H) := \frac{1}{2} \max_{q \in H} \cos(E(c), E(q)) + \frac{1}{2|H|} \sum_{q \in H} \cos(E(c), E(q))$$
Questo punteggio viene confrontato con una soglia $\hat{\mu} + \kappa\hat{\sigma}$, derivata da un corpus di riferimento benigno. Se il punteggio supera la soglia, la voce viene rifiutata.

Garanzie Teoriche:

• Raggio di Rilevamento Certificato: Se il divario tra la similarità avversaria e quella benigna supera l'incertezza di calibrazione, MEMSAD garantisce il rilevamento.
• Ottimalità Minimax: Utilizzando il metodo di Le Cam, gli autori dimostrano che qualsiasi rilevatore a soglia richiede $\Omega(1/\rho^2)$ campioni di calibrazione, e MEMSAD raggiunge questo limite fino a fattori logaritmici.
• Limiti di Rimorso Online: Per la calibrazione scorrevole con deriva della distribuzione, la dimensione ottimale della finestra produce un tasso di rimorso di $O(\sigma^{2/3}\Delta^{1/3})$.

Limitazioni ed Estensioni:
Il documento identifica una scappatoia discreta di invarianza ai sinonimi. Sebbene l'accoppiamento del gradiente valga per le perturbazioni continue nello spazio degli embedding, le sostituzioni discrete di token (sinonimi) possono aggirare questo accoppiamento se l'encoder mappa i sinonimi in embedding quasi identici ($\epsilon_{syn} \approx 0$). Per affrontare ciò, gli autori propongono MEMSAD+, che arricchisce il punteggio semantico con caratteristiche di Divergenza Jensen-Shannon (JSD) basate su n-grammi di caratteri, che non sono invarianti ai sinonimi.

3. Risultati Chiave

Gli autori valutano il loro approccio su una matrice attacco-difesa $3 \times 5$ utilizzando intervalli di confidenza bootstrap, test di ipotesi corretti con Bonferroni e validazione Clopper-Pearson (20 prove, $n=1.000$).

• Correzione della Valutazione: Correggere il protocollo di valutazione per utilizzare query attivate (come specificato nel lavoro originale AGENTPOISON) aumenta il Tasso di Successo dell'Attacco misurato (ASR-R) per AGENTPOISON da 0,25 a 1,00.
• Prestazioni della Difesa:
  • Difese Composite: Un ensemble ponderato di MEMSAD, watermarking, validazione e rilevamento proattivo raggiunge TPR = 1,00 e FPR = 0,00 su tutte e tre le classi di attacco.
  • MEMSAD da Solo: Raggiunge un TPR = 1,00 per AGENTPOISON (con calibrazione attivata), TPR = 0,40 per MINJA e TPR = 0,20 per INJECMEM.
  • MEMSAD+: Migliora il rilevamento per gli attacchi con sostituzione di sinonimi, aumentando il TPR di INJECMEM da 0,00 a 0,40.
• Avversario Adattivo: Anche con un avversario in white-box che esegue una sostituzione greed di sinonimi, il documento dimostra che, sebbene l'evasione sia possibile (tasso di evasione 80–100%), ciò avviene a costo di un degrado del recupero nello spazio continuo, sebbene i salti discreti possano aggirarlo.
• Validazione in Produzione: In una validazione reale utilizzando Mem0, la riformulazione interna tramite LLM ha rimosso le strutture ottimizzate per i trigger, riducendo l'ASR-R di AGENTPOISON a 0,00, mentre gli store vettoriali grezzi sono rimasti completamente esposti.

4. Significato e Affermazioni

Il documento afferma di fornire la prima difesa formalmente garantita per l'avvelenamento della memoria RAG. La sua rilevanza risiede in:

1. Caratterizzazione Formale: Stabilire una formulazione di gioco Stackelberg per l'avvelenamento della memoria e dimostrare che i rilevatori di punteggio di recupero monotoni sono necessari e sufficienti per resistere all'evasione continua.
2. Garanzie Certificate: Fornire raggi di rilevamento specifici per l'istanza e prove di ottimalità minimax, andando oltre le difese euristica.
3. Quadro Unificato: Coprire tre distinte classi di attacco con ipotesi di accesso crescenti, rivelando che nessuna singola difesa domina tutti i modelli di accesso, motivando così portafogli compositi.
4. Identificazione della Frontiera: Caratterizzare esplicitamente la "scappatoia di invarianza ai sinonimi" come il confine in cui le difese nello spazio continuo falliscono, evidenziando la necessità di approcci ibridi semantico-lessicali (MEMSAD+).

Gli autori concludono che, sebbene MEMSAD colmi il divario per le perturbazioni continue, la natura discreta dello spazio dei token rimane una sfida, e il lavoro futuro dovrà affrontare la chiusura di questo divario e il ridimensionamento alla memoria di produzione con vicini più prossimi approssimati.