Sintesi Tecnica: SMSR – Difesa Certificata contro l'Avvelenamento della Memoria a Runtime in Sistemi di Agenti LLM Persistenti

1. Enunciato del Problema: Multi-Session Memory Poisoning (MSMP)

Gli agenti di Generazione Aumentata da Recupero (RAG) negli ambienti aziendali si affidano sempre più a depositi di memoria persistente che accumulano interazioni attraverso le sessioni utente. Questa persistenza crea una nuova superficie di attacco: un avversario (che agisce come dipendente, cliente o strumento compromesso) può iniettare memorie accuratamente progettate che persistono indefinitamente. Una volta recuperate, queste voci avvelenate reindirizzano il comportamento dell'agente su future query senza modificare i pesi del modello o il codice dell'applicazione.

Il documento identifica la minaccia Multi-Session Memory Poisoning (MSMP), in cui un avversario inietta memorie che corrispondono semanticamente a future query dell'utente, causando all'agente di produrre risposte malevole o errate. Le difese esistenti sono insufficienti:

• Le difese su corpus statici (es. RobustRAG, ReliabilityRAG) assumono una base di conoscenza fissa indicizzata offline e falliscono quando l'avversario inietta dati a runtime tramite il normale percorso di scrittura dell'agente.
• I filtri euristici (es. blacklist di parole chiave, controlli di entropia, rilevamento di anomalie semantiche) sono aggirabili tramite testi fluidi in stile enterprise che imitano legittimi aggiornamenti di policy.
• Le euristiche basate sul consenso (es. A-MemGuard) mancano di garanzie di sicurezza formali e possono essere sconfitte da avversari persistenti che adattano le loro strategie di iniezione.

Fondamentalmente, nessuna difesa esistente fornisce un certificato di sicurezza formale (un limite matematico sul successo dell'attacco) contro l'avvelenamento della memoria adattivo a runtime.

2. Metodologia: Signed Memory with Smoothed Retrieval (SMSR)

Gli autori propongono SMSR, un meccanismo di difesa a due componenti progettato per fornire un limite di robustezza certificata contro il MSMP.

Componente 1: HMAC Provenance Tagging (Confine al tempo di Scrittura)

Per affrontare gli avversari non firmati (coloro che hanno accesso diretto al database ma non credenziali di autenticazione), SMSR implementa un confine crittografico al tempo di scrittura.

• Meccanismo: Ogni voce di memoria legittima è contrassegnata da una firma HMAC-SHA256 utilizzando una chiave segreta lato server ($K$).
• Recupero: Al tempo della query, il sistema verifica il tag HMAC delle voci recuperate. Solo le voci con tag validi vengono ammesse nel pool di candidati.
• Sicurezza: Sotto le normali assunzioni HMAC, un avversario non firmato non può falsificare un tag valido, riducendo efficacementmente il tasso di successo dell'attacco (ASR) per le iniezioni non firmate a 0%.

Componente 2: Randomised Memory Ablation with Verdict-Based Aggregation (Avversari Autenticati)

Per affrontare gli avversari autenticati (utenti legittimi che possono scrivere memorie firmate), SMSR impiega una difesa randomizzata simile alla classificazione smussata (smoothed classification).

• Over-fetching: Per una query, il sistema recupera un ampio pool di $m$ candidati verificati ($m > k$, dove $k$ è la dimensione standard del contesto).
• Randomised Ablation: Il sistema esegue $n_{runs}$ prove indipendenti. In ogni prova, campiona $k$ voci uniformemente a caso (senza sostituzione) dal pool di $m$ candidati.
• Verdict-Based Aggregation: Un giudice LLM valuta la risposta generata in ogni prova, restituendo un verdetto (es. corretto, malevolo, né l'uno né l'altro). L'output finale è determinato da un voto a maggioranza dei verdetti, non dalle stringhe di testo stesse.
• Base Teorica: Questo approccio si basa sulla distribuzione ipergeometrica per limitare la probabilità che la maggioranza dei contesti campionati contenga voci avversarie.

Contributi Teorici

• Risultato di Impossibilità (Teorema 1): Gli autori dimostrano che nessun filtro deterministico privo di provenienza che operi esclusivamente al tempo di recupero può ottenere un certificato di sicurezza non banale contro un avversario adattivo. Ciò rende necessario il meccanismo di provenienza al tempo di scrittura del Componente 1.
• Certificato di Robustezza (Teorema 2): Un certificato ipergeometrico formale è derivato per il Componente 2, definendo la probabilità massima ($\delta$) di un output malevolo date $t$ voci avversarie in un pool di dimensione $m$.
• Consistent Minority Effect (CME): Il documento formalizza un tranello in cui il voto a maggioranza basato su stringhe fallisce perché le risposte avversarie sono testualmente coerenti mentre le risposte benigne variano (variazione di parafrasi). SMSR mitiga questo problema utilizzando l'aggregazione basata sul verdetto, che conta la correttezza semantica piuttosto che l'uguaglianza delle stringhe.

3. Contributi Chiave

1. Definizioni Formali: Introduzione del modello di minaccia MSMP e della prima definizione di sicurezza $(t, \delta)$ per sistemi di memoria di agenti a runtime.
2. Dimostrazione di Impossibilità: Dimostrazione che le difese prive di provenienza non possono essere certificate contro l'iniezione adattiva.
3. Costruzione di SMSR: Una difesa pratica che combina la provenienza HMAC e l'ablazione randomizzata con un certificato formale.
4. Caratterizzazione del CME: Formalizzazione e quantificazione del Consistent Minority Effect, mostrando che l'aggregazione basata sul verdetto è necessaria per neutralizzarlo.
5. Validazione Empirica: Valutazione estesa su 15 scenari aziendali e 3.150 prove ripetute.

4. Risultati Sperimentali

La valutazione è stata condotta su 15 scenari di knowledge-base aziendale (finanza, conformità, IT, HR) utilizzando un memory store a 20 semi per test su scala di produzione e uno a 10+ semi per valutazioni su piccola scala.

• Attacchi Non Firmati (Componente 1): SMSR ha ridotto l'Attack Success Rate (ASA) dal 93–100% (nelle baseline non difese) allo 0% per tutte le varianti di iniezione non firmata, inclusi gli attacchi "bypass" progettati per eludere i filtri euristici.
• Attacchi Autenticati (Componente 2):
  • Scala di Produzione ($m=20, t=1$): SMSR ha ridotto l'ASR dal 93–100% all'8,0% (95% CI [5,8%, 10,9%]). Questo risultato è ampiamente al di sotto del limite teorico del caso peggiore di $\delta = 10,4\%$ (per $n_{runs}=5$).
  • Piccola Scala ($m'=11, t=1$): L'ASR era del 37,8% (95% CI [33,4%, 42,3%]), che è inferiore al limite del certificato di $\delta = 41,5\%$.
  • Varianti di Flooding: Negli scenari di flooding (molteplici iniezioni parafrasate), l'ASR si è avvicinato al limite teorico, confermando la precisione del certificato.
• Confronto con le Euristiche: Sebbene una baseline di consenso di tipo A-MemGuard abbia ottenuto un ASR empirico comparabile (3,8% vs 8,0% in un test specifico a 20 semi), non offriva alcun certificato formale. La distinzione di SMSR è la fornitura di una garanzia matematica.
• Validazione End-to-End: In un attacco di sola query in cui l'agente stesso ha scritto il veleno (mimando il vettore di attacco MINJA), SMSR ha ridotto l'ASR dal 65,3% al 5,3%.
• Utilità: Il Componente 1 ha preservato il 90% dell'utilità sulle query pulite. La difesa combinata (Componenti 1 e 2) ha mantenuto l'85% dell'utilità, rappresentando un costo del 5% per la garanzia di sicurezza.
• Affidabilità del Giudice: L'accordo inter-giudice tra i modelli Haiku e Sonnet è stato elevato ($\kappa = 0,955$), confermando l'affidabilità dell'aggregazione del verdetto.

5. Significato e Rivendicazioni

Il documento sostiene di presentare la prima difesa formalmente certificata contro l'avvelenamento della memoria a runtime in sistemi di agenti LLM persistenti. La sua importanza risiede nel:

• Andare oltre le euristiche: A differenza del lavoro precedente che si basa su osservazioni empiriche o assunzioni statiche, SMSR fornisce una garanzia matematica ($\delta$) sulla probabilità di un attacco riuscito.
• Affrontare la natura dinamica della memoria: Mira specificamente alla natura "live append-only" della memoria dell'agente, un contesto in cui le difese su corpus statico falliscono.
• Dimostrare la necessità della provenienza: Il risultato di impossibilità stabilisce che senza attestazione crittografica al tempo di scrittura, nessun filtro al tempo di recupero può essere certificato.
• Praticità di Implementazione: Il sistema è progettato come un wrapper "drop-in" per le architetture RAG esistenti, richiedendo nessuna modifica ai modelli LLM o di embedding sottostanti, con un overhead computazionale gestibile (circa 10 chiamate API per query per $n_{runs}=5$).

Gli autori concludono che SMSR mitiga efficacemente la minaccia MSMP per avversari limitati, fornendo un passo fondamentale verso uno stack di sicurezza completo per le applicazioni LLM (affrontando specificamente i sottoproblemi di avvelenamento OWASP LLM08).