Sintesi Tecnica: MIND (Memory Intent-Aware Neural Denoising)

1. Definizione del Problema

Gli agenti basati su Large Language Model (LLM) con memoria aumentata si affidano a sistemi di memoria esterni basati sul recupero (retrieval) per gestire compiti a lungo termine. Tuttavia, questi sistemi sono vulnerabili ad attacchi di iniezione della memoria, in cui gli avversari manipolano il deposito di memoria (sia tramite accesso diretto in scrittura, sia tramite interazioni indirette multi-turno) per iniettare record avvelenati. Quando questi vengono recuperati, i record deviano il comportamento dell'agente dall'intento iniziale dell'utente, portando al fallimento del compito o a output dannosi.

I meccanismi di difesa esistenti affrontano due criticità fondamentali:

1. Alto Costo Computazionale: Le difese basate sul ragionamento (ad esempio, gli LLM Auditor) invocano ripetutamente gli LLM per sottoporre a audit le memorie recuperate o monitorare i flussi di interazione, causando un accumulo significativo di latenza lungo le traiettorie prolungate.
2. Ridondanza Informativa: I detector leggeri che codificano intere traiettorie multi-turno soffrono spesso di informazioni irrilevanti rispetto al compito e ripetitive. Questa ridondanza oscura i segnali di attacco, ostacolando la capacità di distinguere tra comportamenti benigni e avvelenati.

2. Metodologia: MIND

Gli autori propongono MIND (Memory Intent-Aware Neural Denoising), un framework di difesa leggero che riformula la difesa della memoria come un problema di denoising basato sul principio dell'Information Bottleneck (IB).

Osservazioni Core

L'analisi preliminare ha rivelato due fenomeni chiave:

• Separabilità: Nello spazio delle rappresentazioni, le traiettorie benigne e quelle avvelenate mostrano tendenze distinguibili riguardo alla relazione tra l'intento iniziale dell'utente e il comportamento successivo.
• Decadimento dell'Intento e Ridondanza: All'aumentare dei turni di interazione, l'attenzione dell'agente verso l'intento iniziale decade, un processo accelerato dagli attacchi di iniezione. Inoltre, gli stati multi-turno contengono una significativa ridondanza che indebolisce il segnale dell'intento.

Architettura del Framework

MIND opera in tre fasi:

1. Estrazione della Rappresentazione della Traiettoria:

   • Un LLM pre-addestrato (ad esempio, Llama-3.1-8B-Instruct) estrae le feature a livello di turno.
   • La rappresentazione per il turno $t$ ($h_t$) è definita come lo stato nascosto dell'ultimo token della componente <observation>.
   • La query iniziale dell'utente è rappresentata come $h_0$.
   • I dati di addestramento sono costruiti come coppie $(x_i, x_{anchor})$, dove $x_i = [h_0; h_t]$ e $x_{anchor} = h_0$, etichettate in base al fatto che la memoria recuperata in quel turno fosse avvelenata o meno.

2. Encoder Intent-Aware Information Bottleneck (IB):

   • Invece di classificare gli input grezzi, MIND comprime l'input $x_i$ in uno spazio latente $z_i$ utilizzando un encoder IB $E$.
   • Obiettivo: Minimizzare l'informazione mutua $I(Z; X)$ (compattezza) per scartare la ridondanza irrilevante al compito, massimizzando al contempo $I(Z; Y)$ (informatività) per preservare i segnali rilevanti per l'intento.
   • Compattezza: Ottenuta minimizzando la divergenza KL tra la distribuzione posteriore appresa $q_E(z|x)$ e un prior gaussiano isotropo.
   • Informatività: Ottenuta tramite una perdita di allineamento supervisionata. I turni benigni sono attratti verso l'ancora dell'intento iniziale ($h_0$), mentre i turni avvelenati sono spinti via da un margine, garantendo che lo spazio latente preservi la relazione tra il comportamento corrente e l'intento originale.

3. Classificatore Multi-Iperpiano Leggero:

   • Un confine decisionale viene costruito sullo spazio latente denoisato $z_i$.
   • Inveverso di un singolo confine lineare, MIND impiega $K$ iperpiani per formare una regione decisionale a tratti (Convex Polytope Machine).
   • Questo design cattura diversi pattern di attacco che un singolo confine lineare potrebbe mancare. Un turno è classificato come benigno solo se si trova al di sotto di tutti i $K$ iperpiani.

Obiettivo di Addestramento

Il modello è ottimizzato per minimizzare una funzione di perdita combinata:
$$\mathcal{L} = \mathcal{L}_{benign} + \mathcal{L}_{poison} + \beta \mathcal{L}_{KL} + \lambda \mathcal{L}_{align}$$
Dove $\mathcal{L}_{KL}$ impone la compattezza, $\mathcal{L}_{align}$ impone la separazione dell'intento, e i primi due termini impongono i vincoli di classificazione multi-iperpiano.

3. Contributi Chiave

• Analisi: Gli autori forniscono prove preliminari che gli attacchi di iniezione della memoria causano una deviazione distinguibile nella relazione tra l'intento iniziale e il comportamento successivo, e che questo segnale è oscurato dalla ridondanza multi-turno.
• Metodo: Progettano un framework di difesa leggero che utilizza un Information Bottleneck consapevole dell'intento per filtrare le memorie avvelenate senza ripetuti audit di LLM o codifica dell'intera traiettoria.
• Valutazione: Esperimenti estesi dimostrano che MIND migliora il trade-off tra sicurezza e utilità, riducendo i tassi di successo degli attacchi pur mantenendo l'accuratezza del compito e un'efficienza di inferenza comparabile agli agenti non difesi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui benchmark ReAct-StrategyQA e MMLU utilizzando quattro modelli backbone (DeepSeek-V4, GPT-4o-mini, Llama-3.1-8B-Instruct, Qwen3-8B-Instruct) contro attacchi come AgentPoison e MINJA.

• Riduzione dell'Attacco: Su ReAct-StrategyQA, MIND ha ridotto la media del Tasso di Successo dell'Attacco nella fase di recupero (ASR-r) del 55,4% e l'ASR del ragionamento dell'agente (ASR-a) del 55,3% rispetto agli agenti non difesi.
• Accuratezza del Compito: MIND ha preservato l'accuratezza media del compito (ad esempio, 67,95% su StrategyQA rispetto al 67,56% degli agenti non difesi) e ha ottenuto la massima accuratezza media (79,57%) su MMLU tra i metodi di difesa.
• Efficienza: MIND è computazionalmente efficiente. Su StrategyQA, è risultato il 20,6% più veloce del baseline LLM Auditor e il 70,4% più veloce di A-MemGuard, con un tempo medio per episodio comparabile all'agente non difeso.
• Ablazione: Rimuovere l'encoder IB o il classificatore multi-iperpiano ha degradato le prestazioni, confermando i loro ruoli complementari nel ridurre i falsi positivi pur mantenendo la capacità di rilevamento.

5. Significato e Rivendicazioni

Il paper sostiene che MIND affronti il trade-off fondamentale tra sicurezza ed efficienza negli agenti con memoria aumentata. Sfruttando l'Information Bottleneck per filtrare le informazioni ridondanti e concentrarsi sulla relazione intento-comportamento, MIND evita l'overhead computazionale dei ripetuti audit di LLM e la diluizione del segnale causata dalla codifica dell'intera traiettoria.

Gli autori posizionano MIND come una soluzione pratica per compiti a lungo termine dove mantenere una bassa latenza è critico, dimostrando che una difesa efficace contro l'iniezione della memoria non richiede costosi audit basati sul ragionamento, se la dinamica sottostante tra intento e comportamento viene opportunamente modellata e denoisata.