MemAudit: Post-hoc Auditing of Poisoned Agent Memory via Causal Attribution and Structural Anomaly Detection

Riepilogo Tecnico: MemAudit

Enunciato del Problema
Gli agenti basati su Modelli Linguistici di Grande Dimensione (LLM) fanno sempre più affidamento su una memoria esterna persistente per archiviare interazioni passate, recuperare dimostrazioni pertinenti ed eseguire compiti a lungo orizzonte. Tuttavia, questo meccanismo introduce una vulnerabilità di sicurezza critica: utenti avversari possono iniettare record malevoli nella memoria di un agente attraverso interazioni ordinarie (ad esempio, tramite il framework di attacco MINJA). Queste memorie avvelenate possono rimanere dormienti e successivamente essere recuperate per orientare il ragionamento e le azioni dell'agente verso esiti dannosi.

Mentre le difese esistenti si concentrano sull'intervento online (ad esempio, filtraggio dei prompt o blocco dell'output), non riescono ad affrontare lo scenario post-hoc in cui un comportamento dannoso è già stato osservato. Nelle implementazioni reali, i fallimenti vengono spesso scoperti a posteriori attraverso log anomali o segnalazioni degli utenti. La sfida centrale consiste nell'identificare quali specifiche voci di memoria archiviate sono responsabili del fallimento osservato, senza accesso a etichette di verità fondamentale (ground-truth) sugli avvelenamenti o agli obiettivi dell'attaccante.

Metodologia: MemAudit
Gli autori propongono MemAudit, un framework unificato per l'audit causale delle memorie post-hoc. Il framework opera sulla base dell'intuizione che le memorie dannose esibiscano due proprietà complementari: esercitano un'influenza causale misurabile sugli output dannosi e spesso appaiono strutturalmente incoerenti con la distribuzione più ampia della memoria. MemAudit combina questi due segnali per classificare ed eliminare le memorie sospette.

1. Punteggio di Influenza Causale Controfattuale della Memoria (CMIS):
   Questo segnale misura il contributo causale di ciascuna memoria recuperata a un specifico evento dannoso. Il framework esegue un'intervento basato sulla riproduzione: per un dato evento dannoso $e = (q^*, y^*, R^*)$, rimuove una memoria candidata $m_i$ dall'archivio, riesegue l'agente con l'insieme di memorie modificato e calcola la riduzione del danno.
   $$CMIS(m_i) = h(q^*, y^*) - h(q^*, f(q^*, R(q^*, M \setminus \{m_i\})))$$
   Un punteggio più alto indica che la rimozione di $m_i$ riduce significativamente il comportamento dannoso, suggerendo un forte legame causale.

2. Grafo di Coerenza della Memoria (MCG) / Rilevamento di Anomalie Strutturali:
   Questo segnale identifica le memorie che sono semanticamente incoerenti con l'archivio globale delle memorie. Il framework costruisce un grafo di memoria in cui i nodi sono le voci di memoria e gli archi rappresentano la pertinenza semantica e la coerenza logica (utilizzando l'Inferenza Linguistica Naturale). Le memorie avvelenate dovrebbero apparire come valori anomali o nodi debolmente connessi all'interno di questo grafo. Viene calcolato un punteggio di anomalia basato sul peso di incoerenza tra una memoria e i suoi vicini.

3. Fusione e Classificazione:
   I punteggi CMIS (prova causale locale) e MCG (prova strutturale globale) vengono normalizzati e fusi in un unico Punteggio di Disintossicazione (DS):
   $$DS(m_i) = \alpha \cdot \widehat{CMIS}(m_i) + (1 - \alpha) \cdot \widehat{CAS}(m_i)$$
   Il parametro $\alpha$ bilancia il peso tra l'attribuzione causale a livello di evento e il rilevamento globale di anomalie strutturali. Le memorie vengono classificate in base a questo punteggio e le voci con il punteggio più alto vengono rimosse in un processo batch dopo che tutti gli eventi dannosi sono stati analizzati, garantendo che il processo di audit non sia distorto da eliminazioni sequenziali.

Contributi Chiave

• Formulazione: Questo lavoro è il primo a formulare l'audit causale delle memorie post-hoc come un problema di sicurezza pratico per agenti LLM potenziati da memoria sotto avvelenamento indotto dall'interazione.
• Framework: La proposta di MemAudit, un framework a doppio segnale che identifica ed elimina le memorie sospette senza richiedere etichette di avvelenamento oracle, combinando l'attribuzione causale controfattuale con il rilevamento di anomalie strutturali.
• Valutazione: Valutazione completa in scenari realistici di iniezione di memoria (MINJA) che dimostra riduzioni sostanziali nei tassi di successo dell'attacco sia nelle impostazioni di Risposta alle Domande (QA) che in quelle di agenti di ragionamento a lungo orizzonte (RAP).

Risultati Sperimentali
Gli autori hanno valutato MemAudit contro l'attacco MINJA su modelli GPT-4o, GPT-4o-mini e DeepSeek.

• Riduzione del Tasso di Successo dell'Attacco (ASR):
  • Nelle impostazioni QA, MemAudit ha ridotto l'ASR dal 70,0% allo 0,0% su GPT-4o e dal 50,0% allo 0,0% su GPT-4o-mini.
  • Nelle impostazioni RAP, MemAudit ha ridotto l'ASR dall'83,3% allo 0,0% su GPT-4o e dall'80,0% allo 0,0% su GPT-4o-mini.
  • Le linee di base come l'eliminazione casuale, l'eliminazione basata sulla frequenza di recupero e il filtraggio delle contraddizioni del vicino più prossimo hanno fornito solo riduzioni parziali, confermando la necessità di un approccio a doppio segnale.
• Ablazione dei Componenti: La rimozione di qualsiasi segnale, sia causale (CMIS) che strutturale (MCG), ha portato a un ASR residuo significativamente più alto, dimostrando che i segnali sono complementari. Il peso di fusione ottimale è risultato essere $\alpha = 0,6$.
• Analisi della Contaminazione: Il framework è altamente efficace nei regimi di avvelenamento sparso (rapporto di contaminazione $\rho \leq 0,20$). Tuttavia, le prestazioni peggiorano drasticamente quando l'avvelenamento diventa denso ($\rho \geq 0,25$), poiché le memorie avvelenate iniziano a rafforzarsi a vicenda, formando una "verità alternativa" coerente che è difficile isolare tramite rimozioni mirate.

Significato e Affermazioni
Il documento afferma che la memoria persistente dovrebbe essere trattata come una "superficie di sicurezza di prima classe" negli agenti LLM. MemAudit fornisce un meccanismo pratico per il recupero dopo fallimenti durante il deployment, consentendo ai sistemi di diagnosticare e riparare stati di memoria compromessi senza necessità di riaddestrare il modello o affidarsi a etichette oracle. Gli autori sottolineano che questo è un meccanismo di recupero complementare, non una sostituzione delle misure di sicurezza preventive online. Il lavoro evidenzia la fattibilità della riparazione delle memorie post-hoc sia nelle impostazioni QA a breve termine che in contesti complessi di agenti interattivi a lungo orizzonte, a condizione che la densità di avvelenamento rimanga al di sotto di una soglia critica.