MemAudit: Post-hoc Auditing of Poisoned Agent Memory via Causal Attribution and Structural Anomaly Detection

Resumo Técnico: MemAudit

Declaração do Problema
Agentes de Modelos de Linguagem de Grande Escala (LLM) dependem cada vez mais de memória externa persistente para armazenar interações passadas, recuperar demonstrações relevantes e executar tarefas de longo horizonte. No entanto, esse mecanismo introduz uma vulnerabilidade de segurança crítica: usuários adversariais podem injetar registros maliciosos na memória de um agente por meio de interações comuns (por exemplo, via o framework de ataque MINJA). Essas memórias envenenadas podem permanecer adormecidas e, posteriormente, serem recuperadas para direcionar o raciocínio e as ações do agente em direção a resultados prejudiciais.

Embora as defesas existentes se concentrem em intervenção online (por exemplo, filtragem de prompts ou bloqueio de saída), elas não abordam o cenário post-hoc onde um comportamento prejudicial já foi observado. Em implantações do mundo real, falhas são frequentemente descobertas a posteriori por meio de logs anormais ou relatórios de usuários. O desafio central é identificar quais entradas de memória armazenadas específicas são responsáveis pela falha observada, sem acesso a rótulos de verdade fundamental (ground-truth) de envenenamento ou aos objetivos do atacante.

Metodologia: MemAudit
Os autores propõem o MemAudit, um framework unificado para auditoria causal de memória post-hoc. O framework opera sob a intuição de que memórias prejudiciais exibem duas propriedades complementares: elas exercem influência causal mensurável sobre saídas prejudiciais e, frequentemente, aparecem estruturalmente inconsistentes com a distribuição mais ampla da memória. O MemAudit combina esses dois sinais para classificar e remover memórias suspeitas.

1. Pontuação de Influência Causal de Memória Contrafactual (CMIS):
   Este sinal mede a contribuição causal de cada memória recuperada para um evento prejudicial específico. O framework realiza uma intervenção baseada em replay: para um dado evento prejudicial $e = (q^*, y^*, R^*)$, remove uma memória candidata $m_i$ do armazenamento, reexecuta o agente com o conjunto de memória modificado e calcula a redução no dano.
   $$CMIS(m_i) = h(q^*, y^*) - h(q^*, f(q^*, R(q^*, M \setminus \{m_i\})))$$
   Uma pontuação mais alta indica que a remoção de $m_i$ reduz significativamente o comportamento prejudicial, sugerindo um forte vínculo causal.

2. Grafo de Consistência de Memória (MCG) / Detecção de Anomalia Estrutural:
   Este sinal identifica memórias que são semanticamente inconsistentes com o armazenamento global de memória. O framework constrói um grafo de memória onde os nós são entradas de memória e as arestas representam relação semântica e consistência lógica (usando Inferência em Linguagem Natural). Memórias envenenadas devem aparecer como outliers ou nós fracamente conectados dentro desse grafo. Uma pontuação de anomalia é calculada com base no peso de inconsistência entre uma memória e seus vizinhos.

3. Fusão e Classificação:
   As pontuações CMIS (evidência causal local) e MCG (evidência estrutural global) são normalizadas e fundidas em uma única Pontuação de Desintoxicação (DS):
   $$DS(m_i) = \alpha \cdot \widehat{CMIS}(m_i) + (1 - \alpha) \cdot \widehat{CAS}(m_i)$$
   O parâmetro $\alpha$ equilibra o peso entre a atribuição causal ao nível de evento e a detecção de anomalia estrutural global. As memórias são classificadas por essa pontuação, e as entradas de maior classificação são removidas em um processo em lote após a análise de todos os eventos prejudiciais, garantindo que o processo de auditoria não seja enviesado por exclusões sequenciais.

Principais Contribuições

• Formulação: Este trabalho é o primeiro a formular a auditoria causal de memória post-hoc como um problema de segurança prático para agentes de LLM aumentados por memória sob envenenamento de memória induzido por interação.
• Framework: A proposta do MemAudit, um framework de duplo sinal que identifica e remove memórias suspeitas sem exigir rótulos de envenenamento de oráculo, combinando atribuição causal contrafactual com detecção de anomalia estrutural.
• Avaliação: Avaliação abrangente sob configurações realistas de injeção de memória (MINJA), demonstrando reduções substanciais nas taxas de sucesso de ataque em configurações tanto de Resposta a Perguntas (QA) quanto de agentes de raciocínio de longo horizonte (RAP).

Resultados Experimentais
Os autores avaliaram o MemAudit contra o ataque MINJA em modelos GPT-4o, GPT-4o-mini e DeepSeek.

• Redução da Taxa de Sucesso do Ataque (ASR):
  • Em configurações QA, o MemAudit reduziu a ASR de 70,0% para 0,0% no GPT-4o e de 50,0% para 0,0% no GPT-4o-mini.
  • Em configurações RAP, o MemAudit reduziu a ASR de 83,3% para 0,0% no GPT-4o e de 80,0% para 0,0% no GPT-4o-mini.
  • Linhas de base como exclusão aleatória, exclusão baseada na frequência de recuperação e filtragem de contradição de vizinho mais próximo forneceram apenas reduções parciais, confirmando a necessidade da abordagem de duplo sinal.
• Ablação de Componentes: A remoção de qualquer um dos sinais causal (CMIS) ou estrutural (MCG) resultou em uma ASR residual significativamente maior, provando que os sinais são complementares. O peso de fusão ótimo foi encontrado como $\alpha = 0,6$.
• Análise de Contaminação: O framework é altamente eficaz em regimes de envenenamento esparsos (razão de contaminação $\rho \leq 0,20$). No entanto, o desempenho degrada-se drasticamente quando o envenenamento se torna denso ($\rho \geq 0,25$), pois as memórias envenenadas começam a reforçar umas às outras, formando uma "verdade alternativa" coerente que é difícil de isolar por meio de remoção direcionada.

Significado e Alegações
O artigo alega que a memória persistente deve ser tratada como uma "superfície de segurança de primeira classe" em agentes de LLM. O MemAudit fornece um mecanismo prático para recuperação após falhas em tempo de implantação, permitindo que os sistemas diagnostiquem e reparem estados de memória comprometidos sem necessidade de retreinar o modelo ou depender de rótulos de oráculo. Os autores enfatizam que este é um mecanismo de recuperação complementar, não uma substituição para salvaguardas preventivas online. O trabalho destaca a viabilidade do reparo de memória post-hoc tanto em configurações de QA de formato curto quanto em configurações complexas de agentes interativos de longo horizonte, desde que a densidade de envenenamento permaneça abaixo de um limiar crítico.