MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents

Resumo Técnico: MEMSAD – Detecção de Anomalias Acoplada ao Gradiente para Envenenamento de Memória em Agentes Aumentados por Recuperação

1. Declaração do Problema

Sistemas de memória externa persistentes (por exemplo, Mem0, MemGPT) permitem que agentes de Modelos de Linguagem de Grande Escala (LLM) mantenham contexto entre sessões, armazenando preferências do usuário e conhecimento factual como embeddings vetoriais densos. No entanto, as propriedades de segurança desses sistemas permanecem formalmente não caracterizadas. Diferentemente da injeção de prompt, que requer acesso por interação, o envenenamento de memória permite que um adversário injete uma única entrada maliciosa que persiste indefinidamente, sendo acionada em todas as consultas semanticamente relacionadas em sessões futuras.

O artigo formaliza três modelos de ameaça distintos com pressupostos de acesso escalonados:

• AGENTPOISON: Requer acesso de escrita ao armazenamento de memória; otimiza gatilhos sobre embeddings de DPR.
• MINJA: Requer acesso apenas de consulta; explora o armazenamento automático via indicações de encurtamento progressivo.
• INJECMEM: Requer acesso de interação única; alcança a injeção através de âncoras agnósticas ao recuperador.

Defesas existentes para Geração Aumentada por Recuperação (RAG) tipicamente assumem acesso ao nível do corpus e limpeza offline, o que não se aplica ao modelo de ingestão em streaming da memória de agentes. Além disso, avaliações anteriores frequentemente sofreram de inconsistências de protocolo (por exemplo, avaliar consultas acionadas com consultas simples), levando a taxas de sucesso de ataque subestimadas.

2. Metodologia: MEMSAD

Os autores propõem o MEMSAD (Detecção de Anomalias Semântica), uma defesa baseada em calibração fundamentada em um teorema de acoplamento de gradiente.

Insight Central: O envenenamento de memória tem sucesso porque entradas adversariais estão semanticamente próximas das consultas da vítima. O MEMSAD postula que essa proximidade é um sinal detectável. O sistema opera no momento da escrita, filtrando entradas candidatas antes que sejam comprometidas no armazenamento de memória.

O Teorema de Acoplamento de Gradiente:
A contribuição teórica central estabelece que, sob regularidade do codificador (Suposição 4), o gradiente da pontuação de anomalia e o gradiente do objetivo de recuperação são provadamente idênticos para detectores monotônicos.

• Suficiência: Qualquer função monotônica da pontuação de recuperação herda a direção do gradiente. Assim, qualquer perturbação contínua que reduza o risco de detecção necessariamente degrada o rank de recuperação.
• Necessidade: Detectores não monotônicos admitem caminhos de evasão contínua onde um adversário pode aumentar o rank de recuperação enquanto evade a detecção.
• Canonicidade: A pontuação de cosseno máxima é a estatística suficiente mínima única para o teste de hipóteses adversarial versus benigno.

Algoritmo:
O MEMSAD calcula uma pontuação de anomalia $s(c; H)$ para uma entrada candidata $c$ contra um histórico móvel de consultas da vítima $H$. A pontuação é uma combinação da máxima similaridade de cosseno e da média da similaridade de cosseno entre a candidata e o histórico.
$$s_{comb}(c; H) := \frac{1}{2} \max_{q \in H} \cos(E(c), E(q)) + \frac{1}{2|H|} \sum_{q \in H} \cos(E(c), E(q))$$
Esta pontuação é comparada a um limiar $\hat{\mu} + \kappa\hat{\sigma}$, derivado de um corpus de referência benigno. Se a pontuação exceder o limiar, a entrada é rejeitada.

Garantias Teóricas:

• Raio de Detecção Certificado: Se a lacuna entre a similaridade adversarial e benigna exceder a incerteza de calibração, o MEMSAD garante a detecção.
• Optimalidade Minimax: Usando o método de Le Cam, os autores provam que qualquer detector de limiar requer $\Omega(1/\rho^2)$ amostras de calibração, e o MEMSAD alcança esse limite até fatores logarítmicos.
• Limites de Arrependimento Online: Para calibração móvel com deriva de distribuição, o tamanho de janela ótimo produz uma taxa de arrependimento de $O(\sigma^{2/3}\Delta^{1/3})$.

Limitações e Extensões:
O artigo identifica uma lacuna discreta de invariância a sinônimos. Enquanto o acoplamento de gradiente vale para perturbações contínuas no espaço de embeddings, substituições discretas de tokens (sinônimos) podem contornar esse acoplamento se o codificador mapear sinônimos para embeddings quase idênticos ($\epsilon_{syn} \approx 0$). Para abordar isso, os autores propõem o MEMSAD+, que aumenta a pontuação semântica com características de Divergência de Jensen-Shannon (JSD) de n-gramas de caracteres, que não são invariantes a sinônimos.

3. Resultados Chave

Os autores avaliam sua abordagem em uma matriz de ataque-defesa $3 \times 5$ usando intervalos de confiança bootstrap, testes de hipótese corrigidos por Bonferroni e validação de Clopper-Pearson (20 ensaios, $n=1.000$).

• Correção de Avaliação: Corrigir o protocolo de avaliação para usar consultas acionadas (como especificado no trabalho original AGENTPOISON) aumenta a Taxa de Sucesso de Ataque medida (ASR-R) para AGENTPOISON de 0,25 para 1,00.
• Desempenho da Defesa:
  • Defesas Compostas: Um ensemble ponderado de MEMSAD, marcação d'água, validação e detecção proativa alcança TPR = 1,00 e FPR = 0,00 em todas as três classes de ataque.
  • MEMSAD Sozinho: Alcança TPR = 1,00 para AGENTPOISON (com calibração acionada), TPR = 0,40 para MINJA e TPR = 0,20 para INJECMEM.
  • MEMSAD+: Melhora a detecção para ataques com substituição de sinônimos, elevando o TPR do INJECMEM de 0,00 para 0,40.
• Adversário Adaptativo: Mesmo com um adversário de caixa branca realizando substituição gulosa de sinônimos, o artigo demonstra que, embora a evasão seja possível (taxa de evasão de 80–100%), ela ocorre à custa da degradação da recuperação no espaço contínuo, embora saltos discretos possam contornar isso.
• Validação em Produção: Em uma validação do mundo real usando Mem0, a reformulação interna pelo LLM removeu estruturas otimizadas para gatilhos, reduzindo o ASR-R do AGENTPOISON para 0,00, enquanto armazenamentos vetoriais brutos permaneceram totalmente expostos.

4. Significado e Alegações

O artigo alega fornecer a primeira defesa formalmente garantida para envenenamento de memória em RAG. Seu significado reside em:

1. Caracterização Formal: Estabelecer uma formulação de jogo de Stackelberg para envenenamento de memória e provar que detectores de pontuação de recuperação monotônicos são necessários e suficientes para resistir à evasão contínua.
2. Garantias Certificadas: Fornecer raios de detecção específicos para instância e provas de optimalidade minimax, indo além de defesas heurísticas.
3. Framework Unificado: Abrangendo três classes de ataque distintas com pressupostos de acesso escalonados, revelando que nenhuma defesa única domina todos os modelos de acesso, motivando assim portfólios compostos.
4. Identificação da Fronteira: Caracterizar explicitamente a "lacuna de invariância a sinônimos" como o limite onde defesas de espaço contínuo falham, destacando a necessidade de abordagens híbridas semântico-lexicais (MEMSAD+).

Os autores concluem que, embora o MEMSAD feche a lacuna para perturbações contínuas, a natureza discreta do espaço de tokens permanece um desafio, e trabalhos futuros devem abordar o fechamento dessa lacuna e a escalabilidade para memória de produção com vizinhos mais próximos aproximados.