Resumo Técnico: De Entrada Não Confiável para Memória Confiável

Definição do Problema

Agentes de IA modernos dependem de memória persistente de longo prazo para acumular conhecimento, reter preferências do usuário e melhorar o desempenho em tarefas de longo horizonte. No entanto, essa capacidade introduz uma vulnerabilidade de segurança crítica: o envenenamento de memória (memory poisoning). Diferente de modelos sem estado (stateless), os agentes recuperam entradas de memória armazenadas como contexto interno confiável. Se um adversário puder induzir um agente a escrever conteúdo malicioso em esse repositório persistente durante a operação normal, ele poderá exercer influência de longo prazo sobre o comportamento futuro do agente sem necessidade de novas interações.

Os modelos de ameaças e defesas atuais são insuficientes para este vetor de ataque específico. Pesquisas existentes frequentemente assumem acesso privilegiado ou avaliam ataques isolados e estreitos. Além disso, as defesas padrão contra injeção de prompt falham em abordar o envenenamento de memória porque focam na detecção de instruções maliciosas explícitas no contexto ativo, enquanto o envenenamento de memória muitas vezes baseia-se em conteúdo que parece semanticamente legítimo, mas é estruturalmente desenhado para ser gravado na memória.

Metodologia

Os autores apresentam um estudo sistemático fundamentado em um modelo de ameaça de caixa-preta (black-box). O atacante não possui acesso privilegiado, não tem conhecimento do modelo subjacente e não possui acesso direto ao repositório de memória. O atacante pode apenas injetar conteúdo malicioso em entradas externas processadas pelo agente (ex: páginas web, documentos, saídas de ferramentas).

O estudo procede através de três fases:

1. Análise de Vulnerabilidade: Os autores analisam o sistema de memória do agente definido como uma tupla $M = (S, W, R)$ (Armazenamento, Escrita, Recuperação). Eles identificam quatro canais de escrita de memória e os mapeiam para nove vulnerabilidades estruturais em três camadas: Capacidades do Modelo, Design de Prompt e Arquitetura do Sistema.
2. Taxonomia de Ataque: Com base nas vulnerabilidades identificadas, os autores classificam os ataques de envenenamento de memória em seis classes distintas, distinguindo entre ataques de "sinal forte" (contendo marcadores linguísticos explícitos) e ataques de "sinal fraco" (semanticamente indistinguíveis de conteúdo legítimo).
3. Avaliação Empírica (MPBench): Os autores introduzem o MPBench, um benchmark projetado especificamente para avaliar o envenenamento de memória. Ele mede duas métricas:
   • Taxa de Sucesso de Ataque (ASR - Attack Success Rate): A frequência com que um payload adversário resulta em uma instrução maliciosa sendo escrita na memória persistente.
   • Taxa de Sucesso de Recuperação (RSR - Retrieval Success Rate): A frequência com que uma entrada envenenada, escrita com sucesso, influencia o comportamento do agente em uma sessão subsequente.
   • A avaliação foi conduzida em dois sistemas de agentes, OpenClaw e HERMES, utilizando o modelo GPT-OSS-120B.

Principais Contribuições

1. Panorama de Vulnerabilidades

O artigo identifica quatro canais de escrita de memória:

• C1 (Escrita executada por instrução explícita): Comandos diretos para escrever na memória.
• C2 (Escrita impulsionada pelo prompt de sistema): Escritas disparadas por políticas no prompt de sistema (ex: "salvar informações relevantes").
• C3 (Escrita impulsionada por compactação): Escritas disparadas por eventos do sistema, como limites da janela de contexto.
• C4 (Escrita de experiência para procedimento): Síntese de rastros de tarefas em habilidades procedimentais reutilizáveis.

Estes canais são exploráveis devido a nove vulnerabilidades:

• Nível do Modelo: Cegueira de Fronteira Instrução-Dado (V-M1) e Falha de Atribuição de Origem (V-M2).
• Nível de Prompt: Subespecificação da Política de Escrita de Memória (V-P1) e Compactação Sem Filtragem de Origem (V-P2).
• Nível de Sistema: Ausência de Validação do Caminho de Escrita (V-S1), Contexto de Múltiplas Fontes Compartilhadas (V-S2), Gatilho de Compactação Manipulável (V-S3), Ausência de Validação para Criação de Habilidades (V-S4) e Autoaperfeiçoamento como Amplificação (V-S5).

2. Taxonomia de Ataque

Os autores definem seis classes de ataques:

1. Inserção de Comando Explícito: Incorporar instruções de escrita direta (Sinal Forte).
2. Inserção de Comando Condicional: Incorporar instruções disparadas por respostas comuns do usuário (Sinal Forte).
3. Envenenamento de Compactação por Saliência: Repetir conteúdo malicioso para disparar políticas de compactação (Sinal Forte).
4. Injeção de Fato Conforme à Política: Apresentar fatos fabricados que satisfaçam políticas de retenção vagas sem comandos explícitos (Sinal Fraco).
5. Inserção de Precedente Falso: Fabricar registros de tarefas passadas bem-sucedidas para influenciar o comportamento futuro (Sinal Fraco).
6. Inserção de Habilidade-Procedimento: Moldar interações para sintetizar habilidades procedimentais envenenadas (Sinal Fraco).

3. MPBench e Resultados Empíricos

O benchmark avalia esses ataques através de sete domínios (operações de arquivos, navegação web, etc.). Principais descobertas incluem:

• Altas Taxas de Sucesso: Em ambos os agentes, a ASR média foi de 50,46% e a RSR de 41,05%.
• Susceptibilidade do Agente: O HERMES foi significativamente mais vulnerável (Média ASR: 66,67%, RSR: 64,70%) do que o OpenClaw (Média ASR: 34,25%, RSR: 17,40%). Os autores atribuem isso às políticas de escrita de memória mais agressivas do HERMES e aos seus limiares de compactação mais baixos.
• Força do Sinal: Ataques de sinal forte geralmente tiveram taxas de sucesso maiores no OpenClaw, enquanto a lacuna diminuiu no HERMES, onde ataques de sinal fraco foram quase tão eficazes quanto os de sinal forte, devido às políticas de retenção permissivas.
• Persistência: As escritas bem-sucedidas influenciaram consistentemente sessões futuras, confirmando a natureza "persistente" da ameaça.

4. Limitações das Defesas Existentes

O estudo avaliou quatro defesas de injeção de prompt existentes (PIGuard, DataFilter, CommandSans, PromptArmor).

• Cobertura Incompleta: As defesas existentes não cobriram o envenenamento de memória de forma eficaz. Embora tenham alcançado taxas moderadas de detecção para ataques de sinal forte, seu desempenho caiu significativamente em ataques de sinal fraco (ex: o PromptArmor caiu de 84,44% para 42,50% na taxa de detecção).
• Falha Estrutural: Os autores argumentam que as defesas de injeção de prompt são estruturalmente inadequadas para o envenenamento de memória porque os payloads de sinal fraco carecem de anomalias sintáticas e são processados como conteúdo legítimo. O retreinamento dessas defesas proporcionou melhorias mínimas, sugerindo que o problema é fundamental ao mecanismo de ataque, e não ao modelo de detecção.

Significância e Alegações

O artigo afirma fornecer a primeira base sistemática para compreender e mitigar ataques de envenenamento de memória. Sua principal significância reside em demonstrar que:

1. Troca entre Capacidade de Memória vs. Segurança: Escolhas de design que melhoram o desempenho do agente (escrita e recuperação de memória agressivas) expandem diretamente a superfície de ataque para o envenenamento de memória.
2. Descompasso de Defesa: Os paradigmas de segurança atuais focados em injeção de prompt são insuficientes. As defesas devem mudar do filtragem de entrada para a validação do caminho de escrita e isolamento de fonte.
3. Novas Classes de Vulnerabilidade: A identificação de vulnerabilidades estruturais (como V-S5, amplificação de autoaperfeiçoamento) e vetores de ataque de sinal fraco revela riscos que anteriormente não eram quantificados na segurança de agentes.

Os autores concluem que uma defesa principista requer mudanças arquitetônicas, como políticas de recuperação conscientes da origem, filtros de compactação que distinguem fontes confiáveis de não confiáveis e monitoramento pós-escrita baseado no comportamento autorizado do agente, em vez de correspondência de padrões de ataque estáticos.