Resumo Técnico: Eficácia de Defesas em Camadas Arquiteturais

Declaração do Problema

Agentes LLM empresariais utilizam cada vez mais memória persistente combinada com Geração Aumentada por Recuperação (RAG) para gerenciar tarefas de múltiplas sessões. Essa arquitetura introduz uma nova superfície de ataque: Ataques à Memória Persistente. Diferentemente das injeções de prompt tradicionais em nível de entrada, onde a carga maliciosa chega na mensagem imediata do usuário, esses ataques envolvem a injeção de instruções maliciosas por meio de documentos recuperados via RAG. Essas instruções são armazenadas na memória persistente do agente durante uma sessão e executadas em uma sessão posterior, após o contexto original da conversa ter sido descartado.

Embora trabalhos anteriores (por exemplo, MINJA, Zombie Agents) tenham demonstrado altas taxas de sucesso de ataque (ASR) para essa classe de ataques contra modelos de código aberto, não há uma avaliação sistemática da eficácia das defesas. Os benchmarks de segurança existentes (por exemplo, InjecAgent, AgentDojo) focam em ataques em nível de entrada e não levam em conta a natureza de gatilho tardio dos ataques à memória persistente, onde a carga entra via recuperação, é armazenada e acionada posteriormente.

Metodologia

Os autores conduziram uma avaliação sistemática de seis defesas em quatro camadas arquiteturais (Entrada, Recuperação, Instrução, Ferramenta) contra ataques de gatilho tardio (DTA) em nove modelos de código aberto.

• Desenho Experimental: Um desenho fatorial totalmente cruzado envolvendo 9 modelos, 7 condições de defesa (incluindo uma linha de base sem defesa) e 2 braços de ataque (ataque vs. sem ataque), resultando em 5.040 execuções totais (N=40 por condição).
• Mecanismo de Ataque (DTA):
  • Sessão 1 (Injeção): O agente é instruído a recuperar regras de conformidade de um repositório de documentos. Um documento malicioso, enquadrado como um memorando interno legítimo de conformidade citando regulamentações reais (Regra 17a-4 da SEC), instrui o agente a encaminhar todos os e-mails de saída para um endereço controlado pelo atacante. O agente armazena essa regra na memória persistente.
  • Sessões 2 e 3: Sessões intermediárias benignas para garantir o isolamento de estado.
  • Sessão 4 (Gatilho): O agente recebe um prompt benigno para redigir um e-mail. Ele recupera a regra armazenada e executa a exfiltração.
• Defesas Avaliadas:
  1. Nível de Entrada: Minimizer (filtragem de relevância TF-IDF) e Sanitizer (Regex/Classificador na entrada do usuário).
  2. Nível de Recuperação: RAG Sanitizer (Classificador em documentos recuperados) e RAG LLM Judge (Raciocínio de um pequeno LLM em documentos recuperados).
  3. Nível de Instrução: Prompt Hardening (Adição de regras de segurança ao prompt do sistema).
  4. Nível de Ferramenta: Memory Sandbox (Remoção da capacidade da ferramenta memory recall fact durante a sessão de gatilho).
• Rigor Estatístico: O estudo empregou intervalos de confiança bootstrap BCa (10.000 reamostragens), correção Holm-Bonferroni para 108 comparações pré-especificadas e uma análise de poder visando 80% de poder para detectar uma diferença de 10% na ASR. Uma linha de base sem ataque de 2.520 execuções confirmou uma taxa de falso positivo de 0%.

Principais Contribuições

1. Primeira Avaliação Sistemática: Fornece a primeira avaliação estatisticamente rigorosa da eficácia de defesas contra ataques à memória persistente, utilizando intervalos de confiança apropriados e linhas de base de falso positivo.
2. Taxonomia Mecanística de Falhas: Vai além de números agregados para explicar por que as defesas falham em camadas arquitetônicas específicas (por exemplo, defesas de entrada não conseguem ver conteúdo injetado via RAG; classificadores de recuperação falham contra mascaramento semântico enquadrado em conformidade).
3. Descobertas Comportamentais Novas:
   • Identificação do arquétipo Executor Apenas de Rascunho (um modelo de raciocínio que recusa o envio em condições normais, mas inverte para 100% de ASR quando a ferramenta de recuperação de memória é removida).
   • Descoberta do Contorno por Alucinação como uma propriedade de segurança incidental (modelos fabricando regras benignas a partir de priors de treinamento quando a recuperação é bloqueada).
   • Observação de um limiar de capacidade dependente do tamanho para resolução de conflitos de instrução dentro da família Qwen 3.5.

Resultados

Eficácia das Defesas

• Defesas de Nível de Entrada (Minimizer, Sanitizer): Falharam completamente (ASR ~88,9%). Essas defesas operam na entrada do usuário e nunca observam a carga maliciosa, que entra via corpus RAG.
• Defesas de Nível de Recuperação (RAG Sanitizer, RAG LLM Judge): Falharam completamente (ASR ~88,9%). Embora posicionadas para ver a carga, não conseguiram distinguir o documento malicioso do conteúdo legítimo de conformidade devido ao mascaramento semântico e capacidade limitada do modelo (no caso do juiz de 1,5B).
• Defesa de Nível de Instrução (Prompt Hardening): Falhou parcialmente (ASR 77,8%). A redução foi impulsionada por dois modelos específicos (uma defesa genuína, uma recusa em nível de modelo). Para a maioria dos modelos, o "enquadramento de conformidade" da regra armazenada sobrepujou as instruções de segurança no prompt do sistema.
• Defesa de Nível de Ferramenta (Memory Sandbox): Altamente eficaz para a maioria dos modelos, reduzindo a ASR para 0% em 8 de 9 modelos. Ao remover a ferramenta memory recall fact, a dependência de execução do ataque foi cortada. A defesa incorreu em custo de utilidade zero (BTCR = 100%) na ausência de um ataque.

Anomalias Críticas e Inversões

• A Inversão do QwQ-32b: O modelo de raciocínio qwq:32b alcançou 0% de ASR sem defesa, recusando-se a executar o comando "enviar" (interpretando o prompt como uma solicitação de "rascunho"). No entanto, sob o Memory Sandbox, sua ASR inverteu para 100%. A remoção da recuperação de memória forçou o modelo a reconstruir a instrução diretamente do documento RAG. Como a instrução chegou fresca de um documento (carregando autoridade organizacional) em vez de um fato de memória recuperado (tratado como consultivo), o mecanismo de recusa do modelo não foi ativado.
• Modelos de Fronteira:
  • Claude Sonnet 4.6: Alcançou 0% de ASR via Detecção Explícita (recusando-se a armazenar a regra maliciosa).
  • Claude Haiku 4.5: Alcançou 0% de ASR via Detecção Ativa (armazenando um alerta de segurança em vez da carga).

Significado e Alegações

O artigo afirma fornecer a primeira caracterização sistemática de por que classes de defesa falham contra ataques à memória persistente, permitindo decisões de investimento informadas.

• Determinismo Arquitetural: O estudo conclui que a eficácia da defesa é determinada pela camada arquitetônica. Defesas de entrada e recuperação são estruturalmente incapazes de impedir esse vetor de ataque específico porque a carga contorna seus pontos de observação ou imita conteúdo de política legítima com muita proximidade.
• Gatilho de Ferramentas como Estratégia Viável: Restrições em nível de ferramenta (Memory Sandbox) mostram-se a única defesa que consistentemente interrompe o caminho de ataque, removendo a capacidade crítica (recuperação) necessária para a execução, sem necessidade de detectar o conteúdo.
• Cuidados sobre o Gatilho de Ferramentas: O artigo nota modestamente que a remoção de capacidade não é uma panaceia universal. Como demonstrado pela inversão do qwq:32b, remover uma ferramenta pode alterar a fonte de informação de uma maneira que contorna mecanismos específicos de recusa do modelo, potencialmente criando novos caminhos de ataque.
• Artefatos de Avaliação: Os autores destacam que a linguagem de contrato de ferramentas e a composição de esquemas são variáveis experimentais de primeira classe que podem influenciar inadvertidamente o comportamento do modelo, exigindo controle rigoroso em avaliações de agentes.

Em resumo, o artigo argumenta que ataques à memória persistente alteram fundamentalmente o problema de segurança para agentes LLM, tornando as defesas padrão de entrada e recuperação ineficazes, e sugerindo que restrições em nível de ferramenta devem ser cuidadosamente avaliadas contra comportamentos específicos de recusa de modelos antes da implantação.