Resumo Técnico: Assinaturas de Trajetória Forense para Detecção de Envenenamento de Memória de Agentes

Definição do Problema

O artigo aborda o desafio de detectar ataques de envenenamento de memória persistente em agentes de Grandes Modelos de Linguagem (LLMs). Diferente do EDR (Endpoint Detection and Response) clássico, que analisa traços de processos, a segurança de agentes de LLM carece de metodologias estabelecidas para identificar canais de ataque específicos utilizando apenas logs observáveis. As defesas existentes frequentemente exigem acesso a armazenamentos de memória (ex: MemLineage), internos de modelos de caixa branca (ex: análise de ativação) ou camadas de recuperação pré-injeção (ex: RAG Sanitizer), impondo demandas de infraestrutura que muitos operadores não podem atender.

A ameaça específica modelada é um Ataque de Gatilho Retardado (Delayed-Trigger Attack - DTA): um adversário injeta uma instrução maliciosa via um documento recuperado por RAG, a qual o agente armazena em sua memória persistente. Em uma sessão subsequente, o agente recupera essa regra armazenada e executa uma ação maliciosa (ex: exfiltração de e-mail). A restrição do detector é estrita: ele observa apenas a sequência de chamadas de ferramentas (tool-calls) e os carimbos de data/hora (timestamps), sem acesso ao conteúdo da memória, pesos do modelo ou mensagens do usuário.

Metodologia

Modelo de Ameaça e Premissas

O estudo assume uma arquitetura onde a memória persistente é acessada exclusivamente através de operações de recuperação observáveis (chamadas de ferramentas). A informação de roteamento do atacante é armazenada como um valor na memória, exigendo uma chamada de ferramenta específica de recall fact (recuperar fato) para recuperar o endereço de destino antes que uma ferramenta send email (enviar e-mail) possa ser executada. Isso contrasta com ataques de injeção de prompt, onde a regra está incorporada diretamente no prompt do usuário.

Conjunto de Dados

A avaliação utiliza 2.520 execuções rotuladas de um experimento fatorial cobrindo:

• 9 Modelos: Variando de 7B a 120B de parâmetros (famílias Qwen, GLM, GPT-OSS).
• 7 Condições de Defesa: Incluindo Minimizer, Sanitizer, RAG Sanitizer, Prompt Hardening e Memory Sandbox.
• Rótulos: 1.919 sucessos de ataque (ocorreu exfiltração) e 601 sessões de não-exfiltração (envenenadas, mas defendidas). O classificador distingue entre execuções de ataque bem-sucedidas e malsucedidas dentro do braço DTA.

Engenharia de Atributos (Feature Engineering)

Os atributos são extraídos exclusivamente da sessão de gatilho (S4) para evitar vazamento de rótulos (label leakage). O estudo define 19 atributos de trajetória baseados na ordenação e contagem de chamadas de ferramentas:

• Contagens: Frequências brutas de chamadas (ex: recall count, send count).
• Estruturais: Indicadores binários como recall before send (ocorreu uma recuperação antes do primeiro envio?) e send without recall (envio sem recuperação).
• Transições: Contagens de bigramas de chamadas de ferramentas consecutivas (ex: list then recall, draft then send).
• Pontos de Entrada: A identidade da primeira ferramenta chamada na sessão.

Classificação e Avaliação

Três classificadores (Regressão Logística, Random Forest, Árvores de Gradiente Boosted) foram treinados utilizando validação cruzada de 5 dobras estratificada. A métrica primária é o Recall (minimização de falsos negativos/ataques não detectados), com AUC-ROC como métrica secundária. A avaliação inclui testes de retenção (hold-out) leave-one-model-out e sondagens de modelos de fronteira (GPT-4.1).

Principais Descobertas e Resultados

1. Descoberta de um Invariante Comportamental

A descoberta central é um invariante comportamental mecanisticamente forçado: ataques de envenenamento de canal de memória bem-sucedidos devem exibir uma chamada de recall fact antes da chamada de send email. Isso não é uma correlação estatística, mas uma necessidade estrutural; sem recuperar o endereço de roteamento armazenado, o agente não consegue completar a exfiltração.

• Desempenho da Regra Simples: Um detector baseado apenas na transição recall before send alcança AUC = 0,9563.
• Robustez Mecanística: Suprimir esta transição quebra o ataque, pois o agente não consegue recuperar o endereço de destino.

2. Assinatura Sobredeterminada

O ataque deixa uma assinatura distribuída em múltiplos canais comportamentais independentes, não apenas no evento único de recuperação.

• Desempenho do Classificador Completo: Um Random Forest usando todos os 19 atributos alcança AUC = 0,9904 (BCa 95% CI [0,987, 0,993]) com um Recall de 0,9838.
• Estudo de Ablação: Remover todos os atributos relacionados à recuperação (9 atributos) deixa o AUC inalterado em 0,9904. Isso confirma que a assinatura é sobredeterminada; a dependência de recuperação de informação do ataque dispara uma cascata de mudanças comportamentais subsequentes (ex: contagens de draft, contagens de envio, padrões de transição) que são detectáveis mesmo sem os atributos explícitos de recuperação.

3. Generalização entre Modelos

O invariante generaliza-se entre famílias de modelos e escalas de parâmetros (7B–120B):

• Validação Hold-Out: Em 6 de 9 modelos retidos, o classificador alcançou AUC = 1,000.
• Exceções:
  • qwq:32b (AUC=0,000): Uma falha de "bypass implícito" onde o modelo usa um fallback de RAG sem chamar recall fact, contornando totalmente o canal de memória.
  • qwen2.5:14b (AUC=0,083): Uma inversão de distribuição onde sessões de não-ataque chamam agressivamente a recuperação para verificar dados benignos, mimetizando a assinatura do ataque (embora o Recall permaneça em 1,000).
  • qwen3.5:122b (AUC=0,750): Ambiguidade de rótulo devido a sessões "sleeper" onde o modelo armazena, mas se recusa a executar a regra.
• Modelos de Fronteira: O classificador, treinado apenas em modelos de código aberto, alcançou Recall = 1,000 em sondagens GPT-4.1 sem necessidade de retreinamento.

4. Limites de Implantação e Evasão

• Detecção Baseada Apenas em Prefixo: Um classificador estritamente de prefixo (operando antes do evento send) alcança AUC = 0,934, sugerindo que o bloqueio em tempo real é viável com degradação moderada.
• Fronteira de Evasão: Ataques de injeção de prompt (onde a regra está no prompt, não na memória) produzem uma trajetória distinta com recall before send = 0. O detector atribui corretamente a estes um score baixo (média de 0,541), permitindo que respondedores de incidentes distingam ataques de canal de memória de ataques de injeção de prompt usando apenas logs de chamadas de ferramentas.
• Falsos Negativos: Todos os 31 falsos negativos originaram-se da condição de defesa Memory Sandbox (onde recall fact é removido do esquema de ferramentas) ou da arquitetura específica de bypass implícito do qwq:32b.

Significância e Alegações

O artigo alega que a principal contribuição é a descoberta empírica de um invariante comportamental estável e sobdeterminado em trajetórias de execução de agentes, em vez da arquitetura do classificador em si.

• Utilidade Forense: O detector opera como um "IDS de Espaço de Estados" para ataques de canal de memória, exigindo apenas logs de chamadas de ferramentas (um nível de implementação mais baixo do que inspeção de memória ou internos do modelo).
• Atribuição de Canal: Permite a distinção entre ataques de envenenamento de memória e ataques de injeção de prompt baseando-se apenas em logs de operação.
• Robustez Estrutural: A detecção baseia-se em um atributo (recall before send) que é mecanicamente forçado pela dependência de recuperação de informação do ataque. Um adversário não pode suprimir este atributo sem quebrar o ataque ou mudar o vetor de ataque para injeção de prompt.
• Generalização: A assinatura transfere-se entre famílias de modelos e escalas de parâmetros sem retreinamento, indicando que reflete o mecanismo do ataque e não comportamentos específicos do modelo.

Os autores posicionam este trabalho como uma ferramenta de auditoria forense que complementa mecanismos de prevenção, fornecendo detecção e atribuição de alta confiança para incidentes onde as defesas de prevenção (como Memory Sandbox) podem falhar ou onde o ataque já ocorreu.