AgentSentry: Mitigating Indirect Prompt Injection in LLM Agents via Temporal Causal Diagnostics and Context Purification

1. O Problema: Injeção Indireta de Prompt (IPI) em Agentes LLM

Os agentes de Grandes Modelos de Linguagem (LLM) modernos dependem cada vez mais de ferramentas externas (como busca na web, e-mail, calendários e APIs corporativas) para executar tarefas complexas. No entanto, essa arquitetura cria uma superfície de ataque crítica conhecida como Injeção Indireta de Prompt (IPI).

• Mecanismo do Ataque: Diferente da injeção direta (onde o usuário é manipulado), na IPI, o atacante não controla o prompt do usuário. Em vez disso, ele embute instruções maliciosas em conteúdo não confiável (ex: um e-mail, um documento recuperado ou o resultado de uma ferramenta).
• O Perigo: Quando o agente processa esse conteúdo através de ferramentas, as instruções injetadas tornam-se parte do estado do agente. Isso permite que o atacante "sequestre" o agente silenciosamente, desviando-o do objetivo do usuário para realizar ações não autorizadas (ex: exfiltração de dados, envio de e-mails maliciosos, exclusão de arquivos).
• Desafio das Defesas Atuais: As defesas existentes são predominantemente baseadas em heurísticas (como detecção de padrões de texto ou bloqueio conservador de ações de alto risco). Em fluxos de trabalho de múltiplas voltas (multi-turn), essas abordagens falham porque:
  1. Não conseguem distinguir entre contexto legítimo e controle malicioso quando a influência é sutil.
  2. Tendem a interromper prematuramente tarefas legítimas (falso positivos) ou falhar em detectar ataques que se manifestam apenas após várias interações.

2. Metodologia: AgentSentry

O AgentSentry é um novo framework de defesa em tempo de inferência (inference-time) projetado para detectar e mitigar IPI sem interromper o fluxo de trabalho legítimo. A inovação central é modelar a IPI como um processo de tomada de controle causal temporal.

O sistema opera em duas etapas principais acopladas:

A. Diagnóstico Causal Temporal (Localização da Tomada de Controle)

O AgentSentry não analisa apenas o texto, mas a causalidade das decisões do agente.

• Pontos de Fronteira (Boundaries): O sistema monitora os momentos exatos logo após uma resposta de ferramenta ser incorporada ao estado do agente e antes da próxima ação ser emitida.
• Reexecução Contrafactual Controlada: Em cada fronteira, o AgentSentry executa quatro variantes controladas da interação em modo "dry-run" (sem executar ações reais no ambiente externo):
  1. Orig: Input original + Contexto original (com potencial injeção).
  2. Mask: Input do usuário substituído por uma sonda neutra + Contexto original.
  3. Mask_Sanitized: Input neutro + Contexto "limpo" (purificado).
  4. Orig_Sanitized: Input original + Contexto "limpo".
• Estimativa Causal: Ao comparar os resultados dessas execuções, o sistema calcula o Efeito Indireto (IE): quão dominantes são as instruções do mediador (conteúdo da ferramenta) em relação ao objetivo do usuário. Se a mudança no contexto (limpeza) altera drasticamente a ação proposta, isso indica que o agente foi "tomado de controle" pelo conteúdo injetado.
• Detecção de Tendência: O sistema analisa a degradação causal ao longo do tempo (janelas deslizantes) para identificar quando a influência do usuário diminui e a influência do mediador malicioso aumenta.

B. Purificação de Contexto com Gatilho Causal

Uma vez que a tomada de controle é detectada, o sistema não encerra a tarefa.

• Purificação Seletiva: O sistema aplica uma transformação no contexto do mediador (o conteúdo da ferramenta). Ele remove spans de texto que carregam instruções imperativas ou diretrizes de controle, mas preserva fatos relevantes para a tarefa (ex: datas, nomes, dados estruturados).
• Revisão Mínima: Com o contexto purificado, o agente reavalia a próxima ação. Ações de baixo impacto e essenciais para a tarefa são mantidas; ações de alto impacto que dependiam da injeção são bloqueadas ou replanejadas.
• Continuação Segura: O agente continua a execução do fluxo original, agora livre da influência maliciosa, garantindo que a tarefa seja concluída com sucesso.

3. Principais Contribuições

1. Modelagem Causal Temporal: É a primeira defesa em tempo de inferência a modelar a IPI de múltiplas voltas como um processo de tomada de controle causal temporal, permitindo a localização precisa do ponto de inflexão onde o agente começa a seguir o atacante.
2. Protocolo de Diagnóstico Contrafactual: Introduz um protocolo baseado em reexecuções controladas nas fronteiras de retorno de ferramentas para estimar a dominância causal do objetivo do usuário vs. contexto mediado, sem depender de correspondência lexical ou heurísticas de similaridade.
3. Mecanismo de Purificação com Gatilho Causal: Desenvolve um mecanismo que ativa a mitigação apenas quando há evidência causal de dominância do mediador, permitindo a continuação segura da tarefa em vez de terminação conservadora.
4. Desempenho Superior: Demonstra que é possível eliminar ataques sem sacrificar a utilidade da tarefa, superando o dilema segurança-usabilidade que afeta as defesas atuais.

4. Resultados Experimentais

O AgentSentry foi avaliado no benchmark AgentDojo, cobrindo quatro suites de tarefas (Viagem, Workspace, Banco, Slack), três famílias de ataques IPI e três modelos LLM de caixa-preta (GPT-4o, GPT-3.5-turbo, Qwen3-Max).

• Taxa de Sucesso do Ataque (ASR): O AgentSentry alcançou 0% de ASR em todos os cenários, eliminando completamente os ataques bem-sucedidos.
• Utilidade Sob Ataque (UA): O sistema manteve uma utilidade média de 74,55% sob ataque.
  • Isso representa uma melhoria de 20,8 a 33,6 pontos percentuais em relação às melhores defesas de base (como Task Shield e MELON).
  • Por exemplo, no GPT-4o, a UA subiu de 53,13% (Task Shield) para 73,90% com o AgentSentry.
• Desempenho em Tarefas Limpas (CU): O sistema não degradou o desempenho em tarefas benignas, mantendo a utilidade original (CU) e tendo uma taxa de falsos positivos (FPR) de 0%.
• Ablação: Estudos mostraram que a purificação do mediador e a reexecução contrafactual são os componentes mais críticos; remover a purificação ou usar apenas heurísticas simples causa colapso tanto na segurança quanto na utilidade.

5. Significado e Impacto

O trabalho do AgentSentry é significativo porque muda o paradigma de defesa contra IPI:

• De "Bloqueio" para "Purificação": Em vez de parar o agente ao primeiro sinal de suspeita (o que quebra tarefas legítimas), o AgentSentry "limpa" a influência maliciosa e permite que a tarefa continue.
• Interpretabilidade: O uso de diagnósticos causais fornece uma explicação clara de quando e por que o agente foi desviado, ao contrário de caixas-pretas baseadas em classificação de texto.
• Aplicabilidade em Caixas-Pretas: A solução não requer acesso aos pesos do modelo ou re-treinamento, sendo viável para implantações comerciais onde o backend do LLM é proprietário ou hospedado.
• Segurança para Agentes Autônomos: Oferece uma linha de defesa prática para agentes que operam em ambientes reais com dados não confiáveis, garantindo que a automação não seja explorada para ações destrutivas ou exfiltração de dados.

Em resumo, o AgentSentry demonstra que é possível construir agentes LLM robustos que podem navegar em ambientes hostis, distinguindo causalmente entre instruções legítimas e injeções maliciosas, mantendo alta produtividade e segurança.