Resumo Técnico: AgentRedBench e AgentRedGuard

1. Declaração do Problema

O artigo aborda a injeção de prompt indireta em agentes de Large Language Models (LLMs) que operam via integrações de uso de ferramentas (ex: Gmail, Salesforce, Jira). Diferente da injeção de prompt tradicional, onde o usuário insere diretamente um texto malicioso, a injeção indireta ocorre quando um agente lê o conteúdo de uma integração de terceiros (uma operação de "leitura") que foi envenenado por um adversário externo. O agente então executa ações ("escritas") baseadas nesse conteúdo não confiável, podendo vazar dados ou realizar operações não autorizadas.

Os autores argumentam que os benchmarks e defesas existentes são insufentes por três razões:

1. Cobertura Limitada: Os benchmarks existentes cobrem apenas um punhado de integrações, enquanto agentes de produção interagem com um vasto conjunto de ferramentas SaaS distintas.
2. Conteúdo de Ataque Estático: A maioria dos benchmarks reproduz payloads de ataque fixos. Eles falham em capturar o comportamento dinâmico do atacante, onde o payload é adaptado por execução com base no esquema específico da integração e no feedback.
3. Descompasso de Dados de Treinamento: As salvaguardas de código aberto (ex: Llama Guard, WildGuard) são treinadas em diálogos de estilo chat, não na distribuição específica de conteúdo de resposta de ferramenta que os agentes realmente consomem. Isso cria um ponto cego onde as salvaguardas falham em detectar padrões adversariais incorporados em respostas de API.

2. Metodologia

AgentRedBench (O Benchmark)

Os autores introduzem o AgentRedBench, um benchmark de redteaming dinâmico, impulsionado por LLM, projetado para medir essas ameaças.

• Escopo: Cobre 215 cenários sutis de "autorização subespecificada" através de 24 integrações empresariais abrangendo nove famílias funcionais (ex: comunicações, CRM, HRIS).
• Taxonomia de Ataque: O benchmark foca em ataques que exploram o limite da autorização do usuário, em vez de comandos explícitos de "ignore as instruções anteriores". Ele define cinco tipos de ataque:
  • Tipos Ativos: output_channel_url_relay (incorporar URLs de atacantes em resumos), destination_hijack (substituir destinatários de e-mail) e content_hijack (substituir corpos de mensagens).
  • Tipos de Delegação de Limite: tool_argument_hijack e tool_family_creep (tentar adicionar argumentos ou chamar ferramentas adjacentes), que servem como linhas de base para o que os modelos resistem com sucesso.
• Geração Dinâmica: Diferente de benchmarks estáticos, o conteúdo do ataque é gerado por execução por um LLM atacante. O atacante é condicionado ao esquema da integração, ao tipo de ataque específico e ao feedback de um juiz sobre tentativas anteriores. Isso garante que o payload seja adaptado à estrutura específica da resposta da ferramenta.
• Pipeline de Avaliação: O sistema utiliza um orquestrador para injetar conteúdo envenenado em estados de integração simulados. Um agente alvo tenta completar uma tarefa benigna do usuário. Um juiz LLM pontua o rastro para sucesso (ataque executado), sucesso parcial ou falha.

AgentRedGuard (A Defesa)

Os autores propõem o AgentRedGuard, um mecanismo de defesa treinado especificamente na distribuição de conteúdo de resposta de ferramenta adversária.

• Arquitetura: Ao contrário de guardas baseados em LLM, o AgentRedGuard é um classificador de texto ajustado (fine-tuned) (usando um modelo MiniLM de 23M de parâmetros). Os autores argumentam que a detecção na camada de integração depende do reconhecimento de assinaturas superficiais (ex: marcadores de log de auditoria, padrões de domínio específicos) em vez de raciocínio semântico profundo, tornando um classificador leve mais eficiente e eficaz.
• Dados de Treinamento: O modelo é treinado em um corpus de respostas de ferramentas adversárias extraídas dos rastros do benchmark, pareadas com um corpus benigno de "falso-negativo" derivado de saídas reais de ferramentas empresariais (HRIS, ATS, CRM).
• Estratégia de Generalização: Para evitar a memorização, o conjunto de treinamento exclui quatro integrações específicas (Slack, Linear, Salesforce, Calendar) e retém tipos de ataque específicos para testar a generalização entre integrações e entre tipos de ataque.

3. Principais Resultados

Vulnerabilidade de Agentes Sem Proteção

Em um painel de oito modelos (Anthropic, OpenAI, Google), a Taxa de Sucesso de Ataque (ASR) sem qualquer guarda é severa:

• Intervalo: A ASR varia de 32,1% (Claude Sonnet 4.6) a 81,4% (Gemini 3 Flash).
• Alinhamento vs. Escala: O artigo observa que a resistência é impulsionada pelo treinamento de alinhamento, não pela escala do modelo. Por exemplo, dentro da Anthropic, o Sonnet 4.6 é significativamente mais resistente (32,1%) do que o Haiku 4.5 (79,5%), apesar de o Haiku ser um modelo menor.
• Falha da Linha de Base: As salvaguardas de código aberto existentes (Llama Guard 3, PromptGuard 2, WildGuard, ProtectAI) falham em detectar esses ataques efetivamente quando aplicadas ao conteúdo de resposta de ferramenta. Por exemplo, o PromptGuard 2 alcançou 0,00% de Taxa de Verdadeiros Positivos (TPR) no conjunto de teste retido, e o Llama Guard 3 alcançou apenas 0,15% de TPR.

Eficácia do AgentRedGuard

O AgentRedGuard mitiga significativamente a ameaça mantendo baixo overhead:

• Redução da ASR: Reduz a ASR geral do painel de 69,9% para 2,4%.
• Métricas de Desempenho:
  • Taxa de Verdadeiros Positivos (TPR): 99,75% nos dados retidos de cross-integração.
  • Taxa de Falsos Positivos (FPR): 0,37% em um corpus benigno com formato de produção.
  • Latência: Adiciona uma mediana de 9,5 ms por resposta de ferramenta em CPUs comuns, não exigindo GPU.
• Generalização: O modelo mantém alto desempenho em integrações nas quais nunca foi treinado (cross-integration) e em tipos de ataque excluídos de seu treinamento (cross-attack-type), confirmando que ele aprende marcadores superficiais generalizáveis em vez de memorizar exemplos específicos.

4. Significância e Alegações

O artigo afirma que o AgentRedBench e o AgentRedGuard representam uma mudança necessária na forma como a segurança de agentes é avaliada e defendida:

1. Avaliação Dinâmica: O trabalho demonstra que benchmarks estáticos subestimam a ameaça. A geração de ataques dinâmica, condicionada ao esquema, revela vulnerabilidades que payloads fixos não detectam.
2. Desvio de Distribuição: A principal falha das salvaguardas existentes é um desvio de distribuição; elas são treinadas em dados de chat, não em dados de resposta de ferramenta. O AgentRedGuard prova que um classificador treinado especificamente na distribuição da camada de integração pode detectar esses ataques sutis com precisção quase perfeita.
3. Defesa Prática: Ao usar um classificador leve em vez de um LLM grande, a defesa é implantável com latência e custo mínimos, tornando-a viável para interceptação em tempo real no loop de chamada de ferramentas.
4. Ciência Aberta: Os autores liberam o código, os esquemas de integração e os pesos do modelo AgentRedGuard abertamente. No entanto, para preservar a validade do benchmark ao longo do tempo, o conjunto de cenários canônicos é controlado através de um canal mediado por mantenedores para evitar que os cenários entrem em corpora de treinamento (o que tornaria as métricas de ASR sem sentido devido à memorização).

O artigo conclui que, embora o treinamento de alinhamento forneça uma linha de base de resistência (como visto no Sonnet 4.6), defesas de tempo de inferência como o AgentRedGuard são essenciais para a adoção mais ampla de agentes de LLM em ambientes de múltiplas integrações não confiáveis. A superfície de ataque de ataques encadeados de múltiplas integrações permanece uma fronteira aberta para pesquisas futuras.