Resumo Técnico: AgentTrap

Declaração do Problema

As habilidades de terceiros estão emergindo como o principal ecossistema de pacotes para agentes de Modelos de Linguagem Grande (LLM), empacotando instruções em linguagem natural, scripts auxiliares, modelos e configurações de serviço em fluxos de trabalho reutilizáveis. Embora isso aumente a utilidade do agente, introduz uma vulnerabilidade de segurança crítica: o "limiar de confiança em tempo de execução". Diferentemente das cadeias de suprimentos de software tradicionais, onde os riscos são frequentemente estáticos, as habilidades do agente tornam-se dependências ativas em tempo de execução. Uma habilidade maliciosa não exige necessariamente que o modelo execute uma ação abertamente prejudicial; em vez disso, pode disfarçar comportamentos nocivos como parte de um fluxo de trabalho rotineiro. Uma vez instalada, uma habilidade influencia o procedimento operacional do agente ao fornecer instruções, invocar código auxiliar, incorporar saída padrão (stdout) e persistir configurações em sessões futuras.

As benchmarks de segurança existentes frequentemente falham em capturar esse risco dinâmico porque:

1. Ignoram o ambiente implantado: Elas avaliam modelos em ambientes fixos e estáticos, em vez de considerar como configurações específicas do usuário (sistemas de arquivos, políticas de sandbox, arquivos de instrução locais como AGENTS.md, memória e credenciais) determinam se um fluxo de trabalho malicioso é alcançável ou executável.
2. Carecem de atribuição diagnóstica: Elas relatam resultados binários de sucesso/fracasso sem distinguir se um bloqueio ou falha decorre do raciocínio do LLM principal, dos mecanismos de segurança do framework do agente ou do ambiente específico do usuário.
3. Focam em análise estática: A varredura pré-instalação frequentemente falha em detectar ataques ocultos dentro da lógica do fluxo de trabalho, instruções semânticas ou interações cruzadas de modalidades (por exemplo, código executado com base em prompts em linguagem natural).

Metodologia

Os autores introduzem o AgentTrap, uma benchmark dinâmica projetada para avaliar a capacidade dos agentes LLM de utilizar habilidades de terceiros enquanto resistem a comportamentos maliciosos em tempo de execução. O AgentTrap opera executando tarefas em um ambiente controlado e isolado (sandbox) que imita implantações reais de agentes.

Construção do Conjunto de Dados

• Escala: A benchmark contém 141 tarefas executáveis: 91 tarefas maliciosas e 50 tarefas de utilidade benignas.
• Design da Tarefa: Cada tarefa começa com uma solicitação comum do usuário (por exemplo, editar documentos, analisar planilhas, configurar integrações). O comportamento malicioso é embutido no fluxo de trabalho normal da habilidade instalada (por exemplo, scripts auxiliares, instruções SKILL.md, artefatos gerados) e não no prompt do usuário.
• Cobertura: O conjunto de dados abrange 16 dimensões de impacto de segurança (por exemplo, exfiltração de dados, envenenamento de configuração, escalonamento de privilégios, abuso de MCP) e 10 métodos de ataque em tempo de execução (por exemplo, envenenamento de instruções de habilidade, payloads esteganográficos, roteamento oculto).
• Sementes: As habilidades são derivadas de fontes realistas, incluindo habilidades de alta download do ClawHub, repositórios oficiais da Anthropic e coleções curadas do GitHub, garantindo que os fluxos de trabalho reflitam comportamentos comuns de usuários.

Framework de Execução e Avaliação

O AgentTrap avalia os agentes através de dois caminhos de execução distintos para permitir análise diagnóstica:

1. Caminho do Agente Puro: O LLM interage por meio de uma interface de ferramenta mínima, correspondendo a avaliações comuns onde um modelo atua através de chamadas diretas de ferramentas. Isso isola as capacidades de segurança inerentes do modelo.
2. Caminho Mediado por Framework: O mesmo backbone LLM é incorporado dentro de um framework completo de agente (por exemplo, Claude Code, Codex CLI, OpenClaw) que gerencia o carregamento de habilidades, memória e seleção de ações. Isso testa a resiliência do sistema integrado.

Protocolo de Julgamento:
O sistema registra trajetórias completas de execução, incluindo chamadas de ferramentas, alterações no sistema de arquivos, stdout e interações de rede (roteadas para sumidouros simulados). Os resultados são rotulados com base em sinais de sucesso pré-especificados:

• Sucesso do Ataque: O agente executa o comportamento inseguro.
• Bloqueado/Recusado: O agente ou o framework recusa explicitamente, avisa ou sanitiza o comportamento após atingir a superfície de ataque.
• Não Disparado/Sem Evidência: O agente completa a tarefa sem atingir o caminho malicioso ou sem evidência observável do ataque.
• Superdefesa Benigna: O agente recusa uma tarefa de utilidade legítima.

Contribuições Principais

1. Benchmark AgentTrap: Uma benchmark de 141 tarefas composta por 91 tarefas maliciosas e 50 tarefas benignas, estruturada em sete categorias de tarefas, dez métodos de ataque e 16 dimensões de impacto de segurança. É a primeira benchmark a avaliar o impacto em tempo de execução de habilidades de terceiros inseguras em ambientes de agentes implantados usando backbones e frameworks LLM.
2. Método de Avaliação em Tempo de Execução: Uma abordagem inovadora que se adapta a diversos ambientes de agentes, medindo a segurança em configurações concretas que incluem arquivos de instrução locais, políticas de sandbox, memória e estado persistente, em vez de depender de ambientes fixos e idealizados.
3. Análise de Atribuição Diagnóstica: Um framework comparativo que executa tarefas através de caminhos mínimos (Agente Puro) e mediados por framework. Isso permite que pesquisadores determinem se os resultados de segurança são impulsionados pelo modelo base, pelo framework do agente ou pela configuração específica do ambiente do usuário.

Resultados Experimentais

Os autores avaliaram múltiplos modelos (incluindo variantes do GPT-5, Claude Haiku/Sonnet e outros) em ambos os caminhos de execução.

• Vulnerabilidade de Agentes Puros: Modelos executando na configuração de Agente Puro eram altamente vulneráveis. Por exemplo, Moonshot Kimi K2.6 e GLM 5.1 alcançaram taxas de sucesso de ataque de 75/91 e 73/91, respectivamente, com bloqueio mínimo. Modelos capazes frequentemente continuavam fluxos de trabalho quando o comportamento inseguro era enquadrado como parte da conclusão normal da tarefa.
• Impacto do Framework: O framework do agente alterou significativamente os resultados de segurança, mas o efeito foi não uniforme.
  • Claude Sonnet 4.6: A transição do Agente Puro para o framework Claude Code aumentou as tarefas bloqueadas/recusadas de 30 para 56, demonstrando que os controles do framework podem expor superfícies de ataque enquanto fornecem defesa ativa.
  • Claude Haiku: O framework aumentou os sucessos de ataque de 27 para 72, sugerindo que, para alguns modelos, a orquestração do framework inadvertidamente atingiu mais fluxos de trabalho maliciosos sem fornecer defesa proporcional.
• Sensibilidade ao Ambiente: Simular um ambiente de usuário "desenvolvedor solo" (com preferências por baixa fricção e credenciais codificadas) reduziu o número de tarefas bloqueadas para o Claude Sonnet 4.6 de 56 para 52. Isso confirma que instruções e memória de usuários permanentes podem alterar o comportamento de segurança mediado por framework.
• Riscos Específicos por Dimensão: A resiliência variou conforme a dimensão de segurança. Os agentes foram mais eficazes em bloquear injeção de prompt e payloads esteganográficos. No entanto, frequentemente falharam em detectar ataques envolvendo integridade do sistema, envenenamento de configuração e abuso de MCP, pois estes frequentemente se assemelhavam a tarefas legítimas de configuração ou integração.
• Limitações da Análise Estática: Varredores estáticos pré-execução (incluindo juízes baseados em LLM) falharam em detectar uma parte significativa das tarefas maliciosas (por exemplo, o scanner não-AgentTrap mais forte sinalizou apenas 50/91 tarefas maliciosas). O VirusTotal sinalizou 0/91. Isso destaca que a análise estática não pode substituir a avaliação em tempo de execução para ataques comportamentais e semânticos.

Significado e Alegações

O artigo alega que o AgentTrap aborda uma lacuna crítica na pesquisa de segurança de agentes, deslocando o foco da inspeção estática de pacotes para a avaliação de confiança em tempo de execução. Os autores argumentam que:

• O Contexto em Tempo de Execução é Crítico: A segurança de um agente não pode ser determinada apenas pelos pesos do modelo ou pelo código da habilidade; depende da interação entre o modelo, o framework e o ambiente específico do usuário.
• Ameaças Ocultas: Habilidades maliciosas frequentemente têm sucesso ao se misturar em fluxos de trabalho normais, tornando-as invisíveis à análise estática e difíceis para os modelos distinguirem de instruções benignas sem monitoramento em tempo de execução.
• Necessidade Diagnóstica: As avaliações de segurança devem distinguir entre falhas de raciocínio no nível do modelo e falhas de controle no nível do framework para melhorar efetivamente a segurança dos agentes.

Os autores posicionam o AgentTrap não como uma ferramenta causal para atribuir falhas específicas a um único componente, mas como um instrumento diagnóstico para medir a exposição concreta em tempo de execução de agentes em cenários de implantação realistas. A benchmark é projetada para ser segura de executar localmente, redirecionando efeitos perigosos para domínios inertes e sumidouros simulados.