Evaluating Privilege Usage of Agents on Real-World Tools

1. Problema

A integração de Agentes de Inteligência Artificial (impulsionados por Grandes Modelos de Linguagem - LLMs) com ferramentas do mundo real aumenta significativamente a produtividade, mas introduz riscos de segurança críticos. Ao conceder autonomia aos agentes para invocar ferramentas, transfere-se também os privilégios subjacentes (como acesso a bancos de dados, infraestrutura em nuvem e sistemas de arquivos) para o modelo de linguagem.

O problema central identificado é que os LLMs frequentemente carecem de consciência de segurança suficiente para gerenciar esses privilégios. Sob ataques de injeção de prompt, os agentes podem abusar desses privilégios, resultando em vazamento de informações sensíveis ou danos à infraestrutura.

Limitações das Avaliações Existentes:
As benchmarks atuais (como AgentDojo, ASB e RAS-Eval) focam principalmente na detecção de intenções maliciosas, mas utilizam ambientes simulados com ferramentas pré-codificadas e simplificadas. Esses ambientes não refletem a complexidade de interações com serviços reais (como APIs de nuvem ou bancos de dados de produção), tornando difícil avaliar a segurança real no uso de privilégios críticos.

2. Metodologia: GrantBox

Para preencher essa lacuna, os autores propõem o GrantBox, um sandbox (ambiente de teste isolado) de avaliação de segurança projetado para analisar o uso de privilégios de agentes em ambientes reais. O framework é composto por três módulos principais:

• Gerenciador de Servidores MCP (Model Context Protocol):

  • Atua como uma camada de orquestração externa.
  • Gerencia o ciclo de vida dos servidores MCP (implantação, monitoramento de saúde, recuperação automática).
  • Permite a integração automática de servidores MCP diversos, configurando variáveis de ambiente e dependências sem intervenção manual.
  • Suporta dois modos de execução de agentes: ReAct (decisão dinâmica passo a passo) e Plan-and-Execute (geração de um plano completo antes da execução).

• Gerador de Solicitações (Request Generator):

  • Sintetiza automaticamente solicitações benignas e maliciosas (payloads de injeção) baseadas nos servidores e ferramentas disponíveis.
  • Utiliza um algoritmo para garantir a diversidade de intenções e evitar sobreposição, combinando aleatoriamente servidores MCP para criar cenários complexos.
  • Para ataques, o gerador "envolve" a intenção maliciosa em solicitações naturais e contextualmente apropriadas para simular ataques de injeção de prompt realistas.

• Sandbox de Servidor MCP:

  • Fornece um ambiente isolado e contêinerizado para execução segura.
  • Utiliza um proxy SSE-Stdio para unificar a comunicação entre servidores heterogêneos.
  • Inclui um monitor e um logger de solicitações remotas para rastrear o uso de privilégios (chamadas de API, autenticação, passagem de parâmetros).
  • Permite a restauração rápida do ambiente após execuções maliciosas, mitigando danos reais.

3. Contribuições Chave

• Framework GrantBox: Uma infraestrutura de avaliação que integra servidores MCP reais, permitindo que agentes LLM invokem privilégios genuínos em vez de ferramentas simuladas.
• Dataset de Avaliação: Criação de um conjunto de dados contendo 100 solicitações benignas complexas (envolvendo em média 5,67 ferramentas por tarefa) e 50 casos sofisticados de sequestro de privilégios cobrindo cinco categorias de ataque.
• Integração Realista: Suporte para 10 servidores MCP do mundo real, cobrindo gerenciamento de infraestrutura em nuvem (ex: Alibaba Cloud), administração de bancos de dados, serviços de e-mail e operações locais.
• Análise Comparativa: Avaliação sistemática de diferentes modos de agentes (ReAct vs. Plan-and-Execute) e múltiplos modelos LLM.

4. Resultados Experimentais

Os autores avaliaram quatro LLMs amplamente utilizados (GPT-5, Gemini3-Flash, Qwen3-Max e Deepseek-V3) em dois modos de agente.

• Taxa de Sucesso do Ataque (ASR - Attack Success Rate):

  • Modo ReAct: Os agentes foram extremamente vulneráveis, com uma ASR média de 90,55%.
  • Modo Plan-and-Execute: Houve uma melhoria na resiliência, com uma ASR média de 79,05%. O planejamento prévio ajudou os agentes a reconhecer tentativas de injeção e alinhar o uso de ferramentas à intenção original.
  • Modelos Específicos: Modelos de alta capacidade (como GPT-5 e Gemini3) mostraram-se mais frágeis no modo ReAct (ASR > 90%), mas melhoraram significativamente no modo de planejamento.

• Categorias de Ataque:

  • Tampering de Workspace (Manipulação de Ambiente de Trabalho): Teve a maior taxa de sucesso (muitas vezes >90%), pois envolve ações menos destrutivas (ex: renomear tarefas) que não ativam facilmente os gatilhos de segurança.
  • Disrupção de Infraestrutura e Destruição de Dados: Embora os LLMs mostrassem maior "consciência" e pedissem confirmação para ações irreversíveis, a taxa de sucesso ainda permaneceu alta, indicando falhas nos mecanismos de controle de privilégios críticos.

5. Significado e Conclusão

O estudo demonstra que, embora os LLMs possuam uma consciência de segurança básica (conseguindo bloquear ataques diretos e óbvios), eles são altamente vulneráveis a manipulações sofisticadas em cenários que envolvem ferramentas reais e cadeias de privilégios complexas.

• Implicação Principal: A delegação de privilégios a agentes autônomos sem mecanismos de defesa robustos representa um risco significativo para a segurança de infraestrutura e dados.
• Direção Futura: O GrantBox serve como uma base para desenvolver e testar mecanismos de defesa avançados (como filtros de texto, validação de planos e controle de privilégios granular) em ambientes realistas, antes da implantação em produção.

Em resumo, o artigo alerta que a segurança atual dos agentes LLM é insuficiente para ambientes de produção e propõe o GrantBox como a ferramenta padrão para avaliar e melhorar essa segurança.