Agent Audit: A Security Analysis System for LLM Agent Applications

1. O Problema

Com a adoção crescente de agentes de IA (LLMs) em fluxos de trabalho reais, utilizando frameworks como LangChain e CrewAI, surgem novas superfícies de ataque que vão além dos pesos do modelo em si. A maioria das falhas de segurança nesses sistemas origina-se na camada de software circundante, incluindo:

• Funções de Ferramentas (Tools): Código que roteia entradas não confiáveis (do usuário ou do modelo) para operações perigosas (como execução de código).
• Injeção de Prompt: Construção de prompts que incorporam conteúdo não sanitizado.
• Artefatos de Implantação: Configurações de protocolos como o Model Context Protocol (MCP) que concedem permissões excessivas, expõem credenciais ou conectam-se a servidores de terceiros não confiáveis.

Ferramentas de análise estática de segurança (SAST) tradicionais, como Bandit e Semgrep, são insuficientes porque não compreendem o contexto específico de agentes (ex: limites de funções decoradas com @tool), não analisam a semântica de arquivos de configuração estruturados (MCP) e não detectam riscos específicos de construção de prompts.

2. Metodologia: O Sistema Agent Audit

O Agent Audit é um sistema de análise de segurança projetado especificamente para aplicações de agentes LLM. Sua arquitetura utiliza um pipeline de múltiplos scanners que operam em paralelo, alimentando um motor de regras unificado.

• Arquitetura de Pipeline:
  • Scanners Especializados: O sistema possui quatro scanners principais:
    1. PythonScanner: Realiza análise de fluxo de dados (taint analysis) baseada em AST (Abstract Syntax Tree) para detectar fontes de dados não confiáveis (parâmetros de função, retornos de chain.invoke()) e seus sinks perigosos (ex: eval(), subprocess.run()).
    2. SecretScanner: Detecta credenciais usando correspondência de padrões (regex) e análise semântica (entropia de Shannon) para evitar falsos positivos em arquivos de teste ou placeholders.
    3. MCPConfigScanner: Analisa arquivos de configuração JSON/YAML do MCP (não como código, mas como dados estruturados) para identificar permissões de sistema de arquivos excessivas, fontes de servidor não verificadas e falta de sandboxing.
    4. PrivilegeScanner: Verifica riscos de elevação de privilégio em scripts de implantação (Python, JS, Shell).
  • Engine de Regras (RuleEngine): Consolida os achados brutos, mapeando 73 padrões para 57 regras específicas. Aplica uma calibração de confiança baseada em tiers (Bloqueio, Aviso, Info, Suprimido) e deduplicação.
  • Detecção de Fronteiras de Ferramentas: O sistema distingue funções decoradas com @tool (que têm maior risco, pois processam saída do LLM) de código regular, ajustando a pontuação de confiança conforme o contexto.
  • Formatos de Saída: Gera relatórios em terminal, JSON, Markdown e SARIF (padrão para integração com CI/CD, GitHub Code Scanning e VS Code).

3. Principais Contribuições

• Novo Sistema de Análise: Apresentação do Agent Audit, a primeira ferramenta de análise estática que integra análise de código Python com análise estruturada de artefatos de configuração MCP.
• Novo Benchmark (Agent-Vuln-Bench - AVB): Criação de um conjunto de testes com 22 amostras e 42 vulnerabilidades anotadas por especialistas, cobrindo execução de código, vazamento de credenciais e riscos de configuração MCP.
• Alinhamento com OWASP: O sistema cobre todas as 10 categorias da OWASP Agentic Security Initiative Top 10, algo que ferramentas genéricas não fazem.
• Acessibilidade: Implementação de código aberto (MIT), instalável via pip, com integração nativa em pipelines de CI/CD e IDEs.

4. Resultados e Avaliação

O sistema foi avaliado contra o benchmark AVB e comparado com Bandit e Semgrep:

• Desempenho de Detecção:
  • Recall (Revocação): O Agent Audit alcançou 95,24% (detectou 40 de 42 vulnerabilidades), superando significativamente o Semgrep (23,8%) e o Bandit (29,7%).
  • Precisão: 86,96% (6 falsos positivos). Embora menor que 100% (dos concorrentes que detectaram muito pouco), é considerado aceitável dado o ganho massivo em recall.
  • Cobertura Exclusiva: O Agent Audit foi o único a detectar 30 das 42 vulnerabilidades, especialmente aquelas relacionadas a configurações MCP e padrões específicos de agentes (injeção de prompt, auto-modificação).
• Cobertura de Vulnerabilidades MCP: O Agent Audit alcançou 100% de cobertura em vulnerabilidades de configuração MCP, enquanto o Semgrep e o Bandit tiveram 0%.
• Desempenho (Velocidade): O sistema realiza varreduras em sub-segundo (0,87s para 22.000 linhas de código), sendo 6,9 vezes mais rápido que o Semgrep e comparável ao Bandit, tornando-o viável como um bloqueio em pipelines de CI.

5. Significado e Impacto

O trabalho demonstra que a segurança de agentes LLM não pode ser tratada apenas como segurança de modelo ou segurança de código genérico. A camada de orquestração e configuração (especialmente com o surgimento do MCP) introduz vetores de ataque únicos.

• Mudança de Paradigma: O Agent Audit preenche a lacuna entre ferramentas SAST tradicionais e a realidade das aplicações de agentes, fornecendo visibilidade sobre riscos que ocorrem na "junção" entre o modelo, as ferramentas e a infraestrutura.
• Praticidade: Ao fornecer integração direta com ferramentas de desenvolvimento (VS Code, GitHub) e suportar o formato SARIF, o sistema torna a auditoria de segurança acessível e acionável para desenvolvedores antes da implantação.
• Futuro: O trabalho estabelece uma base para futuras pesquisas em detecção de vulnerabilidades baseada em aprendizado de máquina e monitoramento em tempo de execução contínuo.

Em resumo, o Agent Audit é uma ferramenta essencial para garantir que os agentes de IA sejam implantados com segurança, mitigando riscos que surgem da complexidade do software que os envolve, e não apenas do modelo de linguagem em si.