Resumo Técnico: Podem os Agentes de LLM de Código Aberto Substituir Ferramentas de Teste Estático de Segurança de Aplicações?

Declaração do Problema

O artigo aborda a questão emergente de se a IA Agêntica, especificamente agentes de Grandes Modelos de Linguagem (LLM) de propósito geral, pode substituir ou rivalizar efetivamente com as ferramentas tradicionais de Teste Estático de Segurança de Aplicações (SAST) para varredura de vulnerabilidades de cibersegurança. Embora a GenAI tenha revolucionado a geração de código, os autores investigam sua eficácia na validação da aptidão de segurança do código. O problema central é determinar se um agente de LLM de propósito geral, moderno e de código aberto, pode identificar de forma confiável vulnerabilidades comuns (ex: injeção de SQL, segredos inseguros, transversal de caminho/path traversal) em bases de código Python sob condições realistas, ou se sofre de limitações inerentes, como alucinações, altas taxas de falsos positivos e falta de explicabilidade em comparação com ferramentas baseadas em regras estabelecidas.

Metodologia

O estudo empregou uma comparação empírica entre um agente de LLM construído sob medida e uma ferramenta SAST de código aberto e validada.

• Ferramenta de Linha de Base (Baseline): O Bandit, uma ferramenta SAST focada em Python conhecida por baixas taxas de falsos positivos e precisão moderada, serviu como a "verdade fundamental" (source of truth) e linha de base para comparação.
• Agente Experimental: Snitch, uma aplicação de agente baseada em Python projetada para escanear diretórios recursivamente. O Snitch utiliza o Ollama para hospedar e executar LLMs locais.
• Modelos Avaliados: Três modelos distintos de código aberto e de propósito geral foram testados:
  1. Gemma3 (Google): Comercializado como um especialista em codificação.
  2. Llama3.1 (Meta): Um LLM de propósito geral.
  3. Qwen2.5 (Alibaba): Destinado a raciocínio, codificação e depuração.
• Alvos de Teste: Três repositórios Python de código aberto com diferentes níveis de complexidade e maturidade:
  1. Yum: Um gerenciador de pacotes de nível empresarial aposentado (alta maturidade).
  2. Beaverhabits: Um rastreador de hábitos pessoal (comercial casual).
  3. Fail2ban: Um daemon de serviço orientado à segurança.
• Design Experimental:
  • O Bandit escaneou todos os três repositórios primeiro para estabelecer uma linha de base de achados de severidade Média e Alta.
  • O Snitch então escaneou os mesmos repositórios usando cada um dos três modelos (9 varreduras de agentes no total).
  • Prompting: Um prompt fixo e detalhado foi utilizado para todas as execuções do agente, instruindo o modelo a agir como um engenheiro de cibersegurança especialista, identificando problemas específicos de SAST e gerando resultados em um formato JSON estruturado.
• Métricas de Avaliação:
  • Recall (Revocação): A proporção dos achados de severidade Média/Alta do Bandit também detectados pelo agente (correspondências parciais ponderadas em 0,5).
  • Taxa de Falso Positivo (FP): A proporção de problemas sinalizados pelo agente que não foram sinalizados pelo Bandit e que foram determinados como mal-entendidos contextuais ou alucinações após revisão humana.
  • Pontuação Composta: Calculada como Recall - Taxa de FP.
  • Tempo de Execução: Registrado para comparar a eficiência contra o Bandit.

Principais Resultados

Os dados empíricos indicam que os agentes de LLM de código aberto avaliados tiveram um desempenho significativamente inferior em comparação com a ferramenta tradicional de SAST.

• Baixo Recall: Nenhum modelo alcançou uma pontuação de recall superior a 0,25. Os agentes perderam a grande maioria das vulnerabilidades identificadas pelo Bandit.
• Altos Falsos Positivos: Todos os modelos exibiram taxas de falsos positivos extremamente altas, variando de 40% a 90%.
  • Alucinações comuns incluíram sinalizar constantes da biblioteca padrão (ex: calendar.MONDAY) como segredos codificados (hardcoded secrets), interpretar erroneamente o uso de arquivos .env como vazamentos de produção e identificar padrões de código benignos (como comentários ou cabeçalhos de licença) como vulnerabilidades.
  • O modelo Gemma3 apresentou a maior taxa de FP, enquanto o Qwen2.5 apresentou a menor, embora ainda substancial.
• Alucinações e Precisão:
  • Os agentes frequentemente alucinaram a localização das vulnerabilidades (nomes de arquivos e números de linhas), referenciando arquivos ou blocos de código inexistentes.
  • Embora os agentes tenham ocasionalmente identificado questões únicas perdidas pelo Bandit (ex: uso inseguro específico de requests.get ou transversais de caminho), estas eram inverificáveis como "verdadeiros positivos" sem uma verdade fundamental externa e foram superadas pelo ruído.
• Desempenho e Eficiência:
  • O Bandit completou as varreduras em menos de um minuto por repositório.
  • O Snitch (agentes de LLM) exigiu de 1 a 4 horas por repositório, dependendo do tamanho da base de código.
  • O tempo total de execução para todas as varreduras de agentes nos três modelos foi de aproximadamente 10–12 horas, comparado a minutos para o Bandit.

Principais Contribuições

1. Avaliação Empírica: O artigo fornece uma avaliação rigorosa e baseada em dados da IA agêntica para SAST, indo além da especulação teórica para métricas de desempenho mensuráveis (precisão, recall, taxa de FP).
2. Comparação de Linha de Base: Estabelece uma linha de base de desempenho direta usando o Bandit, demonstrando que os LLMs de propósito geral de código aberto atualmente carecem da confiabilidade necessária para tarefas especializadas de varredura de segurança.
3. Identificação de Limitações: O estudo destaca modos de falha específicos dos agentes de LLM neste domínio, particularmente a "alucinação" de localizações de vulnerabilidades e a interpretação errônea de padrões comuns de desenvolvimento (ex: variáveis de ambiente) como falhas de segurança.
4. Pontuação Composta: A introdução de uma pontuação composta (Recall - Taxa de FP) para avaliar holisticamente o equilíbrio entre a detecção de vulnerabilidades perdidas e a geração de ruído.

Significância e Alegações

O artigo conclui que os modernos agentes de LLM de GenAI de código aberto não são adequados no momento para a tarefa especializada de varredura de SAST sob condições realistas.

• Lacuna de Confiabilidade: As altas taxas de falsos positivos e o baixo recall tornam esses agentes não confiáveis como ferramentas de segurança autônomas. As "alucinações" quanto às localizações das vulnerabilidades tornam o output quase inútil para remediação automatizada, pois os desenvolvedores não podem confiar no arquivo ou número de linha específico fornecido.
• Barreira de Eficiência: O custo computacional e o tempo exigidos pelos agentes de LLM (horas vs. minutos) apresentam uma barreira proibitiva para a integração em pipelines padrão de CI/CD em comparação com ferramentas baseadas em regras.
• Papel da IA: Os autores sugerem que, embora a IA agêntica mostre promessa para geração e assistência de código, ela atualmente carece da precisão e explicabilidade necessárias para a validação. O artigo argumenta que as ferramentas tradicionais baseadas em regras como o Bandit permanecem superiores para análise de código devido à sua consistência, velocidade e rastreabilidade.
• Perspectiva Futânea: Os autores postulam que, embora modelos de código fechado ou especializados com engenharia de prompt avançada possam melhorar os resultados, as limitações fundamentais dos sistemas generativos (alucinação, falta de bases de conhecimento externas como definições de CVE) atualmente impedem que eles substituam as ferramentas SAST estabelecidas. Eles sugerem um potencial modelo híbrido onde os agentes atuam como suplementos às ferramentas tradicionais, focando apenas em questões novas, em vez de substitutos.