RealVuln: Benchmarking Rule-Based, General-Purpose LLM, and Security-Specialized Scanners on Real-World Code

Título: RealVuln: Benchmarking de Scanners Baseados em Regras, LLMs de Propósito Geral e Scanners Especializados em Segurança em Código Real

1. O Problema

As ferramentas de Teste Estático de Aplicação de Segurança (SAST) são fundamentais para o desenvolvimento seguro de software, mas enfrentam dois desafios críticos que minam seu valor prático:

• Alta Taxa de Falsos Positivos: Relatórios indicam taxas de falsos positivos de até 99,5% em certas categorias (ex: injeção de comandos em Python/Flask), levando os desenvolvedores a ignorarem os alertas.
• Baixa Taxa de Detecção (Recall): Avaliações anteriores mostram que as melhores ferramentas automatizadas encontram apenas cerca de 22,7% das vulnerabilidades conhecidas.
• Falta de Benchmarks Realistas: As avaliações existentes sofrem de limitações severas:
  • Uso de código sintético (ex: OWASP Benchmark) que não reflete a complexidade de aplicações reais.
  • Dados fechados ou não reprodutíveis.
  • Avaliações de auto-avaliação de fornecedores (viés de conflito de interesses).
  • Falta de medição de falsos positivos, focando apenas na taxa de detecção.
  • Ausência de comparação sistemática entre ferramentas baseadas em regras, Grandes Modelos de Linguagem (LLMs) de propósito geral e sistemas especializados em segurança.

2. Metodologia

Os autores apresentaram o RealVuln, o primeiro benchmark de código aberto que compara essas três categorias de scanners em código real.

• Dataset (RealVuln v1.0):

  • Composto por 26 repositórios Python intencionalmente vulneráveis (aplicações educacionais e CTFs como PyGoat, DVPWA, VAmPI).
  • 796 entradas manualmente rotuladas: 676 vulnerabilidades reais e 120 "armadilhas de falso positivo" (código que parece perigoso, mas é seguro).
  • Cobertura de 5 frameworks web (Flask, Django, FastAPI, etc.) e 18 famílias de CWE.
  • Os dados são "ground truth" verificados linha por linha, com metadados de autoria humana para evitar contaminação por dados de treinamento de LLMs.

• Scanners Avaliados (15 Configurações):

  1. SAST Baseado em Regras (3): Semgrep, Snyk Code, SonarQube.
  2. LLMs de Propósito Geral (10): Configurações de agentes de 7 famílias de modelos (Anthropic Claude, Google Gemini, xAI Grok, Kimi, GLM, Minimax, Qwen). Operam em modo "agente" com acesso a ferramentas de leitura de arquivos e busca.
  3. Scanners Especializados em Segurança (2): Kolega.Dev (desenvolvido pelos autores, arquitetura nativa para segurança) e GitHub SecLab Taskflow Agent.

• Métricas de Avaliação:

  • F3 Score (β=3): Métrica primária. Dá 9 vezes mais peso ao Recall (taxa de detecção) do que à Precisão. A justificativa é que, em segurança, o custo de perder uma vulnerabilidade é muito maior do que o custo de analisar um falso positivo.
  • Métricas secundárias: F1 e F2 para comparação.
  • Algoritmo de Matching: Emparelhamento baseado em caminho do arquivo, CWE (dentro de uma lista aceitável) e número da linha (±10 linhas).

• Reprodutibilidade: Todo o código, dados de ground truth, saídas dos scanners e scripts de pontuação são open-source. Um manifesto fixa os hashes dos repositórios e prompts para garantir reprodutibilidade exata.

3. Principais Contribuições

1. Comparação Sistemática: Primeira avaliação direta e justa de 15 scanners de três categorias distintas sobre o mesmo conjunto de dados real.
2. Benchmark Aberto e Vivo: O RealVuln é um framework reprodutível com um painel interativo, projetado para evoluir com a comunidade (v2 incluirá múltiplas linguagens e CVEs de produção).
3. Definição de Métricas de Segurança: Defesa do uso do F3 (e não F1) como métrica padrão para scanners de segurança, alinhando a avaliação com a assimetria de risco real (misses são catastróficos).
4. Transparência Total: Os autores (que são também desenvolvedores de um dos scanners avaliados, o Kolega.Dev) mitigam o viés ao liberar todos os dados brutos e scripts de pontuação para auditoria independente.

4. Resultados Chave

Os resultados revelam uma hierarquia clara de três níveis sob todas as métricas:

• Nível 1: Scanners Especializados em Segurança (Topo)

  • Kolega.Dev liderou com um F3 de 73,0, alcançando o maior recall (80,9%) de todos os scanners.
  • Demonstrou que uma arquitetura construída especificamente para segurança, combinando raciocínio de LLM com pipelines de análise de domínio, supera abordagens genéricas.
  • Nota: O outro scanner especializado, o GitHub SecLab Agent, teve desempenho baixo (F3 8,4) devido ao seu design de profundidade (audita apenas 3-5 categorias de ameaças por repositório), provando que a "especialização" sem cobertura ampla não é suficiente.

• Nível 2: LLMs de Propósito Geral (Meio)

  • O Claude Sonnet 4.6 foi o melhor LLM geral, com F3 de 51,7.
  • Os LLMs gerais superaram significativamente as ferramentas baseadas em regras (quase 3x melhor F3 que o melhor SAST tradicional), mas ainda ficaram atrás dos especialistas.
  • Houve grande variabilidade: modelos maiores (como Opus 4.6) tiveram taxas de falha de execução (timeouts) em repositórios reais, reduzindo seu recall efetivo.

• Nível 3: SAST Baseado em Regras (Fundo)

  • Ferramentas tradicionais como Semgrep (F3 17,7), Snyk e SonarQube ocuparam o último lugar.
  • O Semgrep encontrou apenas 17,5% das vulnerabilidades (recall baixo), apesar de ter alguma precisão.
  • Isso sugere que ferramentas puramente baseadas em padrões sintéticos estão ficando obsoletas para detecção de vulnerabilidades complexas em código real.

• Análise de Custo-Eficiência:

  • O Kolega.Dev ofereceu o melhor equilíbrio custo-desempenho ($25/100k LOC), superando LLMs caros (como o Gemini 3.1 Pro a $136/100k LOC) que tiveram desempenho inferior.

5. Significado e Conclusão

O estudo conclui que o futuro da detecção de vulnerabilidades não reside apenas em aplicar prompts de segurança a LLMs de propósito geral, nem em manter ferramentas baseadas em regras tradicionais.

• A Arquitetura Especializada é Crucial: A combinação de raciocínio de LLM com uma arquitetura de domínio específica (como pipelines de análise de fluxo de dados de segurança) é o que permite alcançar o recall necessário para ambientes de produção.
• Cobertura vs. Profundidade: A especialização deve vir acompanhada de ampla cobertura de detecção. Ferramentas que focam apenas em profundidade em poucas categorias (como o SecLab Agent) falham em capturar a maioria das ameaças.
• Mudança de Paradigma: Organizações que dependem apenas de SAST baseado em regras estão expostas a riscos significativos não detectados. A adoção de scanners especializados ou LLMs de alto desempenho é necessária, mas com atenção à confiabilidade e cobertura.

O RealVuln estabelece um novo padrão para avaliação de ferramentas de segurança, incentivando a transparência e a melhoria contínua através de uma comunidade aberta.