VulnAgent-X: A Layered Agentic Framework for Repository-Level Vulnerability Detection

Resumo Técnico: VulnAgent-X

1. O Problema

A detecção de vulnerabilidades de software em nível de repositório é um desafio crítico devido à complexidade das interações entre a estrutura do código, o contexto do repositório e as condições de tempo de execução. As abordagens existentes apresentam limitações significativas:

• Visão Localizada: Métodos baseados em aprendizado (como VulDeePecker, Devign) e modelos de linguagem (CodeBERT) frequentemente falham ao analisar dependências de longo alcance e defeitos que dependem do contexto entre arquivos.
• Predição "One-Shot": A maioria dos modelos tenta prever vulnerabilidades em uma única etapa, sem validação iterativa ou coleta de evidências.
• Falta de Validação: A ausência de mecanismos de verificação dinâmica e reconciliação de evidências resulta em altas taxas de falsos positivos e baixa confiabilidade em cenários realistas.
• Limitação de Benchmarks: Estudos recentes (como PrimeVul) indicam que benchmarks antigos superestimam a capacidade dos modelos em configurações realistas.

2. Metodologia: O Framework VulnAgent-X

O VulnAgent-X propõe uma mudança de paradigma: tratar a detecção de vulnerabilidades não como uma classificação estática, mas como um processo de auditoria baseado em evidências e em estágios. O framework é composto por cinco etapas principais:

1. Triagem Rápida de Risco (Stage I):

   • Realiza uma triagem de baixo custo para identificar regiões suspeitas.
   • Calcula uma pontuação de risco inicial combinando sinais estáticos, metadados e modelos de linguagem.
   • Retém apenas o Top-K de regiões para análise mais profunda, filtrando o ruído.

2. Expansão de Contexto Limitado (Stage II):

   • Um Agente de Contexto constrói um conjunto de contexto compacto para cada região selecionada.
   • Inclui chamadores/callee, arquivos de configuração, testes e mudanças similares.
   • Os elementos são classificados por relevância (semântica, dependência, mudança) para garantir um contexto "limitado, mas útil", evitando o excesso de tokens.

3. Análise Multi-Agente Especializada (Stage III):

   • O framework aciona agentes especializados que atuam de forma complementar:
     • Router Agent: Classifica o tipo de problema e distribui para especialistas.
     • Semantic Analysis Agent: Inspeção de fluxo de controle, verificações de limites e lógica de exceção.
     • Security Analysis Agent: Analisa fluxos source-to-sink, falta de sanitização e padrões de fraqueza.
     • Logic Bug Agent: Foca em erros de correção não relacionados à segurança (ex: estados inválidos, condições de corrida).
     • Sceptic Agent: Busca ativamente por contra-evidências para refutar alegações fracas ou inacessíveis (reduzindo falsos positivos).

4. Verificação Dinâmica Seletiva (Stage IV):

   • Para achados de alto risco ou incertos, um Agente de Verificação gera artefatos de validação mínimos (inputs de reprodução, testes unitários, payloads).
   • Esta etapa é seletiva para equilibrar confiabilidade e custo computacional.

5. Fusão de Evidências (Stage V):

   • A decisão final combina sinais estáticos, evidências contextuais, concordância dos agentes, verificação dinâmica e contra-evidências.
   • O sistema utiliza um mecanismo de escalada consciente da confiança: casos fáceis saem cedo, casos moderados recebem revisão extra e casos de alta severidade/baixa confiança acionam a verificação dinâmica.

3. Contribuições Principais

• Arquitetura em Camadas: Integração de triagem, expansão de contexto, agentes especializados e verificação dinâmica em um pipeline unificado.
• Mecanismo de Contra-Evidência: Introdução do Sceptic Agent para desafiar hipóteses, melhorando a precisão e reduzindo falsos positivos.
• Validação Seletiva: Uso de verificação dinâmica apenas quando necessário, otimizando o custo computacional.
• Abordagem Baseada em Evidências: Substitui a predição isolada por um processo de auditoria escalonado, gerando resultados interpretáveis com justificativas claras.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de nível de função e just-in-time (commit), incluindo Devign, Big-Vul, PrimeVul e JULY.

• Desempenho Superior: O VulnAgent-X superou consistentemente todas as linhas de base (baseadas em regras, GNNs, CodeBERT, modelos de agente único e pipelines sequenciais simples).
  • No benchmark PrimeVul (mais realista), o modelo alcançou um F1 de 0.316 (vs. 0.224 do melhor agente único), demonstrando ganhos significativos onde o raciocínio contextual é crucial.
  • No nível de commit, obteve a melhor precisão na localização (Top-1 e Top-3 Accuracy) e MRR.
• Robustez: Mantém o melhor desempenho relativo em avaliações cross-project (sem projetos de treino no conjunto de teste), indicando boa adaptação a mudanças de distribuição.
• Eficiência (Custo-Benefício):
  • Graças à triagem inicial e saída antecipada (early-exit), o framework reduziu o uso de tokens em 39,6% e o tempo de execução em 35,1% comparado à execução "sempre completa" de todos os agentes.
  • A taxa de verificação dinâmica foi de apenas 18,4%, confirmando que a maioria dos casos é resolvida sem verificação custosa.
• Estudo de Ablação:
  • A remoção da expansão de contexto causou a maior queda no Recall.
  • A remoção do Sceptic Agent aumentou o Recall, mas piorou drasticamente a Precisão (mais falsos positivos).
  • A remoção da verificação dinâmica reduziu a qualidade da confiança nas decisões.

5. Significado e Conclusão

O VulnAgent-X representa um avanço significativo na inteligência de código e segurança de software.

• Mudança de Foco: O trabalho destaca que o desafio central na segurança de código não é apenas a representação do código, mas a coleta, verificação e reconciliação de evidências.
• Aplicabilidade Realista: Ao tratar a detecção como um processo de auditoria em etapas, o framework oferece resultados mais confiáveis e interpretáveis para análise de segurança em nível de repositório, superando as limitações de modelos que tentam "adivinhar" vulnerabilidades em uma única passada.
• Futuro: O estudo sugere que a validação com ferramentas de execução mais robustas e em repositórios mais amplos é o próximo passo, mas a arquitetura proposta já estabelece um novo padrão para a detecção de vulnerabilidades assistida por agentes.

Disponibilidade: O código-fonte do projeto está disponível publicamente no GitHub.