Early Comparative Evaluation of Transformer Models for Multilingual Software Vulnerability Detection

Resumo Técnico: Avaliação Comparativa Preliminar de Modelos Transformer para Detecção de Vulnerabilidades de Software Multilíngue

Declaração do Problema
Vulnerabilidades de software representam riscos significativos à segurança, estabilidade financeira e manutenção de sistemas, particularmente à medida que as aplicações modernas integram cada vez mais múltiplas linguagens de programação. Embora as técnicas tradicionais de análise estática e dinâmica sofram com altas taxas de falsos positivos e cobertura limitada, e os métodos convencionais de aprendizado de máquina dependam de características manuais ou análise de grão grosso, os modelos baseados em transformer surgiram como alternativas promissoras devido à sua capacidade de capturar informações contextuais e dependências de longo alcance no código-fonte. No entanto, a pesquisa existente foca predominantemente em linguagens únicas (ex: C/C++) ou conjuntos limitados de linguagens, criando uma lacuna na compreensão de como esses modelos se generalizam através de diversas sintaxes e semânticas em ambientes multilíngues.

Metodologia
Este estudo enquadra a detecção de vulnerabilidades de software como um problema de classificação binária (vulnerável vs. seguro) e conduz uma avaliação comparativa preliminar de três arquiteturas transformer: BERT, RoBERTa e CodeBERT.

• Conjunto de Dados: Os pesquisadores utilizaram o conjunto de dados CVEFixes, selecionando especificamente um subconjunto de 9.000 amostras em quatro linguagens: HTML (285 amostras), Python (1.564 amostras), JavaScript (1.562 amostras) e PHP (5.589 amostras). O conjunto de dados foi pré-processado para remover registros incompletos, resultando em uma distribuição quase equilibrada de amostras vulneráveis (codificadas como 1) e seguras (codificadas como 0) para cada linguagem.
• Design Experimental: Os modelos foram avaliados por meio de validação cruzada estratificada de três dobras por linguagem para preservar a distribuição de classes. O código-fonte foi tokenizado com um comprimento máximo de sequência de 512 tokens usando os respectivos tokenizadores para cada modelo.
• Implementação: O ajuste fino (fine-tuning) foi realizado utilizando o framework Hugging Face Trainer. O desempenho foi medido através de acurácia, precisão, recall e F1-score.

Principais Contribuições
O artigo delineia três contribuições primárias:

1. O desenvolvimento de um pipeline preliminar baseado em transformer multilíngue para detecção de vulnerabilidades de software.
2. Uma comparação direta, por linguagem, entre BERT, CodeBERT e RoBERTa em HTML, Python, JavaScript e PHP.
3. A provisão de evidência empírica demonstrando que o desempenho dos modelos transformer varia substancialmente entre diferentes linguagens de programação.

Resultos
Os resultados experimentais indicam que nenhum modelo único supera consistentemente os outros em todas as linguagens, e o desempenho é altamente dependente da linguagem:

• HTML: Esta linguagem apresentou os resultados mais fortes. O CodeBERT alcançou o maior F1-score de 0,7171, seguido de perto pelo RoBERTa (0,7078) e BERT (0,7064). Todos os modelos atingiram F1-scores acima de 0,70.
• Python, JavaScript e PHP: Estas linguagens apresentaram desafios significativamente maiores, com todos os modelos atingindo F1-scores abaixo de 0,45.
  • Python: O CodeBERT teve o melhor desempenho com um F1-score de 0,4367.
  • JavaScript: O RoBERTa alcançou o maior F1-score de 0,4289.
  • PHP: O BERT alcançou o F1-score mais forte, 0,4036, embora todos os modelos tenham tido dificuldades com esta linguagem (menor desempenho geral).

Significância e Alegações
O artigo posiciona modestamente estas descobertas como uma "comparação preliminar por linguagem", em vez de um benchmark totalmente generalizável. Os autores alegam que a variação substancial no desempenho sugere que os padrões de vulnerabilidade são dependentes da linguagem. Consequentemente, a detecção de vulnerabilidades multilíngue eficaz provavelmente requer ajuste específico por linguagem, melhor tratamento de desequilíbrio de classes e representações de código-fonte mais ricas, em vez de uma abordagem de modelo "tamanho único".

Os autores reconhecem limitações, observando que as linguagens selecionadas não representam todo o espectro de linguagens de programação e que as descobertas são específicas ao atual cenário experimental. Eles concluem que o trabalho futuro deve expandir a cobertura de linguagens, investigar estratégias de treinamento de múltiplas linguagens e empregar métricas de avaliação mais robustas (como macro F1-score, coeficiente de correlação de Matthews e PR-AUC) para melhor avaliar a generalização dos modelos.