A systematic literature Review for Transformer-based Software Vulnerability detection

1. Declaração do Problema

As vulnerabilidades de software representam ameaças de segurança críticas para sistemas modernos, particularmente em domínios de alto risco, como finanças e saúde. Embora existam métodos tradicionais de análise estática, dinâmica e híbrida, eles sofrem com altas taxas de falsos positivos, baixa cobertura de código ou ineficiência. Abordagens de Aprendizado de Máquina (ML) e Aprendizado Profundo (DL) melhoraram a detecção, mas frequentemente dependem de engenharia de características manual ou previsões de granularidade grosseira (por exemplo, nível de arquivo).

Embora modelos Transformer (como CodeBERT) tenham demonstrado capacidades superiores de modelagem contextual e aprendizado de representação no Processamento de Linguagem Natural (PLN), há uma falta de uma revisão abrangente e dedicada focada especificamente na Detecção de Vulnerabilidades de Software (SVD) Baseada em Transformer. Revisões existentes frequentemente cobrem métodos gerais de ML/DL sem analisar profundamente arquiteturas Transformer, hiperparâmetros, níveis de granularidade ou capacidades multilíngues. Este artigo visa preencher essa lacuna analisando criticamente o estado da arte neste domínio específico.

2. Metodologia

Os autores seguiram as diretrizes de Kitchenham para conduzir uma Revisão Sistemática da Literatura (RSL) para garantir rigor, transparência e reprodutibilidade.

• Estratégia de Busca: Uma string de busca combinando termos para "detecção de vulnerabilidades de software" e "modelo transformer" foi utilizada em cinco bibliotecas digitais: ACM Digital Library, ScienceDirect, IEEE Xplore, Springer e Google Scholar.
• Período Temporal: Estudos publicados entre 2021 e 2025 foram selecionados, pois este período representa a maturação das aplicações de Transformer na análise de código.
• Critérios de Seleção:
  • Inclusão: Estudos abordando SVD usando modelos baseados em Transformer/Atenção, publicados em inglês, com metodologias e contribuições claras.
  • Exclusão: Estudos de segurança de rede, artigos não em inglês, pré-prints (inicialmente excluídos, mas posteriormente revisados para contexto) e estudos não diretamente relacionados a Transformers.
• Corpus Final: Após um processo rigoroso de triagem (título, resumo, revisão do texto completo), 80 estudos primários foram selecionados para análise detalhada.
• Extração de Dados e Avaliação de Qualidade: Dez perguntas de qualidade (Q1–Q10) foram utilizadas para avaliar a relevância e o rigor de cada estudo. Dados foram extraídos referentes a conjuntos de dados, modelos, métricas, tipos de vulnerabilidade, granularidade e hiperparâmetros.

3. Principais Contribuições

O artigo fornece uma taxonomia holística e uma análise crítica da SVD baseada em Transformer através de nove Questões de Pesquisa (RQs):

1. Tendências de Pesquisa: Identifica uma mudança da detecção binária para previsão multiclasse e de granularidade fina.
2. Conjuntos de Dados e Linguagens: Cataloga mais de 40 conjuntos de dados, destacando a dominância de C/C++ (BigVul, Devign, Reveal, SARD) e o uso emergente de conjuntos de dados multilíngues (CVEfixes, CodeXGLUE) e Solidity para contratos inteligentes.
3. Arquiteturas de Modelos: Analisa a prevalência do CodeBERT e suas variantes. Destaca uma tendência em direção a arquiteturas híbridas (combinando Transformers com CNNs, BiLSTMs e Redes Neurais de Grafos) para capturar tanto características semânticas quanto estruturais do código.
4. Métricas de Avaliação: Confirma que Precisão, Recall e Pontuação F1 são padrão, mas observa o uso crescente de AUC, MCC e Precisão Top-K para abordar desequilíbrio de classes e tarefas de classificação.
5. Tipos de Vulnerabilidade: Mapeia vulnerabilidades detectadas para identificadores da Common Weakness Enumeration (CWE). As categorias mais comuns são Injeção (SQL, XSS, OS) e erros de Buffer/Memória.
6. Hiperparâmetros e Ambiente: Resume configurações típicas (por exemplo, Taxa de Aprendizado: $10^{-5}$ a $10^{-4}$, Tamanho do Lote: 16–32, Tamanho Oculto: 768) e configurações de hardware (frequentemente GPUs NVIDIA A100/Titan).
7. Granularidade: Analisa níveis de detecção, encontrando que a detecção em nível de função é dominante, embora a detecção em nível de linha e nível de instrução esteja crescendo para remediação acionável.
8. Baselines: Identifica VulDeePecker, Devign e SySeVR como os modelos de base mais frequentemente utilizados para comparação.
9. Detecção Multilíngue: Revela uma lacuna significativa, pois a maioria dos estudos foca em linguagens únicas (C/C++), com apenas alguns abordando linguagens multilíngues ou de baixo recurso.

4. Principais Resultados e Descobertas

• Modelos Dominantes: O CodeBERT é o backbone mais amplamente utilizado. No entanto, os pesquisadores estão se movendo cada vez mais em direção a Transformers Conscientes de Grafos (como GraphCodeBERT) e Modelos Híbridos (Transformer + GNN/CNN) para modelar melhor a complexidade estrutural do código, que modelos de sequência pura frequentemente ignoram.
• Desempenho: Modelos baseados em Transformer geralmente superam ML tradicional e modelos DL anteriores (como BiLSTM) em pontuações F1 e precisão. Modelos híbridos frequentemente alcançam o desempenho mais alto (por exemplo, pontuações F1 >90% em benchmarks específicos).
• Mudança de Granularidade: Embora a detecção em nível de função seja padrão, há uma tendência crítica em direção à detecção de granularidade fina (nível de linha/instrução). Isso é essencial para aplicação prática, pois os desenvolvedores precisam saber exatamente onde a vulnerabilidade reside para corrigi-la.
• Limitações de Dados: O campo depende fortemente de poucos conjuntos de dados públicos (BigVul, Devign), levando a potencial sobreajuste e generalização pobre. Há uma falta notada de conjuntos de dados diversos, multilíngues e de produção do mundo real.
• Interpretabilidade: Uma descoberta importante é a falta de explicabilidade. A maioria dos modelos atua como "caixas pretas", falhando em fornecer razões legíveis por humanos para suas previsões, o que dificulta a adoção em fluxos de trabalho de segurança.
• Lacuna Multilíngue: Apenas uma pequena fração dos 80 estudos lida explicitamente com detecção multilíngue, indicando a necessidade de modelos que possam generalizar entre linguagens de programação.

5. Significado e Direções Futuras

Significado:
Esta RSL serve como um recurso consolidado para pesquisadores e fornecedores de software, oferecendo o primeiro mergulho profundo especificamente na SVD baseada em Transformer. Ela esclarece o estado atual da arte, padroniza a compreensão de benchmarks e baselines e destaca a transição da análise de granularidade grosseira para a fina.

Direções Futuras Identificadas:

1. Localização e Explicabilidade: Sistemas futuros não devem apenas detectar vulnerabilidades, mas também apontar o trecho de código exato e explicar por que ele é vulnerável (por exemplo, usando mapas de atenção ou valores SHAP).
2. Representações Híbridas: Combinar Transformers com Redes Neurais de Grafos (GNNs) e análise de programas (grafos de Fluxo de Controle/Dados) para capturar tanto dependências semânticas quanto estruturais.
3. Generalização: Desenvolver modelos que funcionem em múltiplas linguagens de programação e possam detectar vulnerabilidades zero-day ou previamente não vistas via aprendizado por transferência e detecção de anomalias.
4. Padronização de Benchmarks: Criar conjuntos de dados de alta qualidade, diversos e livres de ruído que reflitam bases de código do mundo real para prevenir vazamento de dados e garantir avaliação robusta.
5. Integração: Mover a pesquisa de benchmarks acadêmicos para integração prática dentro de IDEs, pipelines CI/CD e sistemas de revisão de código.

Em conclusão, embora os modelos Transformer tenham revolucionado a detecção de vulnerabilidades de software, o campo deve evoluir de tarefas simples de classificação para sistemas robustos, explicáveis e multilíngues, capazes de localização precisa de código para serem verdadeiramente eficazes nas práticas de segurança industrial.