UntrustVul: An Automated Approach for Identifying Untrustworthy Alerts in Vulnerability Detection Models

Resumo Técnico do UNTRUSTVUL: Identificação Automatizada de Alertas Não Confiáveis em Modelos de Detecção de Vulnerabilidades

1. Declaração do Problema

Modelos de aprendizado de máquina (ML) demonstraram alta precisão na detecção de vulnerabilidades de software. No entanto, estudos recentes indicam que esses modelos frequentemente dependem de correlações espúrias — características de código irrelevantes, como identificadores específicos, assinaturas de funções ou estilos de codificação que aparecem frequentemente em código vulnerável, mas que não estão semanticamente relacionados à vulnerabilidade real. Consequentemente, embora um modelo possa classificar corretamente uma função como vulnerável, as linhas específicas de código que ele destaca como "suspeitas" (por meio de técnicas de interpretabilidade, como mecanismos de atenção) podem não ter relação com a causa raiz.

Esse fenômeno torna as previsões não confiáveis. Desenvolvedores que dependem dessas anotações enganosas podem perder tempo investigando código irrelevante, criar correções ineficazes ou até mesmo introduzir novas vulnerabilidades. Métricas existentes, como pontuações de confiança do modelo, não conseguem distinguir entre previsões confiáveis e não confiáveis; previsões de alta confiança ainda podem ser baseadas em raciocínio incorreto. Há uma necessidade crítica de uma abordagem automatizada para identificar e sinalizar essas previsões não confiáveis antes que cheguem aos revisores humanos.

2. Metodologia: UNTRUSTVUL

O artigo apresenta o UNTRUSTVUL, a primeira abordagem automatizada projetada para identificar previsões de vulnerabilidade não confiáveis. A filosofia central é que uma previsão é não confiável se as linhas que ela destaca forem irrelevantes para a vulnerabilidade. Uma linha é definida como irrelevante para a vulnerabilidade se:

1. Ela é inerentemente não vulnerável (uma "candidata benigna").
2. Ela não tem influência sobre qualquer linha potencialmente vulnerável por meio de dependências de controle ou de dados.

O UNTRUSTVUL opera em duas etapas principais:

Etapa 1: Avaliação em Nível de Linha (Identificação de Candidatas Benignas)

• Objetivo: Determinar se uma linha suspeita anotada por um modelo é sintaticamente distinguível de linhas vulneráveis históricas.
• Mecanismo: O sistema aproveita dados históricos (especificamente do conjunto de dados BigVul) para treinar um ensemble de classificadores usando modelos de código baseados em transformadores (CodeBERT, GraphCodeBERT, UniXcoder).
• Processo: Linhas suspeitas são codificadas em representações profundas e comparadas com linhas históricas vulneráveis e não vulneráveis. Linhas que se assemelham a linhas não vulneráveis históricas (benignas livres de contexto) são classificadas como candidatas benignas. Linhas que se assemelham a padrões vulneráveis históricos são candidatas não benignas (potencialmente vulneráveis).
• Refinamento: Para garantir robustez, o sistema utiliza pontuações BLEU para filtrar linhas não vulneráveis que são sintaticamente muito semelhantes às vulneráveis, garantindo que o conjunto "benigno" seja distinto.

Etapa 2: Avaliação em Nível de Dependência (Medição da Alcançabilidade)

• Objetivo: Avaliar se candidatas benignas podem influenciar candidatas não benignas (potenciais vulnerabilidades) por meio de dependências de código.
• Mecanismo: O código-fonte é analisado em um Grafo de Dependência de Programa (PDG) usando ferramentas de análise estática (Joern).
• Análise de Alcançabilidade: O sistema calcula a distância de alcançabilidade de cada candidata benigna até a candidata não benigna mais próxima.
  • Se uma candidata benigna não puder alcançar nenhuma candidata não benigna por meio de dependências de controle ou de dados, ela é considerada completamente irrelevante para a vulnerabilidade.
  • Se ela puder alcançar uma candidata não benigna, a distância é medida; distâncias mais curtas implicam influência mais forte.
• Pontuação: Uma Pontuação de Confiabilidade ($T$) contínua é computada agregando as pontuações de importância das linhas suspeitas e suas distâncias de alcançabilidade até as candidatas não benignas.
  • Uma pontuação $T$ mais baixa indica uma maior probabilidade de não confiabilidade (ou seja, o modelo está dependendo fortemente de linhas que são tanto benignas quanto desconectadas das vulnerabilidades reais).

3. Contribuições Principais

• Framework UNTRUSTVUL: A primeira abordagem automatizada para expor previsões de vulnerabilidade não confiáveis analisando a plausibilidade das linhas suspeitas anotadas pelo modelo.
• Insight sobre Confiança: Uma investigação demonstrando que a confiança do modelo é um indicador insuficiente de confiabilidade; previsões de alta confiança ainda podem ser não confiáveis.
• Avaliação Abrangente: Avaliação extensa em quatro detectores de última geração (SOTA) (LineVul, SVulD, IVDetect, ReVeal) e quatro conjuntos de dados (BigVul, MegaVul, SARD, PrimeVul), cobrindo mais de 115.000 previsões.
• Recursos Abertos: Liberação pública de código e conjuntos de dados para facilitar pesquisas futuras.

4. Resultados Experimentais

Os autores avaliaram o UNTRUSTVUL contra baselines incluindo uma abordagem baseada em confiança ("Naive") e métodos baseados em perturbação (variantes do CausalVul).

• Desempenho de Detecção: O UNTRUSTVUL alcançou uma AUC de 70%–88% e uma pontuação F1 de 82%–94% na detecção de previsões não confiáveis.
• Comparação: Ele superou abordagens existentes em 6%–59% em AUC e 13%–92% em pontuação F1. Especificamente, superou significativamente baselines baseadas em confiança (que frequentemente falhavam em distinguir confiabilidade) e métodos baseados em perturbação.
• Melhoria dos Detectores: Quando usado para filtrar ou orientar o re-treinamento de modelos, o UNTRUSTVUL melhorou a pontuação F1 de detectores de vulnerabilidade em até 321% em configurações entre projetos e melhorou métricas de confiabilidade (IoU e pontuação $T$) em até 100%.
• Eficiência: A ferramenta processa uma função em aproximadamente 1,02–1,47 segundos, o que os autores consideram aceitável para tarefas críticas de segurança, apesar de ser mais lenta que verificações simples de confiança.

5. Significado e Alegações

O artigo afirma que o UNTRUSTVUL aborda uma lacuna crítica no ciclo de vida da segurança de software. Enquanto pesquisas anteriores focaram na geração de interpretações (explicações) para modelos de ML, este trabalho foca em avaliar a plausibilidade dessas interpretações.

• Fluxo de Trabalho do Desenvolvedor: Ao filtrar automaticamente previsões não confiáveis, o UNTRUSTVUL reduz o ônus da revisão manual, impedindo que desenvolvedores persigam código irrelevante e evitando estratégias de correção falhas.
• Agnosticismo de Modelo: A abordagem não requer conhecimento das localizações específicas das vulnerabilidades ou da arquitetura interna do detector. Funciona com qualquer modelo que forneça interpretações em nível de linha (por exemplo, via atenção ou GNNExplainer).
• Design Conservador: A metodologia é projetada para ser conservadora, evitando rotular erroneamente previsões confiáveis como não confiáveis, priorizando a precisão na identificação de casos claros de irrelevância.

Os autores concluem que, embora a abordagem esteja atualmente focada em C/C++ e conjuntos de dados específicos, a lógica subjacente de analisar sintaxe e alcançabilidade de dependências oferece um caminho generalizável para ferramentas de engenharia de software baseadas em ML mais confiáveis.