A Comprehensive Evaluation of Code Language Models for Security Patch Detection

Resumo Técnico: Uma Avaliação Abrangente de Modelos de Linguagem de Código para Detecção de Patches de Segurança

Definição do Problema
A detecção automatizada de commits de correção de vulnerabilidades (VFCs) é essencial para a implantação oportuna de patches de segurança, particularmente dado que os bancos de dados de avisos frequentemente apresentam um atraso de mediana de 25 dias em relação ao lançamento dos patches e muitos ajustes nunca recebem avisos públicos. Embora os Modelos de Linguagem de Código (Code LMs) estejam sendo cada vez mais adotados para a Detecção de Patches de Segurança (SPD), sua capacidade de reconhecer correções de segurança baseando-se apenas em mudanças de código permanece incerta. Os relatórios de desempenho existentes são frequentemente confundidos por três fatores críticos: (1) modelos que dependem fortemente de mensagens de commit em vez de semântica de código; (2) vazamento de dados causado pela avaliação de modelos em projetos presentes tanto nos conjuntos de treinamento quanto de teste; e (3) incerteza na qualidade dos rótulos, particularmente para commits que carecem de associações explícitas com CVEs. O efeito conjunto desses fatores no desempenho reportado de SPD não foi rigorosamente quantificado.

Metodologia
Para abordar essas questões, os autores construíram um framework unificado consolidando 20 conjuntos de dados de VFC fragmentados (abrangendo mais de 180.000 commits) em uma suíte de avaliação coerente. Este framework inclui ferramentas para parsing sistemático, normalização, deduplicação e enriquecimento de contexto.

O protocolo de avaliação envolveu o treinamento de 270 modelos distintos, variando de 125M a 80B de parâmetros (incluindo arquiteturas encoder, encoder-decoder e decoder) através de quatro composições de conjuntos de dados (D1–D4) com diferentes escopos de suporte de linguagem e fontes de rótulos (mapeadas por CVE, baseadas em avisos e ferramentas automatizadas). O estudo empregou três estratégias de pesquisa específicas:

1. Protocolos de Avaliação Estritos: Utilizando divisões estratificadas por grupo para evitar vazamento de dados em nível de projeto e isolando entradas de apenas código para medir capacidades genuínas de raciocínio de código.
2. Enriquecimento de Contexto: Implementando enriquecimento de contexto intra-procedural leve (usando análise de fluxo de controle e fluxo de dados via Tree-sitter e GumTree) e avaliando o contexto de repositório inter-procedural (RepoSPD) para determinar se o contexto semântico adicional melhora a detecção.
3. Auditoria de Rótulos: Realizando uma auditoria manual de especialistas em 200 commits para quantificar a precisão dos rótulos e analisando distribuições de erro para distinguir entre falhas do modelo e ruído de rotulagem.

As métricas de avaliação incluíram pontuações F1 e a Pontuação de Detecção de Patch (PD-S), definida como a Taxa de Falsos Negativos em uma Taxa de Falsos Positivos (FPR) estrita de 0,5% (0,005), para mitigar a falácia da taxa de base.

Principais Contribuições

1. Framework Unificado: O lançamento de um framework que integra 20 conjuntos de dados de VFC com pipelines automatizados para normalização, deduplicação e enriquecimento de contexto, permitindo uma avaliação comparativa sistemática entre estratégias de rotulagem e linguagens.
2. Reavaliação Rigorosa: Um estudo abrangente de SPD baseado em Code LM que isola o impacto dos protocolos de treinamento, capacidade do modelo e sinais de contexto, fornecendo recomendações concretas para futuras avaliações em corpora agregados.
3. Quantificação da Qualidade dos Rótulos: Uma quantificação direta da precisão dos rótulos em nível de commit através de auditoria de especialistas, revelando que os erros de rótulo se concentram em commits sem associações com CVE e distorcem significativamente as métricas de avaliação.

Principais Resultados

• Dependência de Linguagem Natural: Os modelos classificam primordialmente os commits com base nas mensagens de commit. O treinamento apenas em mensagens quase iguala o desempenho de commit completo, enquanto o treinamento apenas em código resulta em uma queda substancial de desempenho.
• Impacto das Estratégias de Divisão: Divisões estratificadas por grupo (separando projetos entre treino/teste) reduzem as pontuações F1 em 16–28% em comparação com divisões aleatórias, revelando que o alto desempenho anterior foi impulsionado pela memorização específica de projetos. Divisões temporais degradam ainda mais, mas a análise de janela deslizante sugere que isso se deve a mudanças na composição dos projetos, e não a mudanças temporais genuínas nos padrões de vulnerabilidade.
• Capacidade do Modelo e Contexto: Modelos maiores baseados em decoder (ex: Qwen3-Coder-Next) mostram ganhos claros sobre encoders menores e baselines, particularmente em dados mapeados por CVE. No entanto, esses ganhos são insuficientes sob orçamentos estritos de falsos positivos. Nem o enriquecimento de contexto intra-procedural (fluxo de controle/fluxo de dados) nem o contexto de repositório inter-procedural forneceram melhorias confiáveis. Em um FPR de 0,5% (0,005), cada modelo de código testado e ajustado (fine-tuned) perdeu pelo menos 80% das correções de vulnerabilidade.
• Ruído de Rótulo: A auditoria manual revelou que a precisão dos rótulos para commits associados a CVE é alta (~91%), mas a precisão para VFCs sem associações com CVE cai para ~29% (definição estrita) ou ~67% (definição permissiva). Este ruído afeta desproporcionalmente a avaliação, penalizando modelos por rejeitarem corretamente amostras mal rotuladas.
• Limitações de Contexto: A análise de erro indica que a evidência decisiva para uma correção reside frequentemente fora do diff (ex: em interações do sistema ou capacidades do atacante), e os modelos falham em utilizar efetivamente o contexto semântico adicionado, mesmo quando este é fornecido.

Significância e Alegações
O artigo argumenta que o desempenho atual reportado de SPD reflete majoritariamente correlações de conjuntos de dados (especificamente mensagens de commit e padrões específicos de projeto) em vez de compreensão genuína de código. Os autores alegam que, sob condições de avaliação estritas — entradas de apenas código e divisões estratificadas por grupo — nenhuma configuração medida detecta de forma confiável VFCs a partir de mudanças de código com alta confiança, apesar de modelos maiores mostrarem ganhos claros, porém insuficientes, sobre os baselines.

A significância deste trabalho reside no estabelecimento de que:

• Protocolos de Avaliação: Estimativas fiéis de raciocínio de código exigem entradas de apenas código e divisões estratificadas por grupo; divisões temporais em corpora agregados são não confiáveis devido a mudanças de composição.
• Qualidade dos Dados: As avaliações devem priorizar positivos confirmados por CVE, pois os modelos performam melhor em conjuntos de dados mais limpos do que em dados ruidosos, e os autores devem declarar explicitamente qual definição de "correção de segurança" seus rótulos capturam.
• Design de Sistemas: O principal gargalo para SPD não é a capacidade do modelo ou a quantidade de contexto, mas a habilidade de selecionar e utilizar efetivamente o contexto específico em que os especialistas confiam (frequentemente fora do diff). Sistemas futuros podem exigir abordagens de recuperação aumentada (RAG), modelos especializados em bases de código ou sistemas agentes para reunir o contexto necessário, em vez de depender apenas de classificadores ajustados em diffs estáticos.

Os autores concluem que, embora classificadores especializados continuem relevantes para triagem, o campo deve ir além das limitações atuais de benchmarks para desenvolver sistemas capazes de fundamentar mudanças de código no contexto mais amplo do repositório.