Resumo Técnico: ANVIL – Identificação de Vulnerabilidades Baseada em Anomalias sem Dados de Treinamento Rotulados

Declaração do Problema

Detectores de vulnerabilidades baseados em aprendizado supervisionado frequentemente apresentam baixo desempenho devido à escassez de conjuntos de dados de treinamento rotulados, amplos e de alta qualidade. Embora os Grandes Modelos de Linguagem (LLMs) sejam treinados em vastos corpora de código não rotulados e se destaquem na geração de código, eles performam mal quando diretamente instruídos a detectar vulnerabilidades, alcançando frequentemente uma precisão não superior ao acaso. Essa limitação decorre do fato de que os LLMs são treinados para gerar código que se assemelhe à sua distribuição de treinamento sem supervisão explícita sobre o que constitui um código "com erro" ou "vulnerável". Consequentemente, eles carecem do conhecimento específico do domínio para distinguir código vulnerável de código benigno. Além disso, tentativas existentes de compensar a escassez de dados através da geração de vulnerabilidades sintéticas ou da seleção de características específicas de código produziram apenas melhorias modestas, visto que dados sintéticos falham em capturar as diversas manifestações de vulnerabilidades do mundo real.

Metodologia

O artigo apresenta o ANVIL, uma abordagem de localização de vulnerabilidades ao nível de linha que reformula a detecção de vulnerabilidades como uma tarefa de detecção de anomalias. A premissa central é que o código vulnerável é raro e, portanto, constitui uma anomalia em relação à distribuição aprendida pelos LLMs durante o pré-treinamento.

Fluxo de Trabalho Principal

1. Reconstrução de Código Mascarado: Para uma determinada linha de código sob análise, a linha original é mascarada (removida). O LLM é então instruído a reconstruir esta linha com base no contexto circundante.
2. Pontuação de Anomalia: A reconstrução gerada pelo LLM é comparada com a verdade fundamental (ground truth — a linha original). Desvios são pontuados como anomalias. Uma pontuação de anomalia alta indica que a linha original está "fora da distribuição" para o modelo, sugerindo que ela é vulnerável.
3. Seleção de Contexto (Contexto Adaptativo): Para enfrentar o desafio de selecionar o contexto apropriado, o ANVIL emprega uma estratégia de Contexto Adaptativo (AC). Em vez de usar uma janela fixa de linhas, o AC seleciona a maior declaração composta (ex: o corpo de uma função) que envolve a linha mascarada. Isso garante que o modelo receba um contexto semanticamente relevante sem o ruído de códigos não relacionados ou os problemas de "perda no meio" (lost-in-the-middle) associados a contextos excessivamente longos.

Pontuação de Anomalia Híbrida

O ANVIL propõe uma pontuação de anomalia híbrida ($\delta_{hybrid}$) que agrega quatro componentes distintos para quantificar a discrepância entre o código gerado e o original:

• Perda de Entropia Cruzada ($\delta_{loss}$): A média da perda de entropia cruzada da linha reconstruída, medindo a probabilidade dos tokens gerados.
• Indicador de Correspondência Exata ($\delta_{EM}$): Uma métrica binária que penaliza qualquer desvio da verdade fundamental. Se a linha gerada não coincidir exatamente com a original, ela contribui para a pontuação de anomalia. Isso aborda a limitação de valores de perda suaves (soft loss), onde diferenças de caracteres menores mas críticas (ex: > vs >=) poderiam, de outra forma, ser subestimadas.
• Variância do Primeiro Token ($\delta_{var}$): Uma medida da confiança do modelo, calculada como a variância dos top-10 tokens previstos para a primeira posição gerada. Linhas vulneráveis tendem a exibir uma variância moderada, enquanto linhas benignas frequentemente mostram alta variância (conclusões claras) ou baixa variância (hesitação em contextos simples).
• Complexidade de AST ($\delta_{ast}$): Uma métrica baseada no número de nós na Árvore de Sintaxe Abstrata (AST) da linha original. Uma maior complexidade está associada a um maior risco de casos de borda negligenciados.

A pontuação final é uma soma normalizada desses componentes, projetada para recompensar correspondências exatas enquanto captura desvios sutis, incerteza do modelo e complexidade do código.

Principais Contribuições

1. Framework ANVIL: Uma nova abordagem de detecção de vulnerabilidades ao nível de linha que não requer dados de treinamento rotulados, aproveitando LLMs pré-treinados para identificar vulnerabilidades como anomalias via reconstrução mascarada.
2. Mecanismo de Pontuação Híbrida: A proposta e validação de uma função de pontuação composta que combina perda, correspondência exata, variância de confiança e complexidade sintática, demonstrando que essa combinação supera as métricas individuais.
3. Estratégia de Contexto Adaptativo: A introdução de um método de seleção de contexto consciente da estrutura que identifica dinamicamente a declaração composta relevante, melhorando tanto a precisão da detecção quanto a eficiência computacional em comparação com janelas de tamanho fixo.
4. Avaliação Abrangente: Uma avaliação rigorosa através de múltiplas famílias de LLMs, tamanhos de contexto e métodos de pontuação, incluindo uma avaliação livre de vazamento (leakage-free) em vulnerabilidades divulgadas após o corte de treinamento do LLM.

Resultados Experimentais

Os autores avaliaram o ANVIL no conjunto de dados PrimeVul, uma coleção de larga escala de projetos de código aberto em C/C++, e o compararam com detectores supervisionados de última geração: LineVul, LineVD e LLMAO.

• Desempenho vs. Detectores Supervisionados: O ANVIL superou significativamente todos os baselines supervisionados.
  • Precisão Top-3: O ANVIL alcançou até 2× mais precisão (31,3% vs. 17,3% para o melhor baseline).
  • MFR Normalizado: O ANVIL mostrou uma melhoria de 75% (0,18 vs. 0,39 para o melhor baseline).
  • ROC-AUC: O ANVIL alcançou 61,8%, substancialmente superior aos baselines que orbitavam próximo ao acaso (~50%).
• Contexto e Pontuação: O estudo confirmou que o método de pontuação híbrida e o Contexto Adaptativo geraram o melhor desempenho. Tamanhos de contexto fixos abaixo de 100 linhas resultaram em degradação de desempenho, enquanto tamanhos fixos maiores introduziram ruído e problemas de memória.
• Generalização: O ANVL demonstrou fortes capacidades de generalização em um dataset livre de vazamento contendo vulnerabilidades divulgadas após o corte de treinamento do LLM, provando sua habilidade de detectar vulnerabilidades não vistas sem retreinamento.
• Utilidade Prática: Ao integrar o ANVIL com fuzzers para guiar a seleção de sementes (seeds), os autores descobriram duas vulnerabilidades anteriormente desconhecidas, uma das quais recebeu um CVE, demonstrando a utilidade prática da detecção guiada por anomalias.

Significância

O artigo afirma que o ANVIL oferece uma alternativa prática para o aprendizado supervisionado na detecção de vulnerabilidades, contornando o gargalo dos dados rotulados. Ao alavancar a "naturalidade" inerente do código aprendida pelos LLMs, o ANVIL isola efetivamente vulnerabilidades ao nível de linha. Os resultados sugerem que a detecção baseada em anomalias, particularmente quando aprimorada com pontuação híbrida e contexto adaptativo, pode superar os métodos supervisionados atuais, especialmente em cenários envolvendo novas bases de código ou bases de código não vistas onde dados de treinamento não estão disponíveis. O trabalho destaca que, embora os LLMs possam não "saber" inerentemente o que é uma vulnerabilidade, eles podem identificar efetivamente códigos que se desviam das normas estatísticas de um código correto.