Resumo Técnico: MARGIN – Geometria Regularizada Consciente de Margem para Detecção de Vulnerabilidades Desbalanceadas

1. Declaração do Problema

O artigo aborda o desafio crítico da detecção de vulnerabilidades de software em cenários do mundo real, onde modelos de aprendizado profundo enfrentam duas formas distintas, porém cumulativas, de desequilíbrio de dados:

• Desequilíbrio de Frequência: Conjuntos de dados de vulnerabilidades exibem uma distribuição de cauda longa severa. Um pequeno número de categorias de Enumeração de Fraqueza Comum (CWE) (por exemplo, CWE-79, CWE-89) domina os dados, enquanto muitas outras (por exemplo, CWE-400, CWE-98) são raras. Funções de perda padrão tratam todas as amostras igualmente, fazendo com que os modelos tendam às classes majoritárias e negligenciem vulnerabilidades minoritárias.
• Desequilíbrio de Dificuldade: Além da frequência, diferentes categorias de CWE possuem níveis variados de dificuldade intrínseca de aprendizado. Vulnerabilidades com alta diversidade estrutural (por exemplo, CWE-119, que inclui estouro de pilha/heap e erros de um bit fora) exibem alta variância intraclasse nas representações de características, tornando-as mais difíceis de aprender do que aquelas com padrões repetitivos (por exemplo, CWE-415).

Os autores argumentam que os métodos existentes abordam principalmente o desequilíbrio de frequência (via reamostragem ou reponderação), mas falham em considerar o desequilíbrio de dificuldade. Eles reinterpretam essas questões a partir de uma perspectiva geométrica de incorporação, observando que ambos os desequilíbrios induzem distorções geométricas no espaço de representação hiperesférico. Especificamente, classes minoritárias ou difíceis falham em convergir firmemente em torno de seus protótipos, fazendo com que suas regiões de massa de probabilidade invadam as células de Voronoi de outras classes. Essa "região de distorção" leva a classificações incorretas e a limites de decisão instáveis.

2. Metodologia: MARGIN

A estrutura proposta, MARGIN (Geometria Regularizada Consciente de Margem para Detecção de Vulnerabilidades Desbalanceadas), é uma abordagem baseada em métricas que opera em uma hipersfera unitária para aprender representações discriminativas de vulnerabilidades. Ela integra aprendizado de margem adaptativa com modelagem de protótipos hiperesféricos.

Componentes Principais:

1. Espaço de Incorporação Hiperesférico:
   O método utiliza uma Perda de Softmax Cosseno onde características e pesos do classificador são normalizados em $\ell_2$, posicionando-os em uma hipersfera unitária $S^{d-1}$. As classes são representadas por protótipos, e o objetivo é alinhar as incorporações de amostras com seus protótipos correspondentes, mantendo a separação angular.

2. Modelagem Geométrica com Distribuição vMF:
   Para quantificar a concentração das distribuições de classe, os autores modelam as incorporações usando a distribuição von Mises–Fisher (vMF). O parâmetro de concentração $\kappa_i$ estima o quão firmemente as amostras se agrupam em torno de uma média de classe.

   • Células de Voronoi: Sob condições ideais de equilíbrio (Colapso Neural), as classes formam uma estrutura de Quadro Apertado Equiangular (ETF), particionando a esfera em células de Voronoi iguais.
   • Região de Distorção: Em cenários desbalanceados, a massa de probabilidade de uma classe (definida por seu ângulo de ápice vMF $\theta^{vMF}_i$) frequentemente excede sua célula de Voronoi correspondente ($\theta^{cell}$). A área onde essa massa invade as regiões de decisão de outras classes constitui a "região de distorção", causando diretamente Falsos Positivos e Falsos Negativos.

3. Mecanismo de Margem Adaptativa:
   Para reduzir a região de distorção, o MARGIN introduz uma margem angular dinâmica $m_i$ para cada classe.

   • A margem é calculada com base na diferença entre o ângulo de ápice vMF da classe e o ângulo de ápice de Voronoi ideal: $m_i = \max(\frac{\theta^{vMF}_i - \theta^{cell}}{2}, \dots)$.
   • Este mecanismo ajusta dinamicamente a restrição: classes com alta dispersão (alta dificuldade ou baixa frequência) recebem margens maiores para forçar sua massa de probabilidade de volta para dentro de suas células de Voronoi, enquanto classes compactas recebem margens menores.

4. Escalonamento de Logits Consciente de Concentração:
   A estrutura inclui um fator de escala $s_i$ para os logits, adaptado à concentração da classe $\kappa_i$.

   • Classes com baixa concentração (alta variância, difíceis de aprender) recebem fatores de escala maiores para afiar seus limites de decisão e amplificar os sinais de gradiente.
   • Classes com alta concentração recebem fatores menores para evitar que dominem o processo de treinamento.
   • Isso é alcançado por meio de uma estratégia de classificação suave no espaço de log-concentração.

5. Inferência com Medianas Geométricas:
   Durante a inferência, o MARGIN constrói protótipos orientados por dados calculando a mediana geométrica das incorporações de treinamento normalizadas para cada classe, em vez de depender exclusivamente de vetores de peso aprendidos. Isso fornece protótipos mais robustos que refletem melhor a distribuição empírica de características.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

1. Reinterpretação Geométrica do Desequilíbrio: Os autores revisitam os desequilíbrios de frequência e dificuldade, analisando seus efeitos através da lente da geometria de incorporação. Eles demonstram que esses desequilíbrios se manifestam como um desalinhamento entre as regiões de massa de probabilidade condicional à classe e suas regiões de decisão de Voronoi ideais.
2. A Estrutura MARGIN: Eles propõem uma estrutura unificada de aprendizado de métricas que mitiga simultaneamente ambos os desequilíbrios. Ao integrar margens adaptativas (para alinhar a massa de probabilidade com células de Voronoi) e escalonamento consciente de concentração (para equilibrar as contribuições de gradiente), o MARGIN estabiliza os limites de decisão sem exigir reamostragem complexa.
3. Validação Empírica: Experimentos extensivos em conjuntos de dados públicos (BigVul, MegaVul, ReposVul) mostram que o MARGIN supera consistentemente bases fortes, incluindo métodos baseados em grafos (ReVeal, LIVABLE) e modelos recentes de aprendizado de representação (HCL-VC, CLeVeR), particularmente na classificação fina de CWE e em classes raras.

4. Resultados Experimentais

A avaliação foi conduzida em três conjuntos de dados com escalas variadas e distribuições de cauda longa. As principais descobertas incluem:

• Ganhos de Desempenho: O MARGIN alcançou resultados de última geração em todos os conjuntos de dados. No BigVul, atingiu um F1 binário de 86,57% e um macro-F1 de 70,72% para classificação de CWE, superando a melhor base seguinte (CLeVeR) em mais de 7 pontos percentuais no macro-F1.
• Robustez em Classes Raras: No conjunto de dados MegaVul, que apresenta desequilíbrio severo, o MARGIN alcançou um F1 binário de 51,06% e um macro-F1 de 34,65%, superando significativamente as bases que lutaram com tipos de CWE raros.
• Estudos de Ablação: A remoção da margem adaptativa ou do escalonamento adaptativo de logits resultou em quedas de desempenho, confirmando que ambos os mecanismos são essenciais. A margem melhorou especificamente o equilíbrio entre precisão e recall, enquanto o escalonamento estabilizou a dinâmica de aprendizado para classes minoritárias.
• Análise Geométrica: Estudos de caso demonstraram que o MARGIN reduz com sucesso a "região de distorção" (medida via dinâmicas de FPR/FNR) e impulsiona o espaço de incorporação em direção a uma estrutura ETF estável e bem separada, conforme evidenciado por métricas de agrupamento aprimoradas (NMI, ARI) e um número de condição de matriz Gram reduzido.

5. Significado e Alegações

O artigo alega que o MARGIN oferece uma interpretação geométrica principial do desequilíbrio na detecção de vulnerabilidades. Ao modelar explicitamente o espaço de incorporação e regularizar a geometria para alinhar a massa de probabilidade com as regiões de decisão, o método melhora não apenas a precisão da classificação, mas também a robustez e a interpretabilidade do modelo.

Os autores enfatizam que sua abordagem aborda a causa raiz do viés em cenários desbalanceados — a distorção geométrica do espaço de incorporação — em vez de apenas tratar o sintoma via reponderação de dados. Eles observam que, embora a avaliação atual seja limitada a conjuntos de dados C/C++ devido à disponibilidade de dados, a estrutura geométrica é agnóstica à espinha dorsal e teoricamente aplicável a outras linguagens. O trabalho preenche a lacuna entre o tratamento prático do desequilíbrio e o aprendizado de variedades teórico, fornecendo uma base mais estável para sistemas de detecção de vulnerabilidades críticos para a segurança.