Resumen Técnico: MARGIN – Geometría Regularizada Consciente del Margen para la Detección de Vulnerabilidades Desbalanceadas

1. Declaración del Problema

El artículo aborda el desafío crítico de la detección de vulnerabilidades de software en escenarios del mundo real, donde los modelos de aprendizaje profundo enfrentan dos formas distintas pero acumulativas de desequilibrio de datos:

• Desequilibrio de Frecuencia: Los conjuntos de datos de vulnerabilidades exhiben una distribución de cola larga severa. Un pequeño número de categorías de Enumeración de Debilidades Comunes (CWE) (por ejemplo, CWE-79, CWE-89) domina los datos, mientras que muchas otras (por ejemplo, CWE-400, CWE-98) son raras. Las funciones de pérdida estándar tratan todas las muestras por igual, lo que provoca que los modelos sesguen hacia las clases mayoritarias y descuiden las vulnerabilidades minoritarias.
• Desequilibrio de Dificultad: Más allá de la frecuencia, diferentes categorías de CWE poseen niveles variables de dificultad intrínseca de aprendizaje. Las vulnerabilidades con alta diversidad estructural (por ejemplo, CWE-119, que incluye desbordamientos de pila/pila y errores de un byte) exhiben una alta varianza intraclase en las representaciones de características, lo que las hace más difíciles de aprender que aquellas con patrones repetitivos (por ejemplo, CWE-415).

Los autores argumentan que los métodos existentes abordan principalmente el desequilibrio de frecuencia (mediante remuestreo o reponderación), pero no logran tener en cuenta el desequilibrio de dificultad. Reinterpretan estos problemas desde una perspectiva geométrica de incrustación, observando que ambos desequilibrios inducen distorsiones geométricas en el espacio de representación hipersférico. Específicamente, las clases minoritarias o difíciles no convergen estrechamente alrededor de sus prototipos, lo que provoca que sus regiones de masa de probabilidad invadan las celdas de Voronoi de otras clases. Esta "región de distorsión" conduce a una clasificación errónea y a límites de decisión inestables.

2. Metodología: MARGIN

El marco propuesto, MARGIN (Geometría Regularizada Consciente del Margen para la Detección de Vulnerabilidades Desbalanceadas), es un enfoque basado en métricas que opera sobre una hipersfera unitaria para aprender representaciones discriminativas de vulnerabilidades. Integra el aprendizaje de margen adaptativo con la modelización de prototipos hipersféricos.

Componentes Principales:

1. Espacio de Incrustación Hipersférico:
   El método utiliza una Pérdida de Softmax Coseno donde las características y los pesos del clasificador están normalizados en $\ell_2$, colocándolos en una hipersfera unitaria $S^{d-1}$. Las clases están representadas por prototipos, y el objetivo es alinear las incrustaciones de las muestras con sus prototipos correspondientes mientras se mantiene la separación angular.

2. Modelado Geométrico con la Distribución vMF:
   Para cuantificar la concentración de las distribuciones de clases, los autores modelan las incrustaciones utilizando la distribución von Mises–Fisher (vMF). El parámetro de concentración $\kappa_i$ estima qué tan estrechamente se agrupan las muestras alrededor de una media de clase.

   • Celdas de Voronoi: Bajo condiciones ideales de equilibrio (Colapso Neuronal), las clases forman una estructura de Marco Ajustado Equiangular (ETF), dividiendo la esfera en celdas de Voronoi iguales.
   • Región de Distorsión: En configuraciones desbalanceadas, la masa de probabilidad de una clase (definida por su ángulo de vértice vMF $\theta^{vMF}_i$) a menudo excede su celda de Voronoi correspondiente ($\theta^{cell}$). El área donde esta masa invade las regiones de decisión de otras clases constituye la "región de distorsión", causando directamente Falsos Positivos y Falsos Negativos.

3. Mecanismo de Margen Adaptativo:
   Para reducir la región de distorsión, MARGIN introduce un margen angular dinámico $m_i$ para cada clase.

   • El margen se calcula basándose en la diferencia entre el ángulo de vértice vMF de la clase y el ángulo de vértice de Voronoi ideal: $m_i = \max(\frac{\theta^{vMF}_i - \theta^{cell}}{2}, \dots)$.
   • Este mecanismo ajusta dinámicamente la restricción: las clases con alta dispersión (alta dificultad o baja frecuencia) reciben márgenes más grandes para forzar su masa de probabilidad de vuelta dentro de sus celdas de Voronoi, mientras que las clases compactas reciben márgenes más pequeños.

4. Escala de Logits Consciente de la Concentración:
   El marco incluye un factor de escala $s_i$ para los logits, adaptado a la concentración de la clase $\kappa_i$.

   • Las clases con baja concentración (alta varianza, difíciles de aprender) se asignan factores de escala más grandes para afilar sus límites de decisión y amplificar las señales de gradiente.
   • Las clases con alta concentración se asignan factores más pequeños para evitar que dominen el proceso de entrenamiento.
   • Esto se logra mediante una estrategia de clasificación suave en el espacio de concentración logarítmica.

5. Inferencia con Medianas Geométricas:
   Durante la inferencia, MARGIN construye prototipos impulsados por datos calculando la mediana geométrica de las incrustaciones de entrenamiento normalizadas para cada clase, en lugar de depender únicamente de los vectores de peso aprendidos. Esto proporciona prototipos más robustos que reflejan mejor la distribución empírica de características.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Reinterpretación Geométrica del Desequilibrio: Los autores revisan los desequilibrios de frecuencia y dificultad, analizando sus efectos a través de la lente de la geometría de incrustación. Demuestran que estos desequilibrios se manifiestan como una desalineación entre las regiones de masa de probabilidad condicionales a la clase y sus regiones de decisión de Voronoi ideales.
2. El Marco MARGIN: Proponen un marco unificado de aprendizaje de métricas que mitiga simultáneamente ambos desequilibrios. Al integrar márgenes adaptativos (para alinear la masa de probabilidad con las celdas de Voronoi) y escalado consciente de la concentración (para equilibrar las contribuciones de gradiente), MARGIN estabiliza los límites de decisión sin requerir un complejo remuestreo.
3. Validación Empírica: Experimentos extensos en conjuntos de datos públicos (BigVul, MegaVul, ReposVul) muestran que MARGIN supera consistentemente a líneas base sólidas, incluidos métodos basados en grafos (ReVeal, LIVABLE) y modelos recientes de aprendizaje de representaciones (HCL-VC, CLeVeR), particularmente en la clasificación detallada de CWE y en clases raras.

4. Resultados Experimentales

La evaluación se realizó en tres conjuntos de datos con escalas variables y distribuciones de cola larga. Los hallazgos clave incluyen:

• Mejoras de Rendimiento: MARGIN logró resultados de vanguardia en todos los conjuntos de datos. En BigVul, alcanzó un F1 binario del 86,57 % y un macro-F1 del 70,72 % para la clasificación CWE, superando a la siguiente mejor línea base (CLeVeR) en más de 7 puntos porcentuales en macro-F1.
• Robustez en Clases Raras: En el conjunto de datos MegaVul, que presenta un desequilibrio severo, MARGIN logró un F1 binario del 51,06 % y un macro-F1 del 34,65 %, superando significativamente a las líneas base que lucharon con tipos de CWE raros.
• Estudios de Ablación: Eliminar el margen adaptativo o la escala de logits adaptativa resultó en caídas de rendimiento, confirmando que ambos mecanismos son esenciales. El margen mejoró específicamente el equilibrio entre precisión y recuperación, mientras que la escala estabilizó la dinámica de aprendizaje para las clases minoritarias.
• Análisis Geométrico: Los estudios de caso demostraron que MARGIN reduce con éxito la "región de distorsión" (medida a través de la dinámica de FPR/FNR) e impulsa el espacio de incrustación hacia una estructura ETF estable y bien separada, como lo demuestran métricas de agrupamiento mejoradas (NMI, ARI) y un número de condición de matriz Gram reducida.

5. Significado y Afirmaciones

El artículo afirma que MARGIN ofrece una interpretación geométrica fundamentada del desequilibrio en la detección de vulnerabilidades. Al modelar explícitamente el espacio de incrustación y regularizar la geometría para alinear la masa de probabilidad con las regiones de decisión, el método mejora no solo la precisión de la clasificación, sino también la robustez e interpretabilidad del modelo.

Los autores enfatizan que su enfoque aborda la causa raíz del sesgo en configuraciones desbalanceadas: la distorsión geométrica del espacio de incrustación, en lugar de simplemente tratar el síntoma mediante la reponderación de datos. Señalan que, aunque la evaluación actual se limita a conjuntos de datos de C/C++ debido a la disponibilidad de datos, el marco geométrico es agnóstico al esqueleto y teóricamente aplicable a otros lenguajes. El trabajo cierra la brecha entre el manejo práctico del desequilibrio y el aprendizaje de variedades teórico, proporcionando una base más estable para sistemas de detección de vulnerabilidades críticos para la seguridad.