UntrustVul: An Automated Approach for Identifying Untrustworthy Alerts in Vulnerability Detection Models

Resumen Técnico de UNTRUSTVUL: Identificación Automatizada de Alertas No Confiables en Modelos de Detección de Vulnerabilidades

1. Enunciado del Problema

Los modelos de aprendizaje automático (ML) han demostrado una alta precisión en la detección de vulnerabilidades de software. Sin embargo, estudios recientes indican que estos modelos a menudo dependen de correlaciones espurias: características de código irrelevantes, como identificadores específicos, firmas de funciones o estilos de codificación que aparecen frecuentemente en código vulnerable pero que no están semánticamente relacionados con la vulnerabilidad real. En consecuencia, aunque un modelo pueda clasificar correctamente una función como vulnerable, las líneas específicas de código que resalta como "sospechosas" (mediante técnicas de interpretabilidad como mecanismos de atención) pueden no tener relación con la causa raíz.

Este fenómeno hace que las predicciones sean no confiables. Los desarrolladores que dependen de estas anotaciones engañosas pueden perder tiempo investigando código irrelevante, crear parches ineficaces o incluso introducir nuevas vulnerabilidades. Las métricas existentes, como los puntajes de confianza del modelo, no logran distinguir entre predicciones confiables y no confiables; las predicciones de alta confianza aún pueden basarse en un razonamiento incorrecto. Existe una necesidad crítica de un enfoque automatizado para identificar y marcar estas predicciones no confiables antes de que lleguen a los revisores humanos.

2. Metodología: UNTRUSTVUL

El artículo presenta UNTRUSTVUL, el primer enfoque automatizado diseñado para identificar predicciones de vulnerabilidad no confiables. La filosofía central es que una predicción es no confiable si las líneas que resalta son irrelevantes para la vulnerabilidad. Una línea se define como irrelevante para la vulnerabilidad si:

1. Es inherentemente no vulnerable (un "candidato benigno").
2. No tiene influencia sobre ninguna línea potencialmente vulnerable a través de dependencias de control o datos.

UNTRUSTVUL opera en dos etapas principales:

Etapa 1: Evaluación a Nivel de Línea (Identificación de Candidatos Benignos)

• Objetivo: Determinar si una línea sospechosa anotada por un modelo es sintácticamente distinguible de las líneas vulnerables históricas.
• Mecanismo: El sistema aprovecha datos históricos (específicamente del conjunto de datos BigVul) para entrenar un conjunto de clasificadores utilizando modelos de código basados en transformadores (CodeBERT, GraphCodeBERT, UniXcoder).
• Proceso: Las líneas sospechosas se codifican en representaciones profundas y se comparan con líneas vulnerables y no vulnerables históricas. Las líneas que se asemejan a líneas no vulnerables históricas (benignas sin contexto) se clasifican como candidatos benignos. Las líneas que se asemejan a patrones vulnerables históricos son candidatos no benignos (potencialmente vulnerables).
• Refinamiento: Para garantizar la robustez, el sistema utiliza puntuaciones BLEU para filtrar las líneas no vulnerables que son sintácticamente demasiado similares a las vulnerables, asegurando que el conjunto "benigno" sea distinto.

Etapa 2: Evaluación a Nivel de Dependencia (Medición de la Alcanzabilidad)

• Objetivo: Evaluar si los candidatos benignos pueden influir en los candidatos no benignos (vulnerabilidades potenciales) a través de dependencias de código.
• Mecanismo: El código fuente se analiza sintácticamente en un Grafo de Dependencias del Programa (PDG) utilizando herramientas de análisis estático (Joern).
• Análisis de Alcanzabilidad: El sistema calcula la distancia de alcanzabilidad desde cada candidato benigno hasta el candidato no benigno más cercano.
  • Si un candidato benigno no puede alcanzar ningún candidato no benigno a través de dependencias de control o datos, se considera completamente irrelevante para la vulnerabilidad.
  • Si puede alcanzar un candidato no benigno, se mide la distancia; distancias más cortas implican una influencia más fuerte.
• Puntuación: Se calcula un Puntaje de Confianza ($T$) continuo agregando las puntuaciones de importancia de las líneas sospechosas y sus distancias de alcanzabilidad hacia los candidatos no benignos.
  • Un puntaje $T$ más bajo indica una mayor probabilidad de no confiabilidad (es decir, el modelo depende en gran medida de líneas que son tanto benignas como desconectadas de las vulnerabilidades reales).

3. Contribuciones Clave

• Marco UNTRUSTVUL: El primer enfoque automatizado para exponer predicciones de vulnerabilidad no confiables mediante el análisis de la plausibilidad de las líneas sospechosas anotadas por el modelo.
• Perspectiva sobre la Confianza: Una investigación que demuestra que la confianza del modelo es un indicador insuficiente de confiabilidad; las predicciones de alta confianza aún pueden ser no confiables.
• Evaluación Exhaustiva: Evaluación extensa en cuatro detectores de última generación (SOTA) (LineVul, SVulD, IVDetect, ReVeal) y cuatro conjuntos de datos (BigVul, MegaVul, SARD, PrimeVul), cubriendo más de 115,000 predicciones.
• Recursos Abiertos: Liberación pública de código y conjuntos de datos para facilitar investigaciones futuras.

4. Resultados Experimentales

Los autores evaluaron UNTRUSTVUL frente a líneas base que incluían un enfoque basado en confianza ("Naive") y métodos basados en perturbación (variantes de CausalVul).

• Rendimiento de Detección: UNTRUSTVUL logró un AUC del 70% al 88% y una puntuación F1 del 82% al 94% en la detección de predicciones no confiables.
• Comparación: Superó a los enfoques existentes en un 6% al 59% en AUC y en un 13% al 92% en puntuación F1. Específicamente, superó significativamente a las líneas base basadas en confianza (que a menudo no lograban distinguir la confiabilidad) y a los métodos basados en perturbación.
• Mejora de Detectores: Cuando se utilizó para filtrar o guiar el reentrenamiento de modelos, UNTRUSTVUL mejoró la puntuación F1 de los detectores de vulnerabilidades hasta en un 321% en configuraciones entre proyectos y mejoró las métricas de confiabilidad (IoU y puntaje $T$) hasta en un 100%.
• Eficiencia: La herramienta procesa una función en aproximadamente 1.02–1.47 segundos, lo que los autores consideran aceptable para tareas críticas de seguridad, a pesar de ser más lento que las verificaciones simples de confianza.

5. Significado y Afirmaciones

El artículo afirma que UNTRUSTVUL aborda una brecha crítica en el ciclo de vida de la seguridad del software. Mientras que la investigación anterior se centró en generar interpretaciones (explicaciones) para modelos de ML, este trabajo se centra en evaluar la plausibilidad de esas interpretaciones.

• Flujo de Trabajo del Desarrollador: Al filtrar automáticamente las predicciones no confiables, UNTRUSTVUL reduce la carga de la revisión manual, evitando que los desarrolladores persigan código irrelevante y evitando estrategias de parcheo defectuosas.
• Agnosticismo del Modelo: El enfoque no requiere conocimiento de las ubicaciones específicas de las vulnerabilidades ni de la arquitectura interna del detector. Funciona con cualquier modelo que proporcione interpretaciones a nivel de línea (por ejemplo, mediante atención o GNNExplainer).
• Diseño Conservador: La metodología está diseñada para ser conservadora y evitar etiquetar erróneamente predicciones confiables como no confiables, priorizando la precisión en la identificación de casos claros de irrelevancia.

Los autores concluyen que, aunque el enfoque se centra actualmente en C/C++ y conjuntos de datos específicos, la lógica subyacente de analizar la sintaxis y la alcanzabilidad de las dependencias ofrece un camino generalizable hacia herramientas de ingeniería de software basadas en ML más confiables.