A Comprehensive Evaluation of Code Language Models for Security Patch Detection

Resumen Técnico: Una Evaluación Exhaustiva de los Modelos de Lenguaje de Código para la Detección de Parches de Seguridad

Planteamiento del Problema
La detección automatizada de commits de corrección de vulnerabilidades (VFC, por sus siglas en inglés) es esencial para el despliegue oportuno de parches de seguridad, particularmente dado que las bases de datos de avisos suelen retrasarse un promedio de 25 días respecto al lanzamiento de los parches y muchos arreglos nunca reciben un aviso público. Aunque los Modelos de Lenguaje de Código (Code LMs) se adoptan cada vez más para la Detección de Parches de Seguridad (SPD), su capacidad para reconocer correcciones de seguridad basándose únicamente en los cambios de código sigue siendo incierta. Los informes de rendimiento existentes suelen estar confundidos por tres factores críticos: (1) modelos que dependen fuertemente de los mensajes de commit en lugar de la semántica del código; (2) la fuga de datos causada por evaluar modelos en proyectos presentes tanto en el conjunto de entrenamiento como en el de prueba; y (3) la incertidumbre en la calidad de las etiquetas, particularmente en commits que carecen de asociaciones explícitas con CVE. El efecto conjunto de estos factores sobre el rendimiento reportado de SPD no ha sido cuantificado rigurosamente.

Metodología
Para abordar estos problemas, los autores construyeron un marco unificado que consolida 20 conjuntos de datos de VFC fragmentados (que abarcan más de 180,000 commits) en una suite de evaluación coherente. Este marco incluye herramientas para el análisis sistemático, la normalización, la deduplicación y el enriquecimiento de contexto.

El protocolo de evaluación involucró el entrenamiento de 270 modelos distintos, que van desde 125M hasta 80B de parámetros (incluyendo arquitecturas de codificador, codificador-decodificador y decodificador) a través de cuatro composiciones de conjuntos de datos (D1–D4) con diversos alcances de soporte de lenguaje y fuentes de etiquetas (mapeadas con CVE, basadas en avisos y herramientas automatizadas). El estudio empleó tres estrategias de investigación específicas:

1. Protocolos de Evaluación Estrictos: Utilizando divisiones estratificadas por grupos para prevenir la fuga de datos a nivel de proyecto e aislando las entradas de solo código para medir las capacidades genuinas de razonamiento de código.
2. Enriquecimiento de Contexto: Implementando un enriquecimiento de contexto intra-procedimental ligero (usando análisis de flujo de control y de datos mediante Tree-sitter y GumTree) y evaluando el contexto del repositorio inter-procedimental (RepoSPD) para determinar si el contexto semántico adicional mejora la detección.
3. Auditoría de Etiquetas: Realizando una auditoría manual de expertos de 200 commits para cuantificar la precisión de las etiquetas y analizando las distribuciones de error para distinguir entre fallos del modelo y ruido de etiquetado.

Las métricas de evaluación incluyeron puntuaciones F1 y la Puntuación de Detección de Parches (PD-S), definida como la Tasa de Falsos Negativos ante una Tasa de Falsos Positivos (FPR) estricta de 0.5% (0.005), para mitigar la falacia de la tasa base.

Contribuciones Clave

1. Marco Unificado: El lanzamiento de un marco que integra 20 conjuntos de datos de VFC con pipelines automatizados para normalización, deduplicación y enriquecimiento de contexto, permitiendo una evaluación comparativa sistemática a través de estrategias de etiquetado y lenguajes.
2. Reevaluación Rigurosa: Un estudio exhaustivo de la SPD basada en Code LMs que aísla el impacto de los protocolos de entrenamiento, la capacidad del modelo y las señales de contexto, proporcionando recomendaciones concretas para futuras evaluaciones en corpora agregados.
3. Cuantificación de la Calidad de las Etiquetas: Una cuantificación directa de la precisión de las etiquetas a nivel de commit mediante auditoría de expertos, revelando que los errores de etiqueta se concentran en commits sin asociaciones de CVE y distorsionan significativamente las métricas de evaluación.

Resultos Clave

• Dependencia del Lenguaje Natural: Los modelos clasifican principalmente los commits basándose en los mensajes de commit. Entrenar solo con mensajes casi iguala el rendimiento de un commit completo, mientras que el entrenamiento de solo código resulta en una caída sustancial del rendimiento.
• Impacto de las Estrategias de División: Las divisiones estratificadas por grupos (separando proyectos entre entrenamiento/prueba) reducen las puntuaciones F1 entre un 16% y un 28% en comparación con las divisiones aleatorias, revelando que el alto rendimiento previo fue impulsado por la memorización específica de proyectos. Las divisiones temporales degradan aún más el rendimiento, pero el análisis de ventana deslizante sugiere que esto se debe a cambios en la composición de los proyectos más que a cambios temporales genuinos en los patrones de vulnerabilidad.
• Capacidad del Modelo y Contexto: Los modelos más grandes basados en decodificadores (ej. Qwen3-Coder-Next) muestran ganancias claras sobre los codificadores más pequeños y las líneas base, particularmente en datos mapeados con CVE. Sin embargo, estas ganancias son insuficientes bajo presupuestos estrictos de falsos positivos. Ni el enriquecimiento de contexto intra-procedimental (flujo de control/datos) ni el contexto del repositorio inter-procedimental proporcionaron mejoras fiables. Con un FPR de 0.5% (0.005), cada modelo ajustado (fine-tuned) de solo código evaluado omitió al menos el 80% de las correcciones de vulnerabilidades.
• Ruido de Etiquetas: La auditoría manual reveló que la precisión de las etiquetas para commits asociados con CVE es alta (~91%), pero la precisión para VFCs sin asociaciones de CVE cae a ~29% (definición estricta) o ~67% (definición laxa). Este ruido afecta desproporcionadamente la evaluación, penalizando a los modelos por rechazar correctamente muestras mal etiquetadas.
• Limitaciones de Contexto: El análisis de errores indica que la evidencia decisiva para una corrección suele encontrarse fuera del diff (ej. interacciones con el sistema o capacidades del atacante), y los modelos no logran utilizar eficazmente el contexto semántico añadido incluso cuando se les proporciona.

Significancia y Reivindicaciones
El artículo argumenta que el rendimiento reportado actualmente de la SPD refleja principalmente las correlaciones de los conjuntos de datos (específicamente los mensajes de commit y los patrones específicos de proyectos) en lugar de una comprensión genuina del código. Los autores afirman que bajo condiciones de evaluación estrictas —entradas de solo código y divisiones estratificadas por grupos— ninguna configuración medida detecta de manera fiable los VFCs basándose únicamente en cambios de código con alta confianza, a pesar de que los modelos más grandes muestran ganancias claras pero insuficientes sobre las líneas base.

La importancia de este trabajo radica en establecer que:

• Protocolos de Evaluación: Las estimaciones fieles del razonamiento de código requieren entradas de solo código y divisiones estratificadas por grupos; las divisiones temporales en corpora agregados no son fiables debido a los cambios de composición.
• Calidad de los Datos: Las evaluaciones deben priorizar los positivos confirmados por CVE, ya que los modelos funcionan mejor en estos conjuntos de datos más limpios que en datos ruidosos, y los autores deben declarar explícitamente qué definición de "corrección de seguridad" capturan sus etiquetas.
• Diseño de Sistemas: El cuello de botella principal para la SPD no es la capacidad del modelo ni la cantidad de contexto, sino la capacidad de seleccionar y utilizar eficazmente el contexto específico en el que se apoyan los expertos (que a menudo está fuera del diff). Los sistemas futuros pueden requerir enfoques de recuperación aumentada (RAG), modelos especializados en el codebase o sistemas agénticos para reunir el contexto necesario, en lugar de depender únicamente de clasificadores ajustados sobre diffs estáticos.

Los autores concluyen que, si bien los clasificadores especializados siguen siendo relevantes para el cribado, el campo debe ir más allá de las limitaciones actuales de los benchmarks para desarrollar sistemas capaces de fundamentar los cambios de código en un contexto de repositorio más amplio.