Resumen Técnico: ANVIL – Identificación de vulnerabilidades basada en anomalías sin datos de entrenamiento etiquetados

Planteamiento del problema

Los detectores de vulnerabilidades basados en aprendizaje supervisado suelen tener un rendimiento deficiente debido a la escasez de conjuntos de datos de entrenamiento etiquetados de gran tamaño y alta calidad. Aunque los Modelos de Lenguaje de Gran Escala (LLM) son entrenados en vastos corpus de código sin etiquetar y sobresalen en la generación de código, funcionan mal cuando se les solicita directamente la detección de vulnerabilidades, alcanzando a menudo una precisión no mejor que el azar. Esta limitación surge del hecho de que los LLM están entrenados para generar código que se asemeje a su distribución de entrenamiento sin una supervisión explícita sobre qué constituye código "con errores" o "vulnerable". En consecuencia, carecen del conocimiento específico del dominio para distinguir el código vulnerable del código benigno. Además, los intentos existentes para compensar la falta de datos mediante la generación de vulnerabilidades sintéticas o la selección de características de código específicas solo han logrado mejoras modestas, ya que los datos sintéticos no logran capturar las diversas manifestaciones de las vulnerabilidades del mundo real.

Metodología

El artículo presenta ANVIL, un enfoque de localización de vulnerabilidades a nivel de línea que redefine la detección de vulnerabilidades como una tarea de detección de anomalías. La premisa central es que el código vulnerable es poco común y, por lo tanto, constituye una anomalía respecto a la distribución aprendida por los LLM durante su preentrenamiento.

Flujo de trabajo principal

1. Reconstrucción de código con máscara: Para una línea de código dada bajo análisis, la línea original se enmascara (se elimina). Luego, se instruye al LLM para que reconstruya esta línea basándose en el contexto circundante.
2. Puntuación de anomalía: La reconstrucción generada por el LLM se compara con la verdad fundamental (la línea original). Las desviaciones se califican como anomalías. Una puntuación de anomalía alta indica que la línea original está "fuera de la distribución" para el modelo, lo que sugiere que es vulnerable.
3. Selección de contexto (Contexto Adaptativo): Para abordar el desafío de seleccionar un contexto apropiado, ANVIL emplea una estrategia de Contexto Adaptativo (AC). En lugar de utilizar una ventana fija de líneas, AC selecciona la declaración compuesta más grande (por ejemplo, el cuerpo de una función) que rodea a la línea enmascarada. Esto asegura que el modelo reciba un contexto semánticamente relevante sin el ruido de código no relacionado o los problemas de "pérdida en el medio" asociados con contextos excesivamente largos.

Puntuación de anomalía híbrida

ANVIL propone una puntuación de anomalía híbrida ($\delta_{hybrid}$) que agrega cuatro componentes distintos para cuantificar la discrepancia entre el código generado y el original:

• Pérdida de entropía cruzada ($\delta_{loss}$): El promedio de la pérdida de entropía cruzada de la línea reconstruida, que mide la probabilidad de los tokens generados.
• Indicador de coincidencia exacta ($\delta_{EM}$): Una métrica binaria que penaliza cualquier desviación de la verdad fundamental. Si la línea generada no coincide exactamente con la original, contribuye a la puntuación de anomalía. Esto aborda la limitación de los valores de pérdida suaves, donde diferencias de caracteres menores pero críticas (por ejemplo, > frente a >=) podrían de otro modo ser subestimadas.
• Varianza del primer token ($\delta_{var}$): Una medida de la confianza del modelo, calculada como la varianza de los 10 tokens predichos para la primera posición generada. Las líneas vulnerables tienden a exhibir una varianza moderada, mientras que las líneas benignas suelen mostrar una varianza alta (completaciones claras) o baja varianza (vacilación en contextos simples).
• Complejidad del AST ($\delta_{ast}$): Una métrica basada en el número de nodos en el Árbol de Sintaxis Abstracta (AST) de la línea original. Una mayor complejidad está asociada con un mayor riesgo de casos de borde pasados por alto.

La puntuación final es una suma normalizada de estos componentes, diseñada para recompensar las coincidencias exactas mientras captura desviaciones sutiles, incertidumbre del modelo y complejidad del código.

Contribuciones clave

1. Marco de trabajo ANVIL: Un nuevo enfoque de detección de vulnerabilidades a nivel de línea que no requiere datos de entrenamiento etiquetados, aprovechando los LLM preentrenados para identificar vulnerabilidades como anomalías mediante la reconstrucción con máscara.
2. Mecanismo de puntuación híbrida: La propuesta y validación de una función de puntuación compuesta que combina pérdida, coincidencia exacta, varianza de confianza y complejidad sintáctica, demostrando que esta combinación supera a las métricas individuales.
3. Estrategia de Contexto Adaptativo: La introducción de un método de selección de contexto sensible a la estructura que identifica dinámicamente la declaración compuesta relevante, mejorando tanto la precisión de la detección como la eficiencia computacional en comparación con las ventanas de tamaño fijo.
4. Evaluación exhaustiva: Una evaluación rigurosa a través de múltiples familias de LLM, tamaños de contexto y métodos de puntuación, incluyendo una evaluación libre de filtración de datos sobre vulnerabilidades divulgadas después del corte de entrenamiento del LLM.

Resultados experimentales

Los autores evaluaron ANVIL en el conjunto de datos PrimeVul, una colección a gran escala de proyectos de código abierto en C/C++, y lo compararon con detectores supervisados de última generación: LineVul, LineVD y LLMAO.

• Rendimiento vs. Detectores Supervisados: ANVL superó significativamente a todos los baselines supervisados.
  • Precisión Top-3: ANVIL logró hasta 2× más de precisión (31.3% frente a 17.3% del mejor baseline).
  • MFR Normalizado: ANVIL mostró una mejora del 75% (0.18 frente a 0.39 para el mejor baseline).
  • ROC-AUC: ANVIL alcanzó un 61.8%, sustancialmente superior a los baselines que rondaban el azar (~50%).
• Contexto y Puntuación: El estudio confirmó que el método de puntuación híbrida y el Contexto Adaptativo produjeron el mejor rendimiento. Los tamaños de contexto fijos por debajo de 100 líneas resultaron en un rendimiento degradado, mientras que los tamaños fijos más grandes introdujeron ruido y problemas de memoria.
• Generalización: ANVIL demostró fuertes capacidades de generalización en un conjunto de datos libre de filtración que contiene vulnerabilidades divulgadas después del corte de entrenamiento del LLM, demostrando su capacidad para detectar vulnerabilidades no vistas sin reentrenamiento.
• Utilidad Práctica: Al integrar ANVIL con fuzzers para guiar la selección de semillas, los autores descubrieron dos vulnerabilidades previamente desconocidas, una de las cuales recibió un CVE, demostrando la utilidad práctica de la detección guiada por anomalías.

Significado

El artículo afirma que ANVIL ofrece una alternativa práctica al aprendizaje supervisado para la detección de vulnerabilidades al evitar el cuello de botella de los datos etiquetados. Al aprovechar la "naturalidad" inherente del código aprendida por los LLM, ANVIL aísla eficazmente las vulnerabilidades a nivel de línea. Los resultados sugieren que la detección basada en anomalías, particularmente cuando se mejora con puntuación híbrida y contexto adaptativo, puede superar a los métodos supervisados actuales, especialmente en escenarios que involucran nuevas bases de código o no vistas donde no hay datos de entrenamiento disponibles. El trabajo destaca que, aunque los LLM pueden no "saber" inherentemente qué es una vulnerabilidad, pueden identificar eficazmente el código que se desvía de las normas estadísticas del código correcto.