VulnScout-C: A Lightweight Transformer for C Code Vulnerability Detection

1. El Problema

La detección de vulnerabilidades en programas escritos en C es un desafío crítico en la seguridad del software. Aunque los Modelos de Lenguaje Grandes (LLM) han demostrado un alto rendimiento en la identificación de fallos de seguridad, su escala masiva (miles de millones de parámetros) los hace poco prácticos para su integración en flujos de trabajo de desarrollo que requieren baja latencia y análisis continuo.

• Limitaciones actuales: Los LLMs comerciales (como GPT-4) y las herramientas de análisis estático tradicionales presentan una compensación entre precisión y eficiencia. Los LLMs son demasiado costosos computacionalmente y lentos, mientras que las herramientas tradicionales sufren de altas tasas de falsos positivos (a menudo >64%) y falta de comprensión semántica del contexto.
• Brecha de datos: Los conjuntos de datos existentes a menudo tienen distribuciones desequilibradas de categorías CWE (Common Weakness Enumeration), dejando ciertas vulnerabilidades subrepresentadas o ausentes.

2. Metodología

El artículo propone una solución integral que combina una arquitectura de modelo compacta, un nuevo conjunto de datos de alta calidad y una estrategia de entrenamiento avanzada.

A. Arquitectura: VulnScout-C

Se introduce VulnScout-C, una arquitectura Transformer ligera diseñada específicamente para la detección de vulnerabilidades en C.

• Tamaño: 693 millones de parámetros en total, con solo 353 millones activos durante la inferencia (gracias a la arquitectura Mixture of Experts o MoE).
• Base: Derivada de la familia de modelos Qwen (específicamente utilizando incrustaciones de Qwen3-30B-A3B), pero comprimida y optimizada.
• Componentes Clave:
  • MoE (Mezcla de Expertos): Utiliza 25 expertos con un enrutamiento top-1 (1 experto activo por token) más un experto compartido obligatorio. Esto permite alta capacidad de representación con bajo costo computacional.
  • Atención Agrupada (GQA): Reduce la memoria de caché de claves-valor durante la inferencia.
  • Codificación Posicional RoPE: Para una mejor extrapolación de longitud.
  • Cabeza de Clasificación: Soporta detección binaria (vulnerable/seguro) y clasificación multiclase de 25 categorías CWE.

B. Nuevo Conjunto de Datos: VULNSCOUT

Para abordar la escasez de datos en ciertas categorías CWE, los autores crearon VULNSCOUT, un conjunto de datos curado de 33,565 muestras (19,239 vulnerables y 14,326 seguras).

• Generación Multi-Agente: Utiliza un pipeline con agentes de planificación, razonamiento (ReAct) y codificación.
• Protocolo de Doble Verificación: Las muestras solo se aceptan si dos verificadores independientes llegan al mismo veredicto:
  1. ESBMC: Verificación formal mediante model checking acotado.
  2. GPT-OSS-120B: Un modelo LLM actuando como verificador estático.
• Filtrado Conservador: Las muestras donde los verificadores discrepan se descartan, garantizando una calidad de etiqueta extremadamente alta y reduciendo el ruido.

C. Estrategia de Entrenamiento

Se emplea un enfoque de entrenamiento en múltiples etapas:

1. Inicialización: Pre-entrenamiento en el Juliet Test Suite para aprender patrones sintácticos básicos.
2. Pre-entrenamiento Continuo: Entrenamiento en múltiples fuentes (SecVulEval, FormAI-v2, BenchVul y el nuevo VULNSCOUT) para generalizar a estilos de código del mundo real.
3. Ajuste Fino (Fine-tuning) Específico de CWE: Se utiliza una función de pérdida BCE ponderada por rango, que asigna mayor peso a las vulnerabilidades de alta severidad según la clasificación MITRE Top 25. Se aplica una tasa de aprendizaje diferencial: alta para la nueva cabeza de clasificación y baja para la base del modelo para preservar el conocimiento general.

3. Contribuciones Clave

1. Arquitectura Compacta y Eficiente: VulnScout-C logra un rendimiento superior a modelos mucho más grandes (incluyendo LLMs de razonamiento como GPT-o3 Mini y DeepSeek R1) con una fracción del costo de inferencia (4.97 ms por muestra).
2. Dataset VULNSCOUT: Un nuevo benchmark de 33k muestras generadas y verificadas formalmente, que llena vacíos de cobertura en categorías CWE subrepresentadas (como CWE-617, CWE-761, etc.).
3. Clasificación CWE Consciente del Rango: Una nueva función de pérdida que prioriza la detección de las vulnerabilidades más críticas según la lista MITRE Top 25, logrando una precisión del 90.0% en la clasificación de CWE en muestras verdaderamente vulnerables.

4. Resultados

El modelo fue evaluado en el benchmark CASTLE (250 muestras micro-benchmarking, 25 categorías CWE).

• Puntuación CASTLE: VulnScout-C obtuvo 1068 puntos, superando a todos los baselines evaluados:
  • GPT-o3 Mini: 977
  • GPT-4o: 954
  • DeepSeek R1: 956
  • Herramientas estáticas (Coverity, ESBMC, etc.): < 661
• Métricas Binarias:
  • F1-Score: 85.4%
  • Precisión: 84.9%
  • Recall: 86.0%
  • Exactitud: 82.4%
• Rendimiento por CWE: Logró un F1 promedio del 90.4% en las 8 categorías CWE compartidas con el MITRE Top 25, incluyendo puntuaciones perfectas (100% F1) en CWE-78 (Inyección de comandos) y CWE-787 (Escritura fuera de límites).
• Eficiencia: Procesa 201.1 muestras por segundo en una sola GPU H100, permitiendo su integración en tiempo real en IDEs y pipelines CI/CD.

5. Significado e Impacto

Este trabajo demuestra que las arquitecturas especializadas y compactas pueden igualar o superar la capacidad de detección de modelos masivos, cerrando la brecha entre el rendimiento teórico de los LLMs y su aplicabilidad práctica en entornos de desarrollo reales.

• Viabilidad Operativa: Al reducir drásticamente la latencia y el costo computacional, VulnScout-C hace posible el análisis continuo de vulnerabilidades sin necesidad de infraestructura de inferencia masiva.
• Calidad de Datos: El protocolo de doble verificación (Formal + LLM) establece un nuevo estándar para la generación de datos de entrenamiento en seguridad, asegurando que los modelos aprendan de ejemplos semánticamente correctos y no de artefactos sintéticos.
• Enfoque en lo Crítico: La optimización basada en el ranking MITRE asegura que el modelo priorice las amenazas más peligrosas, alineando el aprendizaje automático con las prioridades de seguridad de la industria.

En resumen, VulnScout-C representa un avance significativo hacia la integración de IA de alto rendimiento en la seguridad del software, demostrando que la eficiencia y la precisión no son mutuamente excluyentes si se diseña la arquitectura y los datos con el propósito correcto.