💻 ciencias de la computación

SemanticVul: Evidence-Grounded Structured LLM Explanations for Vulnerability Detection

SemanticVul es un marco reproducible para la detección de vulnerabilidades en C/C++ que aprovecha explicaciones semánticas generadas localmente y fundamentadas en evidencia para mejorar significativamente la precisión y la recuperación de clases minoritarias sobre las líneas de base existentes, mientras valida rigurosamente las afirmaciones mediante la coincidencia determinista de código y la auditoría de conjuntos de datos.

Autores originales: Abdul Razak, Ihtesham Ul Islam, Rabia Khan

Publicado 2026-10-15

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Abdul Razak, Ihtesham Ul Islam, Rabia Khan

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Las vulnerabilidades de software son las grietas ocultas en el mundo digital, los pequeños errores en el código que permiten a los atacantes irrumpir en los sistemas, robar datos o causar el caos. Debido a que el software moderno se escribe en volúmenes masivos, a menudo en lenguajes como C y C++ que son potentes pero propensos a estos errores, los expertos humanos no pueden posiblemente leer cada línea para encontrar los puntos débiles. Para mantenerse al día, los investigadores han recurrido a la inteligencia artificial, específicamente a los modelos de lenguaje extensos, que son programas informáticos entrenados en vastas cantidades de texto y código para comprender patrones y significados. Estos modelos pueden leer una pieza de software y explicar qué está haciendo, ofreciendo una nueva forma de detectar fallos peligrosos de manera automática. Sin embargo, ha surgido un problema significativo: cuando se les pide a estos modelos que expliquen código, a veces inventan detalles que no están ahí o revelan accidentalmente la respuesta antes de que el análisis haya terminado, lo que hace que su ayuda sea poco fiable para el trabajo crítico de seguridad.

Un equipo de investigadores de la Universidad Nacional de Ciencias y Tecnología en Pakistán ha desarrollado un nuevo sistema llamado SemanticVul para resolver este problema. En lugar de depender de costosos servicios de IA comerciales que generan texto fluido y no verificado, su sistema utiliza un modelo de código abierto ejecutado localmente para producir explicaciones estructuradas y basadas en evidencia. Los investigadores construyeron un flujo de trabajo donde la IA debe señalar líneas específicas de código para respaldar cada afirmación que hace sobre un riesgo de seguridad. Si la IA no puede encontrar el código del que está hablando, el sistema descarta esa afirmación. Luego probaron este enfoque en dos colecciones importantes de funciones de software del mundo real, conocidas como Devign y Reveal, para ver si este método fundamentado y basado en evidencia podía encontrar más vulnerabilidades que las técnicas anteriores.

Los resultados muestran que este enfoque cuidadoso y centrado primero en la evidencia funciona significativamente mejor que los métodos estándar que se utilizan actualmente. En el conjunto de datos Reveal, que contiene un número muy pequeño de funciones vulnerables mezcladas entre muchas seguras, el nuevo sistema mejoró la capacidad de encontrar esas raras funciones peligrosas de aproximadamente un 40 por ciento a un 63 por ciento. Esta es una mejora crucial porque omitir una vulnerabilidad en un sistema del mundo real puede ser catastrófico. El sistema también logró duplicar el número de veces que vinculaba correctamente sus advertencias con fragmentos de código reales, mientras reducía a la mitad el número de veces que alucinaba o inventaba referencias de código. Al obligar a la IA a ceñirse a los hechos presentes en el código y eliminar cualquier lenguaje que pudiera dar accidentalmente la respuesta, los investigadores crearon una herramienta más confiable y efectiva para el análisis de seguridad.

Los investigadores también exploraron la mejor manera de combinar los datos de código bruto con estas nuevas explicaciones. Probaron tres formas diferentes de fusionar esta información: usando solo el código, mezclando el código y la explicación con un método fijo, y usando un interruptor inteligente que decide para cada pieza de código cuánto peso darle a la explicación. Si bien el interruptor inteligente funcionó ligeramente mejor en algunas pruebas iniciales, la mejora no fue lo suficientemente consistente como para considerarse un avance definitivo. El hallazgo más fiable fue que el canal de explicación en sí mismo —la parte que proporciona el razonamiento basado en evidencia— era el principal motor del éxito. El sistema demostró que cuando se elimina la conjetura y se obliga a la IA a anclar su razonamiento en el texto real del programa, se convierte en un detector de fallos de seguridad mucho más poderoso.

Más allá de solo encontrar errores, el estudio también descubrió problemas con los conjuntos de datos utilizados para entrenar y probar estos sistemas. Los investigadores encontraron que algunos de los puntos de referencia estándar contenían código duplicado con etiquetas contradictorias, donde la misma función era marcada como segura y peligrosa en diferentes partes de los datos. Este tipo de error puede engañar a una computadora haciéndole creer que ha aprendido algo que en realidad no ha aprendido. Al auditar estos conjuntos de datos y limpiar las contradicciones, el equipo aseguró que sus resultados se basaran en un aprendizaje genuino en lugar de en la memorización de errores. Esta atención a la calidad de los datos, combinada con el nuevo método de generar explicaciones, sugiere un camino a seguir para construir herramientas de seguridad más fiables que no solo adivinen, sino que realmente comprendan el código que están protegiendo.

Resumen Técnico: SemanticVul

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLMs) ofrecen información semántica prometedora para la detección de vulnerabilidades, su aplicación en contextos críticos de seguridad se ve obstaculizada por tres problemas principales: el alto costo y la falta de reproducibilidad asociados con la inferencia de APIs propietarias, la generación de afirmaciones no respaldadas o "alucinadas" (hallucinated), y la filtración de etiquetas de verdad fundamental (ground-truth) en las explicaciones (por ejemplo, el uso de palabras de veredicto como "vulnerable" en el razonamiento). Además, los métodos de fusión existentes suelen depender de un único mecanismo fijo, lo que dificulta distinguir si las mejoras en el rendimiento provienen del contenido de la explicación en sí o de los parámetros adicionales del bloque de fusión. Trabajos previos, como FuSEVul, utilizan explicaciones de prosa libre comerciales que no han sido auditadas y son propensas a estos modos de falla.

Metodología
SemanticVul es un marco de detección de vulnerabilidades binarias a nivel de función para código C/C++ que aborda estas brechas a través de dos innovaciones centrales: un pipeline de explicación estructurada basada en evidencia y una escalera de fusión controlada.

Pipeline de Explicación Estructurada Basada en Evidencia:
- Generación Local: En lugar de depender de APIs comerciales, SemanticVul utiliza un LLM de código de pesos abiertos servido localmente (Qwen2.5-Coder 14B) para generar explicaciones fuera de línea.
- Restricciones de Esquema: El modelo es forzado a producir un objeto JSON con restricciones de esquema que contiene campos específicos: purpose (propósito), data flow (flujo de datos), risky operations (operaciones riesgosas), missing checks (verificaciones ausentes), evidence tokens (tokens de evidencia), safety indicators (indicadores de seguridad), risk summary (resumen de riesgo) y risk level (nivel de riesgo).
- Validación Determinista: Un validador impone un "contrato de fundamentación". Realiza una coincidencia de código insensible a espacios en blanco para asegurar que las afirmaciones sobre operaciones riesgosas o verificaciones ausentes estén vinculadas a substrings reales dentro de la función analizada. Las afirmaciones no respaldadas se descartan, y la explicación se regenera si es necesario.
- Seguridad contra Filtración: El pipeline elimina todo el vocabulario relacionado con el veredicto (por ejemplo, "vulnerable", "exploit") del texto antes de la codificación.
- Medición de Confianza: En lugar de la confianza auto-reportada, el sistema mide un valor de confianza escalar ( $\kappa$ ) basado en las log-probabilidades de decodificación de los tokens del nivel de riesgo generados. Este valor se entrega al detector como una característica auxiliar.
- Codificación: El texto JSON validado y depurado se codifica mediante RoBERTa, mientras que el código fuente se codifica mediante CodeT5+.
Escalera de Fusión Controlada (L1–L3):
Para aislar la contribución del canal de explicación del mecanismo de fusión, los autores entrenan tres configuraciones bajo condiciones equivalentes:
- L1 (Solo Código): Una línea base que utiliza únicamente la salida del codificador de código.
- L2 (Fusión de Atención Estática): Un mecanismo de atención cruzada fijo (similar a FuSEVul) que fusiona los estados de los tokens de código y explicación.
- L3 (Puerta Adaptativa): Una puerta adaptativa por muestra que aprende un peso de combinación convexa ( $w$ ) para mezclar los vectores de código y explicación agrupados. La puerta toma el vector de la explicación y la confianza medida $\kappa$ como entrada.

Contribuciones Clave

Pipeline de Explicación Local y Fundamentada: Reemplaza la prosa de libre formación comercial con un generador local, con esquema restringido y basado en evidencia. En funciones de Reveal emparejadas, este enfoque más que duplica la fundamentación de menciones de API (del 26.2% al 55.4%), reduce a la mitad las menciones de llamadas alucinadas y proporciona anclajes de evidencia explícitos para el 87% de las funciones.
Escalera de Fusión Controlada: Introduce un marco de entrenamiento L1–L3 que separa la utilidad del canal de explicación del mecanismo de fusión. Los resultados muestran que el canal de explicación proporciona la ganancia más duradera (hasta +17.5 F1 sobre solo código), mientras que la ventaja de la puerta adaptativa sobre la fusión estática no está estadísticamente resuelta.
Mejoras de Rendimiento: Bajo un protocolo comparable de base, SemanticVul logra ganancias sustanciales sobre los resultados de referencia reportados de FuSEVul: +8.60 en precisión y +7.31 en F1 en Devign, y +1.23 en precisión y +15.09 en F1 en Reveal. Notablemente, el recall de la clase minoritaria en Reveal aumenta de 39.52% a 63.00%.
Auditoría de Calidad de Datos: Una auditoría pública de las divisiones distribuidas de Devign y Reveal revela problemas significativos de calidad de datos, incluyendo duplicados con conflictos de etiqueta y filtración entre divisiones (cross-split leakage), lo que implica límites de memorización condicional de ~99.0% (Devign) y ~96.96% (Reveal).

Resultados Experimentales

Rendimiento General: SemanticVul supera al referente publicado de FuSEVul en ambos conjuntos de datos. La configuración L2 (fusión estática) se identifica como la configuración principal porque sus mejoras se mantienen tanto bajo el protocolo de evaluación comparable de base como bajo el protocolo de evaluación de datos retenidos (held-out).
Utilidad de la Explicación: Pasar de L1 (solo código) a L2 (con explicaciones) produce ganancias significativas de F1 (+9.56 en Devign, +17.16 en Reveal), confirmando el valor de las señales semánticas fundamentadas.
Calidad de la Fundamentación: El pipeline de validación reduce exitosamente las alucinaciones. La fundamentación de menciones de API mejoró del 26.2% al 55.4%, y la tasa de afirmaciones de llamadas ausentes cayó del 76.0% al 46.7%.
Puerta Adaptativa: Aunque la puerta adaptativa L3 logró el F1 más alto bajo el protocolo comparable de base, las pruebas t pareadas de cinco semillas no mostraron una diferencia estadísticamente significativa entre L3 y L2. La ventaja de la puerta no fue consistente bajo la evaluación de datos retenidos, lo que sugiere que no debe interpretarse aún como una contribución definitiva sobre la fusión estática.
Umbral y Ensamble: El ajuste de umbral y el ensamble de múltiples semillas proporcionaron ganancias adicionales, particularmente en el conjunto de datos desbalanceado de Reveal, aunque estos se reportan como límites superiores optimistas en lugar de estimaciones de despliegue.

Significancia y Reivindicaciones
El artículo sostiene que las explicaciones generadas localmente y basadas en evidencia pueden proporcionar una señal semántica reproducible para la detección de vulnerabilidades, reemplazando eficazmente las costosas y no auditadas APIs comerciales. El estudio enfatiza que la auditoría rigurosa de las divisiones y la evaluación de datos retenidos son críticas al evaluar las mejoras impulsadas por la explicación, ya que la filtración de datos y las contradicciones de etiquetas pueden inflar los puntajes reportados.

Los autores mantienen una postura modesta respecto al mecanismo de puerta adaptativa, señalando que, si bien funciona bien en configuraciones específicas, su superioridad sobre la fusión estática no es estadísticamente robusta. La contribución principal se valida como el canal de explicación fundamentado en sí mismo, el cual mejora significativamente la utilidad de detección, particularmente para clases minoritarias en conjuntos de datos desbalanceados, sin depender de infraestructura propietaria o razonamientos no verificados. El trabajo subraya la necesidad de separar el contenido de la explicación del mecanismo de fusión para medir con precisión su impacto.

Más como este