Resumen Técnico: La representación importa para el razonamiento de vulnerabilidades en LLM

Planteamiento del problema

Los Modelos de Lenguaje Extensos (LLM) se están desplegando cada vez más para la detección automatizada de vulnerabilidades; sin embargo, el método óptimo para representar la estructura y la semántica del programa para el razonamiento basado en LLM sigue sin estar claro. Los pipelines actuales dependen predominantemente del código fuente bruto como entrada principal, operando bajo la suposición implícita de que proporcionar más contexto a nivel de código fuente genera mejores evidencias para el razonamiento de vulnerabilidades.

Este artículo desafía esa suposición. El razonamiento de vulnerabilidades a menudo depende de relaciones semánticas —como la propagación de datos, las guardas de flujo de control y los alias de punteros— que no son explícitas en la sintaxis superficial. Aunque las representaciones de análisis estático (por ejemplo, Grafos de Flujo de Control, Grafos de Dependencia de Programa) están diseñadas para exponer estas relaciones, su eficacia cuando se utilizan como prompts para LLM no ha sido evaluada sistemáticamente frente al código fuente bruto. El problema central es determinar si las representaciones estructuradas, basadas en análisis estático, pueden mejorar la precisión y la eficiencia del razonamiento de los LLM en comparación con las entradas de código fuente bruto, y si la combinación de ambas genera beneficios sinérgicos o introduce ruido.

Metodología

Los autores introducen RepBench, un pipeline de benchmark unificado diseñado para evaluar cómo diferentes representaciones de programas afectan el razonamiento de vulnerabilidades de los LLM bajo una tarea fija.

Conjunto de datos y alcance

• Corpus: El estudio utiliza un subconjunto curado de 107 casos de prueba de C/C++ del mundo real derivados del dataset PrimeVul, que cubre cinco categorías de Common Weakness Enumeration (CWE):
  • Vulnerabilidades aritméticas: CWE-122 (Desbordamiento de búfer basado en el montón/heap), CWE-190 (Desbordamiento de enteros), CWE-191 (Subdesbordamiento de enteros).
  • Vulnerabilidades de ciclo de vida de memoria: CWE-415 (Doble liberación/Double Free), CWE-416 (Uso después de la liberación/Use After Free).
• Pista auxiliar: Un grupo adicional de 19 casos utilizando Grafos de Dependencia de Programa Enriquecidos (ePDG) generados mediante el pipeline VulChecker/Hector, que incluye metadatos a nivel de LLVM.

Diseño experimental

El benchmark evalúa diez variantes de representación a través de tres familias de prompts:

1. Solo fuente: Código fuente bruto (Línea base/Baseline).
2. Solo grafo: Representaciones estructurales serializadas que incluyen Árboles de Sintaxis Abstracta (AST), Grafos de Flujo de Control (CFG), Grafos de Dependencia de Programa (PDG) y sus combinaciones (AST+CFG, AST+PDG, CFG+PDG).
3. Fuente más grafo: Híbridos que combinan el código fuente bruto con una o más representaciones de grafos.

Controles clave:

• Tarea: Clasificación binaria fija (VULNERABLE vs. SEGURO) para una función específica dado un CWE determinado.
• Prompting: Todas las variantes utilizan una estrategia de prompting de Cadena de Pensamiento (CoT) fija con salida JSON estructurada y selección dinámica de pocos ejemplos (few-shot).
• Modelo: Los experimentos utilizan qwen3.6-plus con una temperatura fija ($T=0.2$).
• Serialización: Los artefactos de grafos (DOT/JSONL) se convierten en texto compacto orientado a líneas para minimizar la sobrecarga del prompt preservando los enlaces estructurales.

Métricas

• Precisión curada (Curated Accuracy): Corrección en las filas retenidas con predicciones binarias válidas (aislando la calidad de la representación de los fallos de análisis/parsing).
• Precisión efectiva (Effective Accuracy): Tasa de éxito de extremo a extremo incluyendo fallos de análisis.
• Sobrecarga del prompt (Prompt Overhead): Medida por el recuento de caracteres y el recuento de tokens de entrada.

Contribuciones clave

1. Framework RepBench: Un framework de benchmark que transforma casos de prueba de vulnerabilidades del mundo real en múltiples representaciones de programas (AST, CFG, PDG, ePDG) y los evalúa bajo una tarea de detección de LLM estandarizada.
2. Estudio de ablación sistemático: Una evaluación exhaustiva de la fuente bruta, grafos individuales, combinaciones de grafos y híbridos de fuente más grafo, aislando la representación como la única variable experimental.
3. Descubrimiento de la dilución de contexto: Identificación y caracterización de un "efecto de dilución de contexto", donde añadir código fuente bruto a la evidencia estructural compacta degrada el rendimiento del razonamiento en lugar de mejorarlo.
4. Identificación de la representación óptima: Evidencia empírica de que AST+PDG es la representación más efectiva, superando significativamente a la fuente bruta y otras variantes.

Resultados

1. Las representaciones de grafos superan a la fuente bruta

Contrario a la suposición de que más contexto de fuente es mejor, los prompts de solo grafo lograron una precisión curada del 74.4%, una mejora de 20.9 puntos porcentuales (pp) sobre la línea base de fuente bruta (53.5%). Esto demuestra que la evidencia estructural compacta puede sustituir y superar el prompting directo de código fuente.

2. AST+PDG es la variante óptima

La combinación AST+PDG alcanzó la mayor precisión con un 83.2% (una mejora de 29.7 pp sobre la fuente bruta).

• AST proporciona anclajes sintácticos locales (operadores, llamadas, declaraciones).
• PDG proporciona evidencia de dependencia entre sentencias (flujo de datos, guardas de control).
• AST+CFG le siguió de cerca con un 80.4%, mientras que CFG+PDG obtuvo un 73.8%.
• Los híbridos de fuente más grafo (por ejemplo, pdg_plus_source, full) fueron consistentemente inferiores a sus contrapartes de solo grafo (por ejemplo, pdg_plus_source con 65.7% frente a pdg con 69.0%), lo que indica que la fuente bruta añade ruido distractor en lugar de valor complementario.

3. El efecto de la dilución de contexto

El estudio identifica un efecto de dilución de contexto: añadir código fuente bruto a los grafos estructurales aumenta el tamaño del prompt (2.4× más caracteres, 2.2× más tokens) pero reduce la precisión.

• Mecanismo: Incluso cuando los prompts no exceden el presupuesto de contexto (sin truncamiento), el texto adicional de la fuente causa que el modelo preste atención a código irrelevante (por ejemplo, funciones auxiliares no relacionadas o rutinas de interfaz), oscureciendo la evidencia estructural relevante para la vulnerabilidad.
• Eficiencia: Los prompts de solo grafo logran la mayor precisión con la menor sobrecarga (promedio de 5,973 tokens frente a 12,938 para fuente más grafo).

4. Variación según el tipo de vulnerabilidad

• Vulnerabilidades aritméticas (CWE-190): Los prompts de solo grafo superaron significativamente a los de fuente más grafo (77.8% vs. 65.8%), lo que sugiere que la evidencia estructural enfocada es crítica para el razonamiento de origen a sumidero (source-to-sink).
• Vulnerabilidades de ciclo de vida de memoria (CWE-415/416): Los prompts de fuente más grafo funcionaron de manera competitiva o ligeramente mejor en CWE-415, lo que sugiere que el contexto bruto puede ocasionalmente ayudar en el razonamiento sobre órdenes de limpieza y lifetimes de punteros, aunque el de solo grafo sigue siendo robusto.
• Asimetría de etiquetas: El modelo fue más fiable en casos SEGUROS (76.1% de precisión curada) que en casos VULNERABLES (66.0%), probablemente debido a la dificultad de razonar sobre la ausencia de guardas o flujos de datos sutiles.

5. Hallazgos auxiliares de ePDG

La pista de ePDG (metadatos enriquecidos a nivel de LLVM) logró un 57.9% de precisión curada. Aunque es inferior a las variantes basadas en Joern, esto sugiere que los metadatos orientados a la vulnerabilidad tienen potencial, aunque las limitaciones actuales en legibilidad (IR abstracto de LLVM) y la viabilidad de generación de artefactos restringen su utilidad.

Significancia y Reivindicaciones

El artículo afirma que la elección de la representación es un motor primario de la calidad del razonamiento de vulnerabilidades de los LLM, a menudo más que el volumen de contexto de entrada.

• Reevaluación de la práctica actual: Los sistemas que dependen únicamente del prompting de fuente bruta pueden fallar al no aprovechar décadas de progreso en el análisis estático. Se desafía la suposición de que "más contexto es mejor"; en el razonamiento de seguridad, la evidencia estructural enfocada es superior al texto de fuente sin filtrar.
• Análisis estático como capa de construcción de prompts: Los autores proponen que el análisis estático debe servir como una capa de construcción de prompts. Al extraer evidencia estructural compacta y relevante para la seguridad (como AST+PDG) y presentarla a los LLM, los desarrolladores pueden lograr una mayor precisión con menores costos de inferencia y un menor riesgo de dilución de contexto.
• Fundamento empírico: Este trabajo proporciona la base empírica inicial para diseñar sistemas de análisis de vulnerabilidades de LLM conscientes de la representación, yendo más allá de la simple inyección de código hacia un prompting estructurado y dirigido por el análisis.

El estudio conclula que, si bien el código fuente bruto es natural para los LLM, no es óptimo para el razonamiento de seguridad. Las representaciones estructurales cuidadosamente seleccionadas ofrecen un mejor equilibrio entre precisión y sobrecarga, motivando un cambio hacia el uso del análisis estático para construir prompts enfocados para el razonamiento de seguridad basado en LLM.