🤖 AI

MulVul: Retrieval-augmented Multi-Agent Code Vulnerability Detection via Cross-Model Prompt Evolution

MulVul es un marco de trabajo multiagente de recuperación aumentada que aborda las limitaciones de la detección de vulnerabilidades de modelo único y la ingeniería de prompts manual mediante el empleo de una estrategia de enrutamiento de grueso a fino y un novedoso mecanismo de evolución de prompts entre modelos para lograr una precisión significativamente mayor en diversos tipos de vulnerabilidades.

Autores originales: Zihan Wu, Jie Xu, Yun Peng, Chun Yong Chong, Xiaohua Jia

Publicado 2026-01-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zihan Wu, Jie Xu, Yun Peng, Chun Yong Chong, Xiaohua Jia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar tipos específicos de errores en una biblioteca masiva de código informático. Esto es un poco como intentar encontrar una aguja en un pajar, pero las "agujas" vienen en miles de formas, tamaños y colores diferentes.

El artículo presenta un nuevo sistema llamado MulVul para resolver este problema. Así es como funciona, explicado mediante analogías sencillas:

El Problema: Un solo tamaño no sirve para todos

Imagina que contratas a un único detective muy inteligente para encontrar todo tipo de delitos en una ciudad.

El problema: Algunos delitos son como robos a bancos (que requieren conocimiento de cerraduras y alarmas), mientras que otros son como el robo de identidad (que requieren conocimiento de ingeniería social). Un solo detective puede ser excelente en uno, pero pésimo en el otro.
La forma antigua: Las herramientas de IA anteriores intentaban usar un "súper-detective" para atraparlo todo a la vez. Debido a que hay muchísimos tipos diferentes de vulnerabilidades de código (¡más de 130 tipos!), este detective único suele confundirse, pasa por alto cosas o da falsas alarmas.
El problema manual: Podrías intentar escribir un conjunto específico de instrucciones (un "prompt") para cada tipo de vulnerabilidad para la IA. Pero con cientos de tipos, escribir y probar estas instrucciones a mano es imposible: toma demasiado tiempo y es demasiado costoso.

La Solución: MulVul (El equipo de especialistas)

MulVul cambia las reglas del juego al utilizar un equipo de especialistas en lugar de un generalista. Funciona en dos fases principales:

1. El "Router" (El agente de tráfico)

Cuando llega una pieza de código, esta no va a todo el mundo. Primero, va a un Agente Router.

Qué hace: El Router observa el código y se pregunta: "¿Qué tipo de problema es este probablemente?". No necesita conocer el error exacto; solo necesita adivinar la categoría general (por ejemplo: "Esto parece un error de memoria" o "Esto parece un ataque de inyección").
El truco: Utiliza una Herramienta de Recuperación (Retrieval Tool). Piensa en esto como el Router hojeando una enciclopedia gigante y organizada de crímenes pasados para encontrar casos similares antes de hacer una suposición. Esto le ayuda a evitar adivinar al azar.
El resultado: Elige las 3 categorías más probables y envía el código solo a los especialistas que manejan esas categorías específicas. Esto ahorra tiempo y dinero.

2. Los "Detectores" (Los expertos forenses)

Una vez que el Router envía el código a los especialistas adecuados, los Agentes Detectores toman el control.

Qué hacen: Estos son agentes altamente especializados. Uno solo busca errores de memoria; otro solo busca ataques de inyección.
El truco: Al igual que el Router, ellos también utilizan una Herramienta de Recuperación. Pero son más inteligentes. Buscan ejemplos "contrastivos". Imagina a un detective comparando la historia de un sospechoso tanto con una historia verdadera de un crimen similar como con una historia falsa de un crimen similar para detectar las pequeñas diferencias. Esto les ayuda a señalar el error exacto sin confundirse con código de apariencia similar.
Aislamiento: Crucialmente, estos detectives trabajan solos. No hablan entre sí. Si un detective comete un error, este no se propaga a los demás, evitando una reacción en cadena de errores.

La Fórmula Secreta: "Evolución de Prompts de Modelo Cruzado"

Escribir las instrucciones (prompts) para estos agentes de IA es la parte más difícil. Si le pides a una IA que escriba instrucciones para sí misma, podría quedarse atrapada en un bucle, pensando que sus propias malas ideas son buenas.

MulVul utiliza un ingenioso sistema de dos IA para solucionar esto:

El Generador (El Arquitecto): Una IA (como Claude) intenta escribir y mejorar las instrucciones. Supone: "Tal vez si lo digo de esta manera, la IA lo hará mejor".
El Ejecutor (El Probador): Una IA diferente (como GPT-4o) intenta realmente seguir esas instrucciones para encontrar errores. Informa: "Esa instrucción funcionó bien" o "Esa falló".
El Bucle: El Generador utiliza esta retroalimentación para escribir mejores instrucciones, y el Probador las comprueba de nuevo. Debido a que son modelos diferentes, el "Arquitecto" no puede engañar al "Probador" para que crea que una mala idea es buena. Esto crea un ciclo de mejora constante hasta que las instrucciones son perfectas.

Los Resultados

Los autores probaron este sistema en un enorme conjunto de datos de vulnerabilidades de código del mundo real (llamado PrimeVul).

La puntuación: MulVul alcanzó una puntuación del 34.79%, lo cual es un 41.5% mejor que el mejor método anterior.
Por qué importa: Encontró más errores reales y dio menos falsas alarmas que cualquier otra cosa probada.
El impulso de la "Evolución": La parte donde las dos IA mejoraron las instrucciones juntas hizo que el sistema fuera un 51.6% mejor que si los humanos simplemente hubieran escrito las instrucciones manualmente.

Resumen

MulVul es como una firma de seguridad de alta tecnología que no depende de un único guardia sobrecargado de trabajo. En su lugar, utiliza un inteligente agente de tráfico para dirigir a los sospechosos hacia el experto forense adecuado, y esos expertos utilizan una biblioteca de casos pasados para resolver el rompecabezas. Para asegurar que los expertos sepan exactamente qué hacer, la firma utiliza dos cerebros de IA diferentes para reescribir y perfeccionar constantemente sus manuales de reglas, asegurando que capturen los errores más peligrosos con alta precisión.

Resumen Técnico: MulVul

Definición del Problema

El artículo aborda dos limitaciones críticas en la automatización de la detección de vulnerabilidades de código mediante Modelos de Lenguaje de Gran Escala (LLMs):

Heterogeneidad de los Patrones de Vulnerabilidad: Los tipos de vulnerabilidad (por ejemplo, desbordamientos de búfer frente a ataques de inyección) requieren capacidades de razonamiento distintas. Un único modelo unificado tiene dificultades para capturar estos diversos patrones específicos de tipo dentro de un espacio latente compartido, lo que provoca la omisión de vulnerabilidades o altas tasas de falsas alarmas.
Escalabilidad de la Ingeniería de Prompts: Los sistemas del mundo real involucran cientos de entradas de la Enumeración de Debilidades Comunes (CWE). Diseñar manualmente prompts únicos para agentes especializados para un número tan vasto de categorías es inviable. Además, confiar en un solo modelo tanto para la generación de prompts como para la evaluación introduce un sesgo de autocorrección, mientras que los sistemas multi-agente corren el riesgo de amplificar las alucinaciones si no están debidamente fundamentados.

Los métodos existentes suelen depender de prompts fijos sin fundamentación externa o intentan detectar todos los tipos de vulnerabilidad simultáneamente con un solo modelo, fallando en equilibrar la eficiencia computacional con una amplia cobertura.

Metodología: Marco de Trabajo MulVul

MulVul es un marco de trabajo multi-agente aumentado por recuperación diseñado para una detección de vulnerabilidades precisa y de amplia cobertura. Opera a través de una estrategia de grueso a fino y emplea la Evolución de Prompts entre Modelos (Cross-Model Prompt Evolution).

1. Arquitectura: Router-Detector

El sistema utiliza una arquitectura jerárquica alineada con la taxonomía CWE:

Agente Router (Enrutador): Actúa como un despachador. Primero predice las $k$ categorías de vulnerabilidad de grano grueso (por ejemplo, "Errores de Búfer de Memoria"). Utiliza una Herramienta de Recuperación Global para consultar una base de conocimientos en busca de evidencia trans-categórica, asegurando que la categoría correcta no sea filtrada prematuramente.
Agentes Detector (Detectores): Se invocan agentes especializados únicamente para las categorías seleccionadas por el Router. Cada Detector realiza la identificación de grano fino de tipos de vulnerabilidad específicos (por ejemplo, "CWE-119 Buffer Overflow").
- Aislamiento: Los Detectores operan de forma aislada sin comunicación entre agentes para evitar la cascada de errores.
- Recuperación Contrastiva: Cada Detector utiliza una herramienta especializada para recuperar evidencia de tres grupos: positivos de la categoría, ejemplos limpios y "negativos difíciles" fuera de la categoría. Este enfoque contrastivo ayuda a distinguir fallos de seguridad sutiles.

2. Base de Conocimientos (SCALE)

El marco de trabajo se apoya en una base de conocimientos de vulnerabilidades construida mediante SCALE (Representación de Código Estructurado). SCALE convierte fragmentos de código en Árboles de Comentarios Estructurados (comentarios en lenguaje natural adjuntos a los nodos del AST que codifican el flujo de control). Estas representaciones son embebidas (usando UniXcoder) e indexadas para una recuperación eficiente de vecinos más cercanos.

3. Evolución de Prompts entre Modelos (Cross-Model Prompt Evolution)

Para resolver el cuello de botella de la escalabilidad de la ingeniería de prompts manual, MulVul introduce un mecanismo de optimización novedoso que desacopla la generación de prompts de la evaluación:

LLM Generador ( $M_{evo}$ ): (por ejemplo, Claude) propone e itera mutuamente candidatos de prompts y sus mutaciones.
LLM Ejecutor ( $M_{exec}$ ): (por ejemplo, GPT-4o) ejecuta los agentes con estos prompts y devuelve retroalimentación de rendimiento (Recall@k para el Router; F1 para los Detectores).
Proceso: Esta separación mitiga el sesgo de autocorrección inherente a la optimización de un solo modelo. El prompt del Router se optimiza para la recuperación (asegurando que la categoría correcta esté en el top- $k$ ), mientras que los prompts de los Detectores se optimizan para el equilibrio entre precisión y recuperación (puntuación F1).

Contribuciones Clave

Marco de Trabajo MulVul: Un novedoso sistema multi-agente aumentado por recuperación que equilibra la eficiencia computacional con la cobertura de detección, enrutando las entradas a expertos especializados solo cuando es necesario.
Evolución de Prompts entre Modelos: Un mecanismo que optimiza automáticamente los prompts para agentes especializados separando la generación y la ejecución entre diferentes LLMs, resolviendo eficazmente el desafío de escalabilidad de la ingeniería manual y reduciendo el sesgo.
Rendimiento de Vanguardia (State-of-the-Art): Experimentos exhaustivos que demuestran mejoras significativas sobre las líneas base existentes en la detección de vulnerabilidades de clase múltiple.

Resultados Experimentales

El marco fue evaluado en el benchmark PrimeVul, que cubre 6,968 funciones vulnerables y 229,764 funciones benignas de C/C++ a través de 130 tipos de CWE.

Rendimiento General: MulVul logró un Macro-F1 de 34.79% a nivel de tipo, superando a la mejor línea base (LLM×CPG) por 10.21 puntos porcentuales (una mejora relativa del 41.5%).
Compromiso Precisión-Recuperación: El sistema logró una Macro-Precisión de 27.90% y una Macro-Recuperación de 46.19%, demostrando un equilibrio superior comparado con las líneas base que a menudo sacrifican una por la otra.
Estudios de Ablación:
- Recuperación: Eliminar la recuperación causó la mayor caída de rendimiento (el F1 cayó de 34.56% a 21.80%), confirmando la necesidad de fundamentar el razonamiento con evidencia.
- Evolución de Prompts: Reemplazar los prompts evolucionados con plantillas manuales redujo el rendimiento en un 11.76%, validando la efectividad de la estrategia de evolución entre modelos.
- Multi-Agente: Eliminar la arquitectura de agentes (usando un solo modelo) resultó en una caída del 5.95%.
Rendimiento Few-Shot: MulVul demostró un rendimiento robusto en tipos de CWE poco comunes (menos de 100 muestras), logrando un F1 de ~48% frente al ~25% de la mejor línea base. Esto destaca la capacidad del sistema para transferir conocimiento a través de patrones de vulnerabilidad relacionados.
Parámetro de Enrutamiento ( $k$ ): Se encontró que el parámetro de enrutación óptimo era $k=3$ , donde el Macro-F1 alcanzó su pico de 34.79%.

Significación y Reivindicaciones

El artículo afirma que MulVul representa un nuevo estado del arte para la detección de vulnerabilidades de clase múltiple. Su significación radica en:

Abordar la Heterogeneidad: Al descomponer la tarea en un enrutamiento grueso y una detección de grano fino, supera las limitaciones de los modelos unificados para manejar diversos patrones de vulnerabilidad.
Escalabilidad: El mecanismo de Evolución de Prompts entre Modelos automatiza la creación de instrucciones especializadas para cientos de categorías, haciendo factible la detección de amplia cobertura sin ingeniería manual.
Robustez: La combinación de generación aumentada por recuperación y la operación de agentes aislados mitiga eficazmente las alucinaciones y la amplificación de errores, que son problemas comunes en los sistemas multi-agente de LLM.

Los autores reconocen limitaciones, incluyendo la evaluación restringida a código C/C++, el costo computacional de múltiples llamadas a la API de LLM y la necesidad de evaluar más a fondo la transferibilidad de los prompts a otros backbones de LLM. También señalan el riesgo potencial de doble uso de las herramientas de detección de vulnerabilidades automatizadas.