MultiVer: Zero-Shot Multi-Agent Vulnerability Detection

Resumen Técnico: MultiVer

1. El Problema

La detección de vulnerabilidades en el código fuente enfrenta un dilema fundamental entre la precisión y la recordación (recall):

• Herramientas de análisis estático tradicionales (como CodeQL o Bandit) ofrecen alta precisión pero una recordación muy baja (detectan solo entre el 5% y el 11% de las vulnerabilidades en conjuntos de datos reales como PyVul).
• Modelos de Lenguaje Grande (LLM) mejoran la recordación, pero existe una brecha significativa entre su rendimiento en modo zero-shot (sin entrenamiento) y fine-tuned (ajustado). Por ejemplo, en PyVul, un GPT-3.5 ajustado alcanza un 81.3% de recordación, mientras que su versión zero-shot llega solo al 61.1%.
• El desafío: Cerrar esta brecha de rendimiento sin depender de datos de vulnerabilidades etiquetados para el entrenamiento (fine-tuning), los cuales son costosos y difíciles de obtener.

2. Metodología: MultiVer

El autores proponen MultiVer, un sistema de detección de vulnerabilidades basado en un ensamble de múltiples agentes que opera en modo zero-shot.

• Arquitectura de Cuatro Agentes:
  El sistema ejecuta en paralelo cuatro agentes especializados, cada uno analizando una dimensión diferente del código:

  1. Agente de Seguridad (Peso 0.45): Busca patrones de fallos de seguridad (mapeados a CWE) y utiliza análisis LLM aumentado por recuperación (RAG).
  2. Agente de Corrección (Peso 0.35): Detecta errores lógicos, manejo de excepciones y validación de entrada mediante análisis de AST (Árbol de Sintaxis Abstracta).
  3. Agente de Rendimiento (Peso 0.15): Identifica ineficiencias algorítmicas.
  4. Agente de Estilo (Peso 0.05): Evalúa la calidad del código.

• Pipeline de Análisis de Tres Niveles:
  Cada agente sigue un proceso optimizado para equilibrar costo y precisión:

  1. Nivel 1 (Patrones): Coincidencia determinista de patrones (ej. inyección SQL) en <50ms.
  2. Nivel 2 (Recuperación - RAG): Recuperación de 5 ejemplos similares y 3 especificaciones relevantes desde una base de conocimientos curada.
  3. Nivel 3 (LLM): Invocación selectiva de un modelo LLM (Claude Opus 4.5) con "pensamiento extendido" para generar un veredicto estructurado (PASS/WARNING/FAIL) con razonamiento.

• Mecanismo de Votación (Ensamble):
  Los resultados se combinan mediante dos estrategias de votación:

  • Votación por Unión (Union Voting): Si cualquier agente (especialmente Seguridad o Corrección) detecta un problema, se emite una advertencia global. Esta estrategia maximiza la recordación a costa de la precisión.
  • Votación Ponderada: Combina los veredictos basándose en el peso del agente, la severidad y la confianza, buscando un equilibrio entre precisión y recordación.

• Muestreo de Auto-consistencia:
  Para el agente de seguridad, se ejecutan múltiples llamadas al LLM con diferentes temperaturas y se toma el veredicto por mayoría para reducir la varianza.

3. Contribuciones Clave

1. Superación del Fine-tuning en Zero-Shot: MultiVer es el primer sistema zero-shot que supera el rendimiento de recordación de un modelo ajustado (fine-tuned) en el benchmark PyVul.
2. Arquitectura Multi-Agente Efectiva: Demuestran que analizar múltiples dimensiones (seguridad, corrección, rendimiento, estilo) en conjunto detecta más vulnerabilidades que un análisis unidimensional.
3. Análisis de Compensación (Trade-off): Caracterizan explícitamente la compensación entre recordación y precisión, demostrando que para auditorías de seguridad, donde los falsos negativos son más costosos que los falsos positivos, la estrategia de "Votación por Unión" es superior.
4. Estudios de Ablación: Identifican que el ensamble multi-agente aporta un 17% adicional de recordación sobre el análisis de seguridad por sí solo, y que el agente de corrección contribuye con un 11% adicional.

4. Resultados Principales

Los experimentos se realizaron en dos benchmarks: PyVul (vulnerabilidades reales de Python) y SecurityEval (muestras sintéticas).

• En PyVul:

  • Recordación (Recall): MultiVer alcanza 82.7% (±0.6%), superando al GPT-3.5 fine-tuned (81.3%) en 1.4 puntos porcentuales.
  • Precisión: 48.8% (vs. 63.9% del modelo ajustado).
  • F1 Score: 61.4% (vs. 71.6% del modelo ajustado).
  • Nota: Aunque el F1 es menor, la recordación más alta es el objetivo principal en seguridad.

• En SecurityEval:

  • Tasa de detección del 91.7%, igualando a sistemas especializados como Aardvark (92%) y superando a Vul-RAG (78.9%).

• Estudios de Ablación:

  • El uso de RAG reduce ligeramente la recordación (de 92.0% sin RAG a 82.7% con RAG) pero mejora significativamente la precisión al reducir falsos positivos.
  • La votación por unión es la clave del éxito en recordación, mientras que la votación ponderada reduce la recordación al 37.7% pero mejora la precisión.

5. Significado y Conclusión

El trabajo demuestra que, para aplicaciones de seguridad donde los falsos negativos (vulnerabilidades no detectadas) son mucho más costosos que los falsos positivos (revisión manual innecesaria), los ensambles de agentes zero-shot pueden igualar o superar a los modelos ajustados (fine-tuned).

• Implicación Práctica: MultiVer es ideal para auditorías de seguridad previas al despliegue en código de alto valor, donde es preferible revisar más código (costo de tiempo) que dejar pasar una brecha de seguridad (costo de seguridad). No es adecuado para la integración continua (CI/CD) en tiempo real debido a su latencia (~55s) y tasa de falsos positivos (85%).
• Futuro: El desafío principal es reducir la tasa de falsos positivos sin sacrificar la recordación, posiblemente mediante entrenamiento contrastivo en pares de código vulnerable/patched o el uso de RAG a nivel de conocimiento en lugar de código.

En resumen, MultiVer valida la hipótesis de que la colaboración entre agentes especializados puede cerrar la brecha de rendimiento entre el análisis zero-shot y el ajustado, ofreciendo una alternativa viable y potente para la detección de vulnerabilidades sin necesidad de datos de entrenamiento etiquetados.