Resumen Técnico: ¿Pueden los Agentes de LLM de Código Abierto Reemplazar las Herramientas de Pruebas Estáticas de Seguridad de Aplicaciones?

Planteamiento del Problema

El artículo aborda la pregunta emergente de si la IA Agéntica, específicamente los agentes de Modelos de Lenguaje Extensos (LLM) de propósito general, pueden reemplazar o rivalizar eficazmente con las herramientas tradicionales de Pruebas Estáticas de Seguridad de Aplicaciones (SAST) para el escaneo de vulnerabilidades de ciberseguridad. Si bien la GenAI ha revolucionado la generación de código, los autores investigan su eficacia en la validación de la aptitud de seguridad del código. El problema central es determinar si un agente de LLM de propósito general, moderno y de código abierto, puede identificar de manera fiable vulnerabilidades comunes (por ejemplo, inyección SQL, secretos inseguros, salto de directorio/path traversal) en bases de código de Python bajo condiciones realistas, o si sufre de limitaciones inherentes como alucinaciones, altas tasas de falsos positivos y falta de explicabilidad en comparación con las herramientas establecidas basadas en reglas.

Metodología

El estudio empleó una comparación empírica entre un agente de LLM personalizado y una herramienta SAST de código abierto debidamente validada.

• Herramienta de Referencia (Baseline): Bandit, una herramienta SAST enfocada en Python conocida por sus bajas tasas de falsos positivos y moderada precisión, sirvió como la "fuente de la verdad" y base para la comparación.
• Agente Experimental: Snitch, una aplicación de agente basada en Python diseñada para escanear directorios de forma recursiva. Snitch aprovecha Ollama para alojar y ejecutar LLMs locales.
• Modelos Evaluados: Se probaron tres modelos distintos de código abierto y propósito general:
  1. Gemma3 (Google): Comercializado como un especialista en codificación.
  2. Llama3.1 (Meta): Un LLM de propósito general.
  3. Qwen2.5 (Alibaba): Destinado al razonamiento, la codificación y la depuración.
• Objetivos de Prueba: Tres repositorios de Python de código abierto con varying niveles de complejidad y madurez:
  1. Yum: Un gestor de paquetes de grado empresarial retirado (alta madurez).
  2. Beaverhabits: Un rastreador de hábitos personal (comercial casual).
  3. Fail2ban: Un demonio de servicio orientado a la seguridad.
• Diseño Experimental:
  • Bandit escaneó los tres repositorios primero para establecer una base de hallazgos de severidad Media y Alta.
  • Snitch luego escaneó los mismos repositorios utilizando cada uno de los tres modelos (9 escaneos de agentes en total).
  • Prompting: Se utilizó un prompt fijo y detallado para todas las ejecuciones de los agentes, instruyendo al modelo para que actúe como un ingeniero experto en ciberseguridad identificando problemas específicos de SAST y entregando los resultados en un formato JSON estructurado.
• Métricas de Evaluación:
  • Recall (Recuperación): La proporción de los hallazgos de severidad Media/Alta de Bandit también detectados por el agente (las coincidencias parciales se ponderaron en 0.5).
  • Tasa de Falsos Positivos (FP): La proporción de problemas señalados por el agente que no fueron señalados por Bandit y que fueron determinados como malentendidos contextuales o alucinaciones tras una revisión humana.
  • Puntuación Compuesta: Calculada como Recall - Tasa de FP.
  • Tiempo de Ejecución: Registrado para comparar la eficiencia contra Bandit.

Resultados Clave

Los datos empíricos indican que los agentes de LLM de código abierto evaluados funcionaron significativamente por debajo de la herramienta SAST tradicional.

• Bajo Recall: Ningún modelo logró una puntuación de recall superior a 0.25. Los agentes pasaron por alto la gran mayoría de las vulnerabilidades identificadas por Bandit.
• Altos Falsos Positivos: Todos los modelos exhibieron tasas de falsos positivos extremadamente altas, oscilando entre el 40% y el 90%.
  • Las alucinaciones comunes incluyeron marcar constantes de la biblioteca estándar (por ejemplo, calendar.MONDAY) como secretos codificados, malinterpretar el uso de archivos .env como fugas de producción e identificar patrones de código benignos (como comentarios o encabezados de licencia) como vulnerabilidades.
  • El modelo Gemma3 tuvo la tasa de FP más alta, mientras que Qwen2.5 tuvo la más baja, aunque seguía siendo sustancial.
• Alucinaciones y Precisión:
  • Los agentes frecuentemente alucinaron la ubicación de las vulnerabilidades (nombres de archivos y números de línea), haciendo referencia a archivos o bloques de código inexistentes.
  • Aunque los agentes ocasionalmente identificaron problemas únicos omitidos por Bandit (por ejemplo, uso específico e inseguro de requests.get o saltos de directorio), estos eran inverificables como "verdaderos positivos" sin una verdad externa y fueron superados por el ruido.
• Rendimiento y Eficiencia:
  • Bandit completó los escaneos en menos de un minuto por repositorio.
  • Snitch (agentes de LLM) requirió de 1 a 4 horas por repositorio, dependiendo del tamaño de la base de código.
  • El tiempo de ejecución total para todos los escaneos de agentes a través de los tres modelos fue de aproximadamente 10 a 12 horas, en comparación con los minutos de Bandit.

Contribuciones Clave

1. Evaluación Empírica: El documento proporciona una evaluación rigurosa y basada en datos de la IA agéntica para SAST, yendo más allá de la especulación teórica hacia métricas de rendimiento medibles (precisión, recall, tasa de FP).
2. Comparación de Referencia: Establece una línea base de rendimiento directa utilizando Bandit, demostrando que los LLM de propósito general de código abierto actualmente carecen de la fiabilidad requerida para tareas especializadas de escaneo de seguridad.
3. Identificación de Limitaciones: El estudio destaca modos de fallo específicos de los agentes de LLM en este dominio, particularmente la "alucinación" de ubicaciones de vulnerabilidades y la malinterpretación de patrones de desarrollo estándar (por ejemplo, variables de entorno) como fallos de seguridad.
4. Puntuación Compuesta: La introducción de una puntuación compuesta (Recall - Tasa de FP) para evaluar de forma holística el compromiso entre la detección de vulnerabilidades omitidas y la generación de ruido.

Significado y Reivindicaciones

El artículo concluye que los agentes de LLM de GenAI de código abierto modernos no son actualmente adecuados para la tarea especializada de escaneo SAST bajo condiciones realistas.

• Brecha de Fiabilidad: Las altas tasas de falsos positivos y el bajo recall hacen que estos agentes sean poco fiables como herramientas de seguridad independientes. Las "alucinaciones" respecto a las ubicaciones de las vulnerabilidades hacen que el resultado sea casi inútible para la remediación automatizada, ya que los desarrolladores no pueden confiar en el archivo o número de línea específico proporcionado.
• Barrera de Eficiencia: El costo computacional y el tiempo requerido por los agentes de LLM (horas frente a minutos) presentan una barrera prohibitiva para la integración en los flujos de trabajo estándar de CI/CD en comparación con las herramientas basadas en reglas.
• Rol de la IA: Los autores sugieren que, si bien la IA agéntica muestra potencial para la generación y asistencia de código, actualmente carece de la precisión y la explicabilidad requeridas para la validación. El documento argumenta que las herramientas tradicionales basadas en reglas como Bandit siguen siendo superiores para el análisis de código debido a su consistencia, velocidad y trazabilidad.
• Perspectiva Futura: Los autores postulan que, aunque los modelos de código cerrado o especializados con ingeniería de prompts avanzada podrían mejorar los resultados, las limitaciones fundamentales de los sistemas generativos (alucinación, falta de bases de conocimiento externas como las definiciones de CVE) impiden actualmente que reemplacen a las herramientas SAST establecidas. Sugieren un posible enfoque híbrido donde los agentes actúen como suplementos a las herramientas tradicionales, centrándose solo en problemas novedosos, en lugar de como reemplazos.