Resumen Técnico: ¿Están los LLM de Vanguardia Listos para la Ciberseguridad?

1. Declaración del Problema

El documento investiga si los Grandes Modelos de Lenguaje (LLM) de vanguardia son suficientemente fiables para tareas profesionales de ciberseguridad. A pesar del éxito de los modelos de propósito general en programación y razonamiento, los autores argumentan que la ciberseguridad exige modelos base verticales debido a tres barreras estructurales inherentes a los modelos de vanguardia actuales:

1. El Impuesto de la Alineación: Las salvaguardas de seguridad orientadas al consumidor provocan que los modelos (notablemente GPT-5.4) rechacen operaciones legítimas de seguridad ofensiva, como la caza de vulnerabilidades de día cero o las pruebas de vulnerabilidad, en 2–3 de cada 5 intentos.
2. La Brecha de Metodología: Los modelos de vanguardia carecen de la metodología estructurada de pruebas de penetración necesaria para utilizar herramientas de manera sistemática. Aunque pueden invocar herramientas externas, no logran mantener el estado, comparar líneas base ni ejecutar cadenas de ataque de múltiples pasos, lo que resulta en una cobertura baja de la verdad fundamental.
3. La Crisis de Falsos Positivos: En la detección de caja blanca, los modelos de vanguardia exhiben altas tasas de falsos positivos (10–50%), volviéndolos poco prácticos para el triaje en producción donde cada falsa alarma requiere una revisión manual costosa.

Los autores postulan que la escala por sí sola es insuficiente; en su lugar, se requieren entrenamiento específico del dominio, alineación profesional y metodología estructurada para cerrar la brecha entre el razonamiento general y las operaciones de seguridad.

2. Metodología

La evaluación emplea un punto de referencia de doble modo diseñado para probar tanto el análisis estático de código como las pruebas dinámicas de seguridad de aplicaciones web bajo condiciones autorizadas con verdad fundamental conocida.

2.1 Puntos de Referencia

• Detección de Caja Blanca: Utiliza el conjunto de datos VulnLLM-R (C, Java, Python) para probar la clasificación binaria de vulnerabilidades (vulnerable vs. benigna) y la identificación de CWE.
• Pruebas Web de Caja Negra: Introduce una nueva suite de cinco aplicaciones web de estilo producción (Mercury, TeamLedger, GraphQL, ProductWeb, BankWeb) que contienen 118 vulnerabilidades de verdad fundamental en más de 20 familias de CWE. A diferencia de los objetivos de entrenamiento deliberadamente vulnerables (por ejemplo, DVWA), estas aplicaciones presentan lógica empresarial realista, flujos de trabajo de múltiples pasos y sistemas de autenticación.

2.2 Modelos Evaluados

El estudio compara ocho modelos a través de cuatro paradigmas:

• Modelos de Vanguardia: GPT-5.4, Codex 5.3, Claude Opus 4.6, Sonnet 4.6, Gemini 3.1 Pro y Gemini 3 Flash.
• Modelos Especializados en el Dominio:
  • SuperIntel Defense-LLM: Optimizado para la detección de vulnerabilidades de alta precisión (conservador, bajos falsos positivos).
  • SuperIntel Attack-LLM: Optimizado para pruebas de penetración profesionales y desarrollo de exploits (agresivo, alineado para flujos de trabajo ofensivos).
  • Nota: Ambos modelos especializados son variantes adaptadas mediante LoRA de Qwen3-Next-80B-A3B-Instruct.

2.3 Paradigmas de Prueba

La evaluación de caja negra progresa a través de cuatro paradigmas distintos (Figura 1):

• P1 (Solicitud Directa): Modelos de vanguardia utilizando únicamente capacidades nativas (E/S de archivos, bash, HTTP).
• P2 (Aumentado con Herramientas): Modelos de vanguardia aumentados con herramientas de seguridad externas (Playwright MCP, Burp Suite MCP) pero sin metodología estructurada.
• P3 (Guiado por Metodología): Agentes especializados en el dominio que codifican flujos de trabajo profesionales de pruebas de penetración (gestión de múltiples sesiones, comparación de líneas base, confirmación de múltiples señales).
• P4 (Híbrido Determinista / ARG): Un Grafo de Razonamiento Agente que separa las tareas creativas impulsadas por LLM (reconocimiento, generación de payloads) de los nodos de clasificación determinista. Esta arquitectura elimina el juicio del LLM del paso final de confirmación de vulnerabilidad para eliminar alucinaciones.

3. Contribuciones Clave

1. Punto de Referencia de Doble Modo: Un marco de evaluación integral que combina la detección de vulnerabilidades a nivel de función en caja blanca y pruebas web en caja negra sobre 118 vulnerabilidades de verdad fundamental, significativamente mayor que puntos de referencia anteriores como CVE-Bench o ZeroDayBench.
2. Análisis Sistemático de Limitaciones: Evidencia empírica que demuestra que los modelos de vanguardia están estructuralmente desprevenidos para la ciberseguridad, caracterizados por altas tasas de rechazo, baja cobertura de verdad fundamental (4–8%) y excesivos falsos positivos.
3. Arquitectura de Modelo Vertical: Demostración de que los agentes especializados en el dominio que codifican metodología logran una detección por familia >50% (una mejora de 4× sobre los agentes de vanguardia). La introducción del Grafo de Razonamiento Agente (ARG) muestra que separar el razonamiento de la confirmación determinista reduce significativamente los falsos positivos.
4. Identificación del Cuello de Botella de Datos: Análisis que revela que la barrera principal es la ausencia de trazas estructuradas de pruebas de seguridad (secuencias de solicitud/respuesta de extremo a extremo, datos con alto peso de fallos, cadenas de ataque de múltiples pasos). Los autores proponen una estrategia de pruebas de seguridad de autojuego para generar estos datos faltantes.

4. Resultados Clave

4.1 Detección de Caja Blanca

• Falsos Positivos: Cada modelo de vanguardia produjo tasas de falsos positivos entre 15% y 46%. Por ejemplo, Sonnet 4.6 y Gemini 3 Flash marcaron casi el 70% de todas las muestras como vulnerables.
• Rendimiento Especializado: El SuperIntel Defense-LLM logró la mayor precisión (0.904) y la tasa de falsos positivos más baja (9.7%), superando a todos los modelos de vanguardia, incluido Codex 5.3. También demostró una eficiencia de razonamiento superior, utilizando 18.2× menos tokens que Sonnet 4.6.
• Especificidades del Lenguaje: Los modelos de vanguardia tuvieron dificultades significativas con el código C, marcando a menudo aritmética de punteros benigna y patrones de gestión de memoria como vulnerabilidades. El modelo de defensa logró una detección perfecta en Java (F1=1.000).

4.2 Pruebas Web de Caja Negra

• La Brecha de Metodología:
  • P1 (Solicitud Directa): Logró solo una cobertura de verdad fundamental del 4–8%.
  • P2 (Aumentado con Herramientas): La cobertura mejoró marginalmente al 10–19%, lo que indica que el acceso a herramientas por sí solo no resuelve el déficit metodológico.
  • P3 (Guiado por Metodología): La cobertura saltó a >50% por familia de vulnerabilidad. Por ejemplo, Claude Opus 4.6 dentro del andamiaje P3 detectó 95 de 118 vulnerabilidades (80.5% de recuperación).
• La Palanca de Precisión (P4): El Grafo de Razonamiento Agente (ARG) logró una cobertura general de verdad fundamental del 30.2% utilizando únicamente capacidades nativas (sin herramientas externas), demostrando que la metodología estructurada con modelos alineados al dominio puede superar a los modelos de vanguardia aumentados con herramientas. Crucialmente, el ARG mantuvo una tasa de falsos positivos <20% al delegar la confirmación a lógica determinista.

4.3 Eficiencia Operativa

La tubería ARG (P4) completó las pruebas en 15–17 minutos por objetivo a un costo de $3–5, en comparación con 30–60 minutos y $15–30 para los enfoques de LLM de vanguardia.

5. Significado y Afirmaciones

El documento concluye que los LLM de vanguardia aún no son fiables para sistemas de ciberseguridad en producción. Los factores limitantes no son meramente la capacidad, sino la fiabilidad y la metodología.

• La Especialización Vertical es Esencial: Los resultados argumentan que la ciberseguridad requiere modelos base verticales entrenados en trazas de seguridad estructuradas, alineados para uso profesional y evaluados tanto en precisión como en recuperación.
• Metodología sobre Escala: La palanca principal para la mejora no es la escala del modelo, sino la codificación de la metodología profesional de pruebas de penetración en agentes.
• Confirmación Determinista: Para ser viables en producción, la confirmación de vulnerabilidades debe desacoplarse del juicio del LLM. La arquitectura ARG demuestra que separar la planificación creativa de la verificación determinista es necesario para controlar los falsos positivos.
• Generación de Datos: Los autores identifican la falta de trazas de pruebas de seguridad de extremo a extremo como el cuello de botella fundamental de entrenamiento y proponen las pruebas de autojuego como una estrategia viable para generar los datos necesarios para entrenar futuros modelos verticales.

Los autores mantienen un alcance modesto, señalando que su evaluación se limita a aplicaciones alojadas localmente y autorizadas, y no cubre análisis de malware, ingeniería social o detección de intrusos en redes. Sin embargo, los patrones de error comparativos observados en múltiples modelos y paradigmas proporcionan evidencia sólida de la necesidad de cambios arquitectónicos específicos del dominio en la seguridad impulsada por IA.