Resumen Técnico: Pen-Strategist

Declaración del Problema

El panorama de la ciberseguridad enfrenta una escasez crítica de profesionales cualificados, lo que hace esencial la automatización de las pruebas de penetración (pentesting). Aunque los esfuerzos recientes han utilizado agentes de Modelos de Lenguaje Grande (LLM) para automatizar tareas de seguridad, los marcos existentes adolecen de tres limitaciones fundamentales:

1. Formulación Deficiente de Estrategias: Los agentes a menudo fallan al seleccionar estrategias efectivas en diferentes etapas del pentesting, lo que conduce a una cobertura limitada de la superficie de ataque y requiere intervención humana constante.
2. Preocupaciones de Privacidad y Costos: La dependencia de APIs comerciales externas de LLMs obliga a transmitir estructuras de red sensibles y datos de vulnerabilidades a servidores de terceros, planteando problemas de privacidad y costos operativos.
3. Inestabilidad de Ejecución: Los agentes frecuentemente exhiben alucinaciones, seleccionando herramientas incorrectas o no disponibles, lo que interrumpe la ejecución de ataques multi-paso.

Los conjuntos de datos y modelos actuales carecen de las capacidades de razonamiento específicas necesarias para derivar estrategias lógicas de pentesting o predecir pasos accionables con alta fiabilidad.

Metodología

Los autores proponen Pen-Strategist, un marco modular compuesto por dos modelos especializados diseñados para operar localmente, preservando así la privacidad de los datos.

1. Curaduría del Conjunto de Datos

La base del marco es un conjunto de datos novedoso centrado en el razonamiento que contiene 2.165 puntos de datos derivados de 240 máquinas de Hack-The-Box (HTB) y VulnHub. El conjunto de datos se curó mediante:

• Recopilación Manual: Anotadores humanos siguieron guías de resolución para 40 máquinas, registrando estrategias, explicaciones lógicas y acciones paso a paso.
• Recopilación Automatizada: Utilizando Claude Code, el conjunto de datos se expandió a 200 máquinas adicionales mediante la conversión de informes existentes a un formato estructurado.
• Estructura de Datos: Cada entrada incluye un Árbol de Prueba de Penetración (PTT) que resume el entorno, los pasos/resultados anteriores, la estrategia derivada con razonamiento lógico, el siguiente paso específico y los servidores de Protocolo de Contexto del Modelo (MCP) requeridos para ejecutarlo.

2. Arquitectura del Modelo

El marco emplea dos modelos distintos:

• Modelo de Estrategia (Razonamiento):

  • Base: Qwen-3-14B (código abierto).
  • Entrenamiento: Ajustado fino utilizando Optimización de Política Relativa por Grupos (GRPO), una técnica de aprendizaje por refuerzo.
  • Objetivo: Derivar lógicamente la siguiente estrategia de pentesting basándose en el PTT y los hallazgos anteriores.
  • Funciones de Recompensa: El modelo se optimiza utilizando cuatro componentes de recompensa: similitud semántica/lógica con la verdad fundamental (evaluada mediante G-Eval), adherencia a un patrón de salida específico, restricciones de longitud de generación y consistencia del idioma.

• Modelo de Paso (Clasificación de Acciones):

  • Arquitectura: Una red neuronal convolucional (CNN) de doble cabeza construida sobre incorporaciones (embeddings) congeladas de GPT-2.
  • Objetivo: Clasificar la estrategia generada en un paso accionable específico y predecir los servidores MCP requeridos (por ejemplo, Nmap, Metasploit, Dirbuster).
  • Entrenamiento: Una tarea de clasificación multietiqueta utilizando pérdida de entropía cruzada para la predicción de pasos y entropía cruzada binaria para la selección de servidores MCP. Esta separación busca reducir las alucinaciones sobre la disponibilidad de herramientas.

Contribuciones Clave

1. Marco Pen-Strategist: Un sistema novedoso de dos modelos para la derivación de estrategias lógicas y la predicción de la siguiente acción en pentesting.
2. Conjunto de Datos Novel: El primer conjunto de datos de este tipo que contiene explicaciones de razonamiento lógico tanto para la derivación de estrategias como para la selección de pasos en 240 máquinas vulnerables.
3. Ganancias de Rendimiento mediante RL: Se demostró que el ajuste fino de un modelo de código abierto (Qwen-3-14B) con GRPO produce una mejora del 87% en el rendimiento de derivación de estrategias sobre el modelo base.
4. Predicción de Pasos Superior: El modelo de Paso entrenado logra una precisión del 82,8% en la predicción de pasos, superando a los LLMs comerciales por un margen significativo (mejora del 28% en métricas específicas).
5. Integración y Generalización: Integrado con éxito en marcos existentes (PentestGPT, AutoPentester, VulnBot), mostrando mejoras sustanciales en las tasas de finalización de subtareas y generalizando bien a desafíos CTF (benchmark CTFKnow).

Resultados Experimentales

Derivación de Estrategias

En el conjunto de pruebas retenido, el Pen-Strategist ajustado fino (Qwen-3-14B-GRPO) logró una puntuación de similitud GEval de 0,73 para la estrategia y 0,71 para la explicación. Esto supera la línea base comercial más fuerte, Claude-4.5-Sonnet (0,65/0,72), y representa una mejora del 87% sobre el modelo base Qwen-3-14B.

Predicción de Pasos y Herramientas

El modelo de Paso logró una precisión del 82,87% en la predicción de pasos y una puntuación Micro F1 del 48,88% en la predicción de servidores MCP. Esto supera significativamente a todos los modelos comerciales evaluados (por ejemplo, GPT-5, Claude-4.5), que tuvieron dificultades con la selección precisa de herramientas.

Integración del Marco

Cuando se integró en PentestGPT, AutoPentester y VulnBot, el marco mejoró la tasa de finalización de subtareas en un 47,5% en promedio en seis máquinas HTB en comparación con el uso de GPT-5 como backend.

Generalización Transversal de Tareas

• Benchmark CTFKnow: El modelo ajustado fino logró una tasa de éxito del 85,71%, reduciendo la brecha con GPT-4o (87,83%) y superando al Qwen-3-14B base (72,38%).
• PicoCTF: En el marco PentestGPT, el modelo ajustado fino resolvió 17 desafíos, en comparación con 5 para el modelo base y 13 para GPT-5.

Evaluación Humana

En una encuesta de 12 profesionales de seguridad, Pen-Strategist fue seleccionado como la estrategia preferida en el 52,4% de los casos (subconjunto de alta confianza), superando a Claude-4.6-Sonnet (47,6%) y GPT-5 (0,0%). Los expertos elogiaron al modelo por su claridad, la falta de comprobaciones redundantes y su capacidad para proporcionar rutas accionables conscientes del contexto.

Significado y Afirmaciones

El artículo afirma que Pen-Strategist aborda la brecha crítica en el pentesting automatizado al proporcionar una solución desplegable localmente y que preserva la privacidad que no depende de APIs externas. Al desacoplar el razonamiento lógico (Modelo de Estrategia) de la selección de herramientas (Modelo de Paso), el marco reduce significativamente los fallos de ejecución y las alucinaciones.

Los autores enfatizan que, aunque los marcos de agentes existentes a menudo fallan debido a la falta de razonamiento especializado, Pen-Strategist demuestra que el aprendizaje por refuerzo (GRPO) puede alinear efectivamente los modelos de código abierto con el razonamiento complejo y secuencial requerido para la ciberseguridad. El marco ofrece un camino práctico hacia un pentesting automatizado robusto que respeta las restricciones de localidad de datos mientras supera a modelos comerciales propietarios más grandes en tareas específicas de razonamiento de seguridad.