xOffense: An Autonomous Multi-Agent Framework for Penetration Testing with Domain-Adapted Large Language Models

1. Declaración del Problema

Las pruebas de penetración (pentesting) automatizadas son críticas para evaluar la seguridad de la información moderna, sin embargo, las soluciones existentes enfrentan limitaciones significativas:

• Automatización Tradicional: Las herramientas deterministas o basadas en heurísticas (por ejemplo, DeepExploit) dependen de reglas rígidas y luchan con configuraciones no vistas o información incompleta.
• Aprendizaje por Refuerzo (RL): Aunque son adaptables, los agentes basados en RL requieren espacios de acción simplificados (por ejemplo, "escanear puerto") y cantidades masivas de interacciones costosas con el entorno, lo que limita su transferibilidad a redes del mundo real.
• Enfoques Actuales con LLM: Los sistemas recientes (por ejemplo, VulnBot, PentestGPT) aprovechan Modelos de Lenguaje Grandes (LLM) pero a menudo dependen de modelos masivos y propietarios (por ejemplo, GPT-4o, LLaMA-70B). Esto resulta en:
  • Altos costos operativos y dependencias de API.
  • Escalabilidad y adaptabilidad limitadas a dominios específicos.
  • Problemas con alucinaciones, pérdida de contexto a través de flujos de trabajo multi-etapa y mala traducción de comandos en escenarios complejos.

Existe una necesidad urgente de una solución eficiente en costos, escalable y reproducible que utilice modelos más pequeños y de código abierto, ajustados específicamente para la naturaleza multi-fase de las pruebas de penetración.

2. Metodología: El Marco xOffense

xOffense es un marco de agentes múltiples autónomo impulsado por IA diseñado para transformar las pruebas de penetración guiadas por expertos en un flujo de trabajo completamente automatizado. Reemplaza la dependencia de modelos masivos de propósito general con un LLM de escala media adaptado al dominio.

Arquitectura Central

El sistema descompone la tubería de pentesting en tres fases especializadas, coordinadas por un Orquestador de Tareas:

1. Reconocimiento: Los agentes recopilan inteligencia (hosts, puertos, servicios) utilizando herramientas como Nmap, Dirb y Gobuster.
2. Escaneo de Vulnerabilidades: Los agentes correlacionan los hallazgos con bases de datos CVE/CWE utilizando herramientas como Nikto, WPScan y sqlmap.
3. Explotación: Los agentes generan y prueban cargas útiles para obtener acceso o escalar privilegios utilizando Metasploit, Hydra y scripts personalizados.

Componentes Técnicos Clave

• LLM de Escala Media Adaptado al Dominio:

  • Modelo Base: Qwen3-32B (32 mil millones de parámetros, código abierto).
  • Ajuste Fino: El modelo se ajusta fino utilizando LoRA (Adaptación de Bajo Rango) con datos de razonamiento de Cadena de Pensamiento (CoT).
  • Datos de Entrenamiento: Un conjunto de datos curado que comprende más de 1,000 informes técnicos de máquinas de plataformas como HackTheBox y TryHackMe, más el conjunto de datos WhiteRabbitNeo. Los datos incluyen trazas sintéticas de CoT para enseñar deducción lógica estructurada paso a paso.
  • Optimización: El entrenamiento utilizó DeepSpeed ZeRO-3 y FlashAttention v2 para manejar el modelo de 32 mil millones de parámetros de manera eficiente en hardware estándar (NVIDIA A100).

• Estrategia de Prompts de Caja Gris:

  • A diferencia de las pruebas de caja negra puras, se proporcionan a los agentes conocimientos parciales del sistema (por ejemplo, pistas de protocolo, servicios observados, resúmenes de escaneos anteriores).
  • Esta estrategia de "caja gris" equilibra el realismo con la efectividad, reduciendo la pérdida de contexto entre fases sin revelar los internos completos del sistema.

• Orquestación y Reflexión de Agentes Múltiples:

  • Grafo de Coordinación de Tareas (TCG): Un grafo acíclico estructurado que define tareas, dependencias y estado de ejecución.
  • Mecanismo de Verificación y Reflexión: Si una tarea falla, el orquestador activa un bucle de reflexión. Recupera casos exitosos similares de un Repositorio de Conocimiento (usando RAG) y regenera el plan con parámetros corregidos o estrategias alternativas.
  • Agregador de Información: Consolida las salidas verbosas de las herramientas en resúmenes concisos para que quepan dentro de la ventana de contexto del LLM (16k tokens), previniendo la sobrecarga de información.

• Entorno de Ejecución:

  • Se ejecuta en una VM de Kali Linux con un sistema de gestión de contexto mejorado por MemAgent para manejar salidas largas de herramientas procesándolas en fragmentos.

3. Contribuciones Clave

1. Sistema de Agentes Múltiples Impulsado por IA: Un marco novedoso donde agentes especializados (Recon, Escaneo, Explotación) colaboran a través de un TCG, emulando flujos de trabajo de equipos rojos humanos con modularidad y tolerancia a fallos.
2. LLM de Escala Media Adaptado al Dominio: Demuestra que un modelo de código abierto de 32 mil millones de parámetros (Qwen3-32B), cuando se ajusta fino con datos de pentesting de CoT, supera a modelos mucho más grandes (por ejemplo, LLaMA-3-405B) en tareas de seguridad especializadas.
3. Estrategia de Prompts de Caja Gris: Introduce un mecanismo de prompts consciente del contexto que integra señales ambientales para mantener la continuidad de la fase mientras preserva las restricciones de prueba.
4. Validación Empírica Exhaustiva: Evaluación rigurosa en dos benchmarks principales (AutoPenBench y AI-Pentest-Benchmark) que prueban la eficacia del enfoque.

4. Resultados Experimentales

El marco fue evaluado frente a líneas base de última generación (GPT-4o, LLaMA-3-70B/405B, VulnBot, PentestGPT) en AutoPenBench (33 tareas) y AI-Pentest-Benchmark (13 máquinas del mundo real).

• Completación General de Tareas:

  • xOffense (Qwen3-32B-ajustado) logró una tasa de completación general del 72.72%.
  • Esto superó significativamente al Qwen3-32B base (30.30%), LLaMA-3-405B (30.30%) y GPT-4o (21.21%).
  • En categorías específicas como Control de Acceso (AC), xOffense logró un 100% de éxito, en comparación con el 60% de LLaMA-3-405B.

• Completación de Sub-tareas (Robustez):

  • Experimento Único: xOffense logró una tasa de completación de sub-tareas del 79.17%, superando a LLaMA-3-405B (69.05%).
  • Cinco Experimentos (Consistencia): xOffense mantuvo una tasa de completación del 60.94%, significativamente más alta que LLaMA-3-405B (49.90%) y el modelo base (23.03%).

• Explotación del Mundo Real (AI-Pentest-Benchmark):

  • Sin RAG, xOffense logró resultados competitivos o superiores en 4 de 6 máquinas vulnerables del mundo real en comparación con las líneas base de VulnBot.
  • Con RAG (Repositorio de Conocimiento), xOffense logró una completación del 100% en "Victim1" y "WestWild", demostrando que la augmentación de recuperación combinada con el ajuste fino cierra efectivamente la brecha con los marcos asistidos por humanos.

5. Significado e Implicaciones

• Eficiencia de Costos y Accesibilidad: xOffense demuestra que las pruebas de penetración autónomas de alto rendimiento no requieren modelos propietarios masivos y costosos. Permite el despliegue en hardware estándar utilizando modelos de código abierto, democratizando la automatización avanzada de seguridad.
• La Adaptación al Dominio es Crítica: Los resultados destacan que para tareas especializadas como el pentesting, ajustar fino un modelo de escala media con razonamiento específico del dominio (CoT) es más efectivo que usar un modelo más grande y de propósito general sin adaptación.
• Escalabilidad y Reproducibilidad: El marco ofrece un enfoque reproducible y estructurado para las pruebas de seguridad autónomas, abordando los problemas de "pérdida de contexto" y "alucinación" comunes en los agentes actuales basados en LLM.
• Impacto Defensivo: Al automatizar el descubrimiento de vulnerabilidades, xOffense puede ayudar a los equipos de seguridad a identificar y remediar debilidades más rápido, fortaleciendo finalmente la postura de seguridad de los sistemas modernos.

Conclusión: xOffense representa un cambio de paradigma en las pruebas de penetración autónomas, demostrando que un sistema de agentes múltiples cuidadosamente orquestado y adaptado al dominio, que utiliza LLMs de código abierto de escala media, puede superar a las soluciones propietarias de última generación tanto en efectividad como en fiabilidad.