Towards Automated Pentesting with Large Language Models

Resumen Técnico: RedShell y la Automatización de Pentesting con LLMs

1. El Problema

El ciberataque ofensivo y la auditoría de seguridad (pentesting) enfrentan un desafío crítico: la generación de código ofensivo (como shellcode o scripts de PowerShell) requiere tiempo, esfuerzo y un alto nivel de expertise por parte de los pentesters. Aunque existen modelos de lenguaje grandes (LLMs) generales, su aplicación en la generación de código malicioso presenta varias limitaciones:

• Falta de datos ofensivos: Hay una escasez de conjuntos de datos públicos y curados de código ofensivo para entrenar modelos.
• Privacidad y Confidencialidad: El uso de LLMs propietarios (como ChatGPT) en auditorías de seguridad plantea riesgos de fuga de datos, ya que los prompts pueden revelar información sensible de los objetivos (IPs, nombres de host).
• Restricciones Éticas: Los modelos comerciales tienen "guardrails" éticos que bloquean la generación de código malicioso, lo que requiere técnicas complejas de jailbreaking o ingeniería de prompts para eludirlos, lo cual es ineficiente.
• Coste Computacional: Las estrategias de entrenamiento previas (como el pre-entrenamiento masivo o el uso de GANs) requieren recursos hardware masivos (múltiples GPUs), haciéndolos inaccesibles para muchos equipos de investigación o atacantes realistas.

2. Metodología: El Framework RedShell

Los autores presentan RedShell, un framework de generación de código ofensivo diseñado para ser privado, eficiente en hardware y especializado.

• Enfoque de Entrenamiento:

  • Utiliza Fine-Tuning (ajuste fino) en lugar de pre-entrenamiento desde cero.
  • Emplea la técnica LoRA (Low-Rank Adaptation) mediante la librería Unsloth, lo que permite ajustar solo un subconjunto de pesos del modelo, reduciendo drásticamente el consumo de VRAM y tiempo de entrenamiento.
  • Se ejecuta completamente en local (una sola GPU NVIDIA RTX 4090), garantizando que ningún dato de entrenamiento o inferencia salga del entorno de prueba.

• Selección de Modelos:
  Se seleccionaron y ajustaron tres modelos de código abierto (Open Weights) de menos de 8 mil millones de parámetros:

  1. Qwen2.5-7B (General).
  2. Qwen2.5-Coder-7B-Instruct (Especializado en código).
  3. Llama3.1-8B (Multilingüe).

• Construcción del Dataset (Ground Truth):

  • Partieron de un corpus de referencia existente (1.127 muestras) de código PowerShell malicioso.
  • Crearon un Dataset Extendido añadiendo 1.135 muestras nuevas, duplicando el tamaño del corpus.
  • Las nuevas muestras provienen de frameworks ofensivos (Nishang, PowerUpSQL, MicroBurst), retos CTF y repositorios de GitHub.
  • Se clasificaron manualmente siguiendo la taxonomía MITRE ATT&CK, cubriendo las 14 tácticas ofensivas (ej. Descubrimiento, Evasión de Defensa, Acceso a Credenciales).
  • El dataset se dividió en 90% para entrenamiento y 10% para prueba.

• Configuración de Entrenamiento:

  • Uso de batch size de 8, tasa de aprendizaje de $2 \times 10^{-4}$ y un scheduler coseno.
  • Prompt de contexto específico: "Actúa como un generador de PowerShell malicioso. Genera comandos en una sola línea separados por punto y coma...".

3. Contribuciones Clave

1. RedShell: Un framework modular y eficiente que automatiza la generación de payloads de PowerShell ofensivos para Windows, diseñado para ser replicable en otros lenguajes (ej. Assembly).
2. Dataset Extendido de PowerShell Malicioso: La creación y publicación de un conjunto de datos curado y ampliado, alineado con MITRE ATT&CK, que supera las limitaciones de cobertura de datasets anteriores.
3. Eficiencia de Hardware: Demostración de que es posible entrenar modelos ofensivos de alta calidad utilizando una sola GPU de consumo y técnicas de LoRA, eliminando la necesidad de clusters masivos de GPUs.
4. Privacidad Total: Un enfoque que elimina los riesgos de fuga de datos asociados con el uso de APIs de modelos propietarios durante las auditorías de seguridad.

4. Resultados

Los experimentos evaluaron la calidad sintáctica, semántica y funcional de los modelos ajustados:

• Evaluación Sintáctica:

  • Los modelos generaron código con >90% de validez sintáctica (sin errores de análisis).
  • Qwen2.5-Coder y Qwen2.5 lograron una precisión de análisis superior al 95%.
  • El modelo superó a modelos de referencia (CodeGPT, CodeGen, CodeT5+) que requirieron pre-entrenamiento masivo, a pesar de usar solo ajuste fino ligero.

• Evaluación Semántica:

  • Se utilizaron métricas estándar (BLEU, ROUGE-L, METEOR, Edit Distance, Exact Match).
  • RedShell (Qwen2.5-Coder) alcanzó una similitud de código promedio superior al 50% en métricas de distancia de edición, superando a modelos propietarios como ChatGPT-3.5 y DeepSeekChat-V3.
  • El entrenamiento con el dataset extendido mejoró significativamente la precisión en coincidencias exactas y superposición de n-gramas largos.

• Evaluación Funcional (Entorno Realista):

  • Se simuló un escenario de pentesting en una red aislada con máquinas virtuales Windows 10 y Linux.
  • Se probaron 10 etapas de ataque (desde desarrollo de recursos hasta escalada de privilegios).
  • Efectividad: El modelo ajustado localmente demostró una efectividad funcional comparable a ChatGPT.
  • Corrección: RedShell alcanzó un 100% de corrección en la alineación con las tácticas ofensivas esperadas, mientras que ChatGPT falló en la generación de payloads maliciosos debido a sus restricciones éticas o generó código menos preciso.
  • El modelo generó scripts que se ejecutaban en memoria (fileless), descargaban payloads y realizaban ataques de fuerza bruta sin intervención humana.

5. Significado e Implicaciones

• Para la Ciberseguridad Defensiva: Este trabajo subraya la necesidad de que los equipos "Blue Team" y las organizaciones de seguridad comprendan cómo los atacantes pueden utilizar LLMs automatizados para generar ataques sofisticados. RedShell sirve como una herramienta para simular estas amenazas de manera realista y controlada.
• Ética y Responsabilidad: Los autores reconocen el riesgo de mal uso (LLMs oscuros como WolfGPT o WormGPT). Sin embargo, argumentan que desarrollar y estudiar estas herramientas en entornos controlados es esencial para anticipar y mitigar futuras amenazas. RedShell se diseñó para excluir muestras destructivas directas, enfocándose en la exploración de vulnerabilidades.
• Futuro: El trabajo abre la puerta a la automatización completa de flujos de trabajo de pentesting y sugiere la expansión de la metodología a otros dominios de código malicioso (como shellcode en Assembly) y escenarios de ataque más complejos.

En conclusión, el artículo demuestra que es posible crear sistemas de IA ofensivos altamente efectivos, éticamente alineados con la auditoría de seguridad y técnicamente accesibles, desafiando la noción de que se necesitan recursos masivos o modelos propietarios para automatizar la generación de exploits.