Towards Automated Pentesting with Large Language Models

1. Problema e Motivação

O artigo aborda o desafio de automatizar o processo de testes de penetração (pentesting), especificamente na geração de código ofensivo para o ambiente Microsoft Windows (PowerShell).

• Contexto: Modelos de Linguagem de Grande Escala (LLMs) estão a ser utilizados por atacantes maliciosos (através de "Dark LLMs" como WolfGPT) para gerar código malicioso. No entanto, os pentesters éticos enfrentam dificuldades para automatizar a criação de payloads ofensivos devido à escassez de dados de treino públicos e à necessidade de ferramentas que respeitem a privacidade e a eficiência de hardware.
• Limitações Atuais: As abordagens existentes muitas vezes dependem de pré-treinamento massivo (custoso em recursos), utilizam modelos proprietários (que não garantem privacidade de dados sensíveis de auditoria) ou baseiam-se em templates rígidos que limitam a flexibilidade. Além disso, existe uma falta de conjuntos de dados abrangentes e atualizados de código PowerShell ofensivo mapeados para o framework MITRE ATT&CK.

2. Metodologia

Os autores propõem o RedShell, um framework de geração de código ofensivo que combina a privacidade, eficiência de hardware e especialização de domínio.

• Construção do Dataset (Ground Truth):
  • Os autores criaram e expandiram um conjunto de dados de ground truth contendo snippets de PowerShell maliciosos associados a descrições em linguagem natural.
  • O dataset original (baseado em trabalhos anteriores) foi expandido com 1.135 novos amostras, totalizando mais de 2.200 exemplos.
  • O novo dataset cobre os 14 táticos do MITRE ATT&CK, incluindo módulos ofensivos como Nishang, PowerUpSQL e MicroBurst, e foi classificado manualmente para garantir alinhamento com técnicas reais de pentesting.
• Arquitetura e Modelos:
  • O framework utiliza três modelos LLMs de código aberto e pesos disponíveis: Qwen2.5-7B, Qwen2.5-Coder-7B-Instruct e Llama3.1-8B.
  • Estratégia de Treino: Em vez de pré-treinamento massivo, utilizou-se Fine-Tuning local com a técnica LoRA (Low-Rank Adaptation) através do framework Unsloth. Isso permite o ajuste de apenas um pequeno subconjunto de pesos, reduzindo drasticamente os requisitos de VRAM e tempo de treino.
  • Hardware: O treino foi realizado numa única GPU (NVIDIA RTX 4090), demonstrando viabilidade em hardware de consumo.
  • Privacidade: Todo o processo (treino e inferência) ocorre localmente, garantindo que dados sensíveis de auditoria (IPs, hostnames) nunca saiam do ambiente do pentester.

3. Contribuições Principais

1. RedShell: Um framework modular e eficiente para gerar código PowerShell ofensivo, projetado para ser adaptável a outras linguagens (ex: Assembly) substituindo apenas o dataset e o validador de sintaxe.
2. Dataset Expandido: A criação de um dataset de referência robusto e atualizado, com cobertura completa das táticas MITRE ATT&CK, superando as limitações de datasets anteriores.
3. Abordagem Eficiente: Demonstrar que é possível obter alto desempenho na geração de código malicioso sem o custo computacional de pré-treinamento, utilizando apenas fine-tuning local e técnicas de otimização de hardware.
4. Análise Ética e Prática: Avaliação rigorosa da eficácia do código gerado em cenários de teste reais, contrastando com modelos proprietários e discutindo os riscos e benefícios éticos.

4. Resultados e Avaliação

Os experimentos foram divididos em três categorias: sintática, semântica e funcional.

• Avaliação Sintática:
  • O framework alcançou >90% de validade sintática (sem erros de parse), com o modelo Qwen2.5-Coder atingindo mais de 95%.
  • O código gerado foi analisado pelo PSScriptAnalyzer, identificando que, embora sintaticamente válidos, os modelos tendem a gerar avisos de segurança (ex: uso de aliases ou Invoke-Expression), o que é esperado num contexto ofensivo.
• Avaliação Semântica:
  • O RedShell superou modelos de referência (CodeGPT, CodeGen, CodeT5+) e modelos proprietários (ChatGPT-3.5, DeepSeek) em métricas de similaridade de saída.
  • Destaque para a Distância de Edição (Edit Distance), onde o modelo alcançou uma similaridade média de código superior a 50% com os snippets de referência, indicando alta fidelidade às técnicas de ataque desejadas.
  • O modelo treinado no dataset expandido mostrou melhorias significativas em métricas como BLEU e Exact Match.
• Avaliação Funcional:
  • Em um ambiente isolado simulando um cenário de post-exploitation (duas VMs, Linux e Windows), o RedShell demonstrou 100% de correção na aderência às metodologias de ataque (ex: uso correto de argumentos, download de scripts para RAM).
  • O modelo foi capaz de executar tarefas multi-etapa (como escaneamento de portas, força bruta e movimento lateral) com eficácia comparável ao ChatGPT, mas com maior precisão técnica e sem bloqueios éticos que impedem a geração de payloads.

5. Significado e Conclusão

O trabalho demonstra que os LLMs podem ser ferramentas poderosas para a cibersegurança defensiva quando aplicados de forma controlada e ética.

• Impacto: O RedShell prova que pentesters podem automatizar a criação de payloads complexos de forma rápida e privada, sem depender de serviços na nuvem que podem vazar dados confidenciais.
• Segurança: Ao entender como os LLMs podem gerar código ofensivo, os defensores podem desenvolver melhores mecanismos de detecção e mitigação.
• Futuro: Os autores sugerem a extensão deste trabalho para outras linguagens de exploração (como Assembly) e a integração do framework em agentes autônomos de pentesting mais amplos.

Em suma, o artigo valida que, com dados de treino adequados e técnicas de fine-tuning eficientes, é possível criar assistentes de IA especializados que superam modelos genéricos na geração de código ofensivo, oferecendo uma vantagem estratégica para a comunidade de testes de penetração.