Resumo Técnico: Pen-Strategist

Declaração do Problema

O cenário de cibersegurança enfrenta uma escassez crítica de profissionais qualificados, tornando a automação de testes de penetração (pentest) essencial. Embora esforços recentes tenham utilizado agentes de Modelos de Linguagem de Grande Escala (LLM) para automatizar tarefas de segurança, os frameworks existentes sofrem com três limitações fundamentais:

1. Formulação Pobre de Estratégia: Os agentes frequentemente falham em selecionar estratégias eficazes em diferentes etapas de pentest, levando a uma cobertura limitada da superfície de ataque e exigindo intervenção humana constante.
2. Preocupações com Privacidade e Custos: A dependência de APIs comerciais externas de LLMs exige a transmissão de estruturas de rede sensíveis e dados de vulnerabilidade para servidores de terceiros, levantando questões de privacidade e custos operacionais.
3. Instabilidade de Execução: Os agentes frequentemente exibem alucinações, selecionando ferramentas incorretas ou indisponíveis, o que interrompe a execução de ataques em múltiplas etapas.

Os conjuntos de dados e modelos atuais carecem das capacidades específicas de raciocínio necessárias para derivar estratégias lógicas de pentest ou prever etapas acionáveis com alta confiabilidade.

Metodologia

Os autores propõem o Pen-Strategist, um framework modular consistindo em dois modelos especializados projetados para operar localmente, preservando assim a privacidade dos dados.

1. Curadoria do Conjunto de Dados

A base do framework é um conjunto de dados inovador centrado em raciocínio, contendo 2.165 pontos de dados derivados de 240 máquinas Hack-The-Box (HTB) e VulnHub. O conjunto de dados foi curado através de:

• Coleta Manual: Anotadores humanos seguiram tutoriais para 40 máquinas, registrando estratégias, explicações lógicas e ações passo a passo.
• Coleta Automatizada: Usando o Claude Code, o conjunto de dados foi expandido para 200 máquinas adicionais, convertendo write-ups existentes em um formato estruturado.
• Estrutura de Dados: Cada entrada inclui uma Árvore de Teste de Penetração (PTT) resumindo o ambiente, etapas/resultados anteriores, a estratégia derivada com raciocínio lógico, a próxima etapa específica e os servidores de Protocolo de Contexto do Modelo (MCP) necessários (ferramentas) para executá-la.

2. Arquitetura do Modelo

O framework emprega dois modelos distintos:

• Modelo de Estratégia (Raciocínio):

  • Base: Qwen-3-14B (código aberto).
  • Treinamento: Ajustado finamente usando Otimização de Política Relativa em Grupo (GRPO), uma técnica de aprendizado por reforço.
  • Objetivo: Derivar logicamente a próxima estratégia de pentest com base na PTT e nas descobertas anteriores.
  • Funções de Recompensa: O modelo é otimizado usando quatro componentes de recompensa: similaridade semântica/lógica com a verdade fundamental (avaliada via G-Eval), adesão a um padrão de saída específico, restrições de comprimento de geração e consistência de idioma.

• Modelo de Etapa (Classificação de Ação):

  • Arquitetura: Uma Rede Neural Convolucional (CNN) de duas cabeças construída sobre embeddings GPT-2 congelados.
  • Objetivo: Classificar a estratégia gerada em uma etapa acionável específica e prever os servidores MCP necessários (por exemplo, Nmap, Metasploit, Dirbuster).
  • Treinamento: Uma tarefa de classificação multirrótulo usando perda de entropia cruzada para previsão de etapa e entropia cruzada binária para seleção de servidor MCP. Essa separação visa reduzir alucinações relacionadas à disponibilidade de ferramentas.

Contribuições Principais

1. Framework Pen-Strategist: Um sistema inovador de dois modelos para derivação de estratégia lógica e previsão de próxima ação em pentest.
2. Conjunto de Dados Inovador: O primeiro conjunto de dados de seu tipo contendo explicações de raciocínio lógico tanto para derivação de estratégia quanto para seleção de etapas em 240 máquinas vulneráveis.
3. Ganhos de Desempenho via RL: Demonstrou que o ajuste fino de um modelo de código aberto (Qwen-3-14B) com GRPO produz uma melhoria de 87% no desempenho de derivação de estratégia sobre o modelo base.
4. Previsão de Etapa Superior: O modelo de Etapa treinado alcança 82,8% de precisão na previsão de etapas, superando os LLMs comerciais por uma margem significativa (melhoria de 28% em métricas específicas).
5. Integração e Generalização: Integrado com sucesso em frameworks existentes (PentestGPT, AutoPentester, VulnBot), mostrando melhorias substanciais nas taxas de conclusão de subtarefas e generalizando bem para desafios CTF (benchmark CTFKnow).

Resultados Experimentais

Derivação de Estratégia

No conjunto de teste retido, o Pen-Strategist ajustado finamente (Qwen-3-14B-GRPO) alcançou uma pontuação de similaridade GEval de 0,73 para estratégia e 0,71 para explicação. Isso supera a melhor linha de base comercial, Claude-4.5-Sonnet (0,65/0,72), e representa uma melhoria de 87% sobre o modelo base Qwen-3-14B.

Previsão de Etapa e Ferramenta

O Modelo de Etapa alcançou 82,87% de precisão na previsão de etapas e uma pontuação Micro F1 de 48,88% na previsão de servidor MCP. Isso supera significativamente todos os modelos comerciais avaliados (por exemplo, GPT-5, Claude-4.5), que lutaram com a seleção precisa de ferramentas.

Integração de Framework

Quando integrado ao PentestGPT, AutoPentester e VulnBot, o framework melhorou a taxa de conclusão de subtarefas em 47,5% em média em seis máquinas HTB em comparação com o uso do GPT-5 como backend.

Generalização entre Tarefas

• Benchmark CTFKnow: O modelo ajustado finamente alcançou uma taxa de sucesso de 85,71%, estreitando a lacuna com o GPT-4o (87,83%) e superando o Qwen-3-14B base (72,38%).
• PicoCTF: No framework PentestGPT, o modelo ajustado finamente resolveu 17 desafios, comparado a 5 para o modelo base e 13 para o GPT-5.

Avaliação Humana

Em uma pesquisa com 12 profissionais de segurança, o Pen-Strategist foi selecionado como a estratégia preferida em 52,4% dos casos (subconjunto de alta confiança), superando o Claude-4.6-Sonnet (47,6%) e o GPT-5 (0,0%). Especialistas elogiaram o modelo por sua clareza, falta de verificações redundantes e capacidade de fornecer caminhos acionáveis e conscientes do contexto.

Significado e Alegações

O artigo afirma que o Pen-Strategist aborda a lacuna crítica na automação de pentest fornecendo uma solução implantável localmente e que preserva a privacidade, que não depende de APIs externas. Ao desacoplar o raciocínio lógico (Modelo de Estratégia) da seleção de ferramentas (Modelo de Etapa), o framework reduz significativamente falhas de execução e alucinações.

Os autores enfatizam que, enquanto frameworks agênticos existentes frequentemente falham devido à falta de raciocínio especializado, o Pen-Strategist demonstra que o aprendizado por reforço (GRPO) pode alinhar efetivamente modelos de código aberto com o raciocínio sequencial complexo e necessário para a cibersegurança. O framework oferece um caminho prático para testes de penetração automatizados e robustos que respeitam as restrições de localidade de dados, enquanto supera modelos comerciais proprietários maiores em tarefas específicas de raciocínio de segurança.