xOffense: An Autonomous Multi-Agent Framework for Penetration Testing with Domain-Adapted Large Language Models

1. Declaração do Problema

A automação de testes de penetração (pentest) é crítica para avaliar a segurança da informação moderna, mas as soluções existentes enfrentam limitações significativas:

• Automação Tradicional: Ferramentas determinísticas ou baseadas em heurísticas (por exemplo, DeepExploit) dependem de regras rígidas e têm dificuldade com configurações não vistas ou informações incompletas.
• Aprendizado por Reforço (RL): Embora adaptáveis, agentes baseados em RL exigem espaços de ação simplificados (por exemplo, "escanear porta") e quantidades massivas de interações caras com o ambiente, limitando sua transferibilidade para redes do mundo real.
• Abordagens Atuais com LLMs: Sistemas recentes (por exemplo, VulnBot, PentestGPT) utilizam Modelos de Linguagem de Grande Escala (LLMs), mas frequentemente dependem de modelos massivos e proprietários (por exemplo, GPT-4o, LLaMA-70B). Isso resulta em:
  • Altos custos operacionais e dependência de APIs.
  • Escalabilidade e adaptabilidade limitadas a domínios específicos.
  • Problemas com alucinações, perda de contexto em fluxos de trabalho multiestágio e tradução inadequada de comandos em cenários complexos.

Há uma necessidade urgente de uma solução eficiente em custos, escalável e reproduzível que utilize modelos menores e de código aberto, ajustados especificamente para a natureza multifásica dos testes de penetração.

2. Metodologia: O Framework xOffense

O xOffense é um framework multi-agente autônomo orientado por IA, projetado para transformar pentests conduzidos por especialistas em um fluxo de trabalho totalmente automatizado. Ele substitui a dependência de modelos gerais massivos por um LLM de escala média adaptado ao domínio.

Arquitetura Central

O sistema decompõe o pipeline de pentest em três fases especializadas, coordenadas por um Orquestrador de Tarefas:

1. Reconhecimento: Agentes coletam inteligência (hosts, portas, serviços) usando ferramentas como Nmap, Dirb e Gobuster.
2. Varredura de Vulnerabilidades: Agentes correlacionam descobertas com bancos de dados CVE/CWE usando ferramentas como Nikto, WPScan e sqlmap.
3. Exploração: Agentes geram e testam payloads para obter acesso ou escalar privilégios usando Metasploit, Hydra e scripts personalizados.

Componentes Técnicos Chave

• LLM de Escala Média Adaptado ao Domínio:

  • Modelo Base: Qwen3-32B (32 bilhões de parâmetros, código aberto).
  • Ajuste Fino (Fine-Tuning): O modelo é ajustado usando LoRA (Adaptação de Baixo Rango) com dados de raciocínio de Cadeia de Pensamento (CoT).
  • Dados de Treinamento: Um conjunto de dados curado composto por mais de 1.000 relatórios técnicos de máquinas de plataformas como HackTheBox e TryHackMe, além do conjunto de dados WhiteRabbitNeo. Os dados incluem traços sintéticos de CoT para ensinar dedução lógica estruturada e passo a passo.
  • Otimização: O treinamento utilizou DeepSpeed ZeRO-3 e FlashAttention v2 para lidar com o modelo de 32 bilhões de parâmetros eficientemente em hardware padrão (NVIDIA A100).

• Prompting de Fase de Caixa Cinza:

  • Diferentemente do teste de caixa preta puro, os agentes recebem insights parciais do sistema (por exemplo, dicas de protocolo, serviços observados, resumos de varreduras anteriores).
  • Essa estratégia de "caixa cinza" equilibra realismo com eficácia, reduzindo a perda de contexto entre as fases sem revelar os internos completos do sistema.

• Orquestração Multi-Agente e Reflexão:

  • Grafo de Coordenação de Tarefas (TCG): Um grafo acíclico estruturado definindo tarefas, dependências e status de execução.
  • Mecanismo de Verificação e Reflexão: Se uma tarefa falhar, o orquestrador aciona um loop de reflexão. Ele recupera casos semelhantes bem-sucedidos de um Repositório de Conhecimento (usando RAG) e regenera o plano com parâmetros corrigidos ou estratégias alternativas.
  • Agregador de Informações: Consolida saídas verbosas de ferramentas em resumos concisos para caber na janela de contexto do LLM (16k tokens), prevenindo sobrecarga de informações.

• Ambiente de Execução:

  • Executa em uma VM Kali Linux com um sistema de gerenciamento de contexto aprimorado por MemAgent para lidar com saídas longas de ferramentas processando-as em blocos.

3. Contribuições Principais

1. Sistema Multi-Agente Orientado por IA: Um framework inovador onde agentes especializados (Recon, Scan, Exploit) colaboram via um TCG, emulando fluxos de trabalho de equipes vermelhas humanas com modularidade e tolerância a falhas.
2. LLM de Escala Média Adaptado ao Domínio: Demonstra que um modelo de código aberto de 32 bilhões de parâmetros (Qwen3-32B), quando ajustado com dados de pentest de CoT, supera modelos muito maiores (por exemplo, LLaMA-3-405B) em tarefas de segurança especializadas.
3. Estratégia de Prompting de Caixa Cinza: Introduz um mecanismo de prompting consciente do contexto que integra pistas ambientais para manter a continuidade da fase, preservando ao mesmo tempo as restrições de teste.
4. Validação Empírica Extensa: Avaliação rigorosa em dois principais benchmarks (AutoPenBench e AI-Pentest-Benchmark) provando a eficácia da abordagem.

4. Resultados Experimentais

O framework foi avaliado contra baselines de última geração (GPT-4o, LLaMA-3-70B/405B, VulnBot, PentestGPT) no AutoPenBench (33 tarefas) e no AI-Pentest-Benchmark (13 máquinas do mundo real).

• Conclusão Geral de Tarefas:

  • O xOffense (Qwen3-32B-ajustado) alcançou uma taxa de conclusão geral de 72,72%.
  • Isso superou significativamente o Qwen3-32B base (30,30%), o LLaMA-3-405B (30,30%) e o GPT-4o (21,21%).
  • Em categorias específicas como Controle de Acesso (AC), o xOffense alcançou 100% de sucesso, comparado a 60% para o LLaMA-3-405B.

• Conclusão de Sub-Tarefas (Robustez):

  • Única Experimentação: O xOffense alcançou uma taxa de conclusão de sub-tarefas de 79,17%, superando o LLaMA-3-405B (69,05%).
  • Cinco Experimentos (Consistência): O xOffense manteve uma taxa de conclusão de 60,94%, significativamente maior que o LLaMA-3-405B (49,90%) e o modelo base (23,03%).

• Exploração do Mundo Real (AI-Pentest-Benchmark):

  • Sem RAG, o xOffense alcançou resultados competitivos ou superiores em 4 de 6 máquinas vulneráveis do mundo real em comparação com as baselines do VulnBot.
  • Com RAG (Repositório de Conhecimento), o xOffense alcançou 100% de conclusão em "Victim1" e "WestWild", demonstrando que a augmentação de recuperação combinada com ajuste fino efetivamente preenche a lacuna para frameworks assistidos por humanos.

5. Significado e Implicações

• Eficiência de Custos e Acessibilidade: O xOffense prova que pentesting autônomo de alto desempenho não requer modelos proprietários massivos e caros. Ele permite a implantação em hardware padrão usando modelos de código aberto, democratizando a automação avançada de segurança.
• Adaptação ao Domínio é Crítica: Os resultados destacam que, para tarefas especializadas como pentesting, ajustar finamente um modelo de escala média com raciocínio específico do domínio (CoT) é mais eficaz do que usar um modelo maior e de propósito geral sem adaptação.
• Escalabilidade e Reprodutibilidade: O framework oferece uma abordagem reproduzível e estruturada para testes de segurança autônomos, abordando os problemas de "perda de contexto" e "alucinação" comuns em agentes atuais baseados em LLMs.
• Impacto Defensivo: Ao automatizar a descoberta de vulnerabilidades, o xOffense pode ajudar equipes de segurança a identificar e remediar fraquezas mais rapidamente, fortalecendo finalmente a postura de segurança de sistemas modernos.

Conclusão: O xOffense representa uma mudança de paradigma nos testes de penetração autônomos, demonstrando que um sistema multi-agente cuidadosamente orquestrado e adaptado ao domínio, usando LLMs de código aberto de escala média, pode superar soluções proprietárias de última geração tanto em eficácia quanto em confiabilidade.