Resumo Técnico: Aprendizado de Políticas de Teste de Penetração Robustas sob Observabilidade Parcial

Definição do Problema

O teste de penetração (pentest) é um processo de tomada de decisão sequencial onde profissionais de segurança simulam ataques cibernéticos para identificar vulnerabilidades. Esta tarefa é inerentemente caracterizada por observabilidade parcial; os agentes não têm acesso ao estado completo da rede (topologia, configurações de hosts, serviços em execução), mas devem descobrir essa informação incrementalmente através de ações de reconhecimento. Embora o Aprendizado por Reforço (RL) tenha sido aplicado com sucesso para automatizar o pentest, a maioria das abordagens existentes formaliza o problema como um Processo de Decisão de Markov (MDP) totalmente observável. Essa suposição simplifica excessivamente as condições do mundo real, onde a coleta de informações é um componente central da tarefa. Além disso, os métodos atuais frequentemente sofrem de overfitting (sobreajuste), onde os agentes memorizam configurações de rede específicas em vez de aprender políticas transferíveis que se generalizem para cenários não vistos. O desafio reside em desenvolver agentes que possam agregar efetivamente observações históricas para construir um estado de crença (belief state), adaptar-se a dinâmicas de rede estocásticas e generalizar através de diferentes tamanhos e topologias de rede.

Metodologia

Ambiente: StochNASim

Os autores estendem o Network Attack Simulator (NASim) para criar o StochNASim, um novo ambiente projetado para refletir melhor a complexidade do mundo real. As principais modificações incluem:

• Estocasticidade: Diferente do NASim, que utiliza topologias fixas, o StochNASim regenera a topologia da rede, propriedades dos hosts (SO, serviços, processos) e estados iniciais a cada reset de episódio.
• Tamanhos de Rede Variáveis: O ambiente suporta redes de tamanhos variados (5 a 8 hosts), forçando o agente a lidar com diferentes dimensões de espaço de ação e contagens de observação dentro de uma única política.
• Observabilidade Parcial: As observações são transitórias e específicas de cada ação. Escanear um host revela seus atributos (ex: SO, serviços) apenas naquele momento; sem mecanismos de memória explícitos, essa informação é perdida nas etapas subsequentes.
• Estrutura de Recompensa: O agente é recompensado por descobrir hosts e comprometer alvos sensíveis, sendo penalizado pelo custo das ações (scans são mais baratos que exploits).

Abordagens Algorítmicas

O estudo conduz uma avaliação empírica sistemática de variantes de Otimização de Política Próxima (PPO) projetadas para lidar com a observabilidade parcial, comparando-as contra uma linha de base PPO vanilla (que carece de mecanismos de memória específicos). Os métodos avaliados incluem:

1. Empilhamento de Frames (PPO-FS): Concatena as últimas $f_n$ observações para fornecer contexto temporal de curto prazo.
2. Observações Aumentadas (PPO-AO): Agrega explicitamente o histórico de observações mantendo uma matriz onde cada elemento é o máximo entre o valor atual e o valor anterior. Isso cria um registro persistente de informações descobertas, mimetizando como pentesters humanos mantêm notas.
3. Arquiteturas Recorrentes:
   • LSTM (PPO-LSTM): Utiliza redes de Memória de Longo Prazo para codificar implicitamente o histórico de observações.
   • Transformer-XL (PPO-TrXL): Emprega mecanismos de atenção para capturar dependências de longo prazo na sequência de observações.

Configuração Experimental

• Ajuste de Hiperparâmetros: Uma busca rigorosa usando Optuna (250 tentativas por algoritmo) foi realizada para garantir uma comparação justa e evitar artefatos de ajuste.
• Avaliação: As políticas foram testadas em cinco sementes de controle e avaliadas em ambientes gerados novos para medir a generalização.
• Análise: Além de métricas quantitativas (recompensa cumulativa, velocidade de convergência), os autores realizaram análise qualitativa via visualização de sequência de ações e distribuição de tipos de ação para entender as estratégias aprendidas.

Principais Resultados

Desempenho e Convergência

• Superioridade do PPO-AO: A abordagem PPO-AO (Observações Aumentadas) superou consistentemente todos os outros métodos. Ela convergiu quatro vezes mais rápido que as demais abordagens (atingindo o desempenho ideal em ~1M de passos vs. 4M de passos para as outras) e alcançou as maiores recompensas cumulativas.
• Arquiteturas Complexas com Desempenho Inferior: Contrário à suposição de que mecanismos de memória complexos são necessários para POMDPs, o PPO-LSTM e o PPO-TrXL tiveram desempenho inferior. O PPO-TrXL notavelmente falhou em aprender comportamentos de scan, adotando, em vez disso, uma estratégia de "força bruta" de tentar sequencialmente todos os exploits possíveis. O PPO-LSTM teve dificuldade em aprender representações de histórico eficazes, exigindo quase o dobro de passos para completar tarefas em comparação ao PPO-AO.
• Limitações da Linha de Base: O PPO vanilla, carecendo de qualquer mecanismo de histórico, aprendeu políticas subótimas caracterizadas por alta estocasticidade e incerteza, falhando em generalizar efetivamente.

Generalização e Estocasticidade

• Robustez: Políticas treinadas no ambiente estocástico StochNASim demonstraram forte generalização para configurações de rede não vistas.
• Overfitting em Ambientes Estáticos: Um achado crítico foi que políticas treinadas em ambientes de cenário fixo (como o padrão NASim) falharam catastroficamente quando testadas em novas redes. Esses agentes pareceram memorizar sequências específicas de observação-ação (estratégia de tabela de consulta/lookup-table) em vez de aprender a agregar informações, destacando a necessidade de ambientes de treinamento estocásticos para um aprendizado de política robusto.

Análise Comportamental Qualitativa

A inspeção manual das políticas aprendidas revelou diferenças estratégicas distintas, apesar de recompensas finais semelhantes em alguns casos:

• PPO-AO: Aprendeu uma estratégia ótima e humana: escanear sistematicamente para coletar inteligência, reter essa informação e então executar exploits direcionados.
• PPO-TrXL: Aprendeu uma abordagem de força bruta, tentando cada exploit e escalada de privilégio sequencialmente sem reconhecimento prévio.
• PPO-FS: Mostrou um comportamento intermediário, realizando algum scan, mas dependendo fortemente de exploração sequencial.

Significância e Contribuições

O artigo reivindica quatro contribuições primárias:

1. Ambiente StochNASim: A adaptação do NASim para um ambiente parcialmente observável e estocástico com tamanhos de rede variáveis, que reflete melhor os desafios do mundo real e facilita o aprendizado de políticas transferíveis.
2. Avaliação Sistemática: Uma comparação empírica abrangente de abordagens baseadas em PPO para lidar com a observabilidade parcial em testes de penetração, incluindo ajuste rigoroso de hiperparâmetros.
3. Desafio à Complexidade Arquitetural: A demonstração de que o aumento simples de observação (PPO-AO) supera significativamente arquiteturas recorrentes (LSTM) e de transformer (TrXL) complexas neste domínio. Isso desafia a suposição convencional de que mecanismos de memória sofisticados são necessários para o processo de decisão eficaz em tarefas de segurança parcialmente observáveis.
4. Análise de Política Qualitativa: A provisão de uma análise detalhada dos comportamentos aprendidos, revelando que algoritmos com desempenhos quantitativos semelhantes podem aprender estratégias vastamente diferentes (e às vezes subótimas), enfatizando a necessidade de olhar além das curvas de aprendizado ao avaliar agentes de RL.

Os autores concluem que, para o domínio específico de testes de penetração automatizados, onde o objetivo é a recuperação e retenção de informações, a agregação de histórico explícita via aumento simples é mais eficaz e computacionalmente eficiente do que aprender representações implícitas através de arquiteturas neurais complexas. Além disso, o estudo ressalta que ambientes de treinamento estocásticos são cruciais para prevenir o overfitting e garantir que as políticas sejam robustas o suficiente para implantação no mundo real.