Training Versus Hiring in Security Operations Centers: Agent-Based and Reinforcement Learning Simulations of Training Duration Effects on CyberTeam Performance

Resumo Técnico: Treinamento Versus Contratação em Centros de Operações de Segurança

Definição do Problema
Os Centros de Operações de Segurança (SOCs) enfrentam um dilema crítico de alocação de recursos: as organizações devem investir no treinamento de pessoal existente ou recrutar pessoal adicional? Embora pesquisas computacionais anteriores tenham examinado a composição estática de equipes (estrutura, tamanho e coesão) usando modelagem baseada em agentes, elas falharam amplamente em abordar a dinâmica temporal do desenvolvimento de equipes. Estudos existentes medem o desempenho em pontos temporais únicos, deixando uma lacuna na compreensão de como a duração do treinamento afeta as curvas de aprendizado, o ponto de retornos decrescentes e a eficácia comparativa de equipes pequenas treinadas versus equipes maiores não treinadas. Este estudo aborda essas lacunas incorporando dinâmicas temporais ao framework de Formação de Equipes Cibernéticas Colaborativas (CCTF) para simular como as equipes cibernéticas desenvolvem estratégias por meio de treinamento sustentado.

Metodologia
Os autores empregaram modelagem baseada em agentes usando NetLogo, aprimorada com Aprendizado por Reforço (RL) para simular trajetórias de aprendizado de equipes humanas. O estudo não investigou o RL como um objeto de melhoria, mas utilizou-o como uma ferramenta de modelagem para comprimir meses ou anos de prática de equipes humanas em milhares de episódios computacionais.

• Ambiente de Simulação: O ambiente modela um cenário de ataque e defesa cibernética em redes de 60 nós de escala livre (Barabási-Albert). Os atacantes visam comprometer um roteador central de alto grau, enquanto os defensores protegem a rede. A simulação é executada por até 1.000 ticks por episódio, terminando após o comprometimento central ou tempo limite (timeout).
• Tipos de Agentes:
  • Não Treinados (Baseline): Agentes heurísticos que seguem regras fixas e não adaptativas (ex: batedores coletam inteligência, exploradores atacam vulnerabilidades conhecidas). Estes representam equipes sem treinamento sustentado.
  • Treinados (RL): Agentes utilizando arquitetura Rainbow Deep Q-Network (DQN). Estes agentes aprendem através da experiência, recebendo recompensas por ações eficazes (infecção, comprometimento central) e penalidades por ações redundantes. Eles compartilham políticas dentro de funções (batedores compartilham uma política, exploradores compartilham outra) para simular o conhecimento tático coletivo.
• Protocolo de Treinamento: Os agentes de RL foram treinados por até 5.000 episódios usando um currículo progressivo que aumentava a dificuldade (de "muito fácil" para "misto/difícil") nos episódios 200 e 750.
• Avaliação: O desempenho foi medido em checkpoints específicos (100, 500, 1.000, 2.000 e 5.000 episódios) através de um ambiente de grade de 12 células variando a vulnerabilidade da rede e configurações de defesa. As métricas principais incluíram taxa de vitória (eficácia estratégica) e tempo para vencer (velocidade tática).
• Análise: O estudo calculou o Retorno sobre o Investimento (ROI) baseado no ganho de taxa de vitória por episódio e determinou o Tamanho de Equipe de Baseline Equivalente (EBTS) — o número de atacantes não treinados necessários para igualar a taxa de vitória de uma equipe treinada.

Principais Contribuições

1. Caracterização de Trajetórias de Aprendizado: O estudo mapeia a curva de aprendizado não linear de equipes cibernéticas, identificando três fases distintas de desenvolvimento.
2. Quantificação do Investimento Ótimo: Identifica a duração específica do treinamento que gera os maiores retornos marginais, fornecendo uma base orientada por dados para o planejamento de força de trabalho.
3. Equivalência de Eficácia: Estabelece limiares quantitativos comparando a eficiência de pequenas equipes treinadas contra equipes maiores não treinadas, oferecendo evidências para decisões de "treinamento vs. contratação".

Resultados
Os experimentos computacionais produziram três descobertas primárias:

1. Trajetória de Aprendizado Não Linear: O desempenho melhora através de três fases:

   • Exploração (100–500 episódios): Melhoria mínima; as taxas de vitória variam de 0,00 a 0,15. As equipes estão descobrindo mecânicas básicas, mas carecem de estratégias estáveis.
   • Aquisição de Habilidades (500–2.000 episódios): Ganhos rápidos; as taxas de vitória saltam de ~0,15 para ~0,57. Este é o período de maior velocidade de aprendizado.
   • Refinamento (2.000–5.000 episódios): Melhoria contínua, mas com retornos decrescentes; as taxas de vitória estabilizam entre 0,93 e 0,95.

2. Investimento de Treinamento Ótimo: O pico de ROI ocorre entre 500 e 1.000 episódios, onde as equipes ganham aproximadamente 6,7–8,3 pontos percentuais em taxa de vitória a cada 100 episódios. Além de 2.000 episódios, os ganhos marginais caem significativamente (em ~88–94% em comparação ao pico), embora o desempenho continue a melhorar ligeiramente.

3. Vantagens de Eficiência (Treinadas vs. Não Treinadas): Equipes treinadas alcançam vantagens substanciais de eficiência. Uma equipe de 5 atacantes treinados (mais 3 batedores) atinge níveis de desempenho equivalentes a equipes não treinadas que exigem 15 a 35 atacantes.

   • Em condições favoráveis, 5 atacantes treinados performam de forma equivalente a cerca de 25–30 atacantes não treinados.
   • Isso representa um multiplicador de eficiência de 3× a 7×, o que significa que um único atacante treinado realiza o trabalho de 3 a 7 pessoas não treinadas.
   • Consequentemente, um programa de treinamento completo de 5.000 episódios para uma pequena equipe pode substituir o recrutamento de aproximadamente 20–25 funcionários adicionais.

Significância e Alegações
O artigo afirma fornecer evidência quantitativa para o planejamento da força de trabalho de cibersegurança, indo além da análise estrutural estática para processos de aprendizado dinâmicos. Os autores afirmam que:

• A Duração do Treinamento é Crítica: Organizações que interrompem o treinamento muito cedo (antes da marca de 500 episódios) perdem melhorias de alto rendimento, enquanto aquelas que treinam indefinidamente após 2.000 episódios experimentam retornos marginais decrescentes.
• Treinamento como um Substituto para Contratação: Os ganhos substanciais de eficiência (3–7×) apoiam estratégias de força de trabalho focadas em treinamento em vez de expansão focada em recrutamento. O estudo sugere que investir em treinamento sustentado permite que as organizações mantenham alta eficácia com equipes menores, potencialmente reduzindo a necessidade de recrutamento em larga escala.
• Inovação Metodológica: O artigo demonstra que o Aprendizado por Reforço pode servir como uma ferramenta de modelagem válida para simular trajetórias de aprendizado de equipes humanas que, de outra forma, exigiriam experimentos longitudinais com sujeitos humanos proibitivamente caros ou demorados.

Os autores concluem que reconhecer a distinção entre fatores estruturais (tamanho da equipe) e fatores temporais (duração do treinamento) é essencial para uma alocação de recursos informada. Eles sugerem que desenvolver expertise por meio de treinamento sustentado pode ser uma estratégia mais sustentável para manter capacidades de defesa cibernética do que tentar igualar a sofisticação do adversário apenas através da expansão da força de trabalho.