Training Versus Hiring in Security Operations Centers: Agent-Based and Reinforcement Learning Simulations of Training Duration Effects on CyberTeam Performance

Resumen Técnico: Capacitación frente a Contratación en Centros de Operaciones de Seguridad

Planteamiento del Problema
Los Centros de Operaciones de Seguridad (SOC) enfrentan un dilema crítico de asignación de recursos: ¿deben las organizaciones invertir en la capacitación del personal existente o en el reclutamiento de personal adicional? Si bien la investigación computacional previa ha examinado la composición estática de equipos (estructura, tamaño y cohesión) mediante modelos basados en agentes, ha fallado ampliamente en abordar la dinámica temporal del desarrollo de equipos. Los estudios existentes miden el desempeño en puntos temporales únicos, dejando un vacío en la comprensión de cómo la duración de la capacitación afecta las curvas de aprendizaje, el punto de rendimientos decrecientes y la efectividad comparativa de equipos pequeños capacitados frente a equipos más grandes no capacitados. Este estudio aborda estas brechas incorporando la dinámica temporal al marco de Formación de Equipos Cíber Colaborativos (CCTF, por sus siglas en inglés) para simular cómo los equipos cibernéticos desarrollan estrategias mediante una capacitación sostenida.

Metodología
Los autores emplearon un modelado basado en agentes utilizando NetLogo, mejorado con Aprendizaje por Refuerzo (RL) para simular las trayectorias de aprendizaje de equipos humanos. El estudio no investigó el RL como un sujeto de mejora, sino que lo utilizó como una herramienta de modelado para comprimir meses o años de práctica de equipos humanos en miles de episodios computacionales.

• Entorno de Simulación: El entorno modela un escenario de ataque y defensa cibernética en redes de escala libre (Barabási-Albert) de 60 nodos. Los atacantes buscan comprometer un router central de alto grado, mientras que los defensores protegen la red. La simulación se ejecuta durante hasta 1,000 ticks por episodio, terminando tras el compromiso central o el tiempo de espera agotado.
• Tipos de Agentes:
  • No Capacitados (Línea Base): Agentes heurísticos que siguen reglas fijas y no adaptativas (por ejemplo, los exploradores recolectan inteligencia, los explotadores atacan vulnerabilidades conocidas). Estos representan equipos sin capacitación sostenida.
  • Capacitados (RL): Agentes que utilizan la arquitectura Rainbow Deep Q-Network (DQN). Estos agentes aprenden a través de la experiencia, recibiendo recompensas por acciones efectivas (infección, compromiso central) y penalizaciones por acciones redundantes. Comparten políticas dentro de sus roles (los exploradores comparten una política, los explotadores comparten otra) para simar el conocimiento táctico colectivo.
• Protocolo de Capacitación: Los agentes de RL fueron entrenados durante hasta 5,000 episodios utilizando un currículo progresivo que aumentaba la dificultad (de "muy fácil" a "mixto/difícil") en los episodios 200 y 750.
• Evaluación: El desempeño se midió en puntos de control específicos (100, 500, 1,000, 2,000 y 5,000 episodios) a través de un entorno de cuadrícula de 12 celdas que variaba la vulnerabilidad de la red y las configuraciones de los defensores. Las métricas clave incluyeron la tasa de victorias (efectividad estratégica) y el tiempo para la victoria (velocidad táctica).
• Análisis: El estudio calculó el Retorno de la Inversión (ROI) basado en las ganancias de la tasa de victorias por episodio y determinó el Tamaño de Equipo de Línea Base Equivalente (EBTS), que es el número de atacantes no capacitados requeridos para igualar la tasa de victorias de un equipo capacitado.

Contribuciones Clave

1. Caracterización de las Trayectorias de Aprendizaje: El estudio mapea la curva de aprendizaje no lineal de los equipos cibernéticos, identificando tres fases distintas de desarrollo.
2. Cuantificación de la Inversión Óptima: Identifica la duración de capacitación específica que genera los mayores rendimientos marginales, proporcionando una base basada en datos para la planificación de la fuerza laboral.
3. Equivalencia de Eficacia: Establece umbrales cuantitativos que comparan la eficiencia de equipos pequeños capacitados frente a equipos más grandes no capacitados, ofreciendo evidencia para las decisiones de "capacitación frente a contratación".

Resultados
Los experimentos computacionales arrojaron tres hallazgos principales:

1. Trayectoria de Aprendizaje No Lineal: El desempeño mejora a través de tres fases:

   • Exploración (100–500 episodios): Mejora mínima; las tasas de victorias oscilan entre 0.00 y 0.15. Los equipos están descubriendo mecánicas básicas pero carecen de estrategias estables.
   • Adquisición de Habilidades (500–2,000 episodios): Ganancias rápidas; las tasas de victorias saltan de ~0.15 a ~0.57. Este es el periodo de mayor velocidad de aprendizaje.
   • Refinamiento (2,000–5,000 episodios): Mejora continua pero con rendimientos decrecientes; las tasas de victorias se estabilizan entre 0.93 y 0.95.

2. Inversión Óptima de Capacitación: El pico de ROI ocurre entre los 500 y 1,000 episodios, donde los equipos ganan aproximadamente un 6.7–8.3 puntos porcentuales en la tasa de victorias por cada 100 episodios. Más allá de los 2,000 episodios, las ganancias marginales caen significativamente (en un ~88–94% en comparación con el pico), aunque el desempeño continúa mejorando ligeramente.

3. Ventajas de Eficiencia (Capacitados vs. No Capacitados): Los equipos capacitados logran ventajas de eficiencia sustanciales. Un equipo de 5 atacantes capacitados (más 3 exploradores) logra niveles de desempeño equivalentes a equipos no capacitados que requieren de 15 a 35 atacantes.

   • En condiciones favorables, 5 atacantes capacitados rinden de forma equivalente a aproximadamente 25–30 atacantes no capacitados.
   • Esto representa un multiplicador de eficiencia de 3× a 7×, lo que significa que un solo atacante capacitado realiza el trabajo de 3 a 7 personas no capacitadas.
   • En consecuencia, un programa de capacitación completo de 5,000 episodios para un equipo pequeño puede sustituir el reclutamiento de aproximadamente 20–25 personas adicionales.

Significancia y Reivindicaciones
El artículo afirma proporcionar evidencia cuantitativa para la planificación de la fuerza laboral de ciberseguridad, yendo más allá del análisis estructural estático hacia los procesos de aprendizaje dinámicos. Los autores sostienen que:

• La Duración de la Capacitación es Crítica: Las organizaciones que detienen la capacitación demasiado pronto (antes de la marca de los 500 episodios) pierden mejoras de alto rendimiento, mientras que aquellas que capacitan indefinidamente más allá de los 2,000 episodios experimentan rendimientos marginales decrecientes.
• La Capacitación como Sustituto de la Contratación: Las sustanciales ganancias de eficiencia (3–7×) respaldan las estrategias de fuerza laboral centradas en la capacitación sobre la expansión centrada en el reclutamiento. El estudio sugiere que invertir en una capacitación sostenida permite a las organizaciones mantener una alta efectividad con equipos más pequeños, reduciendo potencialmente la necesidad de reclutamientos a gran escala.
• Innovación Metodológica: El documento demuestra que el Aprendizaje por Refuerzo puede servir como una herramienta de modelado válida para simular las trayectorias de aprendizaje de equipos humanos que, de otro modo, requerirían experimentos con sujetos humanos longitudinales prohibitivamente costosos o de mucho tiempo.

Los autores concluyen que reconocer la distinción entre factores estructurales (tamaño del equipo) y factores temporales (duración de la capacitación) es esencial para una asignación informada de recursos. Sugieren que desarrollar la pericia mediante una capacitación sostenida puede ser una estrategia más sostenible para mantener las capacidades de defensa cibernética que intentar igualar la sofisticación del adversario únicamente mediante la expansión de la fuerza laboral.