Training Versus Hiring in Security Operations Centers: Agent-Based and Reinforcement Learning Simulations of Training Duration Effects on CyberTeam Performance

Technische Samenvatting: Training versus Werving in Security Operations Centers

Probleemstelling
Security Operations Centers (SOC's) staan voor een cruciaal dilemma in de toewijzing van middelen: moeten organisaties investeren in het trainen van bestaand personeel of het werven van extra personeel? Hoewel eerder computationeel onderzoek de statische teamcompositie (structuur, omvang en cohesie) heeft onderzocht met behulp van agent-gebaseerde modellering, heeft het grotendeels nagelaten de temporele dynamiek van teamontwikkeling te adresseren. Bestaande studies meten prestaties op enkelvoudige tijdstippen, waardoor er een gat ontstaat in het begrip van hoe de duur van training de leercurves, het punt van verminderde meeropbrengst en de relatieve effectiviteit van getrainde kleine teams versus grotere ongetrainde teams beïnvloedt. Deze studie adresseert deze hiaten door de temporele dynamiek te integreren in het Collaborative Cyber Team Formation (CCTF)-framework om te simuleren hoe cyberteams strategieën ontwikkelen door middel van aanhoudende training.

Methodologie
De auteurs gebruikten agent-gebaseerde modellering met NetLogo, uitgebreid met Reinforcement Learning (RL) om de leerpaden van menselijke teams te simuleren. De studie onderzocht RL niet als onderwerp van verbetering, maar gebruikte het als een modelleringsinstrument om maanden of jaren aan menselijke teambeoefening te comprimeren tot duizenden computationele episodes.

• Simulatieomgeving: De omgeving modelleert een cyberaanval- en verdedigingsscenario op scale-free (Barabási-Albert) 60-node netwerken. Aanvallers proberen een centrale router met een hoge graad te compromitteren, terwijl verdedigers het netwerk beschermen. De simulatie draait tot 1.000 ticks per episode, waarbij de simulatie eindigt bij centrale compromittering of een tijdlimiet.
• Agenttypen:
  • Ongetraind (Baseline): Heuristische agents die vaste, niet-adaptieve regels volgen (bijv. scouts verzamelen intelligentie, exploiters vallen bekende kwetsbaarheden aan). Deze vertegenwoordigen teams zonder aanhoudende training.
  • Getraind (RL): Agents die gebruikmaken van de Rainbow Deep Q-Network (DQN) architectuur. Deze agents leren door ervaring en ontvangen beloningen voor effectieve acties (infectie, centrale compromittering) en straffen voor redundante acties. Zij delen beleid binnen rollen (scouts delen één beleid, exploiters delen een ander) om collectieve tactische kennis te simuleren.
• Trainingsprotocol: De RL-agents werden getraind voor maximaal 5.000 episodes met behulp van een progressief curriculum dat de moeilijkheidsgraad verhoogde (van "zeer makkelijk" naar "gemengd/moeilijk") bij episodes 200 en 750.
• Evaluatie: Prestaties werden gemeten op specifieke controlepunten (100, 500, 1.000, 2.000 en 5.000 episodes) over een grid van 12 cellen waarbij de netwerkkwetsbaarheid en verdedigingsconfiguraties varieerden. De belangrijkste metrieken waren win rate (strategische effectiviteit) en time-to-win (tactische snelheid).
• Analyse: De studie berekende de Return on Investment (ROI) op basis van winrate-winst per episode en bepaalde de Equivalent Baseline Team Size (EBTS)—het aantal ongetrainde aanvallers dat nodig is om de winrate van een getraind team te evenaren.

Belangrijkste Bijdragen

1. Karakterisering van Leerpaden: De studie brengt de niet-lineaire leercurve van cyberteams in kaart en identificeert drie verschillende fasen van ontwikkeling.
2. Kwantificering van Optimale Investering: Het identificeert de specifieke trainingsduur die de hoogste marginale opbrengst oplevert, wat een datagestuurd fundament biedt voor workforce planning.
3. Effectiviteitsequivalentie: Het stelt kwantitatieve drempels vast die de efficiëntie van getrainde kleine teams vergelijken met grotere ongetrainde teams, wat bewijs levert voor beslissingen over "training versus werving".

Resultaten
De computationele experimenten leverden drie primaire bevindingen op:

1. Niet-lineair Leerpad: Prestaties verbeteren door drie fasen:

   • Exploratie (100–500 episodes): Minimale verbetering; winrates variëren van 0,00 tot 0,15. Teams ontdekken basismechanismen maar missen stabiele strategieën.
   • Vaardigheidsverwerving (500–2.000 episodes): Snelle winsten; winrates springen van ~0,15 naar ~0,57. Dit is de periode van de hoogste leerversnelling.
   • Verfijning (2.000–5.000 episodes): Voortdurende verbetering maar met afnemende meeropbrengst; winrates stabiliseren tussen 0,93 en 0,95.

2. Optimale Trainingsinvestering: De piek ROI vindt plaats tussen 500 en 1.000 episodes, waar teams ongeveer 6,7–8,3 procentpunt winrate winnen per 100 episodes. Voorbij 2.000 episodes nemen de marginale winsten significant af (met ~88–94% vergeleken met de piek), hoewel de prestaties nog licht blijven verbeteren.

3. Efficiëntievoordelen (Getraind vs. Ongetraind): Getrainde teams behalen substantiële efficiëntievoordelen. Een team van 5 getrainde aanvallers (plus 3 scouts) bereikt prestatieniveaus die gelijk zijn aan ongetrainde teams die 15 tot 35 aanvallers vereisen.

   • Onder gunstige omstandigheden presteren 5 getrainde aanvallers equivalent aan ongeveer 25–30 ongetrainde aanvallers.
   • Dit vertegenwoordigt een efficiëntiemultipier van 3× tot 7×, wat betekent dat een enkele getrainde aanvaller het werk doet van 3 tot 7 ongetrainde personen.
   • Bij consequentie kan een volledig trainingsprogramma van 5.000 episodes een klein team vervangen door de werving van ongeveer 20–25 extra medewerkers.

Betekenis en Claims
Het artikel beweert kwantitatief bewijs te leveren voor cybersecurity workforce planning, waarbij de focus verschuift van statische structurele analyse naar dynamische leerprocessen. De auteurs stellen dat:

• Trainingsduur Cruciaal is: Organisaties die te vroeg stoppen met trainen (vóór de 500-episode mark) laten hoogwaardige verbeteringen liggen, terwijl organisaties die onbeperkt doorgaan na 2.000 episodes te maken krijgen met afnemende marginale opbrengsten.
• Training als Substituut voor Werving: De substantiële efficiëntiewinsten (3–7×) ondersteunen workforce-strategieën die gericht zijn op training boven wervingsgerichte expansie. De studie suggereert dat investeren in aanhoudende training organisaties in staat stelt om een hoge effectiviteit te behouden met kleinere teams, wat potentieel de noodzaak voor grootschalige werving vermindert.
• Methodologische Innovatie: Het papier demonstreert dat Reinforcement Learning een geldige modelleringsmethode kan zijn om menselijke teamleerpaden te simuleren die anders een evenredig dure of tijdrovende longitudinale experimenten met menselijke proefpersonen zouden vereisen.

De auteurs concluderen dat het herkennen van het onderscheid tussen structurele factoren (teamgrootte) en temporele factoren (trainingsduur) essentieel is voor geïnformeerde toewijzing van middelen. Zij suggereren dat het ontwikkelen van expertise door middel van aanhoudende training een meer duurzame strategie kan zijn voor het handhaven van cyberdefensiecapaciteiten dan het louter proberen te matchen van de geavanceerdheid van de tegenstander door middel van workforce expansie.