Training Versus Hiring in Security Operations Centers: Agent-Based and Reinforcement Learning Simulations of Training Duration Effects on CyberTeam Performance

기술 요약: 보안 운영 센터(SOC)에서의 교육 대 채용

문제 정의
보안 운영 센터(SOC)는 핵심적인 자원 배분 딜레마에 직면해 있다: 조직이 기존 인력에 대한 교육에 투자해야 하는가, 아니면 추가 인력을 채용해야 하는가? 기존의 계산 과학 연구들은 에이전트 기반 모델링을 사용하여 정적 팀 구성(구조, 규모 및 결속력)을 조사해 왔으나, 팀 발전의 시간적 역학(temporal dynamics)을 다루는 데는 크게 실패했다. 기존 연구들은 단일 시점에서 성능을 측정하며, 이로 인해 교육 기간이 학습 곡선, 수확 체감 지점, 그리고 훈련된 소규모 팀과 규모가 큰 미숙련 팀 간의 비교 효과성에 어떻게 영향을 미치는지에 대한 이해에 공백을 남겼다. 본 연구는 지속적인 훈련을 통해 사이버 팀이 전략을 개발하는 방식을 시뮬레이션하기 위해 협업 사이버 팀 형성(CCTF) 프레임워크에 시간적 역학을 통합함으로써 이러한 공백을 해결한다.

방법론
저자들은 인간 팀의 학습 궤적을 시뮬레이션하기 위해 **Reinforcement Learning (RL)**으로 강화된 NetLogo를 활용한 에이전트 기반 모델링을 채택하였다. 본 연구는 RL 자체를 개선의 대상으로 조사한 것이 아니라, 수개월 또는 수년의 인간 팀 연습 과정을 수천 번의 계산 에피소드로 압축하기 위한 모델링 도구로 활용하였다.

• 시뮬레이션 환경: 환경은 척도 없는(Scale-free, Barabási-Albert) 60개 노드 네트워크 상의 사이버 공격 및 방어 시나리오를 모델링한다. 공격자는 중앙의 고차수(high-degree) 라우터를 점령하는 것을 목표로 하며, 방어자는 네트워크를 보호한다. 시뮬레이션은 에피소드당 최대 1,000 틱(tick) 동안 실행되며, 중앙 점령 또는 타임아웃 발생 시 종료된다.
• 에이전트 유형:
  • 미숙련 (Baseline): 고정된 비적응형 규칙(예: 정찰병은 정보를 수집하고, 침투자는 알려진 취약점을 공격함)을 따르는 휴리스틱 에이전트이다. 이들은 지속적인 훈련을 받지 않은 팀을 나타낸다.
  • 숙련 (RL): Rainbow Deep Q-Network (DQN) 아키텍처를 사용하는 에이전트이다. 이 에이전트들은 경험을 통해 학습하며, 효과적인 행동(감염, 중앙 점령)에 대해서는 보상을 받고 중복된 행동에 대해서는 벌점을 받는다. 이들은 역할 내에서 정책을 공유하여(정찰병은 하나의 정책을 공유하고, 침투자는 다른 정책을 공유함) 집단적 전술 지식을 시뮬레이션한다.
• 훈련 프로토콜: RL 에이전트는 난이도가 점진적으로 증가하는 커리큘럼(에피소드 200과 750에서 "매우 쉬움"에서 "혼합/어려움"으로 증가)을 사용하여 최대 5,000 에피소드 동안 훈련되었다.
• 평가: 성능은 네트워크 취약성 및 방어자 구성이 변하는 12개 셀 환경 그리드 상의 특정 체크포인트(100, 500, 1,000, 2,000, 5,000 에피소드)에서 측정되었다. 주요 지표로는 승률(전략적 효과성)과 승리 시간(전술적 속도)이 포함되었다.
• 분석: 본 연구는 승률 이득에 기반한 **투자 수익률(ROI)**을 계산하였으며, 훈련된 팀의 승률과 일치하는 미숙련 공격자의 수를 나타내는 **동등 기초 팀 규모(EBTS)**를 결정하였다.

주요 기여

1. 학습 궤적의 특성화: 본 연구는 사이버 팀의 비선형 학습 곡선을 매핑하여 세 가지 뚜렷한 발전 단계를 식별하였다.
2. 최적 투자량의 정량화: 가장 높은 한계 수익을 제공하는 특정 훈련 기간을 식별하여, 데이터에 기반한 인력 계획의 근거를 제공한다.
3. 효율성 등가성: 훈련된 소규모 팀과 규모가 큰 미숙련 팀을 비교하는 정량적 임계값을 설정하여, "교육 대 채용" 결정에 대한 증거를 제공한다.

결과
계산 실험을 통해 세 가지 주요 결과가 도출되었다:

1. 비선형 학습 궤적: 성능은 다음 세 단계를 통해 향상된다:

   • 탐색 단계 (100–500 에피소드): 개선이 미미함; 승률은 0.00에서 0.15 사이이다. 팀은 기본적인 메커니즘을 발견하고 있으나 안정적인 전략이 부족하다.
   • 기술 습득 단계 (500–2,000 에피소드): 급격한 이득 발생; 승률이 약 0.15에서 약 0.57로 급증한다. 이 시기가 가장 높은 학습 속도를 보이는 구간이다.
   • 정교화 단계 (2,000–5,000 에피소드): 지속적인 개선이 이루어지나 수확 체감이 발생함; 승률은 0.93에서 0.95 사이에서 정체된다.

2. 최적 훈련 투자: 피크 ROI는 500에서 1,000 에피소드 사이에서 발생하며, 이 구간에서 팀은 100 에피소드당 약 6.7~8.3 퍼센트 포인트의 승률 상승을 보인다. 2,000 에피소드를 넘어서면 한계 이득이 (피크 대비 약 88~94%만큼) 크게 감소하지만, 성능은 여전히 약간씩 향상된다.

3. 효율성 우위 (숙련 vs 미숙련): 숙련된 팀은 상당한 효율성 우위를 달성한다. 5명의 숙련된 공격자(정찰병 3명 포함)는 15명에서 35명의 미숙련 공격자가 필요한 수준의 성능을 달성한다.

   • 유리한 조건에서, 5명의 숙련된 공격자는 약 25~30명의 미숙련 공격자와 동등한 성능을 보인다.
   • 이는 3배에서 7배의 효율성 배수를 의미하며, 즉 단 한 명의 숙련된 공격자가 3명에서 7명의 미숙련 인력의 몫을 수행함을 뜻한다.
   • 결과적으로, 소규모 팀을 위한 5,000 에피소드의 전체 훈련 프로그램은 약 20~25명의 추가 인력 채용을 대체할 수 있다.

의의 및 주장
본 논문은 정적인 구조적 분석을 넘어 동적인 학습 과정을 다룸으로써 양적인 증거를 제공한다고 주장한다. 저자들은 다음과 같이 단언한다:

• 훈련 기간은 결정적이다: 너무 일찍(500 에피소드 이전) 훈련을 중단하는 조직은 고수익 개선 기회를 놓치게 되며, 2,000 에피소드 이후까지 무기한 훈련을 지속하는 조직은 한계 효용 체감을 경험하게 된다.
• 채용의 대체재로서의 교육: 3~7배에 달하는 상당한 효율성 이득은 채용 중심의 확장보다 훈련 중심의 인력 전략을 지지한다. 본 연구는 지속적인 훈련에 투자함으로써 조직이 높은 효과성을 유지하면서도 더 작은 규모의 팀을 운영할 수 있음을 시사한다.
• 방법론적 혁신: 본 논문은 Reinforcement Learning이 매우 비용이 많이 들거나 시간이 오래 걸리는 종단적 인간 대상 실험을 대신하여 인간 팀의 학습 궤적을 시뮬레이션할 수 있는 유효한 모델링 도구가 될 수 있음을 입증한다.

저자들은 구조적 요인(팀 규모)과 시간적 요인(훈련 기간)의 구분을 인식하는 것이 정보에 기반한 자원 배분에 필수적이라고 결론짓는다. 그들은 지속적인 훈련을 통해 전문성을 개발하는 것이 단순히 인력 확장을 통해 적대 세력의 정교함에 맞추려는 노력보다 사이버 방어 역량을 유지하기 위한 더 지속 가능한 전략일 수 있음을 시사한다.