기술 요약: 사이버 방어를 위한 강화학습에서의 보상 그 너머 (Beyond Rewards in RL for Cyber Defence)

1. 문제 정의

심층 강화학습(DRL)을 통해 훈련된 자율 사이버 방어(ACD) 에이전트들은 네트워크 시스템을 보호하기 위해 "사이버 짐(cyber gym)" 환경에 점점 더 많이 배치되고 있다. 이러한 에이전트들은 일반적으로 특정 네트워크 상태와 행동에 대한 수많은 페널티와 인센티브를 결합한 **조밀하고 고도로 설계된 보상 함수(dense, highly engineered reward functions)**를 사용하여 훈련된다. 조밀한 보상은 복잡한 환경에서 탐색을 가속화하는 데 도움이 되지만, 다음과 같은 상당한 위험을 초래한다:

• 최적해 편향(Suboptimal Bias): 에이전트를 공격 전에는 탐지하기 어려운 피할 수 있는 약점을 포함한 최적해가 아닌, 차선책(suboptimal solutions)에 갇히게 할 수 있다.
• 임의적 등가성(Arbitrary Equivalences): 서로 다른 네트워크 상태와 행동 사이에 임의적인 수치적 등가성을 부여하며, 이는 작업 복잡도가 증가함에 따라 관리하기가 점점 더 어려워진다.
• 평가 한계: 현재의 평가 방식은 평균 에피소드 보상에 의존하는데, 이는 "그라운드 트루스(ground truth)"인 복잡한 사이버 환경을 제대로 포착하지 못한다. 구체적으로, 표준 사이버 짐들은 스텝 내 이벤트(intra-step events)(예: 단일 타임 스텝 내에서 노드가 침해되었다가 즉시 복구되는 경우)를 간과하여, 정책 간의 결정적인 위험 차이를 가리는 부정확한 성능 평가를 초래한다.

2. 방법론

저자들은 두 가지 기성 사이버 짐인 **Yawning Titan (YT)**과 **Cyber Autonomy Gym for Experimentation (CAGE 2)**을 통해 희소(sparse) 및 조밀(dense) 보상 함수를 비교하기 위한 종합적인 평가 프레임워크를 제안한다.

2.1. 그라운드 트루스 점수 메커니즘 (Ground Truth Scoring Mechanism)

이산적인 스텝 단위 평가의 한계를 해결하기 위해, 본 논문은 **그라운드 트루스 점수($Score_{GT}$)**를 도입한다.

• 정의: $Score_{GT}(t) = \max(m^{intra}_t, m^{end}_t)$ 이며, 여기서 $m^{intra}_t$와 $m^{end}_t$는 각각 해당 스텝 동안 발생한 침해된 노드의 수와 스텝 종료 시점의 침해된 노드 수이다.
• 목적: 이 지표는 레드(공격자)와 블루(방어자) 행동의 실행 순서와 관계없이, 타임 스텝 내에서 발생하는 최대 침해를 포착한다. 이는 서로 다른 보상 구조로 훈련된 에이전트를 비교하기 위한 재현 가능하고 보상 독립적인 기준을 제공한다.

2.2. 신뢰성 및 리스크 지표

본 연구는 평균 에피소드 보상을 넘어선 지표들을 사용하여 에이전트를 평가한다:

• 훈련 신뢰성: 시간 경과에 따른 분산 변동성($\bar{DT}$) 및 **실행 간 변동성($DR'$)**을 통해 훈련의 안정성과 재현성을 정량화한다.
• 훈련 후 리스크: 고정된 정책 롤아웃(fixed-policy rollouts)에 적용된 **조건부 가치 위험(CVaR)**을 사용하여, 최악의 기대 손실(예: 최악의 5% 결과)에 집중하여 측정한다.

2.3. 실험 설정

• 환경:
  • Yawning Titan: 2개에서 50개의 노드로 구성된 선형 네트워크 구조로 설정되었다. 행동 공간은 "기본"(스캔, 복구)과 "확장"(디코이 배치 추가)을 포함한다.
  • MiniCAGE: 3개의 서브넷(사용자, 엔터프라이즈, 운영)과 13개의 호스트를 갖춘 기업 네트워크를 특징으로 하는 CAGE 2의 정제된 버전이다.
• 알고리즘: 실험에는 PPO(Proximal Policy Optimization)와 DQN(Deep Q-Network)이 사용되었다.
• 보상 함수:
  • 희소(Sparse): Sparse Positive (SP), Sparse Negative (SN), Sparse Positive-Negative (SPN).
  • 조밀(Dense): Dense Negative (DN), Complex Dense Negative (CDN) (표준 짐 보상을 나타냄).
• 에이전트 순서: 세 가지 행동 순서를 테스트하였다: 레드-후-블루(표준), 블루-후-레드, 그리고 랜덤(공격자의 타이밍 불확실성을 시뮬레이션).

3. 주요 기여

1. 그라운드 트루스 평가: $Score_{GT}$를 도입하여 표준 사이버 짐 평가에서 숨겨지는 경우가 많은 스텝 내 침해를 드러냄으로써, 보상 전략 간의 직접적인 비교를 가능하게 했다.
2. 포괄적인 보상 분석: 다양한 네트워크 크기, 행동 공간 및 DRL 알고리즘에 걸쳐 희소 보상과 조밀 보상을 체계적으로 평가하였다.
3. 리스크 및 신뢰성 정량화: 평균 에피소드 보상에 치중하느라 흔히 간과되는 훈련 신뢰성과 최악의 위험 프로필을 입증함으로써, 보상 함수 선택이 훈련 신뢰성과 리스크에 상당한 영향을 미침을 보여주었다.
4. 희소 보상의 실증적 근거: 목표에 부합하는 희소 보상이 복잡한 조밀 보상에 비해 더 우수한 정책을 생성하고 더 낮은 리스크와 더 높은 신뢰성을 제공함을 보여주었다.

4. 주요 결과

• 희소 보상의 우월성: Sparse Positive (SP) 및 Sparse Positive-Negative (SPN) 보상으로 훈련된 에이전트는 모든 네트워크 크기와 에이전트 순서에 대해 조밀 보상(DN, CDN)으로 훈련된 에이전트보다 일관되게 우수한 성능을 보였다.
  • Yawning Titan에서 SPN은 가장 낮은 평균 $Score_{GT}$(적은 침해 노드 수)를 달와냈다.
  • MiniCAGE에서 SP와 SPN은 가장 좋은 $Score_{GT}$를 달성했으며, 보안 목표(예: 침해를 운영 서버가 아닌 사용자 서브넷으로 국한)와 더 잘 일치함을 보여주었다.
• 훈련 신뢰성: 희소 보상은 $\bar{DT}$ 및 $DR'$에서 유의미하게 낮은 분산 변동성을 나타냈으며, 이는 조밀한 보상이 훨씬 높은 변동성을 보이는 것과 대조적으로 더 안정적이고 재현 가능한 훈련을 의미한다.
• 리스크 완화: 희소 보상 정책은 더 낮은 최악의 리스크(낮은 Upper RF)를 나타냈다. 특히 "블루-후-레드" 순서와 확장된 행동 공간 환경에서, SP 에이전트는 평균 $Score_{GT}$ 0(완벽한 방어)을 달성한 반면, 조밀 보상 에이전트는 이 최적점에 도달하지 못했다.
• 에이전트 순서에 대한 강건성: 희소 보상, 특히 SPN은 무작위 에이전트 순서(가장 현실적이고 도전적인 설정) 하에서도 우수한 성능을 유지했으나, 조밀 보상의 성능은 크게 저하되었다.
• 행동 효율성: 희소 보상 에이전트는 해당 행동에 대한 명시적인 수치적 페널티 없이도 비용이 드는 방어 행동(예: "복구")을 더 절제되고 전략적으로 사용하는 법을 학습했다. 반면 조밀 보상 에이전트는 설계된 페널티 때문에 이러한 행동을 과도하게 사용하는 경향을 보였다.

5. 의의 및 주장

본 논문은 현재 사이버 짐에서 조밀하고 수작업으로 제작된 보상 함수에 의존하는 것이 실제 세계의 ACD 배포에 있어 최선이 아닐 수 있다고 주장한다. 그라운드 트루스 점수 메감니즘과 엄격한 리스크 지표를 도입함으로써, 저자들은 다음을 입증하였다:

• 목표에 부합하는 희소 보상은 효과적인 정책을 학습하기에 충분할 뿐만 아니라, 조밀한 대안보다 더 신뢰할 수 있고 안전하다.
• 사이버 분야의 평가 관행은 평균 에피소드 보상에만 의존하기보다 그라운드 트루스 점수와 리스크 인식 지표(CVaR, 분산 변동성)를 포함하도록 진화해야 한다.
• 실무적 지침: 저자들은 기본적으로 목표 지향적인 희소 보상을 채택하고, 무작위 스텝 내 순서로 에이전트를 평가하며, 훈련 재현성과 최악의 리스크를 보고할 것을 권장한다.

이 연구는 효과적인 보상 설계가 자율 사이버 방어 시스템에서 발생 가능한 리스크를 방지하는 데 매우 중요하다는 점을 강조하며, ACD 에이전트가 인간 방어자를 책임감 있게 보조하기 위한 필수 전제 조건으로서의 발견을 제시한다.