기술 요약: MAL 시뮬레이터 (The MAL Simulator)

문제 정의

침투 테스트 및 침입 대응과 같은 자동화된 사이버 작전(Automated Cyber Operations, ACO) 에이전트 개발에는 견고한 시뮬레이션 환경이 필요하다. 기존의 시뮬레이터들은 종종 경직되어 있는데, 특정 네트워크 토폴로지나 자산 유형에 고정되어 있어 시뮬레이터의 핵심 소스 코드를 수정하지 않고는 새로운 타겟 도메인에 적응하기 어렵다. 또한, 많은 시뮬레이터가 단일 프레임워크 내에서 공격 및 방어 에이전트를 동시에 훈련하고 테스트하는 능력이 부족하거나, 에이전트의 과적합을 방지하기 위해 필요한 다양한 시스템 변형을 구성하는 기능을 지원하지 못한다. 특히, 리스크 평가 프레임워크와 강화 학습(RL) 훈련 환경 사이의 간극을 메우고, 시뮬레이션 엔진을 변경하지 않고도 명시적인 데이터 모델을 기반으로 공격 그래프를 생성할 수 있는 시뮬레이터에 대한 구체적인 요구가 존재한다.

방법론

MAL 시뮬레이터 아키텍처

저자들은 **Meta Attack Language (MAL)**를 기반으로 구축된 사이버 작전 시뮬레이터인 MAL 시뮬레이터를 개발하였다. MAL은 위협 모델링 및 보안 시스템 설계를 위해 사용되는 모델링 언어 프레임워크이다.

• 핵심 설계: 시뮬레이터는 시뮬레이션 로직과 도메인 의미론(semantics)을 분리한다. 시뮬레이터 코어는 고정되어 있는 반면, 환경은 MAL 언어(자산 유형, 관계, 공격/방어 단계 정의)와 인스턴스 모델(특정 시스템 데이터)에 의해 정의된다.
• 형식주의(Formalism): 시뮬레이터는 MAL을 확장하여 **부분 관측 가능 마르코프 결정 과정(Partially Observable Markov Decision Process, POMDP)**을 정의하며, 다중 에이전트 설정에서는 **마르코프 게임(Markov Game)**을 정의한다.
  • 상태(State): 시간 $t$까지 수행된 공격 및 방어 단계의 집합으로 정의된다.
  • 행동(Actions): 공격자는 통과 가능한 공격 단계를 선택하고, 방어자는 아직 수행되지 않은 방어 단계를 선택한다.
  • 전이(Transitions): 이산 이벤트 기반 로직에 의해 결정되며, 방어 행동은 동시적인 공격 시도를 차단할 수 있지만, 이미 수행된 공격 단계는 지속된다.
  • 관측성(Observability): 불완전한 침입 탐지 시스템(IDS)을 모델링하기 위해 오탐(False Positives, FP) 및 **미탐(False Negatives, FN)**을 포함한 구성 가능한 관측성을 지원한다.
  • 침해 시간(Time to Compromise, TTC): 공격 단계 실행에 필요한 노력을 모델링하기 위해 확률 분포를 사용하여 공격 성공의 확률적 특성을 도입한다.

케이스 스터디 설정

저자들은 사이버 레인지인 CRATE에 구현된 **AIR-DELIVERY-SYSTEM24 (ADS-24)**라는 에뮬레이션 네트워크를 사용하여 시뮬레이터를 검증하였다.

• 데이터 소스: Osquery를 통해 수집된 네트워크 인벤토리 데이터를 사용하였으며, 이를 활용해 MAL의 하위 집합인 CadsLang을 사용하여 30개의 별도 인스턴스 모델 변형(시나리오)을 생성하였다.
• 시나리오: 이러한 변형에는 일반화 성능을 테스트하기 위해 서로 다른 네트워크 크기(105~165개 자산)와 토폴로지가 포함되었다.

에이전트 훈련

두 가지 유형의 에이전트를 강화 학습(RL)을 사용하여 훈련시켰다:

1. 공격 에이전트 (Attacker):
   • 목표: 단계 수(비용)를 최소화하면서 특정 데이터 접근 목표에 도달하는 것이다.
   • 아키텍처: 상태를 자산, 관계, 공격 단계의 이종 그래프(heterogeneous graph)로 임베딩하기 위해 **Heterogeneous Graph Transformer (HGT)**를 활용하였다.
   • 알고리즘: 근사 정책 최적화(Proximal Policy Optimization, PPO).
   • 훈련: 15개의 시나리오로 훈련하고, 보지 못한(unseen) 15개의 시나리오로 테스트하였다.
2. 방어 에이전트 (Defender):
   • 목표: 침해된 호스트와 관련된 비용(기밀성/무결성 손실)과 방어 행동 비용(가용성 손실)의 합을 최소화하는 것이다.
   • 아키텍처: 사실 기반 상태 표현을 처리하기 위해 그래프 신경망(GNN)을 사용하는 관계형 강화 학습 라이브러리인 Vejde를 활용하였다.
   • 조건: "완벽한(noise-free)" 환경과 "노이즈가 있는(1% FP/FN 발생)" 환경의 두 가지 변형을 훈련시켰다.
   • 알고리즘: PPO.

주요 기여

1. MAL 시뮬레이터: MAL 모델링 언어를 통해 시뮬레이션 엔진을 타겟 도메인으로부터 분리함으로써, 소스 코드를 변경하지 않고도 다양한 도메인(예: IT, 클라우드, OT)에 적응할 수 있는 새로운 시뮬레이션 플랫폼을 제공한다.
2. 통합 적대적 프레임워크: 시뮬레이터는 공격 및 방어 에이전트 모두를 위한 인터페이스를 제공하여, 동일한 환경 내에서 에이전트를 훈련시키고 서로를 대상으로 테스트할 수 있게 한다.
3. 시나리오 변형을 통한 일반화: 다양한 시나리오 변형(서로 다른 네트워크 크기, 공격자 진입점, 정책)의 분포를 통해 훈련하는 방법론은 에이전트의 강건성(robustness)을 향상시킨다는 것을 입증하였다.
4. 기존 도구와의 통합: 시뮬레이터는 표준 ML 프레임워크(예: Gymnasium API) 및 Vejde, HGT와 같은 특정 라이브러리와의 호환성을 제공한다.

결과

공격 에이전트 성능

• 효율성: RL 공격자는 휴리스틱 탐색 알고리즘(BFS, DFS, Random)보다 유의미하게 우수한 성능을 보였다. RL 에이전트는 평균 리턴 값 -301(비용이 음수이므로 높을수록 좋음)을 달 기록한 반면, BFS는 -717, DFS는 -797을 기록했다.
• 일반화: RL 에이전트는 보지 못한 테스트 시나리오에서도 높은 성능을 유지하였으며, 훈련 세트와 테스트 세트 간의 리턴 값에 통계적으로 유의미한 차이가 없었다. 이는 RL 에이전트가 탐색 기반 방법보다 더 효과적으로 예상 공격 비용을 최소화했음을 보여준다.

방어 에이전트 성능

• 노이즈 민감도: "완벽한"(노이즈 없는) 조건에서는 경고 발생 시 즉시 자산을 비활성화하는 단순 휴리스틱 에이전트가 RL 에이전트와 유사한 성능을 보였다.
• 노이즈 조건: 현실적인 노이즈 조건(1% FP/FN) 하에서는 휴리스틱 에이전트의 성능이 크게 저하되었다. 노이즈 환경에서 훈련된 RL 에이전트("Vejde w/ Noise")는 노이즈 없는 RL 에이전트와 휴리스틱보다 낮은 방어 비용을 유도하며 가장 우수한 성능을 보였다.
• 적대적 테스트: 훈련된 방어자들이 RL 공격자(방어자 훈련 시 사용되지 않은 공격자)를 대상으로 테스트되었을 때, 모든 방어 에이전트에서 심각한 성능 저하가 나타났다. RL 공격자는 휴리스틱 또는 탐색 기반 공격자들을 상대로 훈련된 방어 체계를 더 효과적으로 우회할 수 있었으며, 이는 약하거나 예측 가능한 공격자에 대해서만 방어를 최적화했을 때 발생하는 한계를 극명히 보여준다.

의의 및 주장

본 논문은 MAL 시뮬레이터가 공식 모델링 언어를 활용하여 코드 변경 없이 새로운 도메인에 적응함으로써 기존 ACO 시뮬레이터의 경직성 문제를 해결했음을 주장한다. 실험 결과는 다음을 뒷받침한다:

1. RL 에이전트의 효과성: 학습된 정책은 복잡하거나 노이즈가 있는 환경에서 수동으로 설계된 휴리스틱 및 탐색 알고리즘보다 뛰어난 성능을 발휘할 수 있다.
2. 적대적 훈련의 중요성: 휴리스틱 공격자를 대상으로 훈련된 방어자가 RL 공격자를 만났을 때 성능이 급격히 저하되는 현상은, 견고한 방어를 위해 동일한 환경 내에서 공격 및 방어 에이전트를 모두 테스트하고 훈련하는 것이 필수적임을 강조한다.
3. Sim-to-Real 잠재력: 불확실성(노이즈, 다양한 토폴로지)을 포함하고 실제 네트워크 인벤토리에 기반한 데이터 중심 접근 방식을 사용함으로써, 시뮬레이터는 실제 시스템에 더 잘 일반화될 수 있는 에이전트 개발을 용이하게 한다. 다만, 저자들은 물리적 네트워크에서의 완전한 "Sim-to-Real" 검증은 본 연구의 범위를 벗어난다고 명시하였다.

저자들은 결론적으로, MAL 시뮬레이터가 유연하고 공개적으로 사용 가능한 기반을 제공하여 자동화된 사이버 작전 에이전트를 개발하고 평가할 수 있게 하며, 약하거나 예측 가능한 공격자에 대해 방어를 과도하게 최적화하는 것을 방지하기 위한 적대적 훈련의 중요성을 강조한다.