기술 요약: 부분 관측 가능성 하에서의 강건한 침투 테스트 정책 학습

문제 정의

침투 테스트(penetration testing, pentesting)는 보안 전문가가 취약점을 식별하기 위해 사이버 공격을 시뮬레이션하는 순차적 의사결정 과정입니다. 이 작업은 본질적으로 **부분 관측 가능성(partial observability)**의 특성을 가집니다. 에이전트는 전체 네트워크 상태(토폴로지, 호스트 구성, 실행 중인 서비스 등)에 접근할 수 없으며, 정찰 행동을 통해 이러한 정보를 점진적으로 발견해야 합니다. 강화 학습(RL)이 자동화된 침투 테스트에 성공적으로 적용되어 왔으나, 기존의 대부분의 접근 방식은 이 문제를 완전 관측 가능한 마르코프 결정 과정(MDP)으로 공식화합니다. 이러한 가정은 정보 수집이 작업의 핵심 요소인 실제 환경을 지나치게 단순화합니다. 또한, 현재의 방법들은 에이전트가 미지의 시나리오로 일반화되는 전이 가능한 정책을 학습하기보다 특정 네트워크 구성을 암기해 버리는 과적합(overfitting) 문제로 인해 어려움을 겪습니다. 과제는 에이전트가 역사적 관측치를 효과적으로 집계하여 신념 상태(belief state)를 구축하고, 확률적인 네트워크 역학에 적응하며, 다양한 네트워크 크기와 토폴로지에 걸쳐 일반화할 수 있도록 개발하는 데 있습니다.

방법론

환경: StochNASim

저자들은 실세계의 복잡성을 더 잘 반영하도록 설계된 새로운 환경인 StochNASim을 만들기 위해 Network Attack Simulator (NASim)를 확장했습니다. 주요 수정 사항은 다음과 같습니다:

• 확률성(Stochasticity): 고정된 토폴로지를 사용하는 NASim과 달리, StochNASim은 매 에피소드 리셋 시마다 네트워크 토폴로지, 호스트 속성(OS, 서비스, 프로세스) 및 초기 상태를 재생성합니다.
• 가변적 네트워크 크기: 이 환경은 5~8개의 호스트로 구성된 다양한 크기의 네트워크를 지원하여, 에이절트가 단일 정책 내에서 서로 다른 액션 공간 차원과 관측치 개수를 처리하도록 강제합니다.
• 부분 관측 가능성: 관측치는 일시적이며 액션별로 다릅니다. 호스트를 스캔하면 해당 순간의 속성(예: OS, 서비스)이 드러나지만, 명시적인 메모리 메커니즘이 없다면 이 정보는 이후 단계에서 손실됩니다.
• 보상 구조: 에이전트는 호스트를 발견하고 민감한 타겟을 침투했을 때 보상을 받으며, 액션 비용(스캔은 익스플로잇보다 저렴함)에 대해 페널티를 받습니다.

알고리즘 접근 방식

본 연구는 부분 관측 가능성을 처리하기 위해 설계된 근사 정책 최적화(PPO) 변형들을 체계적으로 경험적 평가를 수행하며, 이를 메모리 메커로니즘이 없는 바닐라 PPO 베이스라인과 비교합니다. 평가된 방법은 다음과 같습니다:

1. 프레임 스태킹(Frame-Stacking, PPO-FS): 단기적 시간적 맥락을 제공하기 위해 마지막 $f_n$개의 관측치를 결합합니다.
2. 증강 관측(Augmented Observations, PPO-AO): 현재와 이전 관측값 중 최댓값을 유지하는 행렬을 관리함으로써 관측 이력을 명시적으로 집계합니다. 이는 인간 침투 테스터가 노트를 작성하는 방식을 모방하여 발견된 정보에 대한 지속적인 기록을 생성합니다.
3. 순환 구조(Recurrent Architectures):
   • LSTM (PPO-LSTM): 관측 이력을 암묵적으로 인코딩하기 위해 장단기 메모리(Long Short-Term Memory) 네트워크를 사용합니다.
   • Transformer-XL (PPO-TrXL): 관측 시퀀스의 장기 의존성을 포착하기 위해 어텐션(attention) 메커니즘을 채택합니다.

실험 설정

• 하이퍼파라미터 튜닝: 공정한 비교를 수행하고 튜닝 아티팩트를 피하기 위해 Optuna를 사용한 엄격한 탐색(알고리즘당 250회 시행)이 수행되었습니다.
• 평가: 정책은 5개의 제어 시드(control seeds)에서 테스트되었으며, 일반화 능력을 측정하기 위해 새롭게 생성된 환경에서 평가되었습니다.
• 분석: 정량적 지표(누적 보상, 수렴 속도) 외에도, 학습된 전략을 이해하기 위해 액션 시퀀스 시각화 및 액션 유형 분포를 통한 정성적 분석을 수행했습니다.

주요 결과

성능 및 수렴

• PPO-AO의 우수성: PPO-AO(증강 관측) 방식이 다른 모든 방법을 일관되적으로 능가했습니다. 이 방식은 다른 방식들보다 4배 빠르게 수렴하였으며(다른 방식들이 4M 스텝이 걸릴 때 약 1M 스텝 만에 최적 성능에 도달), 가장 높은 누적 보상을 달了했습니다.
• 복잡한 구조의 저조한 성능: POMDP에 복잡한 메모리 메커니즘이 필요할 것이라는 가정과 달리, PPO-LSTM과 PPO-TrXL은 저조한 성능을 보였습니다. 특히 PPO-TrXL은 스캐닝 동작을 학습하는 데 실패하고, 대신 가능한 모든 익스플로잇을 순차적으로 시도하는 "브루트 포스(brute-force)" 전략을 채택했습니다. PPO-LSTM은 효과적인 이력 표현을 학습하는 데 어려움을 겪었으며, PPO-AO에 비해 작업을 완료하는 데 거의 두 배의 스텝이 필요했습니다.
• 베이스라인의 한계: 이력 메커니즘이 없는 바닐라 PPO는 높은 확률성과 불확실성을 특징으로 하는 하위 최적(suboptimal) 정책을 학습했으며, 효과적으로 일반화하는 데 실패했습니다.

일반화 및 확률성

• 강건성: 확률적인 StochNASim 환경에서 훈련된 정책은 미지의 네트워크 구성에 대해 강력한 일반화 능력을 보여주었습니다.
• 정적 환경에서의 과적합: 고정된 시나리오 환경(표준 NASim과 같은)에서 훈련된 정책이 새로운 네트워크에서 처참하게 실패한다는 중요한 발견이 있었습니다. 이 에이전트들은 정보를 집계하는 법을 배우기보다 특정 관측-액션 시퀀스를 암기하는(룩업 테이블 전략) 경향을 보였으며, 이는 강건한 정책 학습을 위해 확률적 훈련 환경이 필수적임을 강조합니다.

정성적 행동 분석

학습된 정책에 대한 수동 검사는 유사한 최종 보상을 얻더라도 뚜렷한 전략적 차이가 있음을 드러냈습니다:

• PPO-AO: 최적의 인간 친화적 전략을 학습했습니다: 정보를 수집하기 위해 체계적으로 스캔하고, 그 정보를 보유한 후, 표적 익스플로잇을 실행합니다.
• PPO-TrXL: 사전 정찰 없이 모든 익스플로잇과 권한 상승을 순차적으로 시도하는 브루트 포스 접근 방식을 학습했습니다.
• PPO-FS: 중간 정도의 행동을 보였는데, 일부 스캐닝을 수행하지만 순차적 익스플로잇에 크게 의존했습니다.

의의 및 기여

본 논문은 네 가지 주요 기여를 주장합니다:

1. StochNASim 환경: NASim을 부분 관측 가능하고 확률적인, 가변적 네트워크 크기를 가진 환경으로 변형하여, 실세계의 도전 과제를 더 잘 반영하고 전이 가능한 정책 학습을 용이하게 했습니다.
2. 체계적 평가: 하이퍼파라미터 튜닝을 포함하여, 침투 테스트에서의 부분 관측 가능성을 처리하기 위한 PPO 기반 접근 방식들에 대한 포괄적인 경험적 비교를 수행했습니다.
3. 아키텍처 복잡성에 대한 도전: 단순한 관측 증강(PPO-AO)이 복잡한 순환(LSTM) 또는 트랜스포머(TrXL) 구조보다 성능이 훨씬 뛰어나다는 것을 입증했습니다. 이는 정교한 메모리 메커니즘이 부분 관측 가능한 보안 작업의 효과적인 의사결정에 필요하다는 전통적인 가설에 도전합니다.
4. 정성적 정책 분석: 학습된 행동에 대한 상세한 분석을 제공하여, 알고리즘이 유사한 정량적 성능을 보이더라도 매우 다르고 (때로는 하위 최적인) 전략을 학습할 수 있음을 보여주었으며, 이는 RL 에이전트를 평가할 때 학습 곡선 이상의 것을 살펴봐야 함을 강조합니다.

저자들은 자동화된 침투 테스트라는 특정 도메인에서는 정보 검색 및 유지가 목표이므로, 복잡한 신경 구조를 통해 암묵적 표현을 학습하는 것보다 단순한 증강을 통한 명시적 이력 집계가 더 효과적이고 계산 효율적이라고 결론짓습니다. 또한, 이 연구는 정책이 견고하여 실제 배포가 가능하도록 하기 위해 확률적 훈련 환경이 필수적임을 강조합니다.