기술 요약: 관측을 통한 레드 에이전트 정책 학습을 위한 뉴로심볼릭 자율 사이버 에이전트

문제 정의

현대의 자율 사이버 방어 시스템은 보안 규칙을 집행하고 진화하는 위협에 적응하기 위해 강화 학습(RL) 에이전트에 점점 더 의존하고 있습니다. 그러나 이러한 환경은 본질적으로 **부분 관측 가능(partially observable)**합니다. 구체적으로, 방어자(블루 에이전트)는 공격자(레드 에이전트)의 행동이나 정책을 직접 관찰할 수 없습니다. 방어자는 오직 부분적인 상태 전이와 공격의 간접적인 결과만을 인지할 수 있습니다. 이러한 가시성 부족은 진정한 시스템 역학을 재구성하거나, 공격자의 움직임을 예측하거나, 침입 수준을 효과적으로 평가하는 데 걸림 ال미를 초래합니다.

모방 학습이 고전적 제어 및 비디오 도메인에서 잠재 정책을 추론하는 데 적용되어 왔으나, 기존 방법들은 자율 네트워크에 직접 적용하기 어렵습니다. 이는 네트워크 상태가 일반적으로 이산적(discrete)(호스트/서버 활동의 스냅샷)이며, 상태 전이가 레드 에이전트와 블루 에이전트의 결합된 행동에 따라 달라지기 때문입니다. 따라서 블루의 관측과 블루의 행동만을 사용하여 레드 에이전트의 정책을 학습하고 실행 시점에 레드 행동을 예측할 수 있는 기술이 절실히 필요합니다.

방법론

저자들은 연속적인 블루 관측($o^b_{t-1}, o^b_t$)과 이전 블루 행동($b_{t-1}$)으로부터 레드 에이전트 정책($\pi'$)을 추론하고 레드 행동($r_{t-1}$)을 예측하도록 설계된 모방 학습 기반의 정책 학습 기술을 제안합니다. 이 접근 방식은 세 단계로 구성되며 뉴로심볼릭 프레임워크와 통합됩니다.

1. 문제 정식화

네트워크는 이산 시간 **부분 관측 마르코프 결정 과정(POMDP)**으로 모델링됩니다. 목표는 알려진 블루 정책 $\pi$가 주어졌을 때 레드 정책 $\pi'$를 학습하는 것입니다. 입력값은 다음과 같습니다:

• $t-1$ 시점과 $t$ 시점의 블루 관측값.
• $t-1$ 시점에 실행된 블루 행동.
• 목표는 $t-1$ 시점에 실행된 레드 행동을 예측하는 것입니다.

2. 3단계 학습 기술

이 기술은 심층 신경망(DNN)을 사용하는 다단계 역학 모델을 채택합니다:

• 1단계: 데이터 생성

  • 시스템이 환경과 상호작용하여 전이 $(o^b_{t-1}, b_{t-1} \to o^b_t)$를 수집합니다.
  • 훈련을 위한 데이터셋 $D$가 생성됩니다.
  • 시스템으로부터 실제 레드 행동($r_{t-1}$)을 추출하여(실제 실행 시에는 관찰 불가능) 이를 액션 이름, 대상 호스트, 서브넷 구성 요소로 전처리한 라벨링된 데이터셋 $D_R$이 생성됩니다.

• 2단계: 정책 학습 (잠재 행동 추론)

  • 인코딩: 블루 행동과 타겟은 원-핫 인코딩(one-hot encoding)됩니다.
  • 잠재 행동 학습: 두 모델이 공동으로 훈련됩니다:
    1. 역 역학 모델 (IDM1): 관측값과 블루 행동이 주어졌을 때 잠재 레드 행동($l_{t-1}$)을 추정합니다.
    2. 순 역학 모델 (FDM1): 이전 상태, 블루 행동, 그리고 추론된 잠재 행동을 통해 현재 관측값($\tilde{o}^b_t$)을 예측합니다.
    • 이들은 관측 오차 $|\tilde{o}^b_t - o^b_t|$를 최소화하도록 훈련되어, 잠재 행동이 누락된 레드 역학을 포착하도록 강제합니다.
  • 정책 모방: IDM1이 학습한 잠재 행동을 모방하도록 두 번째 역 역학 모델(IDM2)이 훈련되어, 효과적으로 레드 정책 $\pi'$를 학습합니다.
  • 이산 행동으로의 매핑: 순 역학 모델(FDM2)은 연속적인 잠재 행동을 이산적인 레드 행동 구성 요소(액션 이름, 호스트, 서브넷)로 다시 매핑합니다. 이 출력값들은 임계값 처리를 거쳐 최종 예측된 레드 행동 $\hat{r}_{t-1}$을 위한 이진 원-핫 인코딩을 생성합니다.

3. 뉴로심볼릭 에이전트와의 통합

학습된 정책은 행동 트리(BT)와 학습 가능 구성 요소(LEC)를 결합한 뉴로심볼릭 아키텍처인 **진화하는 행동 트리(Evolving Behavior Tree, EBT)**에 통합됩니다.

• 런타임 예측을 수행하기 위해 EBT에 새로운 행동이 추가됩니다.
• 조건 노드는 예측 전 충분한 관측 이력이 존재하는지 확인합니다.
• EBT는 활성화된 블루 전략(예: "Meander"와 "B line" 공격자 전략 구분)에 따라 적절한 학습된 레드 정책을 선택합니다.
• 정책이 존재하지 않는 경우, 시스템은 오프라인 분석을 위해 전이 과정을 로그로 기록합니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 정책 학습 기술: 블루의 관측과 행동만을 사용하여, 부분 관측 가능한 RL 환경에서 레드 에이전트 정책을 학습하고 레드 행동을 예측하는 새로운 방법을 제시합니다.
2. 뉴로심볼릭 통합: 이 기술을 행동 트리 기반의 자율 사이버 방어 에이전트에 성공적으로 통합하여, 적대적 움직임에 대한 런타임 예측을 가능하게 합니다.
3. 실증적 평가: MITRE ATT&CK 전술을 활용하는 CybORG CAGE Challenge 2 환경을 사용하여 종합적인 평가를 수행했습니다. 이 접근 방식은 동적 전략 전환을 포함한 다양한 전략에 대해 높은 정확도를 입증했습니다.

실험 결과

저자들은 두 가지 정적 공격자 전략(Meander 및 B line)과 하나의 동적 전환 전략(RedSwitch)을 사용하여 CybORG CAGE Challenge 2 환경에서 기술을 평가했습니다.

• 예측 정확도:

  • B line: 결정론적이고 목표 지향적인 특성 덕분에 가장 높은 정확도(블루 관측 예측 99.93%, 호스트 수준 레드 행동 예측 95.28%)를 달 기록했습니다.
  • Meander: 행동의 변동성이 높아 상대적으로 낮은 정확도(관측 94.96%, 호스트 수준 77.71%)를 보였습니다.
  • RedSwitch: 활성화된 전략에 따라 성능이 달라졌으며, 에이전트가 B line 전략으로 전환될 때 정확도가 증가했습니다.
  • 서브넷 vs 호스트: 타겟 호스트 선택의 내재적 무작위성으로 인해, 모든 전략에서 서브넷 수준의 예측 정확도가 호스트 수준보다 일관되게 높았습니다.

• 침입 수준 추정:

  • 예측된 행동은 침해 수준(없음, 사용자 수준, 권한 수준)에 따른 침입 점수를 계산하는 데 사용되었습니다.
  • 결과에 따르면, 블루 EBT 에이전트는 B line 및 RedSwitch 전략에 비해 Meander 전략 하에서 공격을 완화하는 데 훨씬 더 효과적이었으며, 이는 권한 수준 침해에 도달하는 타임스텝이 더 적다는 점으로 증명되었습니다.

의의 및 주장

본 논문은 제안된 기술이 자율 사이버 방어에서의 부분 관측 가능성 문제를 효과적으로 해결한다고 주장합니다. 레드 정책을 런타임에 추론함으로써 시스템은 다음을 가능하게 합니다:

• 심각한 네트워크 침해 전 적대적 움직임의 조기 탐지.
• 시간에 따른 공격자의 침입 수준 추정.
• 예측된 레드 행동에 의해 노출된 네트워크 약점을 식별함으로써 완화 전략의 정교화.

저자들은 현재의 평가가 MITRE ATT&CK에서 파생된 시뮬레이션 환경(CybORG CAGE Challenge 2)을 기반으로 하고 있지만, 이 기술은 이산 상태 및 행동을 가진 모든 부분 관측 가능한 RL 기반 에이전트에 일반화될 수 있다고 언급했습니다. 향후 과제로 현실적인 에뮬레이션 환경에서의 검증과, 예측된 레드 행동을 활용하여 더 강력한 블루 에이전트를 훈련하는 것을 꼽았습니다. 본 연구는 더 적응적이고 해석 가능한 자율 방어 시스템을 향한 단계로 제시됩니다.