Explainable Autonomous Cyber Defense using Adversarial Multi-Agent Reinforcement Learning

1. 연구 배경 및 문제 정의 (Problem)

현대 사이버 물리 시스템 (CPS) 과 핵심 인프라는 자동화된 방어 시스템의 도입으로 대응 속도가 빨라지고 있지만, 다음과 같은 심각한 취약점이 존재합니다.

• Living-off-the-Land (LotL) 및 테lemetry 조작: 고급 지속적 위협 (APT) 공격자들은 시스템의 정상적인 활동을 악용하거나, 모니터링 시스템의 혼란을 유발하기 위해 의도적으로 데이터 (Telemetry) 를 조작합니다.
• 상관관계 기반 자동화의 한계: 기존 자율 방어 시스템은 주로 데이터 간의 '상관관계'에 의존합니다. 이로 인해 적대적인 입력이나 모호한 상황에서는 오탐지 (False Positive) 가 발생하거나, benign(정상) 행위를 악성으로 오인하여 불필요한 차단 조치 등 운영 중단 (Operational Disruption) 을 초래합니다.
• 이해 가능성 및 구조적 제약 부재: 기존 다중 에이전트 시스템이나 설명 가능한 AI (XAI) 는 사후 해석에 그치거나, 방어 행동의 경로에 대한 구조적 제약이 없어 논리적으로 일관되지 않은 대응이 발생할 수 있습니다.

2. 제안된 방법론: C-MADF (Methodology)

저자들은 **Causal Multi-Agent Decision Framework (C-MADF)**를 제안합니다. 이는 인과 모델링, 제약된 의사결정, 적대적 다중 에이전트 심의, 그리고 인간 개입을 통합한 구조화된 아키텍처입니다.

핵심 구성 요소

1. 인과적 구조 모델 (SCM) 학습 및 MDP-DAG 로드맵 구축:

   • 과거 보안 데이터 (Telemetry) 로부터 **구조적 인과 모델 (Structural Causal Model, SCM)**을 학습합니다.
   • 학습된 SCM 을 지향성 비순환 그래프 (DAG) 형태의 '조사 로드맵'으로 컴파일합니다.
   • 이 로드맵은 마르코프 의사결정 과정 (MDP) 의 **행동 공간 (Action Space)**을 정의하며, 인과적으로 허용된 전이 (Transition) 만이 실행 가능하도록 구조적 제약을 가합니다. 즉, 증거 수집 없이 직접적인 차단 조치를 취하는 등의 비논리적 행동을 원천 차단합니다.

2. 적대적 다중 에이전트 심의 (Council of Rivals):

   • Blue-Team (공격 최적화): 위협을 neutralize(무력화) 하고 증거를 확보하는 데 중점을 둔 정책.
   • Red-Team (보수적 검증): 불필요한 운영 중단이나 오탐지를 방지하기 위해 Blue-Team 의 제안에 대해 보수적으로 검증하고 이의를 제기하는 정책.
   • 두 에이전트는 공유된 제약된 MDP-DAG 내에서 **자기 플레이 (Self-play)**를 통해 학습하며, 서로 다른 목적 함수 (Reward Shaping) 를 가집니다.

3. 정책 발산 점수 (Policy Divergence Score, $D(s_t)$):

   • Blue-Team 과 Red-Team 의 의견 불일치를 정량화합니다.
   • 발산 점수가 임계값을 초과하면 시스템은 자율 실행을 중단하고 인간 운영자에게 에스컬레이션 (Escalation) 합니다.

4. 설명성 - 투명성 점수 (Explainability-Transparency Score, ETS):

   • **Clarity (명확성), Completeness (완결성), Confidence (신뢰도)**를 종합하여 계산된 스칼라 지표입니다.
   • 이 점수는 자율 실행의 'Go/No-Go' 신호로 작용하며, 불확실성이 높을 때 인간 개입을 유도하는 에스컬레이션 신호 역할을 합니다.

3. 주요 기여 (Key Contributions)

1. 인과적으로 제약된 조사 계획: 학습된 SCM 을 기반으로 MDP-DAG 로드맵을 생성하여, 자율 행동이 인과적으로 타당한 전이 경로로만 제한되도록 보장합니다.
2. 적대적 이중 정책 심의 (Adversarial Dual-Policy Deliberation): 위협을 최적화하는 Blue-Team 과 보수적인 Red-Team 이 서로 경쟁하며 불확실성을 정량화하고, 논리적 오류를 교정하는 '경쟁자 의회 (Council of Rivals)' 설계를 도입했습니다.
3. 설명 가능한 에스컬레이션 메커니즘: 정책 일치도, 증거 충분성, 설명의 질을 통합한 ETS 를 도입하여, 불확실한 상황에서 인간 운영자의 개입을 체계적으로 유도합니다.
4. 검증 중심의 평가: CICIoT2023 실세계 데이터셋을 활용한 정량적 평가와 함께, 제약된 전이 추론 및 베이스라인 비교를 통해 프레임워크의 유효성을 입증했습니다.

4. 실험 결과 (Results)

CICIoT2023 데이터셋을 사용한 실험에서 C-MADF 는 최신 3 가지 베이스라인 (DUGAT-LSTM, BiLSTM IDS, Hybrid Weighted-XGBoost) 을 압도적으로 능가했습니다.

• 성능 지표:
  • 정밀도 (Precision): 0.997 (베이스라인 대비 최고)
  • 재현율 (Recall): 0.961
  • F1-Score: 0.979
  • 오탐지율 (FPR): 1.8% (베이스라인 대비 획기적 감소: 기존 8.4%~11.2% → 1.8%)
• 의미: 오탐지율이 80% 이상 감소하여 불필요한 차단 조치로 인한 시스템 다운타임을 크게 줄였으며, 동시에 실제 공격 탐지율 (Recall) 은 유지했습니다.
• Ablation Study (성분 제거 실험):
  • Causal SCM 제거 시 FPR 이 59.4% 로 급증하여 인과적 필터링의 중요성을 입증했습니다.
  • Red-Team 제거 시 FPR 이 21.2% 로 증가하여 적대적 심의가 오탐지 방지에 필수적임을 보여주었습니다.
• ETS 성능: ETS 점수는 증거의 충분성과 정책 일치도와 강한 단조 상관관계를 보이며, 불확실한 상황에서 인간 에스컬레이션의 신뢰할 수 있는 신호로 작용했습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율 사이버 방어 분야에서 **상관관계 기반의 단순 자동화를 넘어, 인과적 추론과 구조적 제약을 통한 '신뢰할 수 있는 자율성 (Dependable Autonomy)'**을 달성하는 새로운 패러다임을 제시합니다.

• 안전성 보장: 인과적 DAG 로드맵을 통해 논리적으로 일관되지 않은 위험한 대응 행동을 구조적으로 차단합니다.
• 운영 안정성: 높은 오탐지율로 인한 운영 중단 (False Positive Mitigation) 을 획기적으로 줄여, 핵심 인프라 (전력망, 산업 제어 시스템 등) 의 가용성을 보호합니다.
• 인간 - AI 협업: ETS 와 정책 발산 점수를 통해 AI 가 언제 인간에게 판단을 넘겨야 하는지 명확히 하여, 'Human-in-the-Loop' 시스템의 실용성을 높였습니다.

결론적으로 C-MADF 는 복잡한 적대적 환경에서도 안전하고 설명 가능하며 검증 가능한 자율 사이버 방어 체계를 구축할 수 있음을 실증적으로 증명했습니다.