기술 요약: 자율 네트워크 보안 대응을 위한 안전-계약 그래프 다중 에이전트 강화 학습

1. 문제 정의

본 논문은 이론적인 보안 성능과 운영 가능한 배포 가능성 사이의 결정적인 간극을 다룹니다. 다중 에이전트 강화 학습(MARL) 에이전트는 시뮬레이션(예: CAGE Challenge 4)에서 보안 보상을 최적화할 수는 있지만, 보안 운영 센터(SOC)의 운영 제약 조건을 준수하는 데는 종종 실패합니다.

실제 SOC 환경에서는 대응 조치에 구체적인 비용이 따릅니다:

• 다운타임/MTTR: 침해된 호스트를 복구하는 것은 해당 호스트를 오프라인 상태로 만들며, 이는 "평균 복구 시간(Mean Time to Recover)" 예산을 소모합니다.
• 오탐(False Positives): 명확한 악성 증거 없이 호스트를 복구하는 것은 분석가에게 부담을 주고 신뢰를 저하시킵니다.
• 방화벽 중단: 트래픽 존을 수정하는 것은 변경 관리 승인을 필요로 하며 감사 추적을 생성합니다.

핵심 문제는 보상만을 추구하는 표준 MARL 에이전트가 보안 점수를 극대화하도록 훈련될 때, 이러한 운영 예산을 체계적으로 고갈시킨다는 점입니다. CAGE Challenge 4 평가에서, 제약이 없는 에이전트들은 에피소드의 100%에서 다운타임 예산을 위반했으며, 에피소드당 허용 예산의 6~9배를 소모했습니다. 본 논문은 자율 대응 시스템이 보안 보상과 관계없이 명시적인 SOC 거버넌스 제약 내에서 작동할 수 없다면 배포가 불가능하다고 주장합니다.

2. 방법론

저자들은 주로 C-MAPPO-GAT와 ACD3-GAT라는 두 가지 아키텍처를 통해 구현되는 Safety-Contract Graph MARL 프레임워크를 제안합니다. 이 접근 방식은 문제를 제약된 분산 부분 관측 가능 마르코프 결정 과정(Constrained Dec-POMDP)으로 취급합니다.

2.1. 핵심 프레임워크 구성 요소

• 운영 예산: 에피소드당 세 가지 명시적 예산 카운터가 정의됩니다:
  • $B_{down} = 50$ (복구 조치).
  • $B_{fp} = 10$ (오탐 복구 조치).
  • $B_{fw} = 20$ (방화벽 변경 조치).
  • 각 제약에 대한 누적 비용이 예산 내에 머무는 경우에만 에피소드는 "안전"한 것으로 간주됩니다.
• 그래프 관측 인코딩: 에이전트는 네트워크 상태를 나타내는 이진 벡터를 관찰합니다. 이 벡터들은 호스트-서브넷 그래프로 파싱됩니다. 그래프 어텐션 네트워크(GAT) 인코더는 이러한 그래프를 처리하여 토폴로지 의존성을 포착하며, 이는 표준 MLP 인코더를 대체합니다.
• 라그랑주 제약 최적화: 프레임워크는 라그랑주 완화 접근 방식을 사용합니다. 두 변수(승수 $\lambda_k$)는 특정 예산을 초과하는 정책에 페널티를 부여하기 위해 각 배치 후에 업데이트됩니다. 어드밴티지 함수는 다음과 같이 비용 페널티를 차감하도록 수정됩니다:
  $$\hat{A}^{Lag}_t = \hat{A}^r_t - \sum_k \lambda_k \hat{A}^{c_k}_t$$
• 역사실적 행동 스크리닝 (Shielding): 행동이 실행되기 전, "쉴드(Shield)"가 후보 행동을 평가합니다.
  • 하드 가드(Hard Guard): 남은 예산을 즉시 고갈시키는 행동은 차단됩니다.
  • 그래프 역사실적 위험 전파 (G-CRP): 결정론적 모델이 네트워크 그래프를 통해 위험을 전파하여 조치 후의 침해 확률을 추정합니다. 행동은 예측된 위험, 비용 및 예산 제약을 결합한 안전 점수 $Q_{safe}$에 의해 순위가 매겨집니다.
• 시계열 계약 그래프 쉴딩 (TCGS): 궤적 이력을 기반으로 미래의 예산 위반 확률을 예측하는 학습된 순환 모델을 사용하는 진단 확장 기능으로, 행동 제안에 대한 시계열 필터 역할을 합니다.

2.2. 평가된 아키텍처

1. C-MAPPO-GAT: 다중 에이전트 PPO(MAPPO)와 GAT 인코더, 라그랑주 비용 제어를 결합한 제약된 베이스라인입니다. 이는 명시적인 운영 비용 제약의 효과를 격리하여 보여줍니다.
2. ACD3-GAT (Graph Attention Network을 이용한 적응형 제약 역사실적 의사결정): 통합된 전체 아키텍처인 ACD3-GAT는 다음을 추가합니다:
   • 정책 입력에 예산 컨텍스트 벡터 추가.
   • 꼬리 위험(Tail-risk, 최악의 경우) 에피소드에 페널티를 부여하는 CVaR(조건부 가치 위험) 재가중치 적용.
   • 상대방 믿음 상태 추정 (GRU를 통해).
   • G-CRP 및 TCGS 쉴딩 메커니즘.
   • 신뢰도가 낮거나 예산이 고갈되었을 때 인간 개입(Human-in-the-loop) 폴백(예: SLEEP 행동)을 트리거하는 오버라이드 신호.

3. 주요 기여

• 명시적 안전 계약: 본 논문은 운영 제약을 암묵적인 부수 효과에서 명시적이고 감사 가능한 "안전 계약"으로 전환하여, 훈련 및 실행 중에 이를 최적화하고 스크리닝합니다.
• ACD3-GAT 프레임워크: 그래프 인지, 라그랑주 제약 학습, 꼬리 위험 계측, 역사실적 위험 전파를 단일 MARL 시스템으로 통합하는 새로운 아키텍처를 제시합니다.
• 보상 전용 모델의 실패에 대한 실증적 증거: 연구는 보상 전용 MARL(IPPO, MAPPO-GAT 등)이 근본적으로 배포 불가능함을 입증하며, 다운타임 예산을 100% 위반함을 보여줍니다.
• 제어된 베이스라인: C-MAPPO-GAT를 도입함으로써, 안전 개선이 단순히 그래프 인코더나 보상 쉐이핑 때문이 아니라 제약 메커니즘(라그랑주 + 쉴딩)에서 기인함을 증명하는 통제된 베이스라인 역할을 수행하게 합니다.

4. 결과

실험은 500단계 에피소드 동안 5개의 협력하는 "블루(Blue)" 에이전트와 "레드(Red)" 공격자를 대상으로 CAGE Challenge 4에서 수행되었습니다.

4.1. 안전 준수

• 제약 없는 방법들: 모든 보상 전용 베이스라인(IPPO, MAPPO-GAT 등)은 100% 다운타임 예산 위반율을 기록했습니다. 이들의 평균 다운타임 비용은 예산 50에 대해 311에서 430 사이였습니다.
• C-MAPPO-GAT: 다운타임 위반율을 0.3%(600 에피소드 중 2회 위반)로 낮추었으며, 평균 다운타임 비용을 15.5로 낮추었습니다. 이는 제약 없는 MAPPO-GAT와 비교했을 때 운영적 해악을 95~96% 감소시킨 것입니다.
• ACD3-GAT: 평균 다운타임 비용 48.2와 13.8%의 위반율을 달了했습니다. C-MAPPO-GAT보다 덜 보수적이지만, 위험과 보상을 더 효과적으로 균형 있게 맞추며 "안전-계약 프런티어"에서 작동합니다.

4.2. 수익 vs. 안전 트레이드오프

• 제약된 방법들은 평균 보안 수익에서 손실을 입었습니다 (예: C-MAPPO-GAT는 -6,992를 반환한 반면, 제약 없는 MAPPO-MLP는 -3,937을 반환).
• 그러나 본 논문은 이 트레이드오프가 필수적이라고 주장합니다: 높은 보안 보상을 얻더라도 100% 예산 위반이 발생하는 정책은 운영적으로 무용지물이기 때문입니다.
• 꼬리 위험 (Tail Risk): 그래프 인코더(GAT)는 MLP 인코더에 비해 최악의 꼬리 수익(CVaR-10%)을 개선했지만, 오직 제약된 방법들만이 파멸적인 에피소드(경고 임계값 초과)를 제거할 수 있었습니다.

4.3. 강건성 스트레스 테스트

• 토폴로지 변화: C-MAPPO-GAT는 미학습 네트워크 토폴로지에서도 0%의 다운타임 위반을 유지한 반면, 제약 없는 방법들은 여전히 100% 위반을 보였습니다.
• 적응형 레드 프로세스: 적응형 Red PPO 에이전트를 상대로 테스트했을 때, 제약된 정책은 보상 전용 MAPPO-GAT에 비해 성능 저하가 현저히 적었습니다.

5. 의의 및 주장

본 논문은 자신의 주요 기여가 완전한 생산 준비 완료 시스템을 주장하는 것이 아니라, 자율 SOC 에이전트를 위한 배포 가능한 의사결정 지원 패턴을 확립하는 것임을 겸허히 밝힙니다.

• 운영 규율: 핵심적인 발견은 "보상 전용 학습은 운영 규율이 부족하다"는 것입니다. 본 논문은 명시적인 안전 계약 없이는 MARL 에이전트가 운영적으로 파괴적인 전략(예: MTTR 예산 고갈)을 학습한다는 것을 입증합니다.
• 감사 가능성: 이 프레임워크는 에이전트를 로컬 예산에 따라 행동을 검사할 수 있는 감사 가능한 구성 요소로 만들어, 인간의 거버넌스 및 에스컬레이션 경로를 명확히 제공합니다.
• 프런티어 위치 선정: 결과는 가장 신뢰할 수 있는 준수 지점인 C-MAPPO-GAT 설정과, 안전, 그래프 인지 및 위험을 통합하는 일반적인 프레임워크인 ACD3-GAT 아키텍처를 구분합니다.
• 한계: 저자들은 안전 보장이 비볼록(non-convex) 신경망 정책에 대한 수학적 엄밀한 증명이 아니라 경험적(시뮬레이션 내 위반율 기반)임을 인정합니다. "안전 계약"은 CAGE-4 시뮬레이터 내의 평가 및 훈련 규율이며, 실제 세계 배포에는 조직의 SLA에 따른 예산 조정이 필요할 것입니다.

결론적으로, 본 논문은 자율 네트워크 보안이 실행 가능하려면 학습 목표가 보안 보상과 함께 운영 수용성을 명시적으로 최적화해야 하며, 이를 위해 라그랑주 제약과 역사실적 쉴딩과 같은 메커니즘을 사용하여 예산 고갈을 방지해야 한다고 주장합니다.