기술 요약: 적대적 네트워크에 대한 방어력 분석으로서의 쉴드 합성(Shield Synthesis)

1. 문제 정의

현재의 네트워크 보안 평가 도구들은 근본적인 격차를 겪고 있다. 정적 검증 도구는 고정된 구성에서 도달 가능성(reachability)과 격리(isolation)를 확인할 수는 있지만, 전략적 적대자를 모델링하는 데는 실패한다. 반대로, 사이버 보안을 위한 강화 학습(RL)은 시뮬레이션된 공격자에 맞서 적응형 에이전트를 훈련시키지만, 한 명의 적대자에게서 살아남은 정책이 다른 적대자에게는 실패할 수 있으며, 특정 네트워크 토폴로지가 근본적으로 방어 불가능하다는 것을 인증할 수 있는 비공식적 방법론은 존재하지 않는다.

기존의 쉴드 강화 학습(Shielded Reinforcement Learning, ShRL) 방식은 일반적으로 쉴드 합성을 **런타임 인가 메커니즘(runtime enforcement mechanism)**으로 취급한다. 이 패러다임에서는 시간 논리(temporal logic) 명세를 오토마타로 컴파일하여 훈련 또는 배포 중 에이전트의 행동을 제한한다. 그러나 이러한 프레임링은 다음과 같은 심각한 한계에 직면한다:

• 확장성(Scalability): 명시적 상태 합성(explicit-state synthesis)은 상태 변수의 지수 함수적 증가를 겪으며, 이는 계산 가능한 범위를 작은 환경으로 제한한다.
• 모델 취약성(Model Fragility): 보증(guarantees)은 모델에 종속적이다. 만약 배포된 역학(dynamics)이 가정된 전이 모델과 다를 경우(모델 불일치), "안전한" 쉴드는 안전성이 존재하지 않는 곳에서도 안전하다고 주장할 수 있다.
• 부분 관측 가능성(Partial Observability): 표준 정식화는 강력한 추상화 가정이 없으면 부분 관측 마르코프 결정 과정(POMDP)을 처리하는 데 어려움을 겪는다.

저자들은 쉴드 합성을 런타임 필터로 취급하는 것이 "잘못된 제품(wrong product)"이라고 주장한다. 대신, 그들은 동일한 오토마타 이론적 기법을 **설계 시점의 분석 도구(design-time analytical instrument)**로 재구성할 것을 제안한다. 목표는 배포된 에이전트를 위한 안전한 정책을 생성하는 것이 아니라, 시스템이 방어 가능한지, 어디가 취약한지, 그리고 건축적 변화가 방어력에 어떤 영향을 미치는지에 대한 구조적 통찰과 형식적 인증을 생성하는 것이다.

2. 방법론

본 논문은 이 관점을 **이중 명세 제약 안전 게임(Dual-Specification Constrained Safety Game)**을 통해 구체화한다.

2.1 네트워크 방어 게임

시스템은 호스트들이 상태(Clean, Compromised, Detected, Isolated, Destroyed)를 갖는 유향 그래프로 임계 네트워크 세그먼트를 모델링한다. 이 게임에는 두 플레이어가 참여한다:

• 방어자(Defender): 행동에는 모니터링, 격리, 복구, 호스트 수리가 포함된다.
• **공격자(Attacker): Compromise(침해) 확산 및 호스트 파괴 행동을 포함한다.

2.2 이중 명세 및 비대칭 인가

핵심적인 아키텍처 혁신은 두 개의 독립적인 시간 논리 명세를 결정적 유한 오토마타(DFA)로 컴파일하여 비대칭적으로 인가하는 것이다:

1. 방어자 명세 ($\phi_D$): 안전 목표를 정의한다 (예: 임계 자산이 동시에 침해되어서는 안 됨). 이 오토마타($A_D$)는 안전 게임의 **초기 불안전 집합($U$)을 생성(seed)**한다. 시스템이 $A_D$의 거부 상태에 진입하면 해당 플레이는 안전하지 않다.
2. 공격자 명세 ($\phi_A$): 적대자의 운영 제약을 부과한다 (예: 교전당 최대 2회의 "Destroy" 행동 예산). 이 오토마타($A_A$)는 어트랙터(attractor) 계산 중에 공격자의 합법적 행동을 필터링한다. 공격자는 $A_A$를 수락 상태로 유지하는 전이만을 선택할 수 있다.

이 비대칭성은 매우 중요하다: $\phi_D$는 무엇이 절대 일어나서는 안 되는가를 정의하고, $\phi_A$는 공격자가 할 수 없는 것을 정의한다.

2.3 안전 게임 솔루션 및 어트랙터 계산

프레임워크는 네트워크 상태, 턴 표시기, 그리고 두 오토마타 상태를 결합한 곱 게임(product game)을 구축한다. 이 게임은 고정점 어트랙터 알고리즘을 사용하여 방어자를 위한 **승리 영역($W$)**을 계산한다:

• **어트랙터($Attr^*$)**는 방어자의 전략에도 불구하고 공격자가 $\phi_D$ 위반을 강제할 수 있는 상태들의 집합이다.
• 계산은 $\phi_A$를 준수하도록 수정된다: 공격자 정점은 이미 어트랙터에 있는 (즉, $\phi_A$를 만족하는) 합법적 후속 상태를 가질 때만 어트랙터에 진입한다.
• 방어력 판정(Defensibility Verdict): 주요 출력은 이진 인증이다: 초기 상태 $s_0 \in W$인가? 만약 그렇다면, 토폴로지는 방어 가능하다. 그렇지 않다면, 어떤 방어 전략도 존재하지 않는다.
• 쉴드 추출(Shield Extraction): 쉴드(안전한 행동의 룩업 테이블)는 판정의 증거(witness)로서 도출되며, 런타임 컨트롤러로서 사용되지 않는다.

2.4 방어력 지표 및 지문(Fingerprint)

단순한 이진 판정을 넘어, 저자들은 여섯 가지 지표를 도출하여 **방어력 지문(Defensibility Fingerprint)**을 형성한다:

• 레이어 1 (형식적 게임 지표): 어트랙터 쉘 분해(attractor shell decomposition, 위반으로부터의 상태 거리)에서 도출된다.
  • 공격 가능성 (Attackability, ATK): 승리 영역의 가중 노출도.
  • 침몰 비율 (Sinking Ratio, SNK): 비위반 상태가 불안전 영역으로 흡수되는 비율.
  • 쉴드 마찰 (Shield Friction, FRC): 안전 유지를 위해 쉴드에 의해 차단된 방어자 행동의 비율.
  • 어트랙터 경사도 (Attractor Steepness, STP): 쉘 분포의 엔트로피 (절벽형 vs 완만한 경사).
  • 위반 근접도 (Violation Proximity, VPX): 위반까지의 평균 단계 수의 역수.
• 레이어 2 (운영 지표):
  • 공격자 지배 비율 (Attacker Dominance Ratio, ADR): **쉴드된 적대적 다중 에이전트 강화 학습(Shielded Adversarial MARL)**에서 도출된다. 두 개의 minimax-Q 학습자가 승리 영역 $W$ 내에서 대결한다. 이 지표는 평형 상태에서 공격자가 제어하는 호스트의 평균 비율을 측정한다.

3. 주요 기여

1. 이중 명세 제약 안전 게임: 방어자의 안전 목표와 공격자의 운영 제약이 별도의 DFA로 컴파일되어 비대칭적 인가 역할(불안전 집합 생성 vs 후속 상태 필터링)을 수행하는 정식화.
2. 주 출력으로서의 방어력 판정: 승리 영역을 중간 단계가 아닌 주요 결과물인 형식적 인증으로 격상.
3. 방어력 지문: 다섯 가지 형식적 지표와 한 가지 운영 지표를 결합하여 네트워크 구성을 특징짓는 통합 진단 아티팩트.
4. 진단 도구로서의 쉴드된 적대적 MARL: 포스트 수렴(post-convergence) MARL 행동(방어자 지배 비율)을 에이전트 성능 지표가 아닌 연속적인 토폴로지 진단 도구로 사용.
5. What-If 분석: 형식적 안전성과 운영 효율성이 서로 다른 측면을 포착함을 입증함으로써, 작은 아키텍처 변화가 형식적 안전 마진은 거의 유지하면서도 운영적 결과는 극적으로 바꿀 수 있음을 보여줌.

4. 실험 결과

프레임워크는 "잊혀진" VPN 바이패스 엣지를 가진 5-호스트 참조 토폴로지에서 평가되었다. 다섯 가지 "What-if" 케이스가 분석되었다:

• Baseline: 참조 토폴로지.
• Case 2 (Fully Connected): 연결성 증가 (6개에서 13개 엣지로).
• Case 3 (Unlimited Destroys): 공격자의 자원 제약 제거.
• Case 4 (Relaxed $\phi_D$): 최소 활성 호스트 요구사항 감소.
• Case 5 (VPN Removed): 특정 VPN 바이패스 엣지 제거.

주요 결과:

• 계층 간 분리(Decoupling of Layers): Case 2(완전 연결)에서 형식적 안전 지표(승리 영역 크기, 공격 가능성)는 베이스라인과 거의 동일하게 유지되었다. 그러나 운영 결과(방어자 지배 비율)는 약 54%에서 약 23%로 급락했다. 형식적 게임은 "생존이 가능하다"고 말했지만, 운영 계층은 방어자가 압도당하고 있음을 드러냈다.
• 단일 엣지에 대한 민감도: Case 5(VPN 바이패스 제거)에서 형식적 승리 영역 크기는 미미하게 변했으나(23,730 $\to$ 23,858 상태), 방어자 지배 비율은 53.9%에서 80.7%로 급증했다. 이는 단 하나의 아키텍처 결함이 형식적으로 방어 가능한 시스템을 운영적으로 방어 불가능하게 만들 수 있음을 보여준다.
• 명세 섭동(Specification Perturbation): 제약을 완화(Case 3 및 4)하면 두 계층이 일관되게 움직였으며, 이는 명세가 게임의 기하학적 구조를 결정하고, 이것이 다시 운영적 행동을 결정함을 확인시켜 주었다.

5. 의의 및 주장

본 논문은 쉴드 합성이 안전한 에이전트를 위한 배포 메커니즘이 아니라, 아키텍처 질문에 답하기 위한 프레임워크로서 가장 가치 있다고 주장한다.

• 제품의 전환: 출력물은 안전한 정책이 아니라 방어력 판정과 구조적 통찰이다. 쉴드는 파생된 증거(witness)이지 전달물(deliverable)이 아니다.
• 설계 시점의 도구: 이 프레임워크를 통해 설계자는 "이 구성은 방어 가능한가?", "얼마나 방어적인가?", "어떤 변화가 방어력을 개선하는가?"라는 질문에 형식적 보증과 함께 답할 수 있다.
• 두 계층의 필요성: 형식적 안전 게임과 운영적 MARL 계층은 상호 보완적이며 대체 불가능하다. 시스템은 형식적으로 방어 가능할 수 있지만(생존이 가능함), 적응형 적대자에 대해 운영적으로 압도당할 수 있다(생존이 사실상 불가능함).
• 실행 가능한 진단: "방어력 지문"은 시각적이고 정량적인 비교 방법을 제공하며, 작은 토폴로지 변화(예: 단 하나의 방화벽 규칙)가 정적 분석이나 비공식적 시뮬레이션이 놓칠 수 있는 거대한 운영적 영향을 미칠 수 있음을 드러낸다.

저자들은 명시적 상태 분석의 확장성 문제(작은 서브시스템 $|V| \le 7$로 제한됨)와 결정론적 전이 가정 등의 한계를 인정한다. 그러나 그들은 아키텍처 결정이 내려지는 작고 중요한 네트워크 세그먼트의 영역에서, 이 프레임워크가 기존 도구가 제공할 수 없는 방어력을 정량화하는 실행 가능하고 엄격한 방법을 제공한다고 주장한다.