Quantitative Evaluation of APT Attack and Defense Effectiveness based on Variable Fuzzy Sets

기술 요약: 가변 퍼지 집합에 기반한 APT 공격 및 방어 효과의 정량적 평가

문제 정의
지능형 지속 위협(APT)은 적절성, 복잡성, 은닉성을 특징으로 하며, 일반적인 네트워크 공격보다 훨씬 더 큰 위험을 초도합니다. 기존의 모델링 및 분석 방법은 APT 공격 및 방어 동작의 효과를 정확하게 묘사하고 평가하는 데 한계가 있습니다. 기존 방식들은 다음과 같은 몇 가지 문제점을 안고 있습니다:

• 통합적 평가의 부재: 많은 모델이 공격과 방어의 효과를 별도로 평가하며, 공격-방어 게임 내에서 이를 하나의 전체로서 고려하는 통합된 프레임워크가 부족합니다.
• 시나리오 비민감성: 기존 모델은 서로 다른 시나리오 하에서 동일한 동작의 효율성 변화를 반영하지 못하는 경우가 많습니다.
• 불확실성 처리: APT 평가는 평가 지표와 데이터 모두에서 상당한 불확실성을 수반합니다. 결정론적 방법과 고전적인 퍼지 종합 평가 방법은 이러한 불확실성을 객관적으로 처리하는 데 어려움을 겪으며, 종종 주관적인 인간의 판단에 의존하거나 구간 기반 표준을 효과적으로 활용하지 못합니다.

방법론
본 논문은 APT 공격 및 방어 동작의 효과를 정량적으로 평가하기 위해 APT-VFSEA(APT-가변 퍼지 집합 효율성 평가)라고 명명된 새로운 프레임워크를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 통합 평가 기준 및 가중치 산정:

   • 공격 및 방어 시나리오 모두에 적용 가능한 유연한 지표 선택 방법을 설계하였습니다.
   • 가중치 계산: 본 논문은 주관적 가중치와 객체적 가중치의 선형 결합을 사용합니다.
     • 계층 분석 과정(AHP): 전문가의 판단과 지표(특징, 하위 특징, 메트릭)의 계층 구조를 바탕으로 주관적 가중치를 계산하는 데 사용됩니다.
     • 엔트로피 가중치 방법(EWM): 데이터의 정보 엔트로피를 기반으로 각 지표가 제공하는 정보량을 반영하여 객관적 가중치를 계산하는 데 사용됩니다.
     • 최종 가중치는 $w_i = \alpha \cdot w_A(i) + \beta \cdot w_E(i)$인 선형 결합이며, 여기서 $\alpha$와 $\beta$는 합이 1인 계수입니다.

2. 가변 퍼지 집합(VFS) 모델 구축:

   • 모델의 핵심은 모델 파라미터가 변할 수 있도록 하여 불확실성을 처리하는 고전적 퍼지 집합의 확장형인 가변 퍼지 집합입니다.
   • 입력값: 모델은 평가 데이터의 샘플 행렬($X$), 가중치 벡터($W$), 그리고 $c$개의 수준으로 나뉜 평가 표준 구간 행렬($S_{ab}$)을 입력으로 받습니다.
   • 메커니즘: 고정된 클러스터 중심 대신, 모델은 구간 기반의 클러스터 중심과 가변 범위 구간($S_{a'b'}$)을 사용합니다. 또한 일반화된 메트릭 가중 거리(generalized metric weight distances)를 사용하여 샘-플이 서로 다른 범주에 속하는 상대적 멤버십 정도를 계산합니다.
   • 최적화: 모델은 최적의 멤버십 정도, 클러스터 중심 및 가중치를 결정하기 위해 목적 함수를 해결합니다. 최적화 기준 및 거리 메트릭(예: 최소 제곱, 맨해튼, 유클리드)을 위해 가변 파라미터($\alpha$ 및 $p$)를 활용하며, 이를 통해 신뢰성을 높이기 위한 다양한 모델 조합이 가능합니다.

3. 평가 알고리즘:

   • 알고리즘은 데이터를 정규화하고, 다양한 모델 파라미터 조합에 대한 상대적 멤버십 벡터를 계산하며, 종합적인 상대적 멤버십 정도를 도출합니다.
   • 각 샘플에 대해 수준별 멤버십 정도의 가중 평균을 기반으로 고유값을 계산합니다.
   • 최종 효과 점수는 서로 다른 파라미터 조합으로부터 얻은 결과의 평균값이며, 이를 통해 특정 파라미터 선택의 영향을 줄이고 안정성을 확보합니다.

주요 기여

• 통합 프레임워크: 본 논문은 동일한 시나리오 내에서 공격 및 방어 동작을 모두 평가할 수 있는 방법을 제안하여, 기존 모델의 비교 가능성 결여 문제를 해결합니다.
• 가변 퍼지 집합 적용: 지표와 데이터 모두의 불확실성을 처리하기 위해 APT 효과 평가에 가변 퍼지 집합을 도입했습니다. 이 접근 방식은 특히 메트릭 표준이 구간 형태일 때 결정론적 방법이나 고전적 퍼지 종합 평가의 한계를 극복합니다.
• 유연한 가중치 부여: AHP와 EWM의 통합은 전문가의 지식과 데이터 기반의 객관성을 결합하여 균형 잡힌 가중치 계산 방식을 제공합니다.
• 강건성(Robustness): 네 가지 서로 다른 모델 파라미터 구성($\alpha \in \{1,2\}, p \in \{1,2\}$)의 결과를 결합함으로써, 평가 결과의 신뢰성, 일관성 및 안정성을 향상시킵니다.

실험 결과
저자들은 대학 네트워크 환경에서 APT32 (OceanLotus) 조직이 CVE-2017-11882 취약점을 악용하는 시뮬레이션된 APT 공격 시나리오를 사용하여 APT-VFSEA 모델을 검증했습니다.

• 시나리오: 실험은 6가지 구체적인 동작을 시뮬레이션했습니다: 3가지 공격 동작(취약점 악용, 트로이 목마 배포)과 3가지 방어 동작(IDS, Sysmon 로그 수집, 방화벽 차단, 백신 스캐닝).
• 결과:
  • 모델은 효과 점수를 1에서 5 사이로 할당했습니다.
  • 공격 효과성: 취약점 악용은 약 3.68, 트로이 목마 배포는 약 3.31의 점수를 기록했습니다.
  • 방어 효과성: 초기 침입을 방어하는 데 있어 IDS와 Sysmon은 각각 약 2.79와 3.50으로 낮은 점수를 기록했는데, 이는 공격자가 초기에 성공했던 시뮬레이션 상황과 일치합니다. 그러나 방화벽과 백신 동작은 통신을 차단하고 악성 파일을 제거하는 데 성공했음을 반영하여 더 높은 점수(약 3.62 및 3.93)를 기록했습니다.
  • 검증: 정량적 결과는 시뮬레이션에서 관찰된 실제 결과(예: 초기 탐지 도구의 실패 대 봉쇄 및 제거 도구의 성공)와 일치했습니다.
  • 변동성: 평가 결과는 작은 변동 범위(예: 취약점 악용의 경우 3.59–3.74)를 보여 모델의 안정성을 입증했습니다.

의의 및 주장
본 논문은 APT-VFSEA 모델이 APT 공격 및 방어 효과를 정량적으로 평가하는 신뢰할 수 있고 정확한 방법을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 불확실성의 객관적 처리: 주관적 판단에만 의존하지 않고 APT 시나리오에 내재된 불확실성을 효과적으로 관리합니다.
• 전략 수립을 위한 데이터 지원: 평가 결과는 과거 APT 사건을 검토하고, 공격의 결과를 결정하며, 향후 방어 전략을 수립하기 위한 데이터 기반의 지원을 제공할 수 있습니다.
• 적용 가능성: 본 방법은 기존의 결정론적 또는 고전적 퍼지 방법과 비교하여 더 나은 운용성, 신뢰성 및 일관성을 갖춘 것으로 제시되었습니다.

한계점
저자들은 현재 연구가 다음과 같은 범위로 제한되어 있음을 인정합니다:

• 제로 데이(zero-day) 취약점, 공급망 공격 또는 기타 침투 방법을 사용하는 다중 유형의 APT 그룹을 검증하지 않고, 특정 문서 취약점 공격 체인(CVE-2017-11882)에 의한 APT32 공격만을 시뮬레이션했습니다.
• 대규모 산업 제어 네트워크나 정부 인트라넷에 대한 검증 없이, 소규모 내지 중규모 규모의 캠퍼스 가상 네트워크 환경을 대상으로 했습니다.

이러한 한계점들은 향후 연구 분야로 명시되었습니다.