Routing-Aware Explanations for Mixture of Experts Graph Models in Malware Detection

1. 연구 배경 및 문제 정의 (Problem)

현대 악성코드는 복잡성과 변종이 급격히 증가하여 기존의 시그니처 기반 탐지 시스템으로는 대응이 어려워졌습니다. 동적 분석 (Dynamic Analysis) 을 통해 실행 시의 행위를 관찰하는 것이 중요해졌으며, 특히 **제어 흐름 그래프 (Control Flow Graph, CFG)**는 프로그램의 실행 구조를 효과적으로 표현합니다.

• 기존 GNN 의 한계: 단일 그래프 신경망 (GNN) 모델은 CFG 의 복잡한 구조적 패턴을 학습할 수 있지만, 악성코드의 다양한 행동 양상 (패킹, 오프스큐레이션 등) 을 포괄적으로 처리하기에는 한계가 있으며, 결정 과정이 불투명 (Black-box) 하여 보안 분석가들의 신뢰를 얻기 어렵습니다.
• 해결 필요성: 다양한 그래프 구조와 악성코드 행위를 효과적으로 처리하면서도, 모델이 왜 특정 결정을 내렸는지 설명 가능한 (Explainable) 탐지 시스템이 필요합니다.

2. 제안된 방법론 (Methodology)

저자들은 **혼합 전문가 모델 (Mixture of Experts, MoE)**을 CFG 기반 악성코드 탐지에 적용하고, 라우팅 인식 (Routing-Aware) 설명 기법을 도입한 새로운 프레임워크를 제안했습니다.

2.1. CFG 구축 및 특징 표현 (Feature Representation)

• 동적 심볼릭 실행: PE (Portable Executable) 파일에서 CFG 를 추출하여 기본 블록 (Basic Block) 을 노드로, 제어 흐름을 간선으로 구성합니다.
• 2 단계 노드 임베딩:
  1. 규칙 기반 인코딩: x86-64 어셈블리 명령어를 프리픽스, 오퍼코드, ModRM 등 7 가지 구성 요소로 분해하여 439 차원의 벡터로 인코딩합니다.
  2. 오토인코더 (Autoencoder): 고차원 벡터를 64 차원의 잠재 공간으로 압축하여 효율적인 노드 특징을 생성합니다.

2.2. 2 단계 다양성 MoE 아키텍처

모델은 노드 수준과 그래프 수준에서 두 가지 차원의 다양성을 확보합니다.

1. 노드 수준 (Node-Level Encoding):

   • 각 GNN 레이어에서 이웃 노드 정보를 집계할 때, **차수 재가중치 (Degree Reweighting, $\rho \in \{0, 1\}$)**와 **풀링 전략 ($\lambda \in \{mean, std, max\}$)**을 조합하여 6 가지의 서로 다른 통계적 뷰를 생성합니다.
   • 이를 MLP 를 통해 융합하여 노드 표현의 다양성을 확보합니다.

2. 그래프 수준 (Graph-Level Expert Readouts):

   • 6 개의 전문가 (Experts): 각 전문가는 특정 $(\rho, \lambda)$ 조합에 특화되어 그래프 전체의 로그 (Logits) 를 출력합니다.
   • Top-k 라우팅 및 부하 균형 (Load Balancing, LB): 게이트 네트워크가 입력 그래프에 따라 상위 $k$개의 전문가를 선택하고 가중치를 부여합니다. 전문가의 편중을 방지하기 위해 부하 균형 보조 손실 함수를 사용하여 모든 전문가가 고르게 활용되도록 유도합니다.

2.3. 라우팅 인식 사후 설명 (Routing-Aware Post-Hoc Explanation)

• 개념: 모델이 특정 입력에 대해 어떤 전문가들을 선택했는지 (라우팅 게이트) 를 반영하여 설명을 생성합니다.
• 방식:
  1. 선택된 $k$개 전문가 각각에 대해 엣지 (Edge) 수준의 중요도 점수 ($\beta$) 를 계산합니다 (예: Integrated Gradients 사용).
  2. 라우터가 부여한 게이트 가중치 ($\alpha$) 를 사용하여 각 전문가의 설명 점수를 가중 평균합니다.
  3. 최종 설명은 "어떤 전문가가 무엇을 강조했는지"와 "라우터가 그 전문가를 얼마나 신뢰했는지"를 모두 반영합니다.

3. 주요 기여 (Key Contributions)

1. 종단 간 (End-to-End) 프레임워크: CFG 추출, 2 단계 MoE-GNN 모델링, Top-k 라우팅, 라우팅 인식 사후 설명을 통합한 악성코드 탐지 프레임워크를 제시했습니다.
2. 2 단계 다양성 MoE: 다중 통계 노드 인코딩과 6 개의 특화 전문가, Top-k 라우팅을 결합하여 CFG 기반 탐지의 성능과 일반화 능력을 향상시켰습니다.
3. 라우팅 인식 설명 기법: 모델의 실제 의사결정 과정 (어떤 전문가가 선택되었는지) 에 정렬된 설명을 제공하여, 기존 단일 모델 설명법보다 더 투명하고 신뢰할 수 있는 근거를 제시합니다.

4. 실험 결과 (Results)

• 데이터셋: BODMAS (악성), PMML (악성), DikeDataset (정상) 의 CFG 데이터를 사용했습니다.
• 성능 비교:
  • 제안된 Top-2 MoE (부하 균형 적용) 모델은 GCN, GAT, GIN 등 단일 백본 GNN 기반의 기존 방법론 (최고 89.10% 정확도) 을 능가하여 93.59% 의 정확도를 달성했습니다.
  • 특히 정상 (Benign) 샘플의 정밀도 (96.23%) 와 악성 (Malicious) 샘플의 재현율 (97.94%) 에서 우수한 성능을 보였습니다.
  • 부하 균형 (LB) 을 적용한 것이 전문가 편중을 막고 안정성을 높이는 데 결정적인 역할을 했습니다.
• 설명성 평가:
  • Fidelity (신뢰도): 중요한 서브그래프를 제거했을 때 예측이 변하는 정도를 측정했습니다. Top-2 MoE (LB) 가 가장 높은 Fidelity 점수를 기록하여, 생성된 설명이 모델의 실제 의사결정을 잘 반영함을 입증했습니다.
  • Characterization Score: 설명의 필요성과 충분성을 종합한 점수에서도 Top-2 MoE (LB) 가 가장 우수했습니다.

5. 의의 및 결론 (Significance)

이 연구는 악성코드 탐지에서 **모델의 성능 (Accuracy)**과 **해석 가능성 (Interpretability)**을 동시에 달성하는 새로운 패러다임을 제시했습니다.

• 기술적 의의: 단순히 여러 모델을 섞는 것을 넘어, 입력에 따라 동적으로 전문가를 선택하고 (Conditional Computation), 그 선택 과정을 설명에 반영함으로써 MoE 아키텍처의 투명성을 높였습니다.
• 실용적 의의: 보안 분석가들이 모델의 경고를 신뢰하고, 악성코드의 구체적인 실행 패턴 (예: 어떤 제어 흐름이 악성인지) 을 파악하여 조사 우선순위를 정하는 데 실질적인 도움을 줍니다.
• 향후 방향: 멀티모달 그래프 입력 (API 호출, 시스템 호출 그래프 통합) 으로 확장하거나, 라우터의 적응형 온도 조절 메커니즘을 도입하는 등의 연구가 필요하다고 제안했습니다.

요약하자면, 본 논문은 CFG 기반의 악성코드 탐지를 위해 다양성을 극대화한 MoE 구조를 설계하고, 라우팅 메커니즘을 설명에 통합함으로써 높은 탐지 정확도와 신뢰할 수 있는 해석 가능성을 동시에 확보한 선구적인 연구입니다.