Can Drift-Adaptive Malware Detectors Be Made Robust? Attacks and Defenses Under White-Box and Black-Box Threats

이 논문은 **개념 드리프트 (Concept Drift)**와 **적대적 회피 (Adversarial Evasion)**라는 두 가지 주요 과제가 결합된 환경에서 머신러닝 기반 멀웨어 탐지기의 견고성 (Robustness) 을 연구한 것입니다. 저자들은 개념 드리프트에 적응하는 탐지기 (AdvDA) 가 적대적 공격에 얼마나 취약한지 분석하고, 이를 방어하기 위한 보편적인 강화 프레임워크를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: 멀웨어는 매일 수만 건씩 새로 등장하며, 이로 인해 기존에 학습된 탐지기의 성능이 떨어지는 '개념 드리프트' 현상이 발생합니다. 이를 해결하기 위해 **적대적 도메인 적응 (Adversarial Domain Adaptation, AdvDA)**을 사용하는 탐지기가 제안되었습니다. AdvDA 는 레이블이 풍부한 소스 도메인 (과거 샘플) 과 레이블이 부족한 타겟 도메인 (신규 샘플) 간의 특징 분포를 정렬하여 성능을 유지합니다.
• 문제점: 기존 연구는 드리프트 적응과 적대적 공격을 각각 따로 다뤘을 뿐, 드리프트 적응형 탐지기의 적대적 견고성은 연구되지 않았습니다.
  • 소스 도메인에서 학습된 견고성이 드리프트가 발생한 타겟 도메인으로 전이될지 여부는 불확실합니다.
  • 기존 방어 기법들은 고정된 데이터 분포를 가정하므로, 분포 변화가 있는 드리프트 환경에서는 효과가 제한적입니다.
• 목표: AdvDA 기반 탐지기를 화이트박스 (White-box) 및 블랙박스 (Black-box) 적대적 공격으로부터 보호할 수 있는 방법을 모색하고, 소스/타겟 도메인에서의 적대적 학습의 역할을 규명하는 것입니다.

2. 방법론 (Methodology)

저자들은 **보편적 견고화 프레임워크 (Universal Robustification Framework)**를 제안했습니다. 이 프레임워크는 사전 학습된 AdvDA 모델을 적대적으로 변형된 입력 데이터로 미세 조정 (Fine-tuning) 하여 공격 유형과 변환 방식에 무관하게 작동하도록 설계되었습니다.

• 공격 모델 (Threat Models):

  1. 화이트박스 (White-box): PGD (Projected Gradient Descent) 공격. 입력 특징 공간에서 $\ell_\infty$ 노름 제약 하에 경사 하강법을 사용하여 분류 오차를 극대화하는 perturbations 을 생성합니다.
  2. 블랙박스 (Black-box): MalGuise 공격. 멀웨어 바이너리의 제어 흐름 그래프 (CFG) 를 기능 보존 방식으로 변형하여 (예: CALL 지시어 리디렉션, NOP 주입) 탐지를 회피하는 상태-of-the-art 바이너리 레벨 공격입니다.

• 방어 변형 (Defense Variants):
  제안된 프레임워크는 소스 (Source) 와 타겟 (Target) 데이터에 어떤 적대적 변환을 적용하느냐에 따라 5 가지 변형으로 구체화되었습니다.

  • DART 기반 (PGD 대응): DART(적대적 도메인 적응) 알고리즘을 기반으로 합니다.
    • DART (clean): 소스 데이터는 정제된 상태, 타겟 데이터만 PGD 로 변형.
    • DART (adv): 소스와 타겟 데이터 모두 PGD 로 변형 (분류 손실 극대화).
    • DART (kl): 소스와 타겟 데이터 모두 PGD 로 변형 (KL 발산 극대화).
  • MalGuise 기반 (바이너리 레벨 대응):
    • MalGuise (clean): 소스 데이터는 정제된 상태, 타겟 데이터만 MalGuise 로 생성된 바이너리 사용.
    • MalGuise (adv): 소스와 타겟 데이터 모두 MalGuise 로 생성된 바이너리 사용.

• 실험 설정:

  • 데이터셋: 2024 년 3 월부터 12 월까지의 Windows 멀웨어 (MB-24+). 6 월을 건너뛰어 소스 (35 월) 와 타겟 (712 월) 간의 명확한 시간적 격차 (드리프트) 를 생성했습니다.
  • 평가 지표: 공격 성공률 (ASR), 정제된 데이터에서의 True Positive Rate (Clean TPR), 계산 비용.

3. 주요 결과 (Key Results)

9 가지 방어 구성, 5 개의 월별 적응 윈도우, 3 개의 오퍼레이팅 포인트 (FPR) 에서 실험한 결과는 다음과 같습니다.

• 기본 취약성: 방어 기법이 없는 AdvDA 는 PGD 공격에 대해 100% 회피 성공률을 보이며 완전히 취약했습니다. MalGuise 공격에는 약 13% 의 성공률을 보였으나, 이는 모델 아키텍처 (ResNet-18) 가 국소적 이진 변형에 둔감하기 때문으로 분석되었습니다.
• PGD 공격 방어 (DART 기반):
  • 소스 적대적 학습의 필수성: 소스 데이터에 대한 적대적 학습이 필수적입니다. DART (clean)(소스 정제) 는 공격 성공률이 여전히 높았으나, 소스를 변형한 DART (adv) 및 DART (kl)은 공격 성공률을 **3.2% ~ 3.7%**까지 낮췄습니다.
  • 강도 일치: 훈련 시 사용한 PGD 강도 ($\epsilon$) 와 실제 공격 강도가 일치해야 최적의 방어 효과를 얻습니다.
• MalGuise 공격 방어 (MalGuise 기반):
  • 소스 학습의 비효율성: 소스 데이터에 대한 적대적 학습은 오히려 해롭습니다. MalGuise (clean)(소스 정제) 만으로도 공격 성공률을 **5.1%**까지 낮췄으며, Clean TPR 은 거의 유지되었습니다. 반면, MalGuise (adv)(소스 변형) 는 공격 성공률을 3.2% 로 미세하게 개선했으나, Clean TPR 은 32~44% 급감하고 훈련 비용은 76.8 배 증가했습니다.
  • 이유: MalGuise 공격은 바이너리 특화적 (Binary-specific) 이므로 소스 도메인에서 학습된 방어 특성이 타겟 도메인으로 전이되지 않습니다.
• 교차 견고성 부재 (Cross-Attack Robustness):
  • PGD 에 대해 훈련된 모델은 MalGuise 공격에 무방비하며, MalGuise 에 대해 훈련된 모델은 PGD 공격에 완전히 취약합니다. 즉, 견고성은 모델 자체의 속성이 아니라 모델과 위협의 짝 (Pairing) 의 속성입니다.

4. 기여 및 의의 (Contributions & Significance)

1. 최초 연구: 개념 드리프트 하에서 작동하는 도메인 적응 기반 멀웨어 탐지기의 적대적 견고성을 최초로 연구하고, PGD 와 MalGuise 두 가지 공격을 동시에 평가했습니다.
2. 보편적 프레임워크 제안: 공격 유형과 입력 변환에 무관한 견고화 프레임워크를 제안하고, 이를 5 가지 변형으로 구체화하여 실증했습니다.
3. 실용적 통찰 및 권장사항:
   • 화이트박스 (PGD) 방어: 소스 적대적 학습이 필수이며, DART (kl)이 TPR 과 비용 면에서 가장 균형 잡힌 선택입니다.
   • 블랙박스 (MalGuise) 방어: 소스 적대적 학습은 불필요하며, 오히려 성능을 저하시킵니다. MalGuise (clean)(타겟만 학습) 이 가장 효율적입니다.
   • 결론: 단일 방어 기법으로 두 가지 위협 모델 모두를 막을 수 없으므로, 운영 환경에서 예상되는 공격 벡터에 따라 방어 전략을 선택해야 합니다.

5. 결론 및 향후 과제

이 연구는 드리프트 적응형 탐지기의 견고화가 정적 환경과 근본적으로 다르며, 소스 도메인에서의 학습이 항상 유익한 것은 아님을 보여줍니다. 향후 연구 방향으로는 다중 뷰 (Multi-view) 방어 아키텍처를 제안했는데, 이는 PGD 와 MalGuise 각각에 특화된 여러 탐지기를 앙상블하여, 공격자가 모든 모델을 동시에 회피하도록 만드는 전략입니다.

이 논문은 멀웨어 탐지 시스템의 실제 배포 시나리오에서 개념 드리프트와 적대적 공격이 공존할 때, 어떻게 효율적이고 견고한 방어 체계를 구축해야 하는지에 대한 중요한 지침을 제공합니다.