Towards Certified Malware Detection: Provable Guarantees Against Evasion Attacks

1. 문제 정의 (Problem)

• 배경: 머신러닝 기반 정적 (Static) 멀웨어 탐지기는 변형 엔진 (Metamorphic engines) 을 이용한 적대적 회피 공격 (Adversarial Evasion Attacks) 에 취약합니다. 공격자는 멀웨어의 기능을 유지하면서 바이너리를 변형하여 모델의 결정 경계를 넘어서도록 조작합니다.
• 한계: 기존의 머신러닝 모델은 실험적 (Empirical) 인 견고성에만 의존하며, 공격자가 입력 데이터를 교묘하게 변형했을 때 탐지 성능이 급격히 떨어지는 문제가 있습니다.
• 필요성: 단순한 경험적 방어보다는 수학적 증명이 가능한 **공식적 견고성 (Formal Certified Robustness)**을 보장하는 방어 메커니즘이 필요합니다. 특히 멀웨어의 이산적 (Discrete) 인 특성 (PE 파일 구조) 에 적용 가능한 방법이 부재했습니다.

2. 제안 방법론 (Methodology)

저자들은 멀웨어의 이산적 특성 공간에 맞춰 무작위 평활화 (Randomized Smoothing) 기법을 확장한 검증 가능한 견고성 프레임워크를 제안했습니다.

가. 핵심 기법: 특징 그룹화, 제거 (Ablation), 및 노이즈 주입

• 특징 그룹화 (Feature Grouping): 2,381 개의 PE 구조 특징 (EMBER 특징) 을 의미론적으로 연관된 약 50 개씩의 그룹으로 나눕니다. 개별 특징이 아닌 그룹 단위로 조작하여 구조적 의존성을 보존합니다.
• 학습 단계 (Training):
  • Base Classifier (BC): 정제된 데이터로 LightGBM 모델을 학습합니다.
  • Smoothed Classifier (SC) 학습: BC 가 악성으로 판별한 샘플을 대상으로 **타겟팅된 증강 (Targeted Augmentation)**을 수행합니다.
    1. 특징 제거 (Feature Ablation): 특징 그룹 중 20% 를 무작위로 제거 (0 으로 설정) 합니다.
    2. 노이즈 주입 (Noise Injection): 남은 그룹 내 10% 의 특징에 가우시안 노이즈를 추가합니다.
  • 이렇게 생성된 다양한 변형 데이터로 SC 를 학습시켜, 부분적 특징 관측 및 노이즈에 불변적인 결정 경계를 학습시킵니다.

나. 추론 단계 (Inference) 및 검증 (Certification)

• 무작위 추론: 입력 샘플에 대해 $N$개 (실험에서는 50 개) 의 무작위 변형 (Ablation + Noise) 을 생성하고, 각각을 SC 에 통과시킵니다.
• 다수결 투표 (Majority Voting): $N$개의 예측 결과 중 다수결을 최종 라벨로 결정합니다.
• 공식적 검증 (Formal Certification):
  • 윌슨 점수 구간 (Wilson Score Interval): 다수결 투표의 하한 확률 ($p_{lower}$) 을 계산하여, 주어진 신뢰 수준 (예: 99.9%) 에서 예측이 올바른지 통계적으로 보장합니다.
  • 견고성 반경 (Robustness Radius, $R$): $p_{lower} > 0.5$를 만족하는 최대 노이즈 수준을 계산하여, 이 반경 내의 모든 적대적 변형에 대해 모델의 예측이 변하지 않음을 수학적으로 증명합니다.

3. 주요 기여 (Key Contributions)

1. 멀웨어 특화 무작위 평활화 프레임워크: 멀웨어의 이산적 특징 공간에 맞춰 특징 그룹화, 제어된 제거, 타겟팅 노이즈 주입을 결합한 새로운 스무딩 기법을 제안했습니다.
2. 수학적 검증 메커니즘: 다수결 투표와 윌슨 점수 구간을 활용하여, 특정 교란 반경 내에서 멀웨어 특징 변형에 대한 **공식적 견고성 보장 (Certifiable Robustness Guarantee)**을 제공하는 수학적 메커니즘을 정립했습니다.
3. 실제 변형 공격에 대한 실험적 검증: PyMetaEngine 을 이용해 생성된 실제 변형 멀웨어 (Metamorphic Malware) 에 대한 공격을 수행하여, 제안된 방법이 표준 분류기보다 월등히 높은 견고성을 보임을 입증했습니다.

4. 실험 결과 (Results)

실험은 LightGBM (표준 ML) 과 MalConv (딥러닝) 두 가지 아키텍처에서 수행되었습니다.

• 기저선 vs. 평활화 분류기 (Clean & Synthetic Noise):
  • 깨끗한 데이터에서 SC 는 BC 와 유사하거나 더 높은 정확도 (99.81% vs 99.75%) 를 보였습니다.
  • 노이즈 스트레스 테스트 (40% 특징 손상): BC 는 재현율 (Recall) 이 86.97% 로 급락하여 많은 멀웨어를 놓쳤으나, SC 는 99.62% 의 재현율을 유지하며 견고성을 입증했습니다.
• 변형 회피 공격 (Metamorphic Evasion - PyMetaEngine):
  • 변형된 멀웨어에 대한 공격 시, BC 는 재현율이 94.77% 로 떨어졌으나, SC 는 99.86% 의 재현율을 유지하며 변형 공격에 거의 영향을 받지 않았습니다.
  • 변형 공격에 합성 노이즈를 추가한 강력한 공격 시나리오에서도 SC 는 높은 성능을 유지했습니다.
• 아키텍처 일반화 (Generalization):
  • 특징 추출이 없는 Raw Byte 기반의 MalConv 모델에도 동일한 평활화 기법을 적용했을 때, BC 는 40% 손상 시 정확도가 65% 대로 추락한 반면, SC 는 94.76% 의 정확도를 유지하여 모델 아키텍처에 구애받지 않는 범용성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 공식적 보안 보장: 이 연구는 멀웨어 탐지 분야에서 "실험적 견고성"을 넘어 "수학적으로 증명된 견고성"을 달성한 최초의 사례 중 하나로, 특정 반경 내의 모든 변형 공격에 대해 탐지 실패가 발생하지 않음을 보장합니다.
• 실용성: 기존 머신러닝 아키텍처 (LightGBM, CNN 등) 를 수정하지 않고도, 추론 시 무작위 샘플링과 투표 방식을 추가하는 것만으로 강력한 방어를 구현할 수 있음을 보였습니다.
• 미래 방향: 고정된 특징 그룹화 방식을 학습 가능한 적응형 그룹화 기법으로 발전시키고, 더 복잡한 실제 세계의 적대적 멀웨어 패밀리에 대한 검증을 통해 방어 범위를 확장할 필요가 있음을 제시했습니다.

이 논문은 멀웨어 탐지 시스템이 진화하는 변형 공격에 대응하기 위해 확률적 평활화와 통계적 검증을 결합한 새로운 패러다임을 제시했다는 점에서 중요한 의의를 가집니다.