Machine Learning Transferability for Malware Detection

이 논문은 EMBERv2 와 BODMAS, ERMDS 데이터를 통합한 전처리 파이프라인을 통해 다양한 PE 파일 데이터셋 간의 머신러닝 기반 악성코드 탐지 모델의 일반화 및 전이 가능성을 평가합니다.

핵심

🕵️‍♂️ 핵심 이야기: 보안관과 도둑의 숨바꼭질

1. 문제 상황: 도둑은 변장하고, 보안관은 당황한다

• **악성코드 (멀웨어)**는 컴퓨터를 해치는 나쁜 프로그램입니다. 과거에는 보안관 (안티바이러스) 이 도둑의 얼굴 (시그니처) 을 기억해서 잡았습니다.
• 하지만 요즘 도둑들은 **위장술 (Obfuscation)**을 씁니다. 옷을 갈아입거나, 얼굴을 가리고, 목소리를 변조해서 기존에 기억했던 얼굴과 다르게 보이게 합니다.
• 그래서 보안관들은 '머신러닝 (AI)'을 도입했습니다. 얼굴만 보는 게 아니라, 걸음걸이나 몸짓 (파일의 특징) 을 보고 "저건 도둑이야!"라고 판단하게 만든 거죠.

2. 연구의 딜레마: "내 동네"와 "다른 동네"의 차이

• 이 연구팀은 AI 보안관을 훈련시키기 위해 EMBER라는 거대한 도둑 사진첩 (데이터셋) 을 사용했습니다.
• 문제는, 이 AI 가 **내 동네 (훈련 데이터)**에서는 도둑을 99% 잡지만, **다른 동네 (새로운 데이터)**로 나가면 도둑을 못 잡는다는 겁니다.
• 마치 "서울에서 훈련받은 경찰이 부산의 사투리와 옷차림을 한 도둑을 못 알아보는" 상황과 비슷합니다. 이를 '전이성 (Transferability)' 부족이라고 합니다.

3. 실험 방법: 보안관의 훈련 방식을 바꿔보다
연구팀은 이 문제를 해결하기 위해 두 가지 훈련 방식을 비교했습니다.

• 방식 A (EB): 일반적인 도둑 사진만 보고 훈련.
• 방식 B (EBR): 일반적인 도둑 사진 + 특수 위장술을 쓴 도둑 (ERMDS) 사진도 같이 보고 훈련.

그리고 AI 가 판단할 때 필요한 정보의 양을 줄이는 **'요약 기술 (차원 축소)'**도 두 가지로 나눠서 테스트했습니다.

• PCA: 모든 정보를 조금씩 줄여서 요약 (비유: 사진의 색감을 흐리게 해서 핵심만 남김).
• XGBFS: 가장 중요한 정보 (도둑의 특징적인 흉터나 문신) 만 골라서 요약.

4. 결과: 어떤 방법이 좋을까?

• 결론 1: "가장 중요한 특징"을 골라내는 게 최고다.

  • 모든 정보를 줄이는 것보다, **가장 중요한 특징 (XGBFS)**만 골라내서 훈련시킨 AI 가 훨씬 잘 잡았습니다.
  • 특히 384 개의 특징을 남겼을 때 가장 강력했습니다. (비유: 도둑의 '손톱 모양'과 '보행 패턴' 같은 결정적인 단서 384 가지를 기억하게 한 것).

• 결론 2: "위장술 도둑"을 훈련에 포함시키는 건 양날의 검이다.

  • EBR 방식 (위장 도둑 포함 훈련): 위장술을 쓴 도둑을 잡는 능력은 좋아졌습니다. 하지만, 그 대신 일반적인 도둑을 잡는 능력은 조금 떨어졌습니다.
  • 이유: 위장술을 쓴 도둑들이 너무 많아서, AI 가 "도둑은 다 이렇게 생겼나?"라고 오해하게 되어, 진짜 도둑과 일반인 (안전한 파일) 의 경계가 흐려졌기 때문입니다.

• 결론 3: 새로운 환경 (다른 도시) 에 가면 여전히 약하다.

  • 훈련 데이터와 완전히 다른 새로운 데이터 (SOREL-20M 같은 거대한 데이터) 에서는 AI 의 성능이 급격히 떨어졌습니다.
  • 특히 **0.1% 의 오보 (잘못 잡는 것)**를 허용할 때, AI 가 도둑을 놓치는 비율이 매우 높았습니다. 이는 실제 보안 현장에서는 치명적입니다.

💡 이 연구가 우리에게 주는 교훈

1. 단순한 훈련으로는 부족하다: AI 를 만들 때, 우리가 아는 도둑만 보면 안 됩니다. 도둑이 어떻게 변장하는지 (위장술) 를 미리 학습시켜야 합니다.
2. 정보의 양보다 질이 중요하다: 모든 데이터를 다 넣기보다, **가장 결정적인 단서 (XGBFS)**만 골라서 AI 에게 가르치는 것이 더 효율적입니다.
3. 완벽한 만능 열쇠는 없다: 아무리 잘 훈련된 AI 도, 완전히 새로운 환경이나 새로운 유형의 도둑이 나타나면 당황할 수 있습니다. 그래서 AI 는 계속 업데이트되고 재훈련되어야 합니다.

📝 한 줄 요약

"도둑의 위장술을 미리 학습시키고, 가장 중요한 단서만 골라 AI 에게 가르쳐야 하지만, 새로운 환경에서는 여전히 경계심을 늦추면 안 된다."

이 연구는 우리가 컴퓨터를 안전하게 지키기 위해, AI 보안 시스템을 어떻게 더 똑똑하고 유연하게 만들 수 있을지에 대한 중요한 지도를 제공했습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 악성코드 위협의 진화: 랜섬웨어 및 데이터 침입 등 악성코드는 조직에 지속적인 위협이 되며, 공격자들은 탐지를 회피하기 위해 난독화 (Obfuscation) 기법을 적극 활용합니다.
• 기존 ML 탐지의 한계:
  • 공개된 데이터셋 간의 특징 (Feature) 호환성 부족: 서로 다른 데이터셋에서 추출된 특징의 표준화가 부재하여 재현성과 전이성 (Transferability) 이 제한됩니다.
  • 분포 불일치 (Distribution Shift): 한 데이터셋으로 훈련된 모델은 다른 데이터셋이나 시계열적 변화 (Concept Drift) 가 발생한 환경에서 일반화 성능이 급격히 저하됩니다.
  • 난독화 취약성: 기존 모델은 특정 훈련 데이터의 특징 분포에 과적합되어, 난독화된 샘플이나 새로운 공격 기법 (Zero-day) 에 대해 취약합니다.

2. 연구 방법론 (Methodology)

이 연구는 Portable Executable (PE) 파일의 정적 분석을 기반으로 한 머신러닝 탐지 파이프라인의 전이성을 평가하기 위해 다음과 같은 절차를 거쳤습니다.

2.1 데이터셋 구성

• 훈련 데이터 (Training):
  • EMBER-v2: 2,381 차원의 표준화된 정적 특징을 가진 대규모 데이터셋.
  • BODMAS: 시계열 분석 및 패밀리 인식 평가를 위한 데이터.
  • ERMDS: 난독화 (바이너리, 소스 코드, 패커) 에 특화된 데이터셋.
  • 훈련 세팅 2 가지:
    1. EB (EMBER + BODMAS): 일반적 훈련.
    2. EBR (EMBER + BODMAS + ERMDS): 난독화 데이터 포함 훈련.
• 평가 데이터 (Testing/Validation):
  • TRITIUM: 자연 발생 위협 샘플 (2022 년).
  • INFERNO: 레드팀 및 C2(명령 및 제어) 악성코드로 구성된 적대적 샘플.
  • SOREL-20M: 2 천만 개의 PE 샘플로 구성된 대규모 데이터셋.
  • ERMDS: 훈련 세팅에 따라 외부 데이터로 사용.

2.2 데이터 전처리 및 특징 공학

• 스케일링: 이상치 영향을 줄이기 위한 Robust Scaling(중앙값 기반) 과 입력 범위 일관성을 위한 MinMax Scaling 적용.
• 차원 축소 (Dimensionality Reduction):
  • XGBFS (XGBoost Feature Selection): 지도 학습 기반 특징 선택.
  • PCA (Principal Component Analysis): 비지도 학습 기반 주성분 분석.
  • 축소 차원: 128, 256, 384 차원으로 설정.

2.3 모델 훈련 및 평가

• 모델 아키텍처: LightGBM, XGBoost, Extra Trees, Random Forest 등 4 가지 트리 기반 분류기.
• 훈련 전략:
  • 데이터셋을 두 개의 파티션으로 나누어 각각 독립적으로 훈련된 모델 쌍 (Model Pair) 생성.
  • FLAML을 활용한 하이퍼파라미터 자동 최적화.
  • 가중치 소프트 보팅 (Weighted Soft Voting): 두 모델의 예측 확률을 가중치 ($w$) 를 두고 결합하여 최종 점수 산출.
• 평가 지표: F1-Score, AUC, TPR@1% 및 0.1% FPR(거짓 양성률이 매우 낮은 환경에서의 탐지율). 이는 실제 환경에서 오탐지가 적어야 한다는 요구사항을 반영합니다.

3. 주요 결과 (Key Results)

3.1 훈련 데이터셋 내 성능 (EB vs EBR)

• 차원 축소 기법 비교: 모든 차원 (128, 256, 384) 에서 XGBFS가 PCA 보다 일관되게 우수한 성능을 보였습니다.
• 최적 설정: 384 차원 XGBFS + LightGBM 조합이 가장 우수한 성능을 기록했습니다.
  • EB 모델: F1 98.27%, AUC 99.84%, 0.1% FPR 에서 91.25% TPR 달성.
  • EBR 모델: ERMDS(난독화 데이터) 를 포함하여 훈련했으나, 저 FPR 영역 (0.1% FPR) 에서 TPR 이 약간 감소 (89.61%) 했습니다. 이는 난독화 데이터가 특징 분포를 변화시켜 클래스 간 마진을 줄였기 때문입니다.

3.2 교차 데이터셋 전이성 (Transferability)

• 성공적인 일반화 (TRITIUM, INFERNO):
  • EB 및 EBR 모델 모두 TRITIUM 과 INFERNO 데이터셋에서 높은 F1 및 AUC 점수를 기록했습니다.
  • 특히 384 차원 LightGBM 모델은 TRITIUM 에서 98.62% AUC, INFERNO 에서 95.43% AUC 를 달성하여 작은 규모의 외부 데이터셋에 대한 일반화 능력이 뛰어났습니다.
• 성능 저하 (SOREL-20M, ERMDS):
  • SOREL-20M: 훈련 데이터와 큰 분포 불일치를 보이며 성능이 급격히 저하되었습니다 (EBR 모델 기준 0.1% FPR 에서 TPR 0.19% 까지 하락).
  • ERMDS: 훈련에 포함되지 않은 경우 (EB 모델) 난독화 샘플에 매우 취약했습니다. 반대로 ERMDS 를 훈련에 포함 (EBR) 시켰을 때는 SOREL-20M 에 대한 일반화 성능이 오히려 저하되는 Trade-off 현상이 관찰되었습니다.

4. 주요 기여 (Key Contributions)

1. 통합 전처리 파이프라인 제안: EMBER-v2 표준을 기반으로 BODMAS 및 ERMDS 데이터를 통합하고, Robust/MinMax 스케일링과 XGBFS/PCA 차원 축소를 적용한 일관된 파이프라인을 구축했습니다.
2. 전이성 및 난독화 저항성 평가: 다양한 시계열적, 적대적 데이터셋 (TRITIUM, INFERNO, SOREL-20M) 을 활용하여 모델의 전이성을 정량적으로 평가했습니다.
3. 난독화 데이터의 영향 분석: 훈련 데이터에 난독화 샘플 (ERMDS) 을 포함시키는 것이 특정 데이터셋 (TRITIUM 등) 에는 도움이 되지만, 다른 데이터셋 (SOREL-20M) 에서는 오히려 일반화 성능을 저하시킬 수 있음을 발견했습니다. 이는 특징 분포의 불일치가 모델 성능에 미치는 영향을 명확히 보여줍니다.
4. 효율적인 모델 구성: 384 차원으로 축소된 특징 벡터와 XGBoost 기반 특징 선택 (XGBFS) 을 결합한 경량 부스팅 모델이 온-호스트 (On-host) 환경에서 실용적인 성능을 제공함을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 함의: 경량 부스팅 기반 정적 탐지기는 온-호스트 환경에서 사용 가능하지만, PE 난독화 기법이 훈련 데이터의 특징 분포에 미치는 영향을 신중하게 분석해야 함을 강조합니다.
• 분포 불일치 문제: 단일 데이터셋이나 특정 조합의 데이터로 훈련된 모델은 시계열적 변화나 새로운 공격 기법에 대해 취약할 수 있으며, 훈련 데이터의 구성 (Mixture) 이 일반화 성능을 결정하는 핵심 요소임을 보여줍니다.
• 향후 과제: 개념 변화 (Concept Drift) 와 난독화에 대한 강건성을 높이기 위해 더 복잡한 딥러닝 모델 도입 및 특징 표현 (Feature Representation) 과 훈련 데이터 구성에 대한 심층 분석이 필요하다고 제언합니다.

이 연구는 악성코드 탐지 모델이 다양한 환경과 시간에 걸쳐 얼마나 잘 전이되는지에 대한 실증적 근거를 제공하며, 실제 보안 시스템 구축 시 데이터셋 선택과 전처리 전략의 중요성을 강조합니다.