Comparison of Multiple Classifiers for Android Malware Detection with Emphasis on Feature Insights Using CICMalDroid 2020 Dataset

기술 요약: CICMalDroid 2020 데이터셋을 활용한 특징 통찰 중심의 안드로이드 악성코드 탐지를 위한 다중 분류기 비교

문제 정의
공용 앱 스토어의 빠른 출시 주기로 인해 안드로이드 악성코드가 전통적인 시그니처 기반 스캐너가 대응할 수 있는 속도보다 더 빠르게 확산되고 있습니다. 초기 탐지 방법은 정적 신호(매니페스트, 권한)나 동적 분석(시스템 호출)에 의존했으나, 현재 이 분야는 대규모 특징 세트와 학습된 표현(learned representations)으로 이동했습니다. 그러나 수동 시그네처와 무거운 샌드박싱의 함정을 피하기 위해 포괄적인 데이터셋, 엄격한 평가, 그리고 해석 가능한 결정 드라이버를 활용하는 신뢰할 수 있는 탐지기에 대한 필요성이 여전히 존재합니다.

연구 방법론
본 연구는 2017년에서 2018년 사이에 수집된 17,341개의 안드로이드 애플리케이션으로 구성된 CICMalDroid 2020 데이터셋을 활용하였습니다. 이 데이터셋은 Benign(정상), Adware(애드웨어), Banking malware(뱅킹 악성코드), SMS malware(SMS 악성코드), Riskware(리스크웨어)의 다섯 가지 클래스를 포함합니다.

• 특징 추출: 저자들은 정적 및 동적 데이터를 병합하여 하이브리드 특징 벡터를 구축했습니다.
  • 정적 특징: 인텐트(intents), 권한, 서비스, 파일 개수, 난독화 및 메서드 태그를 포함하는 JSON 로그로부터 도출되었습니다.
  • 동적 특징: 시스템 호출, 바인더 호출, 그리고 복합 동작(예: 파일 시스템 액세스, 네트워크 읽기/쓰기)을 포함하는 CopperDroid 가상 머신 침입 탐지를 통해 캡처되었습니다.
  • 처리 과정: 초기 벡터는 방대했으나(정적 50,621개, 동적 470개), 분산 임계값(0.1) 적용 및 결측치 처리를 거쳐 301개의 정적 특징과 263개의 동적 특징으로 축소되었으며, 이를 결합하여 564차원의 하이브리드 벡터를 생성하고 L2 정규화를 수행했습니다.
• 실험 설계:
  • 데이터 분할: 층화 추출법(stratified split)을 사용하여 70%의 훈련 데이터와 30%의 테스트 데이터를 분할했습니다.
  • 전처리 기법: 세 가지 접근 방식을 평가했습니다:
    1. Original (원본): 원본 하이브리드 특징.
    2. PCA: 95%의 분산을 유지하는 주성분 분석.
    3. LDA: 클래스 분리 축으로 투영하는 선형 판별 분석.
  • 분류기: XGBoost, CatBoost, Random Forest, Extra Trees, HistGradientBoosting, K-Nearest Neighbors (KNN), Support Vector Machines (SVM) 등 7개의 모델을 테스트했습니다.
  • 평가 지표: 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score 및 혼동 행렬(confusion matrices).

주요 기여

1. 데이터셋 활용: 다양한 악성코드 패밀리에 걸쳐 풍부한 메타데이터와 동작 로그를 가진 균형 잡힌 하이브리드 데이터셋(17,000개 이상의 앱)을 구성하고 처리했습니다.
2. 탐색적 분석: 클래스 분포, 상관관계 히트맵, 그리고 클래스 분리도를 이해하기 위한 시각화(LDA 및 t-SNE)를 포함한 광범한 분석을 수행했습니다.
3. 포괄적 벤치마킹: 세 가지 서로 다른 전처리 기법 하에서 7개의 분류기를 평가하여 성능 기준을 수립했습니다.
4. 해석 가능성: 대리 결정 트리(surrogate decision tree)를 사용하여 모델 결정의 주요 드라이버를 식별하고 요약했습니다.

결과

• 분류기 성능:
  • Original 특징: 그래디언트 부스팅 방법들이 다른 모델들을 압도했습니다. XGBoost는 0.9747의 정확도, 0.9703의 정밀도, 0.9731의 재현율, 0.9716의 F1 점수를 달성하며 가장 높은 성능을 보였습니다. HistGradientBoosting이 0.9741의 정확도와 0.9708의 F1 점수로 그 뒤를 바짝 쫓았습니다. CatBoost와 Random Forest도 약간 낮았으나 경쟁력 있는 수준(~0.968 정확도)을 유지했습니다. KNN과 SVM은 성능이 크게 뒤처졌습니다(정확도 0.89 미만).
  • PCA: PCA를 통한 차원 축소는 모든 모델에서 성능 저하를 일으켰습니다. XGBoost의 정확도는 0.9164, F1 점수는 0.8988로 떨어졌으며, 이는 유용한 신호, 특히 동적 특징으로부터의 신호가 손실되었음을 시사합니다.
  • LDA: LDA는 90%대의 정확도를 유지하였으나(예: XGBoost 0.9221), 투영 시 분리된 클러스터를 명확히 보여주기는 했지만 원본 특징 세트의 성능에는 미치지 못했습니다.
• 클래스별 통찰: SMS 악성코드(가장 큰 클래스)는 모델 전반에 걸쳐 완벽에 가까운 F1 점수를 기록했습니다. Adware와 Benign 클래스는 특히 차원 축소 후에 낮은 F1 점수를 보였습니다.
• 특징 중요도: 대리 트리 분석 결과, 패키지 이름(package name), 메인 액티비티(main activity), **대상 SDK(target SDK)**가 의사 결정의 핵심 드라이버인 것으로 나타났습니다.

의의 및 주장
본 논문은 안드로이드 악성코드 탐지를 위한 고충실도 지도 학습 기준을 확립합니다. 저자들은 풍부한 하이브리드 특징과 그래디언트 부스팅(특히 XGBoost)의 결래가 실무적이고 해석 가능한 토대를 제공한다고 주장합니다. 본 연구는 차원 축소(PCA/LDA)가 뚜렷한 패턴을 드러낼 수는 있지만, 결정적인 신호를 제거함으로써 탐지 정확도를 희생시키는 경우가 많다는 점을 강조합니다. 또한, 메타데이터 특징(패키지 이름 등)이 주요 드라이버로 식별된 것은 공격자에 의한 스푸핑(spoofing) 가능성에 대한 주의가 필요함을 시사합니다. 저자들은 본 연구의 결과가 강력하고 해석 가능한 기준을 제공한다고 결론지으며, 향후 연구는 데이터셋 갱신과 준지도 학습(semi-supervised) 또는 트랜스포머 기반 모델의 탐색에 집중해야 한다고 제언합니다.