A Comparison of Malware Image Transformations Using Grad-CAM and Hybrid Learning Models

기술 요약: Grad-CAM 및 하이브리드 학습 모델을 이용한 악성코드 이미지 변환 비교

문제 정의
악성코드 바이너리를 2D 이미지로 변환하는 방식이 머신러닝 기반 탐지 및 분류에 효과적임이 입증되었으나, 구체적인 변환 기법에 따라 성능 차이가 크게 나타난다. 더욱이, 이러한 이미지 기반 모델의 설명 가능성과 해석 가능성은 악성코드 영역 내에서 여전히 미개척 분야로 남아 있다. 고성능 심층 신경망(DNN)은 종종 "블랙박스"로 기능하여, 보안 애플리케이션에서의 분석가 신뢰와 채택을 제한한다. 따라서 서로 다른 바이너리-이미지 변환 방식이 분류 정확도와 설명 가능한 AI(XAI)의 구조적 설명(특히 Gradient-weighted Class Activation Maps, Grad-CAM)에 어떠한 영향을 미치는지 이해할 필요가 있다. 또한, XAI 도구에 의해 생성된 시각적 패턴(히트맵)이 분류 작업을 위한 이차적 표현으로서 충분한 구조적 정보를 포함하고 있는지 여부도 불분명하다.

연구 방법론
본 연구는 17개의 서로 다른 패밀리에 속하는 17,000개의 악성코드 샘플로 구성된 RawMalTF 데이터셋을 활용한다. 각 샘플은 Grayscale, Entropy Hilbert, Byteclass Hilbert, Hybrid Image Transformation (HIT), Bigram Cartesian, Bigram Polar, Spiral, Byteclass의 8가지 독특한 이미지 표현으로 변환된다.

본 연구는 다각적인 실험적 접근 방식을 채택한다:

1. 모델 아키텍처: ImageNet 가중치로 초기화된 MobileNetV2 합성곱 신경망(CNN)이 모든 딥러닝 실험의 백본 역할을 한다. 이 아키텍처는 Global Average Pooling 레이어와 밀집 분류 헤드(dense classification head)를 포함한다. 학습은 백본을 동결하여 헤드를 학습시킨 후, 백본 상위 30%의 레이어를 미세 조정(fine-tuning)하는 2단계 과정으로 진행된다.
2. Grad-CAM 분석: 분류 결정을 주도하는 영역을 시각화하기 위해 모든 샘플에 대해 Grad-CAM 히트맵을 생성한다. 이 히트맵들은 정성적 및 정량적으로 분석된다.
3. XAI로부터의 특징 추출: Grad-CAM 히트맵을 입력 이미지로 취급한다. 이 지도들로부터 전역 강도 통계, 기하학적 형상 특징(Hu moments, eccentricity), 국소 이진 패턴(LBP), 회색조 공생 행렬(GLCM)을 포함한 수작업 특징(hand-crafted features)을 추출한다. 추출된 특징 벡터를 바탕으로 고전적 머신러닝 모델(Random Forest, XGBoost, SVM)을 학습시킨다.
4. 하이브리드 파이프라인:
   • 오버레이 기반 CNN: Grad-CAM 오버레이 이미지(원본 이미지와 히트맵이 혼합된 형태)를 직접 학습하는 CNN을 훈련한다.
   • CNN-HOG-XGBoost 하이브리드: 오버레이 이미지에서 추출한 Histogram of Oriented Gradients(HOG) 특징과 CNN 임베딩(최종 레이어 직전 층)을 결합하여 XGBoost 분류기에 입력한다.
   • 점진적 특징 융합(Progressive Feature Fusion): 8가지 변환 방식 모두에 대해 원본 이미지와 오버레이 이미지로부터 추출된 임베딩을 사용한다. 이들을 256, 512, 4096 차원의 특징 벡터로 결합하여 Random Forest로 분류한다.
5. XAI 평가: 본 연구는 Grad-CAM을 HiResCAM과 비교한다. 설명의 품질을 정량적으로 평가하기 위해 충실도 지표(Deletion/Insertion AUC, drop top20pct, concentration)와 안정성 지표(Spearman 상관계수, MSE, SSIM, Top-K 중첩)를 사용한다.

주요 결과

• 정확도 대 변환 방식: 분류 성능은 변환 방식에 따라 크게 달라진다. 단일 CNN 모델 기준, Entropy Hilbert 변환이 가장 높은 정확도(0.688)를 기록한 반면, Byteclass Hilbert와 Spiral은 가장 낮은 성능을 보였다.
• 정확도 대 설명 가능성: 분류 정확도와 설명의 충실도가 일치하지 않는다는 핵심적인 발견이 있었다. 예를 들어, Bigram Polar 변환은 가장 충실한 설명(가장 높은 faithfulness score)을 생성했으나 정확도는 중간 수준에 머물렀다. 반대로, Grayscale은 높은 정확도를 달성했으나 충실도는 낮았다. Entropy Hilbert는 정확도와 충실도 모두에서 강력한 성능을 보여 가장 균형 잡힌 변환 방식으로 나타났다.
• 안정성 대 충실도: 충실도와 안정성 사이의 역관계가 관찰되었다. 높은 충실도를 보이는 변환(예: Bigam Polar)은 노이즈 하에서 낮은 안정성을 보였고, 높은 안정성을 보이는 변환(예: Byteclass, Grayscale)은 낮은 충실도를 보였다.
• 하이브리드 성능: 하이브리드 접근 방식이 CNN 단독 모델보다 일관되게 우수한 성능을 보였다. CNN-HOG-XGBoost 파이프라인은 HIT 이미지를 사용하여 최고 정확도 0.731을 달성했다.
• 특징 융합: 가장 유의미한 결과는 16개 모델(8가지 변환의 원본 및 오버레이 이미지)의 임베딩을 모두 결합하여 4096차원 특징 벡터를 만든 경우에 나타났다. 이 벡터를 학습한 Random Forest 분류기는 0.777의 테스트 정확도를 달성하여, 해당 데이터셋의 기존 벤치마크인 0.751을 넘어섰다.
• Grad-CAM 대 HiResCAM: MobileNetV2 아키텍처에 대해, Grad-CAM과 HiResCAM은 최종 합성곱 레이어에서 실질적으로 동일한 설명을 생성하며 픽셀 수준의 차이가 미미했다.
• 패밀리 난이도: 특정 패밀리(Noon, Androm, Agensla, Injuke)는 모든 실험에서 분류하기 어려운 것으로 나타났으며, 이는 이미지 기반 특징만으로는 구별하기 어려운 고유한 구조적 유사성이 존재함을 시사한다.

의의 및 기여
본 연구는 이미지 변환 선택, 분류 정확도, 그리고 설명 품질 사이의 트레이드오프를 체계적으로 평가한다. 본 논문은 다음을 입증한다:

1. 데이터로서의 설명: Grad-CAM 히트맵은 단순한 시각화 도구가 아니다. 이들은 의미 있는 패밀리 식별 구조를 보존하며, 분류를 위한 입력값으로 사용될 수 있고, 때로는 원본 이미지보다 성능을 향상시키기도 한다.
2. 보완적 특징: 딥러닝 임베딩을 고전적인 수작업 특징(HOG)과 결합하고, 여러 변환 유형에 걸친 표현을 집계함으로써 단일 모델 접근 방식보다 우수한 정확도를 얻을 수 있다.
3. 지표의 분리: 정확도, 충실도, 안정성은 서로 별개의 속성이다. 하나를 최적화한다고 해서 다른 것들이 반드시 최적화되는 것은 아니며, 이는 정확성과 견고함이 모두 요구되는 실제 보안 애플리케이션을 위해 균형 잡힌 접근 방식이 필요함을 의미한다.
4. 벤치마크 개선: 점진적 특징 융합 전략을 활용함으로써, 본 연구는 17개 패밀리 악성코드 데이터셋에 대해 기존의 HOG 특징 기반 벤치마크를 능가하는 새로운 최첨단(SOTA) 정확도(0.777)를 확립하였다.

본 연구는 단일 변환 방식이 모든 지표를 지배하지는 않지만, 하이브리드 전략과 다중 표현의 전략적 결합이 정확성, 해석 가능성, 그리고 견고함을 동시에 갖춘 악성코드 분류 시스템을 구축하는 실행 가능한 경로임을 강조한다.