Proactive Ransomware Family Detection from Pre-Encryption API Behavior Using ANN–LightGBM Stacking

기술 요약: ANN–LightGBM 스태킹을 이용한 암호화 전 API 동작 기반의 선제적 랜섬웨어 패밀리 탐지

문제 정의
랜섬웨어 방어는 대량의 파일 암호화가 시작되기 전 악성 동작이 식별될 때 가장 효과적이다. 그러나 초기 탐지는 어려운데, 이는 랜섬웨어가 (호스트 구성 쿼리, 프로세스 열거, 메모리 조사 등) 개별적으로는 정상적인 동작을 수행하는 준비 과정을 거치기 때문이다. 전통적인 시그니처 기반 제어는 난독화되거나 다형성을 가진 변종에 대해 대응하지 못하므로 행동 기반 탐지가 필수적이다. 본 연구는 압축된 저차원 표현(low-dimensional representation)을 사용하여 정상 애플리케이션으로부터 랜섬웨어 패밀리를 분류하는 구체적인 과제를 다루며, 이 과정에서 딥러닝 아키텍처가 트리 기반 앙상블에 비해 어떠한 이점을 제공하는지 조사한다.

연구 방법론
본 연구는 5종의 랜섬웨어 패밀리(Reveton, Locky, TeslaCrypt, Yakes, Cerber)와 정상 클래스로 구성된 3,432개의 실행 파일 샘플로 구성된 큐레이션된 데이터셋을 활용한다. 각 샘플은 회피 관련 특정 Windows API 호출(예: ReadProcessMemory, NtEnumerateKey, GetAdaptersAddresses)의 존재 여부를 나타내는 23차원의 이진 벡터로 표현된다.

실험 프로토콜은 세 가지 주요 평가 설정을 포함한다:

1. 단독 신경망 분류기: ANN, CNN, LSTM, BiLSTM, GRU의 다섯 가지 아키텍처를 평가하였다.
2. 특징 선택 (Feature Selection): 약한 지표를 제거하는 것이 일반화 성능을 개선하는지 평가하기 위해 SelectKBest 방법을 적용하여 상위 20개의 특징만을 유지하였다.
3. 이종 스태킹 (Heterogeneous Stacking): ANN을 베이스 러너(base learner)로, LightGBM(그래디언트 부스팅 프레임워크)을 메타 분류기로 사용하는 제안된 앙상블 모델을 구축하였다. 이 설계는 매끄러운 비선형 상호작용을 모델링하는 ANN의 능력과 날카롭고 조각난 결정 경계(piecewise decision boundaries)를 형성하는 LightGBM의 능력을 결합한다.

평가는 80:20 홀드아웃 분할 및 5-겹 교차 검증(five-fold cross-validation)을 통해 수행되었다. 성능은 정확도, 정밀도, 재현율, F1-score를 통해 측정되었으며, 클래스별 혼동 행렬(class-wise confusion)에 특히 주목하였다.

주요 기여

• 딥 아키텍처의 통합적 평가: 순차적이지 않은 이진 특징 벡터에 대해 시퀀스 지향적 딥 모델(LSTM, GRU, BiLSTM)을 표준 피드포워드 네트워크(ANN, CNN)와 비교 분석함으로써, 해당 데이터 모달리티에 있어 순환 신경망(recurrent architectures)의 필요성에 의문을 제기하였다.
• 특징 선택 분석: 특징 공간을 23개에서 20개로 줄이는 것이 성능에 미치는 영향을 조사하였으며, 특징 선택의 이점이 아키텍처에 따라 달라지며 보편적으로 긍정적이지 않음을 확인하였다.
• 이종 스태킹 전략: 신경망의 표현 학습(representation learning)과 트리 기반 부스팅을 결합하여, 고차원 시퀀스 데이터 없이도 결정 경계를 개선할 수 있는 ANN–LightGBM 스태킹 접근 방식을 제안하고 검증하였다.
• 타당성 검토: 외부 검증의 부재, API 순서 및 타이밍을 배제한 이진 추상화 사용, 미지의 랜섬웨어 패밀리에 대한 테스트 부재 등 타당성에 대한 위협 요인을 명시하였다.

결과

• 단독 성능: 홀드아웃 설정에서 ANN이 가장 높은 정확도(94.32%)와 F1-score(94.27%)를 기록하며 GRU(93.45%)와 CNN(91.27%)을 앞질렀다. 5-겹 교차 검증에서는 GRU가 가장 높은 안정성(정확도 90.85%)을 보여, 홀드아웃 결과가 분할 구성(partition composition)에 민감했음을 시사하였다.
• 특징 선택의 영향: SelectKBest를 적용하여 20개의 특징을 유지했을 때 ANN의 정확도는 94.47%로 약간 향상되었으나, 순환 모델(LSTM 및 GRU)의 성능은 저하되었다. 이는 순환 아키텍처가 특징 축소 과정에서 손실되는 특정 특징 상호작용에 의존할 수 있음을 나타낸다.
• 스택 모델 성능: 제안된 ANN–LightGBM 스택은 94.32%의 정확도, 95.35%의 정밀도, 95.20%의 재현율, 그리고 95.19%의 F1-score를 달려 최상의 종합 성능을 달성하였다. 이는 최적의 단독 ANN보다 약 0.88% 포인트 개선된 수치이다.
• 클래스별 성능: 모델은 패밀리 전반에 걸쳐 강력한 F1-score(0.92–0.99)를 달성하였다. 가장 높은 성능은 Cerber(0.99)에서 관찰되었고, 가장 낮은 성능은 Yakes(0.92)와 Benign 클래스(0.93)에서 나타났다. 혼동 행렬에 따르면 Yakes 샘플은 빈번하게 Locky 또는 Reveton으로 오분류되었으며, 일부 정상 샘플이 랜섬웨어로 탐지되기도 하였다.

의의 및 주장
본 논문은 저차원의 암호화 전 행동 특징이 랜섬웨어 패밀리의 정확한 다중 클래스 탐지를 지원하기에 충분하다고 주장한다. 또한, 이종 스태킹이 제한된 특징 집합을 가진 경우에도 단일 신경망 분류기가 달성할 수 있는 수준 이상의 결정 경계를 효과적으로 정교화할 수 있다고 상정한다.

그러나 저자들은 운영 환경 배포에 대해서는 신중한 입장을 유지한다. 연구 결과가 미지의 랜섬웨어 패밀리에 대한 탄력성이나 실시간 성능을 확립한 것은 아니라고 명시하였다. 본 연구는 제안된 방식이 복잡한 시퀀스 모델링이나 그래프 구축의 계산적 오버헤드 없이도 높은 탐지 정확도를 낼 수 있음을 입증함으로써 그 가치를 증명하며, 실제 운영에 적용하기 위해서는 외부 검증, 시간적 테스트, 그리고 개념 드리프트(concept drift) 및 적대적 회피(adversarial evasion)에 대한 평가가 필요하다고 결론짓는다.