Separating Behavioral Effect from Predictive Value in Dynamic Android Malware Detection: An Empirical Decomposition Study

기술 요약: 동적 안드로이드 악성코드 탐지에서 행동적 효과와 예측 가치의 분리

문제 정의
동적 안드로이드 악성코드 탐지는 통상적으로 행동 관점(예: 시스템 콜 및 런타임 이벤트)을 결려하지만, 보고된 성능 점수는 네 가지 뚜렷한 요소—클래스 식별력, 실행 노출 효과(실행 시간과 같은 잡음 변수), 특징량의 중복성, 그리고 점진적 예측 가치—를 거의 분리하여 설명하지 못한다. 높은 분류 점수가 반드시 해당 표현(representation)이 관찰 시간이나 도구 또는 중복된 양상(modality)의 산물이 아닌 악성코드 고유의 정보를 포착했음을 입증하는 것은 아니다. 또한, 시퀀스 모델링과 멀티모달 퓨전(multimodal fusion)은 확립된 기술이지만, 프로세스 인지적 순서(process-aware ordering)의 구체적인 점진적 효용성과 저수준 시스템 콜과 고수준 시맨틱 이벤트 사이의 상호 보완적 관계는 통제된 조건 하에서 여전히 충분히 정량화되지 않았다.

연구 방법론
본 연구는 새로운 표현 학습이나 퓨전 아키텍처를 제안하기보다는 증거 분해 설계(evidence-decomposition design)를 채택한다. 핵심 방법론은 다음과 같다:

• 데이터셋 구축: AndroZoo 애플리케이션으로부터 연구 전용 쌍 데이터셋(paired corpus)을 구축하였다. AndroPyTool(Strace 및 DroidBox 통합)을 사용하여 300초간 실행한 후, 13,654개의 SHA-256 고유 APK를 감사하였다. 품질 관리 및 양상 매칭(Strace와 DroidBox 모두에서 사용 가능한 출력을 요구함)을 거쳐, 공통의 예측 코호트인 11,457개의 애플리케이션(정상 5,525개, 악성 5,932개)으로 축소하였다.
• 특징 공학(Feature Engineering):
  • Strace: 122개의 원시 시스템 콜 카운트(S1) 및 실행 시간 정규화된 비율(S2).
  • 시퀀스(Sequence): 바이그램/트라이그램 분석으로부터 유도된 세 가지 압축된 프로세스 인지 디스크립터(동일 PID 전이 비율 및 고유 트라이그램 카운트) (S3).
  • DroidBox: 74개의 고수준 런타임 시맨틱 특징 (D1).
  • 퓨전(Fusion): 이러한 표현들의 조합 (S4, F1, F2).
• 실험 프로토콜:
  • 통계 분석: 행동적 풍부함(behavioral enrichment)을 측정하기 위해 순위 기반 통계(Mann–Whitney U)와 Benjamini–Hochberg 보정을 적용한 Fisher exact test를 사용하였다.
  • 예측 평가: 7가지 모델 제품군(Logistic Regression, Random Forest, Histogram Gradient Boosting, RBF-SVM, ExtraTrees, XGBoost, MLP)에 대해 5-겹 외부, 3-겹 내부 중첩 교차 검증(nested cross-validation)을 적용하였다.
  • 불확정성 정량화: 표현 간의 점진적 이득의 유의성을 측정하기 위해, 풀링된 OOF(out-of-fold) 예측값에 대해 쌍을 이룬 클래스 층화 부트스트랩 분석(5,000회 반복)을 수행하였다.

주요 기여

1. 감사된 쌍 코호트 구축: SHA-256 식별자가 일치하고 Strace/DroidBox 출력이 쌍을 이루는 11,457개의 APK로 구성된 깨끗하고 사전 감사된 코호트를 구축하여, 표현이 일치된 비교를 보장하였다.
2. 잡음 변수 정량화: 실행 시간이 총 시스템 콜 볼륨과 강하게 연관되어 있음($\rho \approx 0.727$)을 실증적으로 입증하였다. 실행 시간당 비율(per-runtime rates)을 사용하면 특징량과 실행 시간 간의 중앙값 상관관계가 약 49% 감소하지만, 이러한 정규화가 모든 모델 제품군에서 일관되게 식별력을 개선하지는 못했다. 이는 타당성(잡음 감소)과 예측 최적화 사이의 구분이 존재함을 나타낸다.
3. 시퀀스 효용 분해: 동일 PID 순서 분석 결과, 67.7%의 바이그램과 74.1%의 트라이그램이 통계적으로 풍부하게 나타났다. 그러나 압축된 세 가지 디스크립터 시퀀스 요약은 Strace 비율 및 DroidBox 시맨틱이 퓨전되었을 때 점진적인 예측 가치를 거의 더하지 못했다.
4. 상호 보완성 정량화: 추상화 수준 간의 점진적 가치를 정량화하였다. Strace 비율은 DroidBox의 성능을 향상시켰고, DroidBox는 Strace와 시퀀스가 결합된 모델의 성능을 향상시켰다. 이러한 상호 보완적 이득은 7개 모델 제품군 전체에서 일관되게 나타났다.
5. 강건성 벤치마킹: 퓨전 표현(F1/F2)이 모든 7개 모델 제품군에서 단일 양상 표현 중 최선의 성능을 일관되게 능가함을 입증하였다. 특히 XGBoost는 가장 높은 관측 폴드 평균 ROC-AUC(0.947)와 PR-AUC(0.952)를 달 기록하였다.

결과

• 행동적 차이: 저수준(시스템 콜) 및 고수준(DroidBox) 특징 모두 광범위한 클래스 관련 효과를 보였다. 주목할 만한 풍부한 특징으로는 시스템 콜의 uname, bind, connect와 DroidBox의 데이터 유출 또는 식별자 접근 등이 있었다.
• 실행 시간 정규화: 실행 시간당 비율은 실행 시간과의 중앙값 절대 상관관계를 0.254에서 0.129로 감소시켰다. 그러나 이러한 변환의 예측적 이점은 모델 의존적이었다. 트리 기반 모델은 원시 카운트에서 더 나은 성능을 보이는 경우가 많았던 반면, RBF-SVM과 MLP는 비율을 사용할 때 이득을 얻었다.
• 시퀀스 대 퓨전: 동일 PID 모티프는 행동적으로는 풍부했으나, 압축된 시퀀스 디스크립터(S3)는 퓨전된 모델(F1 $\to$ F2)에 추가되었을 때 미미한 점진적 이득만을 제공했다. F2에 대한 부트스트랩 구간은 종종 0을 포함하였다.
• 퓨전 성능: Strace와 DroidBox의 퓨전(F1)이 멀티모달 이득의 거의 전부를 포착하였다. 퓨전 모델에 시퀀스 디스크립터를 추가(F2)하는 것은 미미한 개선(예: HGB의 ROC-AUC +0.0005)만을 가져왔으며, 이는 주요 가치가 압축된 시퀀스 요약보다는 교차 추상화의 상호 보완성에 있음을 시사한다.

의의 및 주장
본 논문은 행동적 풍부함, 잡음 의존성, 중복성, 그리고 점진적 예측 가치가 동적 표현의 서로 다른 속성임을 주장한다. 어떤 표현은 통계적으로 풍부하거나 잡음 변수에 대해 강건할 수 있지만, 그것이 반드시 모든 학습자에 대해 예측 성능을 극대화한다는 것을 의미하지는 않는다.

본 연구의 주요 기여는 아키텍처보다는 경험적 측면에 있다. 본 연구는 높은 분류 점수가 실제로 무엇을 의미하는지를 결정하기 위해 동적 표현을 분해하는 재사용 가능한 절차를 제공한다. 연구 결과는 다음과 같다:

1. 저수준 시스템 콜과 고수준 시맨틱 이벤트 사이의 교차 추상화 상호 보완성이 성능 향상의 주된 동력이다.
2. 압축된 프로세스 인지 시퀀스 요약은 두 가지 주요 동적 뷰가 퓨전된 이후에는 예측 가치를 거의 더하지 못한다. 다만, 이는 더 풍부한 시퀀스 모델의 유용성을 배제하는 것은 아니다.
3. 실행 시간은 주의 깊은 처리가 필요한 중요한 잡음 변수이지만, 정규화 전략은 보편적으로 유익하다고 가정하기보다 특정 모델 제품군에 따라 평가되어야 한다.

저자들은 이러한 결과가 누설(leakage)이 통제된 프로토콜 하에서의 코퍼스 내 일반화를 반영하며, 시간적 일반화, 클래스 불일치 전이(family-disjoint transfer), 또는 다른 코퍼스나 시간적 검증 전략을 사용하는 연구에 대한 우월성을 주장하는 것이 아님을 명시적으로 밝히고 있다.