Related Families, Not Label Errors: A Case Study of a Failure Mode in Open-World Malware Evaluation on BODMAS

기술 요약: 오픈 월드 악성코드 평가에서 라벨 오류가 아닌 관련 가족(Related Families) 문제

문제 정의
오픈 월드 악성코드 탐지는 일반적으로 "하나의 가족 제외(leave-one-family-out, LOFO)" 프로토콜을 채택한다. 이는 특정 악성코드 가족을 학습에서 제외하고, 탐지기가 해당 제외된 가족의 샘플을 "새로운 것(novel, 분포 외 데이터)"으로 식별할 수 있는지 평가하는 방식이다. 본 논문은 이 평가 패러다임에서 발생하는 치명적인 실패 모드를 식별하였으며, 이는 탐지기의 성능이나 데이터 라벨링 오류와는 무관하다. 구체적으로, 만약 제외된 가족이 학습 세트에 남아 있는 밀접한 친척(유전적 또는 특징 공간상 유사한 가족)을 가지고 있다면, 해당 제외된 샘플은 진정으로 '보지 못한(unseen)' 데이터가 아니다. 학습 분포로부터의 거리를 측정하는 거리 기반 신규성 점수(distance-based novelty scores)는 이와 관련된 샘플들을 학습 분포 내에 위치한 것으로 간주하여 잘못되게 "알려진(known)" 것으로 분류한다. 결과적으로, 탐지기는 신규성을 감지하는 데 실패해서가 아니라, 가족 간의 관련성으로 인해 평가 전제가 위반되었기 때문에 AUROC가 우연(chance)보다 현저히 낮은 수준으로 역전되는 페널티를 받게 된다.

방법론
저자들은 정적 PE(Portable Executable) 특징 벡터를 활용하여 BODMAS 벤치마크에 대한 상세한 사례 연구를 수행한다. 이 연구는 데이터 누수(data leakage)를 방지하기 위해 표준화 및 주성분 분석(PCA)을 오직 학습용 가족들에 대해서만 피팅(fitting)하는 엄격하고 누수가 없는 프로토콜을 적용한다.

주요 방법론적 구성 요소는 다음과 같다:

1. 인과적 개입(Causal Intervention): 저자들은 의심되는 "문제적" 가족과 그와 가장 가까운 친척을 동시에 학습에서 제외함으로써 낮은 점수의 원인을 격리한다. 만약 낮은 점수가 관련성 때문이라면, 두 가족을 모두 제거했을 때 AUROC는 완벽한 탐지 수준으로 회복되어야 한다.
2. 라벨 오류 감사(Audit for Label Errors): 낮은 점수가 중복 라벨(즉, 제외된 가족이 실제로는 학습 중인 가족과 동일함)로 인해 발생하는 것이라는 가설을 배제하기 위해, 저자들은 53개의 가장 큰 가족(1,378개 쌍)에 대해 2단계 감사를 수행했다. 여기에는 로지스틱 회귀 스크리닝과 더불어, 상위 20개의 의심스러운 쌍을 판정하기 위한 균형 잡힌 클래스 크기를 가진 랜덤 포레스트 2-표본 검정이 포함되었다.
3. 메트릭 불가지론(Metric Agnosticism): 이 연구는 실패가 특정 점수 산출 규칙의 문제인지 아니면 평가 프로토콜 자체의 문제인지 결정하기 위해 6가지 비지도 신규성 점수 산출법(Mahalanobis distance, k-NN, Isolation Forest, PCA reconstruction, Autoencoder, One-Class SVM)과 1가지 지도 학습 베이스라인(Random Forest)을 평가한다.
4. 분류 체계 분석(Taxonomy Analysis): 저자들은 이름 기반의 정규화가 문제를 해결할 수 있는지 테스트하기 위해 백신 벤더의 에일리어스 계보(특히 berbew, qukart, padodor 계보)를 조사한다.

주요 결과

• 역전 현상(The Inversion Phenomenon): 누수 없는 프로토콜 하에서, berbew 가족은 단독으로 제외되었을 때 0.184의 AUROC를 기록했다(우연의 기준선인 0.5보다 현저히 낮음). 이는 그와 밀접한 친척인 qukart가 학습에 남아 있었기 때문에 발생했다. berbew와 qu-kart를 함께 학습에서 제외했을 때, berbew의 AUROC는 0.903으로 회복되었다. 나머지 18개 가족은 변화가 미미했다(<0.001).
• 원인 확인: 감사를 통해 berbew와 qukart가 서로 다른 가족이며 공유하는 특징 벡터가 없음을 확인했다. 지도 분류기는 이들을 0.752의 균형 정확도로 분리해냈으며, 이는 라벨은 정확하지만 두 가족이 특징 공간상에서 매우 인접(코사인 유사도 > 0.99)함을 증명한다.
• 메트릭 특이성: 실패는 **비지도 신규성 점수 산출(unsupervised novelty scoring)**에 특이적이다. 4가지 전역 모델 기반 비지도 점수 산출법(Mahalanobis, Isolation Forest, PCA, Autoencoder) 모두 관련 가족에 대해 역전 현상(우연 이하의 점수)을 보였다. 순수하게 국소적인 k-NN 점수는 크게 저하되었으나 역전되지는 않았다. 지도 분류기는 역전되지 않았으며, 이는 문제가 비지도 학습의 가정(제외된 가족이 전체 학습 분포에서 멀리 떨어져 있어야 한다는 가정)에 있음을 확인시켜 준다.
• 이상치(Anomaly): sillyp2p 가족 또한 우연 이하의 점수(0.428)를 기록했으나, 이는 가장 가까운 이웃으로부터 잘 분리되어 있었다. 저자들은 이 역전 현상이 단일 최근접 가족 메커니즘으로는 설명되지 않으며, 비지도 메트릭은 실패하지만 지도 점수 산출 시에는 회복된다는 점을 언급하며 이를 미해결 과제로 남겨두었다.
• 분류 체계의 한계: 조사된 계보에서 padodor는 동일한 벤더 식별 계보에 속함에도 불구하고 berbew와 분리 가능하다(정확도 0.972). 이름 기반의 정규화는 분리 가능한 가족들을 잘못 병합하는 동시에, 문제가 되는 berbew/qukart 쌍을 식별하는 데는 실패할 것이다.

주요 기여

1. 관련성에 의한 실패 입증: 가족 간의 관련성이 라벨 노이즈가 아닌, 비지도 신규성 점수를 우연 이하로 떨어뜨려 탐지기가 올바른 행동(알려진 계보의 변종 식별)을 하고 있음에도 페널티를 주는 과정을 통제된 실험으로 입증하였다.
2. 벤치마크 감사: BODMAS에 대한 종합적인 감사를 통해 의심스러운 쌍들 사이에서 중복 라벨이 없음을 확인하였으며, 이 실패가 데이터 품질 문제가 아닌 구조적 문제임을 입증하였다.
3. 프로토콜 진단: 이러한 실패가 특정 메트릭의 결함이 아니라, 비지도 신규성 탐지에 적용될 때 발생하는 LOFO 평가 프로토콜의 속성임을 보여주었다.
4. 방법론적 투명성: 최근접 이웃 베이스라인을 넘어서는 데 실패했던 4가지 방법론적 시도와, 연구 과정에서 교정된 6가지 구체적인 측정상의 함정(예: 분리 통계에서의 클래스 불균형, 캘리브레이션 누수 등)을 문서화하였다.

의의 및 주장
본 논문은 이 실패 모드의 해결책이 벤치마크에서 관련 가족을 제거하는 것이 아니라고 주장한다. 왜냐하면 알려진 계보의 변종을 다루는 것은 실무자들이 반드시 처리해야 할 운영상 유의미한 사례이기 때문이다. 대신 저자들은 다음을 제안한다:

• 공개 및 계층화(Disclosure and Stratification): 벤치마크는 제외된 가족과 그와 가장 가까운 학습 내 친척 간의 쌍별 분리 가능성(pairwise separability)을 공개해야 한다.
• 계층적 보고(Stratified Reporting): 신규성 성능은 단일 평균값에 의존하여 역전 현상을 은폐하기보다, 학습 내에 밀접한 친척이 있는 가족과 그렇지 않은 가족을 구분하여 별도로 보고해야 한다.
• 국소 vs 전역 점수 산출(Local vs. Global Scoring): 본 연구는 국소적 점수 산출 방식(예: k-NN)이 전역 모델 기반 점수 산출 방식보다 이 특정 실패 모드에 더 강건하지만, 성능 저하로부터 완전히 자유롭지는 않다는 점을 시사한다.

저자들은 이 연구가 모든 악성코드 벤치마크에 보편적으로 적용되는 법칙을 주장하는 것이 아니라, BODMAS 벤치마크와 정적 PE 특징에 대한 상세한 사례 연구임을 명시적으로 밝히고 있다. 주요 기여는 진단 프레임워크를 제공하는 것이다. 즉, 단 하나의 관련 가족 쌍이 탐지기를 잘못 평가하여 커뮤니티를 오도할 수 있는 병리적인 결과를 초래할 수 있으므로, 오픈 월드 벤치마크를 사용하기 전에 반드시 가족 간의 관련성을 점검해야 한다.