기술 요약: MalTree – 임베딩을 통한 대규모 악성코드 진화 추적

1. 문제 정의

현재의 악성코드 탐지 패러다임은 근본적으로 사후 대응적입니다. 알려진 샘플을 기반으로 학습된 머신러닝 모델은 폴리모피즘(polymorphism), 메타모피즘(metamorphism), 난독화(obfuscation)를 통해 위협이 진화함에 따라 성능이 저하됩니다. 악성코드 패밀리 간의 진화적 관계를 이해하는 것은 선제적 방어에 도움이 될 수 있지만, 계보를 밝히기 위한 전통적인 역공학 방식은 느리며, 종종 수개월에서 수년이 소క기도 합니다. 또한, 기존의 계통 발생학적 접근 방식은 작은 샘플 크기, 단일 특징 모달리티(modality), 또는 추론된 트리가 실제 출현 타임라인을 반영하는지 확인하기 위한 시간적 검증의 부재로 인해 한계가 있습니다. 대규모 데이터셋으로 진화 분석을 확장하는 동시에, 구조적 유사성이 실제 역사적 계보와 일치하는지 검증하는 데에는 심각한 격차가 존재합니다.

2. 방법론

저자들은 생물정보학에서 영감을 얻은 계통 발생학적 기법을 전례 없는 규모로 적용하는 프레임워크인 MalTree를 제안합니다. 이 파이프라인은 네 가지 주요 단계로 구성됩니다.

2.1. 다중 모달 임베딩 추출 (Multi-Modal Embedding Extraction)

패킹된 바이너리를 직접 분석하는 대신, MalTree는 제어된 샌드박스 실행에서 추출된 메모리 덤프를 분석하여 복호화된 코드와 런타임 상태를 드러냅니다. 이 과정에서 세 가지 상호 보완적인 임베딩을 추출합니다:

• 정적 의사 임베딩 ($e_s$): LIEF 라이브러리를 사용하여 실행 파일 섹션(헤더, 임포트, 엑스포트, 옵코드)에서 유도되며, OpenAI text-embedding-3-large를 통해 3,000차원의 텍스트 임베딩으로 인코딩된 후 바이트 히스토그램과 결합됩니다.
• 동적 임베딩 ($e_d$): 샌드박스 실행으로부터 추출된 행위 추적(파일, 프로세스, 레지스트리, 네트워크, 뮤텍스 활동)을 포착하며, 1,000차원으로 인코딩됩니다.
• 이미지 임베딩 ($e_i$): RGB 이미지(bin2png)로 변환된 메모리 덤프를 처리하며, 악성코드 이미지 벤치마크에 사전 학습되고 데이터셋에 미세 조정된 ResNet-50 아키텍처를 통해 2,048차원 벡터를 생성합니다.

이 임베딩들은 결합(concatenation)과 2층 신경망을 통해 융합되어, 트리 구축을 위한 1,000차원의 표현체로 축소됩니다.

2.2. 트리 구축 (Tree Construction)

프레임워크는 임베딩 공간에서의 쌍별 거리(pairwise distances)를 사용하여 계통 발생 트리를 구축하며, 두 가지 거리 기반 알고리즘을 사용합니다:

• UPGMA (Unweighted Pair Group Method with Arithmetic Mean): 일정한 진화율(분자 시계)을 가정합니다.
• Neighbor-Joining (NJ): 속도 이질성을 수용하여, 계통이 서로 다른 속도로 진화할 수 있도록 합니다.
  저자들은 100,000개 이상의 샘플을 처리할 수 있도록 근사 $O(n^2)$ 스케일링을 달성하는 RapidNJ를 활용합니다.

2.3. 시간적 검증 (Temporal Validation)

악성코드는 유전 서열이나 알려진 분기 날짜가 없으므로, MalTree는 VirusTotal 최초 제출 타임스탬프를 출현 시간의 대리 지표(proxy)로 사용하는 새로운 검증 방법을 도입합니다.

• 루팅 (Rooting): 가장 이른 타임스탬프를 가진 샘플(외집단 루팅) 또는 중간점 루팅(midpoint rooting)을 사용하여 트리에 루트를 설정합니다.
• 일관성 지표 (Consistency Metric): 프레임워크는 추론된 분기 순서를 타임스탬프와 비교하여 트리를 검증합니다. 최근 공통 조상(MRCA)을 공유하는 형제 쌍(sibling pairs)의 경우, MRCA까지의 경로 길이(가지 거리)가 짧은 샘플이 더 일찍 출현한 것으로 추론됩니다. "시간적 일관성 점수"는 트리에서 추론된 순서가 타임스탬프 순서와 일치하는 형제 쌍의 비율로 계산됩니다.

2.4. 패밀리 간 분석 (Inter-Family Analysis)

패밀리 간의 관계를 추론하기 위해, 프레임워크는 (VirusTotal 컨센서스 라벨로 결정된) 패밀리별로 샘플을 집계합니다. 각 패밀리의 리프(leaves)로부터 공유된 MRCA까지의 중앙값 경로 거리를 계산합니다. 짧은 중앙값 거리를 가진 패밀리(더 일찍 분기한 패밀리)에서 긴 거리를 가진 패밀리로 방향성 에지를 생성하며, 에지의 가중치는 소스 패밀리의 중앙값 거리를 나타냅니다.

3. 주요 기여

1. 대규모 계통 발생 분석: 저자들은 538개 패밀리에 걸친 103,883개의 악성코드 샘플로부터 검증된 계통 트리를 구축했습니다. 이 분석은 20코어 클러스터에서 UPGMA 기준 약 11시간, NJ 기준 3일 만에 완료되었으며, 이는 현재까지 진행된 가장 큰 규모의 분석입니다.
2. 시간적 검증 프레임워크: 논문은 VirusTotal 타임스탬프를 사용하여 진화 방향성을 검증하는 방법을 도입하여, 추론된 트리가 실제 출현 타임라인과 검증되지 않았던 기존 연구의 공백을 해결했습니다.
3. 해석 가능한 진화적 통찰: 프레임워크는 트리 단순화 및 패밀리 간 분석 방법을 포함하여 공공 사이버 보안 인텔리전스(예: Mirai 봇넷 계보)와 일치하는 관계를 밝혀냅니다.
4. 오픈 릴리스: 추가 연구를 촉진하기 위해 코드와 임베딩을 커뮤니티에 공개합니다.

4. 실험 결과

• 임베딩 품질: 결합된 다중 모달 임베딩은 선형 프로브(linear probe)를 사용하여 93.69%의 패밀리 분류 정확도를 달了一种하며, 이는 개별 모달리티보다 우수한 성능을 보였습니다. 이미지 임베딩 단독으로는 94.91%를 기록하여, 시각적 구조가 패밀리를 강력하게 구분함을 시사했습니다.
• 시간적 일관성: 외집단 루팅을 적용한 Neighbor-Joining 알고리즘은 87.1%의 시간적 일관성 점수를 달성했습니다. 이는 추론된 진화 관계가 실제 출현 타임라인과 밀접하게 일치함을 나타냅니다. 반면, UPGMA는 명목상의 구성에서는 86.0%로 양호한 성능을 보였으나, 대안적인 루팅 체계에 강제 적용했을 때 성능이 크게 저하되었습니다. 이는 악성코드 진화가 흔히 일정한 속도 가정을 위반함을 시사합니다.
• 진화율: 임베딩 드리프트(drift) 분석을 통해 돌연변이율이 패밀리마다 균일하지 않음을 발견했습니다. 일부 패밀리(예: Bashlite, Syslogk)는 다른 패밀리보다 10배 이상 높은 드리프트를 보였으며, 이는 UPGMA에 필요한 분자 시계 가정을 위반하고 Neighbor-Joining을 선호하게 만드는 요인이 됩니다.
• 사례 연구:
  • Mirai 봇넷: 추론된 트리는 다섯 가지 알려진 Mirai 후손(Bashlite, Okiru, MooBot, Gafgyt, Rapperbot)을 문서화된 코드 계보 및 위협 인텔리전지와 일치하는 에지 가중치와 함께 정확히 식별했습니다. 임포트/엑스포트 심볼의 정적 분석은 높은 코드 재사용성(예: Mirai와 Okiru 사이의 82% 중복)을 확인해 주었습니다.
  • SmokeLoader: 프레임워크는 코드 상속보다는 전달 체인(delivery chain) 연관성(예: Amadey, RedLine과의 관계)을 포착하여, 운영적 근접성을 포착하는 능력을 입증했습니다.
  • 관찰된 한계점: 프레임워크는 조직적 관계보다는 기능적 유사성을 포착했습니다. 예를 들어, Conti 생태계(Wizard Spider 그룹)는 도구들(뱅킹 트로이목마, 로더, 랜섬웨어)이 특징 공간(feature space)의 서로 다른 영역을 차지했기 때문에 하나의 클러스터로 묶이지 않았습니다. 이는 제작자가 동일하더라도 기능이 다르면 분리될 수 있음을 보여줍니다.

5. 의의 및 주장

본 논문은 MalTree가 악성코드 분석을 샘플 단위의 분류에서 계보 인식 진화 모델링으로 전환하는 토대를 제공한다고 주장합니다. 계통 발생학적 방법이 대규모 데이터에서 의미 있는 진화적 구조를 포착할 수 있음을 입증함으로써, 본 연구는 탐지 전략이 특정 악성코드 패밀리의 진화 템포에 맞춰 설계되어야 함을 시사합니다.

저자들은 자신들의 접근 방식이 수동 역공학에 소요되는 수개월의 시간 대신 몇 주 만에 진화적 통찰을 제공함으로써 기존 워크플로우를 보완한다고 강조합니다. 그러나 다음과 같은 범위의 한계를 명시하며 신중한 태도를 유지합니다:

• 프레임워크는 조직적 관계(위협 행위자 추적)보다는 기능적 관계를 포착합니다.
• 코드 진화, 전달 체인 연관성, 또는 우연한 특징 공간 근접성을 자동으로 구별할 수는 없습니다.
• 추론된 트리의 유효성은 형제 쌍 내에서 짧은 가지 길이가 더 이른 출현에 해당한다는 "로컬 클락(local clock)" 가정에 의존하며, 이는 얕은 분기에서는 경험적으로 성립하지만 매우 불규칙한 진화에 대해서는 추가 검증이 필요합니다.

궁극적으로 MalTree는 악성코드의 공진화하는 디지털 생태계를 시각화하고 검증할 수 있는 확장 가능하고 자동화된 방법을 제공하여, 보안 전문가들에게 조사 가설을 제시하고 악성코드 패밀리가 시간에 따라 어떻게 진화하는지에 대한 더 깊은 이해를 제공합니다.