기술 요약: TrapNet – 그래프 분석을 통한 비지도식 고속 멀웨어 지문 추출

1. 문제 제기

멀웨어의 확산은 기하급수적으로 가속화되고 있으며, 하루에 약 250,000 개의 새로운 샘플이 생성된다는 추정이 있습니다. 이러한 양을 수동으로 조사하는 것은 비현실적이므로, 자동화되고 확장 가능한 선별 도구에 대한 긴급한 필요성이 대두되었습니다. 기존 비지도식 군집화 방법들은 종종 동적 분석 (샌드박싱) 에 의존하는데, 이는 높은 리소스 요구 사항으로 인한 제한된 실행 커버리지와 낮은 확장성으로 고통받고 있습니다. 반면, 정적 분석은 효율성을 제공하지만 코드 난독화와 패킹에 종종 어려움을 겪습니다. 본 논문이 해결하는 핵심 과제는 사전 지식이나 동적 실행 없이 방대한 의심 바이너리 피드를 효율적이고 효과적으로 선별하고, 악성 여부를 탐지하며, 의미론적 유사성에 기반하여 샘플을 패밀리로 그룹화하는 방법입니다.

2. 방법론: TrapNet 프레임워크

저자들은 정적 분석을 사용하여 빠른 멀웨어 지문 추출 및 패밀리 귀속을 위한 새로운 비지도식 프레임워크인 TrapNet을 제안합니다. 이 프레임워크는 네 가지 명확한 단계로 운영됩니다:

1 단계: 바이너리 준비 및 전처리

TrapNet 은 바이너리 샘플 데이터셋을 입력받습니다. 먼저 PEiD 와 UPX 와 같은 도구를 사용하여 패킹된 바이너리를 탐지하고 압축을 해제하여 숨겨진 페이로드의 영향을 최소화합니다. 압축 해제가 불가능한 샘플은 무시됩니다. 압축이 해제된 바이너리는 IDA Pro 를 사용하여 역어셈블리되어 오퍼코드 시퀀스와 함수 호출 시퀀스를 추출합니다.

2 단계: FloatHash(FH) 생성

멀웨어를 의미론적으로 표현하기 위해 TrapNet 은 어셈블리 논리를 조밀하고 짧은 실수 값 벡터로 압축하는 새로운 퍼지 해싱 기법인 **FloatHash(FH)**를 도입합니다. 두 가지 변형이 제안됩니다:

• FH 해싱 변형: 오퍼코드 및 함수 시퀀스에서 N-그램을 추출합니다. N-그램의 높은 차원성 (기하급수적으로 증가함) 을 처리하기 위해 **특성 해싱 (Feature Hashing)**을 적용하여 차원을 고정된 크기로 축소한 후, 정보를 유지하면서 벡터를 더 압축하기 위해 **주성분 분석 (PCA)**을 적용합니다.
• FH 시퀀스 변형: 오퍼코드와 함수 호출을 고유한 숫자 식별자로 매핑하여 이산 시퀀스를 생성합니다. 시퀀스 길이는 고정된 매개변수 $L$(예: 20,000) 로 통일 (잘라내거나 패딩) 됩니다. 그런 다음 이 이산 벡터에 직접 PCA 를 적용하여 최종 임베딩을 생성합니다.

두 변형 모두 멀웨어의 근본적인 의미론을 포착하는 짧은 벡터 (예: 100 차원) 를 생성합니다.

3 단계: 유사성 네트워크 구성

TrapNet 은 노드가 샘플을 나타내고 에지가 유사성을 나타내는 멀웨어 유사성 네트워크를 구성합니다.

• 유사성 계산: FH 벡터 간의 쌍별 유사성은 코사인 거리를 사용하여 계산됩니다. 확장성을 보장하기 위해 프레임워크는 수백만 개의 점을 밀리초 단위로 처리할 수 있는 고성능 근사 최근접 이웃 알고리즘인 FALCONN을 활용합니다.
• 임계값 설정: 체계적인 휴리스틱이 유사성 임계값을 결정합니다. 주어진 FH 유형에 대한 평균 쌍별 유사성을 계산하고 연결 임계값을 이 평균의 백분율로 설정합니다. 이를 통해 커버리지와 순도 간의 균형을 조절하는 단일 하이퍼파라미터를 사용할 수 있습니다.

4 단계: 커뮤니티 탐지

최종 단계는 유사성 네트워크에 최신 그래프 커뮤니티 탐지 알고리즘(특히 모듈성 최적화에 기반한 빠른 언폴딩 알고리즘) 을 적용합니다. 이는 밀집된 커뮤니티를 식별하며, 이는 의미론적으로 유사한 멀웨어 그룹 (패밀리) 에 해당합니다.

3. 주요 기여

1. TrapNet 프레임워크: 사전 지식 없이 대규모 데이터셋을 처리하기 위해 정적 분석과 그래프 커뮤니티 탐지를 활용하는 확장 가능한 비지도식 멀웨어 군집화 프레임워크.
2. FloatHash(FH): 멀웨어 의미론을 나타내는 조밀하고 짧은 실수 값 벡터를 생성하는 새로운 수치적 퍼지 해싱 기법. 오퍼코드 및 함수 호출 시퀀스를 모두 지원하며 신속한 유사성 계산을 위해 설계됨.
3. 확장성 및 효율성: PCA, 특성 해싱, 근사 최근접 이웃 검색의 통합을 통해 TrapNet 은 기존 솔루션보다 대규모 데이터셋을 훨씬 빠르게 처리할 수 있습니다.
4. 종합 평가: 멀웨어 전용 및 혼합 (정상/악성) 시나리오를 모두 포괄하는 Kaggle Microsoft 데이터셋 (11,500 개 샘플) 과 73 개 패밀리에서 수집된 대규모 "야생" 멀웨어 데이터셋 (250,000 개 샘플) 에 대한 광범위한 테스트.

4. 실험 결과

평가 결과에 따르면 TrapNet 은 다양한 데이터셋 크기와 구성에서 효과성과 효율성을 입증했습니다:

• 25 만 개 야생 멀웨어 성능: FH 시퀀스 변형을 사용하여 TrapNet 은 250,000 개의 샘플을 12 분 내에 군집화하여 48% 커버리지와 82% 커뮤니티 순도를 달성했습니다.
• 최첨단 기술과의 비교: TrapNet 은 130,000 개의 샘플을 군집화하는 데 90 분이 소요된 MutantX-S 보다 약 15 배 빠릅니다.
• 변형 비교:
  • FH 시퀀스 변형은 모든 데이터셋 크기에 걸쳐 더 안정적이고 확장 가능한 것으로 입증되었으며, 데이터셋이 25 만 개로 커짐에 따라 약 50% 의 커버리지와 약 80% 의 순도를 유지했습니다.
  • FH 해싱 변형은 작은 데이터셋 (1 만~5 만 개) 에서 잘 작동했으나, 더 큰 데이터셋에서는 커버리지가 급격히 감소하여 (25 만 개 샘플의 경우 1% 미만으로 하락) 확장성이 낮음을 보여주었습니다.
• 혼합 시나리오 (정상 vs 악성): 정상 파일이 포함된 시나리오에서 FH 해싱 변형은 정상 샘플에 대해 높은 순도 (100%) 를 보여주어 효과적으로 격리했으나 커버리지는 낮았습니다. 시퀀스 변형은 정상 샘플에 대해 더 높은 커버리지를 보였으나 순도는 낮았습니다.
• 임계값 민감도: 이 프레임워크는 분석가가 커버리지와 순도의 균형을 맞추기 위해 유사성 임계값 백분율을 조정할 수 있게 합니다. 예를 들어, Microsoft 데이터셋에서 해싱 변형의 경우 임계값을 1% 에서 100% 로 높이면 커버리지가 12% 에서 82% 로 증가했습니다.

5. 중요성과 주장

본 논문은 TrapNet 이 대규모 데이터셋의 처리 시간을 시간에서 분으로 단축함으로써 멀웨어 군집화 분야에서 최첨단 기술을 발전시켰다고 주장합니다. 전적으로 정적 분석과 효율적인 그래프 기반 기법에 의존함으로써, TrapNet 은 하루에 수만 개의 멀웨어 샘플을 선별하는 실용적인 솔루션을 제공합니다. 저자들은 하이퍼파라미터를 통해 보안 실무자의 요구에 맞게 프레임워크를 매우 쉽게 사용자 정의할 수 있으며, 어떤 정적 콘텐츠 (오퍼코드 또는 함수) 가 샘플 유사성을 주도하는지 추적함으로써 설명 가능한 결정을 제공한다고 강조합니다. 이 연구는 동적 분석의 리소스 오버헤드 없이 멀웨어 변종의 기하급수적 성장을 처리할 수 있는 비지도식 멀웨어 지문 추출을 위한 실행 가능하고 효율적인 방법으로서 그래프 커뮤니티 탐지를 위치 짓습니다.