기술 요약: 악성코드 분류, 패킹 탐지 및 패밀리 귀속을 위한 멀티태스크 전문가 혼합(Mixture of Experts) 프레임워크

문제 정의

악성코드 분석은 악성코드 데이터의 본질적인 이질성, 패킹 및 난독화된 바이너리의 만연함, 그리고 다양한 악성코드 패밀리의 분포로 인해 상당한 어려움에 직면해 있다. 기존의 단일 모델 탐지 메커니즘은 이러한 다양한 데이터 분포 전반에 걸쳐 일반화하는 데 어려움을 겪는 경우가 많으며, 이는 특히 희귀하거나 고도로 난독화된 샘플에 대해 성능 저하를 초래한다. 또한, 기존 프레임워크는 일반적으로 여러 이질적인 목적(예: 패밀리 분류, 패킹 탐지, 악성/정상 구분)을 동시에 최적화하려는 단일 구조(monolithic architectures)에 의존한다. 이러한 접근 방식은 서로 다른 구조적 및 의미적 요구 사항이 충돌하여 서로 간섭하는 "부정적 태스크 전이(negative task transfer)"를 유발하며, 결과적으로 모델이 모든 목적에 효과적인 표현을 학습하는 것을 방해한다.

방법론

저자들은 이러한 한계를 해결하기 위해 전문가 혼합(Mixture of Experts, MoE) 아키텍처를 기반으로 한 통합 멀티태스크 학습 프레임워크를 제안한다. 핵심 가설은 문제를 특화된 전문가 네트워크로 분해하고 이를 적응형 게이팅 메커니즘으로 조정함으로써, 확장성을 유지하면서도 효과적인 태스크별 학습을 가능하게 한다는 것이다.

1. 입력 표현 (Input Representations)

본 프레임워크는 두 가지 별개의 입력 모달리티에 대해 성능을 평가한다:

• 구조화된 EMBER 특징 (Structured EMBER Features): EMBER 프레임워크를 사용하여 PE(Portable Executable) 파일로부터 추출한 고차원(2,381차원) 수치 기술자. 여기에는 파싱된 PE 메타데이터, 헤더 정보, 섹션 특성, 임포트/엑스포트 테이블, 그리고 포맷 불가지론적(format-agnostic) 바이트 히스토그램 및 엔트로피 측도가 포함된다.
• 원시 1D 이미지 표현 (Raw 1D Image Representations): 원시 실행 파일 바이트를 1차원 그레이스케일 강도 시퀀스로 직접 변환한 것(1,024, 4,096, 16,384 바이트 길이 테스트). 이를 통해 모델은 명시적인 특징 공학 없이 저수준 바이너리 데이터로부터 학습할 수 있다.

2. 아키텍처 변형 (Architectural Variants)

본 연구는 세 가지 MoE 패러다임을 체계적으로 조사한다:

• 동질적 MoE (Homogeneous MoE, Homo-MoE): 세 개의 동일한 전문가 네트워크와 하나의 공유 게이팅 네트워크를 사용한다. 모든 전문가는 동일한 아키텍처(Dense layers)를 공유하지만 서로 다른 특징 패턴을 학습한다. 잠재 공간의 유의미성을 보장하기 위해 기대 제곱 오차(Expected Squared Error) 손실과 재구성 정규화 도구를 사용한다.
• 이질적 MoE (Heterogeneous MoE, Hetero-MoE): 상호 보완적인 정보를 포착하기 위해 구조적으로 다양한 전문가들(예: 스킵 연결이 있는 전문가, 차원을 축소하는 전문가, 보틀넥 레이어가 있는 전문가)을 결합한다. 다양한 구조 간의 경쟁적 학습을 촉진하기 위해 음의 로그 가능도(Negative Log-Likelihood, NLL) 손실을 활용한다.
• 멀티 게이트 전문가 혼합 (Multi-Gate Mixture of Experts, MMoE): 멀티태스크 시나리오를 위해 특별히 설계된 아키텍처로, 독립적인 태스크별 게이팅 네트워크를 채택한다. 모든 태스크에 대한 입력을 라우팅하는 단일 게이트 대신, MMoE는 각 태스크(패밀리 분류, 패킹 탐지, 악성/정상 식별)가 독립적으로 전문가의 출력을 선택하고 가중치를 부여할 수 있도록 한다. 이는 태스크 간의 부정적 전이를 완화하기 위해 라우팅 프로세스를 분리한다.

3. 훈련 및 평가 전략

• 멀티태스크 목적 (Multi-Task Objectives): 프레임워크는 다음 세 가지 태스크를 동시에 수행한다:
  1. 악성코드 패밀리 분류 (다중 클래스).
  2. 패킹 여부 탐지 (이진 분류).
  3. 악성/정상 식별 (이진 분류).
• 적대적 강건성 (Adversarial Robustness): 회복력을 평가하기 위해, 저자들은 프로그램의 의미론적 특성은 유지하면서 분포 변화를 유도하는 변이된 악성코드 샘플을 생성하는 PyMetaEngine을 사용한다.
• 지표 (Metrics): 성능은 정확도(Accuracy), F1-스코어, 그리고 샘플의 세 가지 태스크가 모두 맞아야 성공으로 간주하는 **결합 탐지율(Combined Detection Rate, CDR)**로 측정된다. **공격 성공률(Attack Success Rate, ASR)**은 $1 - CDR$로 정의된다.

주요 기여 (Key Contributions)

1. 통합 멀티태스크 정식화: 본 논문은 악성코드 분석을 패밀리 분류, 패킹 탐지, 악성/정상 분리를 통합하는 단일 프레임워크로 정식화하여, 고립된 단일 태스크 모델에서 벗어났다.
2. 아키텍처 조사: 동질적, 이질적, 멀티 게이트 MoE 아키텍처를 설계하고 평가하여, 전문가의 다양성과 게이팅 전략이 악성코드 분석에 미치는 영향을 강조하였다.
3. 특징 표현 비교: MoE 컨텍스트 내에서 구조화된 EMBER 특징과 원시 1D 이미지 표현 간의 포괄적인 비교 분석을 수행하였다.
4. 강건성 평가: 변이 기반의 메타모픽 적대적 공격에 의해 유도된 분포 변화 하에서 모델의 실질적인 회복력을 평가하였다.
5. 경험적 결과: **Multi-Gate MoE (MMoE)**가 구조화된 EMBER 특징과 변이 증강 훈련 데이터를 사용할 때 가장 우수한 성능과 안정성을 달자함을 입증하였다.

실험 결과

실험은 여러 랜덤 시드에 걸쳐 66,400개의 PE 파일(악성코드 26,400개, 정상 40,000개) 데이터셋을 대상으로 수행되었다.

• 표준 성능 (EMBER 특징): MMoE 모델은 가장 높은 베이스라인 결합 탐지율(CDR)인 0.9670을 달성하여, 동질적 MoE(0.9466)와 이질적 MoE(0.9425)를 능가하였다. MMoE는 또한 가장 낮은 공격 성공률(ASR)인 3.35%를 기록하였다.
• 적대적 강건성 (변이 샘플): 변이된 샘플(Dataset D2)에 대해 테스트했을 때, MMoE는 0.9342의 CDR을 유지한 반면, 동질적 및 이질적 MoE 모델은 각각 0.8635와 0.8577로 크게 하락하였다. 이는 MMoE가 분포 변화를 처리하는 데 있어 우월한 능력을 갖추고 있음을 나타낸다.
• 데이터 증강의 영향: 변이된 샘플으로 증강된 데이터셋(Dataset D3)으로 MMoE를 훈련하면 성능이 더욱 향상되어, CDR 0.9744와 ASR **2.56%**에 도달하였다.
• 원시 1D 이미지 결과: 원시 1D 바이트 표현을 사용할 경우, 이질적 MoE가 MMoE보다 우수한 성능을 보였다 (CDR 0.9585 vs. 0.9478). 이는 원시 데이터의 경우 태스크별 게이팅보다 전문가의 구조적 다양성이 더 유익할 수 있음을 시사하며, 반대로 구조화된 특징의 경우 태스크별 게이팅이 중요하다는 것을 보여준다.
• 효율성: MMoE 모델은 샘플당 약 2.05 µs의 테스트 시간을 기록하며 높은 계산 효율성을 입증하였다.

의의 및 주장

본 논문은 제안된 프레임워크가 확장 가능하고 회복력이 있는 악성코드 탐지 시스템을 위한 유망한 방향을 제시한다고 주장한다. 주요 의의는 태스크별 전문가 라우팅(via MMoE)이 통합 게이팅 전략에 비해, 특히 복잡하고 이질적인 악성코드 분포에서 정확도와 일반화 성능을 크게 향 향상시킨다는 점을 입증한 데 있다.

저자들은 태스크별 게이팅의 이점이 입력 표현과 독립적이지 않다는 점을 겸허히 언급하였다. 즉, 태스크별 게이팅은 구조화된 EMBER 특징의 의미론적 풍부함과 결합될 때 가장 효과적이다. 원시 1D 표현은 이질적 전문가 구조로부터 더 많은 이득을 얻는 반면, EMBER 특징과 결합된 MMoE 프레임워크는 패킹 및 메타모픽 변이를 포함한 현대 악성코드의 다양한 과제를 처리하는 데 가장 강력한 구성을 나타낸다. 이 연구는 전문가의 전문화와 조건부 연산(conditional computation)이 동시적인 보안 목표들 사이의 간섭을 줄이는 데 효과적인 메커니즘임을 강조한다.