기술 요약: 양자 커널 기반 머신러닝을 이용한 확장 가능한 멀웨어 패밀리 분류

문제 정의

멀웨어 패밀리 분류는 위협 귀속, 계보 분석, 방어 전략 개발에 필수적인 사이버 보안의 핵심 과제입니다. 그러나 멀웨어 변종의 급격한 확산, 광범위한 난독화, 패킹 및 자동 생성 기술로 인해 이 작업은 점점 더 어려워지고 있습니다. 이러한 요인들은 높은 패밀리 간 구조적 유사성과 다형성을 초과하여 기존 머신러 लर्निंग 모델에 도전 과제를 제기합니다.

선형 분류기, 트리 기반 모델, 딥러닝을 포함한 기존의 고전적 접근 방식은 대규모 다중 클래스 설정에서 다음과 같은 구체적인 한계에 직면해 있습니다:

• 표현력(Expressivity): 수작업으로 설계된 특징(handcrafted features)은 멀웨어 패밀리 간의 미묘한 비선형 관계를 포착하는 데 실패하는 경우가 많습니다.
• 확장성(Scalability): 딥러닝 모델은 방대한 양의 레이블된 데이터와 계산 자원을 필요로 하며, 이는 종종 해석 가능성의 저하로 이어집니다.
• 클래스 불균형 및 유사성: 뚜렷한 클래스 불균형과 구조적 중첩은 고전적 모델의 일반화 능력을 제한합니다.
• 양자 한계: 양자 머신러닝(QML)은 고차원 힐베르트 공간 임베딩을 통해 잠재력을 제공하지만, 현재 연구는 주로 이진 분류, 소규모 데이터셋 또는 합성 데이터에 국한되어 있습니다. 또한, 전체 양자 커널 행렬을 구축하는 것은 샘플 수에 따라 이차적으로($O(N^2)$) 스케일링되므로, 대규모 멀웨어 저장소에 직접 적용하는 것은 계산적으로 비현실적입니다.

방법론

저자들은 다중 클래스 멀웨어 패밀리 분류에서 정확도와 효율성 제약을 모두 해결하기 위해 설계된 확장 가능한 양자 커널 기반 머신러닝(QKML) 프레임워크를 제안합니다. 이 프레임워크는 네 가지 주요 구성 요소로 통합됩니다:

1. 데이터셋 구축 및 특징 표현

본 연구는 23개 멀웨어 패밀리(22개의 악성 패밀리와 1개의 정상 클래스 포함)에 걸쳐 18,836개 샘플로 구성된 대규모 데이터셋(QLCD)을 활용합니다.

• 특징 추출: 파일 엔트로피, 섹션 통계, 가상 크기 대비 원시 크기 비율을 포함하여 Portable Execable (PE) 파일로부터 정적 구조적 특징을 추출합니다. 범주형 속성(예: 머신 타입, 패커)은 원-핫 인코딩(one-hot encoding)됩니다.
• 전처리: 특징은 Z-score 정규화와 결측치 처리를 위한 중앙값 임퓨테이션(median imputation) 과정을 거칩니다. 신뢰할 수 있는 다중 클래스 학습을 보장하기 위해 샘플 수가 50개 미만인 패밀리는 제외되었습니다.

2. 지도 학습 기반 특징 투영 (LDA)

입력 차원의 기하급선적인 양자 회로 복잡도 증가와 가용 큐비트 수의 제한을 완화하기 위해, 프레임워크는 **선형 판별 분석(LDA)**을 지도 학습 기반 차원 축소 단계로 채택합니다.

• LDA는 고차원 특징 벡터를 차원이 $k \le C-1$인(여기서 $C$는 클래스 수) 저차원의 클래스 인지적 부분 공간으로 투영합니다.
• 이 단계는 클래스 간 분리성을 최대화하는 동시에 클래스 내 분산을 최소화하여, 양자 인코딩에 적합한 압축된 표현을 생성합니다.

3. 양자 커널 구축

투영된 특징 벡터는 매개변수화된 양자 특징 맵(매개변수화된 양자 회로, PQC)을 사용하여 양자 상태로 인코딩됩니다.

• 인코딩: 특징들은 $n$개의 큐비트에 대한 회전 각도(예: $R_Y$ 게이트)로 매핑됩니다.
• 커널 정의: 양자 커널은 두 양자 상태 사이의 제곱 충실도(squared fidelity)로 정의됩니다: $K(z_i, z_j) = |\langle \phi(z_i) | \phi(z_j) \rangle|^2$. 이 충실도 기반 커널은 고전적 커널이 놓칠 수 있는 비선형 유사성을 포착합니다.

4. 확장 가능한 커널 근사 (Nyström 방법)

전체 커널 행렬 구축의 $O(N^2)$ 계산 병목 현상을 극복하기 위해, 저자들은 Nyström 근사법을 사용합니다.

• 랜드마크 선택: 훈련 세트에서 $M$개의 랜드마크 샘플($M \ll N$)을 선택합니다.
• 저계수 근사(Low-Rank Approximation): 전체 커널 행렬은 랜드마크로부터 유도된 부행렬을 사용하여 근사됩니다. 이를 통해 모든 샘플에 대한 명시적인 저차원 특징 표현 $\psi(z_i)$를 구축할 수 있습니다.
• 분류: 다중 클래스 분류를 수행하기 위해 이러한 Nyström 근사 특징에 대해 고전적인 릿지 회귀(ridge regression) 모델을 학습시킵니다. 이 접근 방식은 서브샘플링 없이 전체 데이터셋으로부터 학습할 수 있게 하여, 지배적인 복잡도를 $O(NM)$으로 줄여줍니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 확장 가능한 QKML 프레임워크: 클래스 인지적 차원 축소를 수행하고 변별력을 높이기 위해 충실도 기반 양자 커널과 지도 학습 기반 LDA 투영을 결합한 새로운 파이프라인을 제시합니다.
2. 양자 커널을 위한 Nyström 근사: 랜드마크 샘플을 사용하여 양자 커널의 저계수 표현을 구축하는 방법을 제안합니다. 이를 통해 서브샘플링 편향 없이 전체 데이터셋에서 학습할 수 있으며, 필요한 양자 충실도 평가 횟수를 크게 줄입니다.
3. 대규모 실제 데이터셋: 현실적인 다중 클래스 사이버 보안 시나리오에서 QML을 평가하기 위해 특별히 설계된, 23개 패밀리에서 추출한 18,836개 샘플을 포함하는 QLCD 데이터셋을 큐레이션하고 전처리하였습니다.
4. 경험적 검증: 제안된 프레임워크가 동일한 특징 및 데이터 분할 하에서 고전적 머신러닝 베이스라인보다 우수한 성능을 보이며 80.88%의 정확도를 달려냄을 종합적인 실험을 통해 입증하였습니다.

실험 결과

실험은 하이브리드 클래식-양자 파이프라인을 사용하여 상태 벡터 기반 양자 시뮬레이터에서 수행되었습니다.

• 베이스라인과의 성능 비교: 제안된 QKML 프레임워크는 80.88%의 정확도를 달성하여 Softmax Regression (52.79%), Linear SVM (78.73%), KNN (79.56%), Gaussian Naive Bayes (58.44%)를 포함한 고전적 베이스라인을 능가했습니다.
• 절제 연구 (Ablation Studies):
  • 투영(Projection): 지도 학습 기반 LDA를 비지도 학습 기반 SVD로 대체했을 때 정확도가 80.88%에서 78.83%로 감소하여, 레이블 인지적 투영의 가치를 확인했습니다.
  • 랜드마크(Landmarks): 정확도는 1,000개의 랜드마크에서 약 74%였던 것에서 8,000개의 랜드마크에서 약 81.8%로 향상되었으며, 이는 $M=8000$ 이후에는 수익 체감 현상이 나타남을 보여줍니다.
  • 회로 깊이(Circuit Depth): 회로 반복 횟수($L$)와 큐비트 수($n$)를 늘리면 일반적으로 성능이 향 향상되었으며, 최적의 결과는 $n=8, L=4$에서 나타났습니다.
• 클래스별 성능: 모델은 주요 패밀리(예: Mediyes F1=0.988, Winwebsec F1=0.986)와 정상 클래스(F1=0.774)에서 강력한 성능을 보였습니다. 구조적 유사성이 높은 소수 클래스(예: Lockbit, LokiBot)에 대해서는 성능이 낮았는데, 이는 알려진 멀웨어 분류의 어려움과 일치합니다.
• 효율성:
  • 실행 시간: 양자 파이프라인은 훈련을 426.58초 만에 완료하여, KNN (830초) 및 GaussianNB (1161초)와 같은 고전적 베이스라인보다 현저히 빨랐습니다.
  • 계산 비용: 양자 모델은 고전적 모델에 비해 훨씬 적은 수의 연산(게이트 및 상태 벡터 프록시)을 필요로 하며, 이는 잠재적인 에너지 효율성 이점을 시사합니다.
  • 확장성: "Quantum-Lite" 구성(더 적은 큐비트 및 랜드마크)은 74.82%의 정확도와 함께 5.5배의 속도 향상을 달성하여 자원 효율적인 스케일링을 입증했습니다.

의의 및 주장

저자들은 본 연구가 양자 커널 방법의 이론적 표현력과 실제 멀웨어 분석의 확장성 요구 사이의 간극을 메운다고 주장합니다.

• 측정 가능한 이점: 본 연구는 복잡한 다중 클래스 사이버 보안 과제에서 확장 가능한 양자 커널 기술이 고전적 베이스라인에 비해 측정 가능한 성능 이점(높은 정확도 및 낮은 손실)을 제공할 수 있음을 입증합니다.
• 실질적 실현 가능성: Nyström 근사와 지도 학습 기반 투영을 통합함으로써, 프레임워크는 전체 커널 구축의 과도한 이차적 비용 없이 사용 가능한 모든 훈련 데이터를 사용할 수 있게 하여 대규모 저장소에 적합하게 만듭니다.
• 미래 방향: 이 논문은 본 연구를 특히 근사 양자 장치(NISQ) 및 하이브리드 워크플로우에서 양자 강화 학습을 운영적인 멀웨어 분석 파이프라인에 통합하기 위한 실질적인 단계로 위치시킵니다.

저자가 언급한 한계점:
저자들은 평가가 실제 하드웨어가 아닌 고전적 양자 시뮬레이터에 의존하고 있어 노이즈 및 결맞음(decoherence) 효과가 반영되지 않았음을 명시했습니다. 또한, Nyström 근사가 확장성을 개선하지만, 상태 준비(state preparation) 비용은 여전히 큐비트 수와 회로 깊이에 따라 증가하며, 현재 구현은 아직 실시간 스트리밍 환경에 배포되지 않은 상태입니다.