기술 요약: 사이버 보안의 이상 탐지를 위한 양자 오토인코더 (Quantum Autoencoders)

문제 정의

사이버 보안 이상 탐지는 정상 이벤트가 공격보다 압도적으로 많은 극심한 데이터 불균형 문제에 직면해 있습니다. 또한, 급변하는 사이버 위협으로 인해 지도 학습(supervised learning)에 필요한 대규모의 고품질 레이블 데이터셋을 확보하거나 유지하는 것이 매우 어렵거나 비현실적입니다. 고전적 오토인코더(Classical Autoencoders, CAE)는 재구성 오차(reconstruction error)를 통해 '정상' 데이터의 분포를 학습하여 이상치를 식별하는 데 사용되어 왔으나, 데이터가 제한적인 환경에서는 어려움을 겪는 경우가 많습니다. 본 논문은 양자 오토인코더(Quantum Autoencoders, QAE)가 특히 제한된 정상 데이터 샘플로 훈련될 때, 사이버 보안 맥락에서 더 우수한 데이터 효율성과 성능을 제공할 수 있는지 조사합니다.

방법론

데이터셋 및 전처리

본 연구는 클라우드 허니팟으로부터 수집된 800만 개 이상의 실제 네트워크 트래픽 이벤트를 포함하는 BPF-Extended Tracking Honeypot (BETH) 데이터셋을 활용합니다. 이 데이터셋은 불균형이 매우 심하며, 이상 이벤트는 훈련 및 검증 세트에서 차지하는 비중이 매우 낮지만(각각 0.2% 및 0.4%), 실제 탐지 시나리오를 시뮬레이션하기 위해 테스트 세트에서는 지배적인 비중(90.7%)을 차지하도록 구성되었습니다.

• 전처리: 프로세스 및 사용자 ID 매핑, 반환 값 처리, 고카디널리티(high-cardinality) 범주형 특성에 대한 타겟 인코딩을 포함하여 확립된 프로토콜(Highnam et al.)에 따라 특성을 엔지니어링했습니다.
• 특성 선택: 초기 변환된 데이터셋은 24개의 특성을 포함하고 있었습니다. 실험은 인코딩 방식에 따라 8, 16, 24개의 특성을 사용하는 서브셋에 초점을 맞추어 수행되었습니다.

양자 오토인코더 (QAE) 구조

Qiskit을 사용하여 구축되었으며 로컬 하드웨어 및 Google Colab L4 GPU에서 시뮬레이션된 QAE 구현은 다음과 같은 3계층의 개념적 구조를 따릅니다:

1. 입력/인코더 (Input/Encoder): 고전 데이터를 양자 상태로 인코딩합니다.
2. 병목 구간 (Bottleneck): "쓰레기(trash)" 큐비트를 버림으로써 상태를 압축합니다.
3. 출력/디코더 (Output/Decoder): 본 구현에서는 명시적인 재구성을 생략합니다. 대신, 버려진 쓰레기 큐비트를 SWAP test를 사용하여 참조 큐비트와 비교합니다.

이상 점수 산출 (Anomaly Scoring):
훈련 목표는 쓰레기 큐비트와 참조 상태 사이의 충실도(fidelity, $S$)를 측정하는 SWAP test로부터 도출된 비용 함수를 최소화하는 것입니다. 이상 점수($A$)는 $A = 1 - S$로 정의됩니다. 점수가 0이면 정상 인스턴스(높은 충실도)를, 1이면 최대치의 이상 인스턴스를 나타냅니다.

실험 변수:

• 인코딩 기법: 연구에서는 네 가지 뚜렷한 양자 인코딩 전략을 평가했습니다:
  1. 진폭 인코딩 (Amplitude Encoding): 데이터를 상태 진폭에 매핑합니다.
  2. 각도 인코딩 (Angle Encoding): 특성을 회전각($R_y$)에 매핑합니다.
  3. 밀집 각도 인코딩 (Dense-Angle Encoding): 두 개의 특성을 $R_y$와 $R_z$ 회전을 사용하여 하나의 큐비트에 인코딩함으로써 큐비트 요구량을 줄입니다.
  4. 효율적 SU2 인코딩 (Efficient SU2 Encoding): Qiskit의 얽힘 기반 스킴입니다.
• 안사츠 유형 (Ansatz Types): RealAmplitudes 및 PauliTwoDesign를 포함한 매개변수화된 회로를 테스트했습니다.
• 훈련 구성: 모델은 정상 데이터만을 사용하여 COBYLA 무경사 최적화 도구(gradient-free optimizer)를 통해 배치 크기 64로 60회 반복 훈련되었습니다.

고전적 베이스라인 (Classical Baseline)

성능 지표인 정밀도(Precision), 재현율(Recall), F1-score, AUROC를 비교하기 위해 동일한 정상 데이터 서브셋으로 훈련된 고전적 오토인코더(CAE)를 구현했습니다.

주요 결과

연구 결과, QAE는 데이터가 제한된 환경에서 CAE보다 뛰어난 성능을 보일 수 있으며, 이는 인코딩 및 특성 선택 전략에 크게 의존함을 보여줍니다.

• 최적의 구성: 가장 성능이 우수한 QAE 모델은 8개의 특성과 Dense-Angle 인코딩, 그리고 RealAmplitudes 안사츠를 사용했습니다.
• 성능 지표:
  • 데이터 제한 환경에서 최적의 QAE는 0.87의 F1 점수를 달성했습니다.
  • 이에 대응하는 CAE는 0.77의 F1 점수를 기록했습니다.
• 데이터 효율성: QAE는 실질적으로 더 적은 샘플로 훈련되었음에도 불구하고 고전적 대응 모델보다 우수한 성능을 낼 수 있음을 입증했습니다.
• 인코딩의 영향: 결과는 양자 인코딩의 선택이 모델의 표현력과 성능에 상당한 영향을 미친다는 점을 강조했습니다. 예를 들어, 효율적 SU2 인코딩은 작은 특성 집합에서 발생하는 과잉 압축 문제를 피하기 위해 더 큰 특성 집합(16 또는 24개)을 필요로 했습니다.

의의 및 주장

저자들은 본 연구가 양자 오토인코더가 특히 데이터 제한 상황에서 사이버 보안을 위한 실질적인 이점을 제공한다는 경험적 증거를 제공한다고 주장합니다.

• 데이터 효율성: 주요 기여는 QAE가 훨씬 적은 훈련 샘플을 사용하면서도 CAE보다 높은 탐지 정확도(F1 점수)를 달 수 있다는 것을 입증한 데 있습니다. 이는 진화하는 사이버 위협에 대응하기 위해 대규모의 레이블된 데이터셋을 유지해야 하는 핵심 과제를 해결합니다.
• 인코딩 민감도: 본 논문은 양자 모델의 성능이 인코딩 기법 및 특성 전략의 선택에 매우 의dependent하다는 점을 강조하며, 양자 머신러닝(QML)의 잠재력을 실현하기 위해서는 도메인 특화된 최적화가 필요함을 시사합니다.
• 실무 적용 가능성: 실제 네트워크 조건과 공격 패턴을 반영하는 BETH 데이터셋을 활용함으로써, 본 연구는 QAE가 단순히 이론적인 구조가 아니라 이상 데이터가 희소한 운영상의 사이버 보안 과제에 대한 실행 가능한 후보임을 주장합니다.

결론적으로, 특화된 QAE 변형 모델들이 아직 초기 단계에 있음에도 불구하고, 데이터 제한 환경에서 관찰된 개선 사항은 양자 강화 이상 탐지의 유망한 궤적을 보여줍니다.