Adversarial Attack on Deep Learning Based Network Intrusion Detection Systems: An Empirical Analysis across Datasets and Features

기술 요약: 딥러닝 기반 네트워크 침입 탐지 시스템에 대한 적대적 공격

문제 정의
딥러닝(DL) 기반 네트워크 침입 탐지 시스템(NIDS)은 벤치마크 데이터셋에서 종종 95%를 상회하는 높은 정확도를 보이며 악성 트래픽 탐지 능력을 입증해 왔다. 그러나 이러한 모델들은 입력 데이터에 미세하고 인지할 수 없는 섭동(perturbation)을 가하여 오분류를 유도하는 적대적 회피 공격(adversarial evasion attacks)에 취약하다. NIDS의 맥락에서 이러한 취약점은 매우 치명적이다. 공격자가 네트워크 트래픽 특성(예: 패킷 타이밍, 바이트 수)을 조작함으로써 탐지를 우회하여 DoS 플러드나 데이터 유출과 같은 활성 공격을 탐지되지 않은 채 진행할 수 있기 때문이다.

기존 문헌은 세 가지 주요 한계점을 가진다:

1. 데이터셋 특이성: 대부분의 연구는 단일 데이터셋(주로 KDD Cup 99 또는 CICIDS2017)에서만 취약성을 평가하므로, 딥러닝 기반 NIDS의 취약성이 일반적인 속성인지 아니면 특정 데이터 분포의 산물인지 불분명하다.
2. 공격 강도: 많은 평가가 단일 단계인 FGSM(Fast Gradient Sign Method)에만 의존하며, 이는 반복적 공격(iterative attacks)과 비교했을 때 모델의 취약성을 과소평가하는 경향이 있다.
3. 특성 수준의 진단 부재: 강건성(robustness)은 대개 집계된 정확도 하락으로만 보고되며, 어떤 특정 입력 특성이 공격자에 의해 가장 많이 악용되는지는 식별하지 못한다.

방법론
저자들은 두 가지 구별되는 데이터셋인 고전적인 KDD Cup 1999(1998년 군사 트래픽 시뮬레이션)와 현대적인 CICIDS2017(실제 기업 트래픽)을 사용하여 교차 데이터셋 경험적 분석을 수행하였다.

• 전처리: 두 데이터셋 모두 중복 제거(KDD Cup 99의 약 70% 중복 제거) 및 [0, 1] 범위의 min-max 정규화를 거쳤다. 다중 클래스 레이블은 이진화(정상 vs 공격)되었다.
• 피해 모델(Victim Model): 비교 가능성을 확보하기 위해 두 데이터셋 모두에 일관된 딥 뉴럴 네트워크(DNN) 아키텍처를 학습시켰다. 모델은 세 개의 완전 연결 은닉층(128, 64, 32 유닛)과 ReLU 활성화 함수, 배치 정규화(batch normalization), 드롭아웃(0.3)으로 구성된다. 출력층은 소프트맥스(softmax)를 사용하며, Adam 옵티마이저와 조기 종료(early stopping)를 사용하여 학습되었다.
• 위협 모델: 화이트박스(white-box), 비타겟형(untargeted) 회피 시나리오를 가정하였다. 공격자는 모델 파라미터와 그래디언트에 대한 완전한 접근 권한을 가진다.
• 공격: 0.01에서 0.3 사이의 섭동 예산($\epsilon$)을 적용하여 세 가지 그래디언트 기반 공격을 수행하였다:
  • FGSM: 단일 단계 공격.
  • BIM (Basic Iterative Method): 다단계 반복 공격.
  • PGD (Projected Gradient Descent): 최악의 섭동을 찾기 위해 무작위 재시작($r=3$)을 포함하는 다단계 공격.
• 평가 지표: 표준 지표(정확도, 정밀도, 재현율, F1)와 새로운 **특성 취약성 지수(Feature Vulnerability Index, FVI)**를 사용하였다. FVI는 어떤 특성이 가장 일관되게 악용되는지 식별하기 위해 모든 공격 설정에 걸쳐 특성당 평균 섭동 크기를 정량화한다.

주요 결과

1. 파멸적 정확도 하락: 모델은 높은 클린 데이터 정확도(KDD Cup 99에서 94.4%, CICIDS2017에서 97.8%)를 달erm했으나, 강력한 공격 하에서는 심각한 성능 저하를 겪었다. $\epsilon=0.3$인 PGD 공격 하에서 정확도는 KDD의 경우 5.6%, CICIDS2017의 경우 **2.3%**로 떨어졌으며, 이는 각각 94.1%와 97.7%의 상대적 하락을 의미한다.
2. 반복적 vs 단일 단계: 반복적 공격(BIM 및 PGD)이 FGSM보다 성능이 월등히 높았다. 특히, FGSM은 CICIDS2017에서 비단조적(non-monotonic) 동작을 보였으며(높은 $\epsilon$에서도 정확도가 37-40% 부근에서 정체됨), 반면 반복적 공격은 정확도를 6% 미만으로 떨어뜨렸다.
3. 예측 역전(Prediction Inversion): 혼동 행렬(confusion matrix) 분석 결과, 정확도 붕괴는 무작위 노이즈 때문이 아니라 결정 경계의 체계적이고 거의 완전한 역전 때문임이 드러났다. PGD($\epsilon=0.3$) 하에서 약 98%의 정상 샘플이 공격으로 오분류되었고, 약 88-96%의 실제 공격이 정상으로 오분류되었다. 이는 시스템이 대량의 오경보를 생성하는 동시에 실제 위협을 놓치는 "이중 실패(double-failure)" 모드를 생성한다.
4. 특성 취약성 지수 (FVI):
   • CICIDS2017: 가장 취약한 특성들은 독점적으로 플로우 타이밍 및 패킷 형태 통계(예: Flow Packets/s, Fwd IAT Max, Packet Length Variance)와 관련되어 있었다. 볼륨 기반 특성들은 현저히 낮은 취약성을 보였다.
   • KDD Cup 99: 취약한 특성에는 연결 통계와 원-핫 인코딩된 서비스/플래그 지표의 혼합이 포함되었으나, 그 순위는 원-핫 특성의 이산적 성격에 의해 부분적으로 혼동되었다.
5. 일반화 가능성: 취약성의 심각성은 시대, 기원, 특성 스키마의 차이에도 불구하고 두 데이터셋 모두에서 일관되게 나타났으며, 이는 이러한 취약성이 데이터셋 특유의 산물이 아니라 그래디언트 기반 DNN의 구조적 속성임을 시사한다.

의의 및 주장
본 논문은 딥러닝 기반 NIDS의 적대적 취약성이 특정 데이터셋의 이상 현상이 아니라 근본적인 아키텍처적 속성이라고 주장한다. 본 연구의 결과는 클린 데이터 정확도를 배포 준비성의 대리 지표로 신뢰하는 것에 의문을 제기하며, 높은 정확도가 강건성과 상관관계가 없음을 입증한다.

연구는 현실적인 화이트박스 공격 하에서 NIDS 모델이 단순히 성능이 저하되는 것이 아니라, 역전되어 시스템이 운영 불가능한 상태(공격을 탐지하지 못하는 동시에 시스템에 과도한 오경보를 발생시키는 상태)에 빠진다는 점을 강조한다. 또한, FVI의 도입은 적대적 훈련이나 입력 정화(input sanitization)와 같은 방어 전략이 모든 특성을 동일하게 취급해서는 안 되며, 특히 플로우 타이밍 및 패킷 형태 통계의 취약성을 타겟팅해야 함을 시사한다. 저자들은 현재의 딥러닝 기반 NIDS가 중요한 보안 시나리오에 배포되기 전에 엄격한 적대적 평가를 거쳐야 한다고 결론짓는다.