기술 요약: UAVIDS-2025 데이터셋을 위한 신뢰할 수 있는 침입 탐지를 위한 XAI 및 통계 분석

문제 제기

본 논문은 특히 신흥 UAVIDS-2025 데이터셋의 맥락에서 무인 항공기 (UAV) 네트워크 내 침입 탐지의 과제를 다룹니다. 설명 가능한 인공지능 (XAI) 과 기계적 해석 가능성 (Mechanistic Interpretability) 이 중요 시스템에서 주목받고 있지만, 특정 공격 벡터에 직면했을 때 복잡한 머신러닝 (ML) 모델의 의사결정 과정을 이해할 필요성은 여전히 존재합니다. UAVIDS-2025 데이터셋에서 확인된 주요 어려움은 "밀도 지지 교차 (Density Support Intersection)"로, 특정 공격 유형인 Blackhole과 Wormhole공격이 특징 분포에서 상당한 중첩을 보입니다. 이 중첩은 고성능 모델에서도 오분류를 초래하는 모호성을 야기하며, 은폐된 공격들을 구별하기 위해 고급 분류, XAI, 그리고 비모수 통계 검정을 결합한 엄격한 접근 방식을 필요로 합니다.

방법론

1. 데이터 전처리 및 특징 공학

본 연구는 약 120,000 개의 관측치, 22 개의 특징, 그리고 4 가지 공격 유형 (Sybil, Blackhole, Wormhole, Flooding) 과 정상 트래픽으로 구성된 목표 변수를 포함하는 UAVIDS-2025데이터셋을 활용합니다. 전처리 파이프라인은 다음과 같습니다:

• 정제: 중복 값 제거, 불필요한 "Protocol"특성 (UDP 만 해당) 및 정보성이 없는 "FlowID"인덱스 제거.
• 인코딩: 목표 변수에 대한 레이블 인코딩; 소스/목적지 포트에 대한 더미 인코딩; IP 주소에 대한 빈도 인코딩.
• 변환: 특징 공학을 위한 거듭제곱 및 역수 변환 적용.
• 스케일링: IQR 및 박스플롯을 통한 이상치 탐지로 Robust Scaler선정.
• 특징 선택: 랜덤 포레스트를 사용한 재귀적 특징 제거 (RFE) 로 2.5% 이상의 기여도를 가진 특징을 식별했습니다. SHAP 분석에서의 다중공선성 문제를 방지하기 위해 피어슨/켄달 상관관계가 0.7 초과인 특징들을 제거하여 최종적으로 8 개의 선택된 특징 (LostPackets, RxBytes, RxByteRate/s, MeanDelay/s, MeanJitter/s, PacketDropRate, AverageHopCount, DstPort654) 을 도출했습니다.

2. 모델 훈련 및 평가

저자들은 그리드 서치 하이퍼파라미터 튜닝 및 확률 보정을 포함한 층화 10 교차 검증을 사용하여 광범위한 알고리즘을 평가했습니다. 모델 군은 다음과 같습니다:

• 트리 앙상블: XGBoost, LightGBM, Random Forest, Extra-Trees, Gradient Boosting, HB-Gradient Boosting, AdaBoost, Bagging.
• 심층 신경망 (DNN): MLP, RealMLP, 앙상블 버전 (Ensemble-RealMLP, Ensemble-NN-Torch, Ensemble-NNFastAiTab).
• 하이브리드 스태킹: 선형, 트리, 베이지안 추정기를 결합한 모델 (예: Stacking-1 및 Stacking-2).
• 베이스라인: 로지스틱 회귀 및 SVM.

성능은 F1-score, 정밀도 (Precision), 재현율 (Recall), Roc-Auc를 사용하여 평가되었습니다.

3. 설명 가능성 및 통계 분석

• SHAP 분석: 최상위 성능 모델 (XGBoost) 에 대해 Shapley Additive explanations (SHAP) 분석을 수행하여 전역 및 지역 특징 중요도를 결정했습니다. 여기에는 개별 관측치에 대한 예측을 구동하는 특정 특징과 일반적인 클래스 경향성을 비교하는 분석이 포함되었습니다.
• 분포 분석: 바이올린 플롯과 커널 밀도 추정 (KDE) 을 사용하여 데이터 형태, 왜도, 그리고 다중 모드 분포를 시각화했습니다.
• Westfall-Young 순열 검정: Blackhole과 Wormhole 공격 간의 "밀도 지지 교차"가설을 통계적으로 검증하기 위해, 저자들은 B=1000 번의 순열을 사용한 비모수 Westfall-Young 검정을 적용했습니다.
  • 가설: $H_0: P_{i,V} = P_{i,W}$ (분포가 동일함) 대 $H_1: P_{i,V} \neq P_{i,W}$.
  • 통계량: 검정은 **Jensen-Shannon 거리 (JSD)**를 지표로 활용하여 특징 간 Max-통계량을 계산함으로써 가족별 오류율 (FWER) 을 통제하고 보너페로니 보정 문제를 피했습니다.

주요 결과

분류 성능

• 트리 앙상블: 모든 트리 기반 모델은 92% 를 초과하는 테스트 점수를 달성했습니다. XGBoost는 테스트 정밀도 95.17%, 재현율 95.04%, F1-score 95.04%, Roc-Auc **96.85%**로 최상위 성능을 보였습니다.
• 딥러닝: RealMLP 및 그 앙상블 변형은 강력한 성능을 보였으나 (예: RealMLP 테스트 F1 94.28%), 일반적으로 XGBoost 보다 약간 뒤처졌습니다.
• 베이스라인: 로지스틱 회귀는 크게 부진했습니다 (49% F1), 반면 SVM 은 거의 수용 가능한 성능을 달성했습니다 (73% F1).
• 혼동 행렬 통찰: XGBoost 는 높은 정확도를 보였으나 특정 혼동 패턴을 나타냈습니다: 때때로 Wormhole공격을 Normal트래픽으로 오분류하거나 Blackhole과 Wormhole공격을 서로 혼동했습니다.

설명 가능성 발견

• 전역 중요도: PacketDropRate, RxByteRate/s, RxBytes, DstPort654와 같은 특징이 대부분의 클래스에 걸쳐 모델의 의사결정에 가장 큰 영향을 미쳤습니다.
• 지역 오분류: 특정 오분류된 사례 (예: Blackhole으로 예측된 Wormhole 공격) 분석 결과, MeanDelay/s, AverageHopCount, MeanJitter/s와 같은 특징이 두 클래스 모두에서 높은 값을 갖는 경우가 많아 모호성이 발생함을 확인했습니다. 모델은 PacketDropRate에 크게 의존하여 구별했는데, 이 값이 중앙값 근처일 때 모델은 망설였습니다.
• 분포 형태: 바이올린 플롯과 KDE 는 Blackhole과 Wormhole 공격이 MeanDelay/s 및 AverageHopCount와 같은 특징에서 긴 오른쪽 꼬리와 유사한 질량 중심을 특징으로 하는 극도로 유사한 형태를 공유함을 드러냈습니다.

통계적 검증

Westfall-Young 순열 검정은 대부분의 특징 (예: LostPackets, RxBytes, PacketDropRate) 에 대해 Blackhole과 Wormhole 공격의 분포가 통계적으로 유의미하게 다르다는 것을 확인했습니다 ($p < 0.001$). 그러나 검정은 형태적 통계적 차이에도 불구하고 특정 영역 (예: PacketDropRate의 경우 [0.25, 1.4]) 에서 **중요한 밀도 지지 교차 (중첩)**가 있음을 강조했습니다. 한 공격이 다른 공격의 밀도를 모방하는 이 중첩은 훈련 과정의 실패가 아니라 모델의 잘못된 예측의 근본 원인입니다.

중요성 및 주장

본 논문은 최첨단 트리 앙상블과 엄격한 통계 분석을 통합하여 UAV 침입 탐지를 위한 견고하고 신뢰할 수 있으며 설명 가능한 모델을 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 방법론적 엄격성: 고성능 모델 (XGBoost 등) 이 전처리나 모델 선택의 부재가 아닌, 고유한 데이터 특성 (밀도 지지 교차) 으로 인해 실패할 수 있음을 입증합니다.
2. 근본 원인 분석: SHAP 과 Westfall-Young 검정을 활용하여 Blackhole과 Wormhole 공격 간의 혼동이 PacketDropRate 및 MeanJitter/s와 같은 변수에서의 중첩된 특징 밀도에서 비롯됨을 정확히 지적합니다.
3. 설명 가능성 프레임워크: 단순한 정확도 지표를 넘어 오분류가 발생하는 이유를 시각화하고 통계적으로 검증하는 워크플로우를 수립하여 이러한 공격들의 "은폐된 본질"에 대한 통찰을 제공합니다.

저자들은 XGBoost 가 뛰어난 성능을 달성하지만, 밀도 지지 교차의 문제는 UAVIDS-2025 데이터셋의 근본적인 한계로 남아 있으며 모델 신뢰도에 대한 신중한 해석이 필요하다고 결론지었습니다. 향후 연구는 교차 데이터셋 검증, 공간적 특성을 위한 Deep-CNN 활용, 그리고 온라인 훈련을 위한 RNN 사용을 포함할 것으로 제안됩니다.