Assessing Generalisation Capability of Machine Learning Models for Intrusion Detection

기술 요약: 침입 탐지를 위한 머신러닝 모델의 일반화 능력 평가

문제 제기
네트워크 및 IoT 시스템의 급속한 확장은 사이버 보안 위협을 심화시켜, 전통적인 시그니처 기반 침입 탐지 시스템 (IDS) 의 한계를 노출시켰습니다. 머신러닝 (ML) 모델이 특정 벤치마크 데이터셋에서 높은 정확도를 자주 보고하지만, 본 연구는 중요한 격차를 확인했습니다. 단일 데이터셋 내에서의 높은 성능이 보이지 않는 네트워크 환경에서도 신뢰성을 보장하지는 않는다는 점입니다. 기존 평가는 종종 데이터셋의 다양성, 트래픽 생성 차이, 그리고 특징 분포의 변화를 고려하지 않아, 실제 시나리오로 일반화되지 못할 수 있는 모델로 이어집니다.

방법론
본 연구는 두 개의 공개된 침입 탐지 데이터셋을 사용하여 지도 학습 ML 모델의 일반화 능력을 평가했습니다: UNSW-NB15(일반 네트워크 트래픽)와 TON_IoT(IoT/IIoT 트래픽).

• 모델: 서로 다른 학습 패러다임을 대표하는 세 가지 지도 학습 분류기가 선정되었습니다: 랜덤 포레스트 (앙상블), 로지스틱 회귀 (선형), 그리고 나이브 베이즈 (확률론적).
• 실험 설정:
  1. 동일 데이터셋 평가: 모델은 70/30 훈련 - 테스트 분할을 사용하여 동일한 데이터셋에서 훈련 및 테스트되었습니다.
  2. 교차 데이터셋 평가: 한 데이터셋에서 훈련된 모델이 다른 데이터셋에서 테스트되어 서로 다른 네트워크 환경 간의 일반화 능력을 평가했습니다.
• 특징 공학: 교차 데이터셋 실험을 위해, 두 데이터셋이 공유하는 일곱 가지 공통 특징만 유지되었습니다: duration, proto, service, src_bytes, dst_bytes, src_pkts, dst_pkts. 이는 데이터셋 간의 구조적 차이로 인해 필요했습니다.
• 전처리: 데이터는 정제 (중복 제거, 무한/결측값 처리), 정규화 (Min-Max), 그리고 레이블 인코딩을 거쳤습니다. 특징 상관관계 분석을 통해 중복성을 식별했습니다.

주요 결과

• 동일 데이터셋 성능: 모든 모델은 동일한 데이터에서 훈련 및 테스트될 때 강력한 성능을 달성했습니다.
  • 랜덤 포레스트가 최상위 수행자로 부상하여 UNSW-NB15 에서 95.08% 정확도를, TON_IoT 에서 99.79% 정확도를 달성했습니다.
  • 로지스틱 회귀와 나이브 베이즈도 특히 재현율 (recall) 측면에서 경쟁력 있는 결과를 보였으나, 전체 정확도는 랜덤 포레스트보다 낮았습니다.
• 교차 데이터셋 성능: 상당한 "일반화 격차"가 관찰되었습니다. 한 데이터셋에서 훈련된 모델이 다른 데이터셋에서 테스트될 때 성능이 급격히 하락했습니다.
  • 랜덤 포레스트: (UNSW-NB15 $\to$ TON_IoT) 38.07% 정확도로 하락했고, (TON_IoT $\to$ UNSW-NB15) 39.54% 정확도로 하락했습니다.
  • 로지스틱 회귀: UNSW-NB15 $\to$ TON_IoT 방향에서는 상대적으로 더 나은 성능을 보이며 (77.79% 정확도), 반대 방향에서는 **38.24%**로 떨어졌습니다.
  • 나이브 베이즈: 가장 약한 일반화 능력을 보였으며, 정확도는 **25.85%**와 **36.58%**까지 낮아졌고, 일부 구성에서는 극도로 낮은 재현율을 보였습니다.
• 특징 분석: 상관관계 히트맵은 중복된 트래픽 볼륨 특징을 드러냈습니다. TON_IoT 데이터셋에 대한 특징 중요도 분석은 랜덤 포레스트 모델에게 소스 측 바이트/패킷 볼륨과 DNS 관련 특징이 결정적임을 시사했으며, 이는 모델이 보편적인 공격 시그니처가 아닌 데이터셋 고유의 패턴을 학습했음을 나타냅니다.

주요 기여

1. 일반화 실패에 대한 경험적 증거: 본 연구는 개별 데이터셋 (UNSW-NB15, TON_IoT) 에 대한 높은 벤치마크 정확도가 교차 데이터셋에서의 실행 가능성으로 이어지지 않는다는 구체적인 증거를 제공합니다.
2. 교차 데이터셋 벤치마킹: 제한된 공통 특징 세트를 사용하여 두 개의 명확한 데이터셋 전반에 걸쳐 모델을 체계적으로 평가함으로써, 도메인 변화에 직면했을 때 현재 IDS 모델의 취약점을 부각시켰습니다.
3. 비교 분석: 기존 문헌과 결과를 비교하여, 본 연구의 동일 데이터셋 결과가 이전 작업들과 경쟁하거나 우월함을 보여주지만, 교차 데이터셋에서의 붕괴는 표준 평가에서 종종 간과되는 고유한 발견임을 입증했습니다.

의의 및 주장
본 논문은 단순히 분류기 비교가 아니라, 사이버 보안 머신러닝에서 주목할 만한 일반화 문제의 노출이 주요 기여라고 주장합니다. 저자들은 교차 데이터셋 평가 중 발생하는 성능의 급격한 하락이 높은 벤치마크 점수가 종종 다양한 네트워크 트래픽에 적응하지 못하는 실패를 가리고 있음을 증명한다고 주장합니다.

본 연구는 이 과제를 감성 컴퓨팅 및 인간 중심 AI의 맥락에서 제시합니다. 감성 컴퓨팅에서 잡음이 섞이고 맥락에 의존적인 행동 신호로부터 잠재 상태를 추론하는 어려움과, 변화하는 네트워크 행동에서 악성 활동을 식별하는 도전 사이의 유사점을 끌어냅니다. 저자들은 행동 신호 분석, 도메인 적응, 불확실성 인식 모델링과 같은 이러한 분야의 기법들이 진화하는 IoT 및 기업 환경을 가로지르는 더 견고하고 적응적이며 일반화 가능한 침입 탐지 시스템을 개발하는 데 활용될 수 있다고 제안합니다.

한계점
저자들은 낮은 교차 데이터셋 성능이 평가에 사용된 공통 특징의 수 (단 7 개) 가 제한적이었기 때문에 부분적으로 기인할 수 있음을 인정합니다. 이는 동일 데이터셋 테스트에서 사용 가능한 데이터셋 고유의 정보를 제거했습니다. 또한, 두 데이터셋 간의 트래픽 생성 환경과 공격 행동의 차이가 도메인 변화에 기여했습니다.