Comparative Analysis of Machine Learning based Intrusion Detection in Realistic IoT Networks

기술 요약: 현실적인 IoT 네트워크에서의 머신러닝 기반 침입 탐지에 관한 비교 분석

문제 정의
헬스케어, 교통, 스마트 홈 등 다양한 분야에서 사물인터넷(IoT)의 급격한 확산은 심각한 보안 및 개인정보 보호 문제를 야기했습니다. IoT 기기들은 본질적으로 자원이 제한되어 있어, 강력한 전통적 보안 조치를 구현하는 데 필요한 저장 공간, 전력 및 처리 능력이 부족합니다. 결과적으로 이들은 서비스 거부(DoS), 분산 서비스 거부(DDoS), 브루트 포스(brute force), 네트워크 스캐닝, 그리고 봇넷 감염(예: Mirari)과 같은 다양한 공격에 취약합니다. 머신러닝(ML)은 침입 탐지 시스템(IDS)을 위한 유망한 방안을 제시하지만, 기존 연구는 종종 현대적인 IoT의 이질성과 신종 위협을 반영하지 못하는 오래된 데이터셋(예: KDD-99)에 의존해 왔습니다. 나아가, 최근의 현실적인 IoT 데이터셋을 대상으로 다양한 머신러닝 알고리즘을 종합적으로 비교한 연구도 부족한 실정입니다.

방법론
이러한 격차를 해소하기 위해 저자들은 Gotham2025 데이터셋을 사용하여 다섯 가지 머신러닝 알고리즘의 비교 분석을 수행했습니다. 이 데이터셋은 MQTT, CoAP, RTSP와 같은 프로토콜을 사용하는 78개의 장치로 구성된 대규모의 이질적인 스마트 시티 환경을 에뮬레이션하는 Gotham 테스트베드를 통해 생성되었습니다.

• 데이터셋 특성: 이 데이터셋은 정상 트래픽과 6가지 뚜렷한 공격 범주(네트워크 스캐닝, 브루트 포스, 감염, 명령 및 제어(C&C) 통신, DoS, 정상 트래픽)를 포함하여 3,500만 개 이상의 트래픽 레코드를 포함하고 있습니다. 데이터는 매우 불균형하며, DoS 공격이 전체 볼륨의 대부분을 차지합니다. 전처리 과정에는 특징 추출(프로토콜, 포트, 플래그), 결측치 처리, 스케일링, 그리고 6개의 범주형 클래스로의 레이블 인코딩이 포함되었습니다.
• 평가된 알고리즘: 본 연구는 Scikit-learn을 사용하여 다음 모델들을 구현하고 비교했습니다:
  1. 랜덤 포레스트 (Random Forest, RF)
  2. XGBoost
  3. 로지스틱 회귀 (Logistic Regression, LR)
  4. 나이브 베이즈 (Naive Bayes, NB)
  5. 심층 신경망 (Deep Neural Network, DNN)
• 실험 환경: 데이터셋의 규모로 인해, 표준 하드웨어에서의 초기 로컬 학습 시도는 합리적인 시간 내에 완료되지 못했습니다. 저자들은 계산 부하를 관리하기 위해 Google Colab Pro를 활용했습니다. 서포트 벡터 머신(SVM)도 초기에 고려되었으나, 과도한 학습 시간(수일 소요)과 자원 고갈 문제로 인해 제외되었습니다.
• 평가 지표: 클래스 불균형을 고려하여, 본 연구는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall)과 더불어 F1-스코어(정밀도와 재현율의 조화 평균)를 우선순위로 두었습니다. 오분류 패턴을 분석하기 위해 혼동 행렬(Confusion matrix)이 사용되었습니다.

주요 결과
비교 분석 결과, 알고리즘 간에 뚜렷한 성능 계층이 나타났습니다.

1. 최상위 성능 모델:

   • 랜덤 포레스트 (Random Forest): 100%의 정확도와 0.99의 매크로 평균 F1-스코어를 달성하며 가장 높은 전반적 성능을 보였습니다. 정상, C&C, 감염, DoS 클래스에 대해 거의 완벽한 분류 성능을 입증했으며, 네트워크 스캐닝과 브루트 포스 사이에서 미미한 혼동만을 보였습니다.
   • XGBoost: 랜덤 포레스트보다 약간 낮은 성능을 보였으나, 100%의 정확도와 0.97의 매크로 평균 F1-스코어를 달려냈습니다. 랜덤 포레스트에 비해 네트워크 스캐닝 분류에서 다소 어려움을 겪었습니다.

2. 중위권 성능 모델:

   • 심층 신경망 (DNN): 0.91의 매크로 평균 F1-스코어를 달성했습니다. 다수 클래스(DoS 및 정상)에서는 우수한 성능을 보였으나, 브루트 포스 및 감염과 같은 소수 클래스에서는 성능이 저하되었습니다.

3. 하위권 성능 모델:

   • 로지스틱 회귀 (Logistic Regression): 99%의 정확도를 달성했으나, 매크로 평균 F1-스코어는 0.72로 현저히 낮았습니다. 이 모델은 다수 클래스에 강한 편향을 보였으며, 브루트 포스(0.36)와 감염(0.19)에 대한 F1-스코어는 크게 떨어졌습니다.
   • 나이브 베이즈 (Naive Bayes): 56%의 정확도와 0.43의 매크로 평균 F1-스코어를 기록하며 가장 낮은 성능을 보였습니다. 모든 클래스에 걸쳐 일관성 없는 동작을 보이며 공격 유형을 효과적으로 구분하지 못했습니다.

의의 및 주장
본 논문은 랜덤 포레스트 분류기가 특정 Gotham2025 데이터셋 맥락에서 침입 탐지를 위한 가장 효과적인 모델이며, 높은 정확도와 클래스 불균형에 대한 높은 회복력 사이의 견고한 균형을 제공한다고 주장합니다. 또한, 본 연구는 레거시 데이터셋보다 현대적이고 이질적인 Gotham2025와 같은 데이터셋을 사용하는 것이 실제 IoT 환경을 더 잘 반영한다는 점을 강조합니다.

저자들은 랜덤 포레스트와 XGBoost가 우수한 정확도를 제공하지만, 극도로 자원이 제한된 IoT 엣지 디바이스에 배포하기에는 계산 비용이 따를 수 있다는 점을 겸허히 언급했습니다. 또한, 지도 학습에 대한 의존성(학습 세트에 없는 제로 데이 공격에 취чно할 수 있음)과 데이터셋의 불균형으로 인한 내재적 편향을 포함한 한계점도 인정했습니다.

향후 과제
본 논문은 **연합 학습(Federated Learning)**을 향후 연구의 핵심 방향으로 제시하며 결론을 맺습니다. Gotham 데이터셋은 각 장치가 자체 파일을 유지하는 분산 방식으로 수집되었으므로, 저자들은 이 머신러닝 모델들을 연합 학습 환경에서 어떻게 훈련할 수 있을지 조사할 것을 제안합니다. 이 접근 방식은 중앙 집중식 데이터 집합의 필요성을 제거함으로써 사용자 프라이버시를 보호하는 동시에, 잠재적으로 분산된 IoT 네트워크의 특정 제약 조건에 모델을 적응시킬 수 있습니다.