Individual Packet Features are a Risk to Model Generalisation in ML-Based Intrusion Detection

1. 문제 정의 (Problem Statement)

• 배경: 사물인터넷 (IoT) 환경의 보안 위협이 증가함에 따라 머신러닝 (ML) 기반 침입 탐지 시스템 (IDS) 이 활발히 연구되고 있습니다.
• 현황: 기존 연구들은 주로 세 가지 유형의 특징을 사용합니다:
  1. 흐름 기반 (Flow-based): 네트워크 트래픽 통계 분석.
  2. 윈도우 기반 (Window-based): 특정 시간대 내 패킷 변화 분석.
  3. 개별 패킷 특징 (Individual Packet Features, IPF): 단일 패킷에서 추출된 특성 (타이밍, 크기, 소스/목적지 정보 등) 만을 사용하는 접근법.
• 핵심 문제: IPF 를 사용하는 연구들은 높은 탐지 정확도를 보고하고 있지만, 저자들은 이러한 결과가 과도하게 낙관적 (misleadingly high) 이며 실제 배포 환경에서 일반화 (Generalisation) 가 불가능하다고 주장합니다.
• 원인:
  1. 정보 누출 (Information Leakage): 훈련 데이터와 테스트 데이터가 동일한 세션 (Session) 에서 분리되지 않거나, IP 주소, 포트 번호, 시퀀스 번호 등 식별 가능한 특성이 그대로 포함되어 모델이 실제 공격 패턴이 아닌 '데이터 식별자'를 학습하게 됨.
  2. 낮은 데이터 복잡성 (Low Data Complexity): 공격 패킷이 균일한 크기나 타이밍 패턴을 보일 경우, 단순한 개별 특징만으로도 우연히 높은 정확도를 달성할 수 있으나, 이는 새로운 환경이나 다른 세션에서는 무용지물이 됨.

2. 연구 방법론 (Methodology)

저자는 문헌 검토와 실험적 사례 연구를 통해 IPF 의 한계를 입증했습니다.

• 문헌 검토 (Literature Review): 2019 년부터 2023 년까지 발표된 68 편의 연구 중 10 편을 선정하여 IPF 를 사용한 연구들을 분석했습니다.
  • 사용된 데이터셋 (Edge-IIoTset, MQTT-IoT-IDS2020 등) 의 특성 분석: 대부분의 데이터셋이 세션 정보가 없는 단일 파일로 구성되어 있어, 훈련/테스트 분할 시 동일한 흐름 (Flow) 의 패킷이 양쪽에 섞일 확률이 높음을 지적했습니다.
  • 특징 추출 방식 분석: IP 주소, MAC 주소, 포트 번호, 시퀀스 번호 등 세션 기반 식별자가 제거되지 않았거나, 제거되더라도 세션 간 상관관계로 인한 누출이 발생했음을 확인했습니다.
• 실험적 검증 (Experimental Case Studies):
  • 데이터셋: IoT-NID, Kitsune 등 공개 데이터셋 사용.
  • 실험 1 (식별자 특성의 영향): 공격의 1 번째 세션을 훈련 데이터로, 2 번째 세션을 테스트 데이터로 분리하여 '격리된 (Isolated)' 평가를 수행했습니다. 이를 10 회 10 교차 검증 (Cross-Validation, CV) 결과와 비교했습니다.
    • 결과: CV 환경에서는 높은 성능을 보였으나, 세션을 완전히 분리한 격리 평가에서는 성능이 급격히 하락했습니다. 이는 모델이 세션 식별자 (IP, 포트 등) 를 학습했음을 시사합니다.
  • 실험 2 (데이터 복잡성 분석): 패킷 크기 (Size) 나 시간 (Time) 과 같은 단일 특징만으로 공격을 탐지하는 모델을 구축했습니다.
    • 결과: UDP Flood 공격처럼 패킷 크기가 균일한 경우, 단순한 크기 특징으로도 100% 정확도를 달성했으나, 이는 데이터의 단순성 (Low Complexity) 에 기인한 것입니다.
  • 복잡도 점수 (Complexity Score) 분석: 22 가지 분석 방법을 통해 데이터의 복잡도를 산출하고, 복잡도와 모델 성능 (Kappa Score) 간의 상관관계를 분석했습니다.

3. 주요 기여 (Key Contributions)

1. IPF 기반 연구의 허위 성능에 대한 실증적 증거 제시: 기존 연구들이 보고한 높은 정확도가 정보 누출 (Information Leakage) 과 데이터의 단순성으로 인한 과적합 (Overfitting) 에 기인함을 최초로 체계적으로 입증했습니다.
2. 일반화 실패 메커니즘 규명: IPF 기반 모델이 훈련 데이터의 특정 세션 식별자나 균일한 패턴을 암기하여, 다른 데이터셋이나 실제 환경에서는 완전히 실패하는 이유를 설명했습니다.
3. 복잡도와 성능의 역상관 관계 발견: 데이터의 복잡도가 낮을수록 (패킷 크기나 시간 패턴이 단순할수록) 개별 특징 기반 모델의 성능이 비현실적으로 높아지지만, 이는 실제 보안 위협 탐지 능력을 반영하지 못함을 통계적으로 증명했습니다.
4. 권고 사항: 단일 패킷 분석보다는 패킷 간의 상호작용 (Flow-based, Window-based) 과 맥락 (Context) 을 고려한 특징 집합의 필요성을 강조했습니다.

4. 실험 결과 (Results)

• 문헌 분석 결과: 표 I 에서 확인된 대부분의 연구 (예: [11], [13], [14] 등) 가 99% 이상의 정확도를 보고했으나, 이는 훈련/테스트 분할 시 동일한 세션이 섞이거나 식별자 특성이 제거되지 않아 발생한 '가짜' 성과였습니다.
• 격리 평가 (Isolated Evaluation) 결과:
  • IoT-NID 데이터셋에서 Telnet Brute-force 및 HTTP Flooding 공격을 대상으로 한 실험에서, 교차 검증 (CV) 시 F1 점수가 0.9 이상이었으나, 훈련 세션과 완전히 다른 테스트 세션으로 평가했을 때 성능이 급격히 떨어졌습니다.
  • 특히, UDP Flood 공격의 경우 패킷 크기만으로 100% 탐지율을 보였으나, 다른 세션 (Session 3) 으로 테스트했을 때 탐지율이 3.2% 로 추락했습니다. 이는 모델이 특정 세션의 고정된 패킷 크기를 학습했기 때문입니다.
• 복잡도 분석 결과:
  • 그림 8 에서 보듯, 데이터 복잡도 (Complexity Score) 가 임계값 (약 45) 이하일 때 모델 성공률 (Kappa Score) 이 높게 나타났으나, 복잡도가 증가함에 따라 성공률은 감소하는 경향을 보였습니다. 이는 단순한 특징이 복잡한 실제 공격 환경에서는 작동하지 않음을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 학술적 의의: 머신러닝 기반 IDS 연구에서 '높은 정확도'라는 지표가 항상 신뢰할 수 있는 것이 아니며, 데이터 전처리 및 평가 방법론 (특히 세션 단위 분할) 의 중요성을 재조명했습니다.
• 실무적 시사점:
  • IoT 보안 및 네트워크 침입 탐지 시스템 개발 시, 개별 패킷의 속성 (IP, 포트, 크기 등) 만을 의존하는 것은 위험합니다.
  • 패킷 간의 상호작용 (Flow, Session) 과 맥락적 정보를 포함한 특징 공학 (Feature Engineering) 이 필수적입니다.
  • 향후 연구에서는 정보 누출이 발생하지 않도록 엄격한 데이터 분할 (Session-level split) 을 적용하고, 다양한 환경에서의 일반화 능력을 검증해야 합니다.

요약하자면, 본 논문은 개별 패킷 특징 (IPF) 만을 사용하는 머신러닝 기반 침입 탐지 모델은 정보 누출과 낮은 데이터 복잡성으로 인해 높은 정확도를 과시할 수 있으나, 실제 다양한 IoT 환경에서는 일반화되지 못해 신뢰할 수 없음을 강력하게 경고하고 있습니다.