Temporal Analysis of NetFlow Datasets for Network Intrusion Detection Systems

"네트워크 침입 탐지 시스템을 위한 NetFlow 데이터셋의 시간적 분석" 논문에 대한 상세한 기술 요약은 다음과 같습니다:

1. 문제 제기

정교한 네트워크 공격을 탐지하는 데 있어 시간적 특징 (예: 패킷 간 도착 시간, 흐름 지속 시간) 이 결정적인 역할을 함에도 불구하고, 기존 네트워크 침입 탐지 시스템 (NIDS) 을 위한 NetFlow 기반 벤치마크 데이터셋에는 이러한 특정 특징이 부재합니다.

• 격차: 이전 연구들은 머신러닝 (ML) 평가를 위한 일관된 특징 집합을 보장하기 위해 NetFlow 데이터셋 (UNSW-NB15, BoT-IoT, ToN-IoT, CSE-CIC-IDS2018 등) 을 표준화했습니다. 그러나 이러한 표준화된 버전들은 시간적 데이터를 생략하여 순차 신경망 모델 (LSTM 등) 이나 시계열 분석에는 적합하지 않게 만들었습니다.
• 결과: 시간적 특징이 없으면 ML 모델은 공격의 타이밍 역학 (예: 돌발 패턴, 저속 - 저속 공격, 또는 주기적 신호) 을 효과적으로 학습할 수 없어, 적응형 및 시간에 따라 진화하는 위협의 탐지가 제한됩니다.

2. 방법론

저자들은 데이터셋 재구성과 포괄적인 시간적 분석이라는 두 가지 접근 방식을 통해 이러한 격차를 해소했습니다.

A. 데이터셋 재구성 (NF3-Datasets)

저자들은 네 가지 널리 사용되는 벤치마크 데이터셋을 통합된 3 세대 NetFlow 형식 (NF3-Datasets) 으로 변환했습니다:

1. 소스 데이터셋: UNSW-NB15, BoT-IoT, ToN-IoT, CSE-CIC-IDS2018.
2. 변환 도구: Raw PCAP 파일을 nProbe(Ntop) 를 사용하여 처리하여 NetFlow v9 레코드를 생성했습니다.
   • 주요 구성: PCAP 파일의 원본 타임스탬프를 보존하여 시간적 무결성을 확보하기 위해 --dont-reforge-time 플래그를 사용했습니다.
3. 특징 풍부화: 저자들은 기존 43 개 특징 세트에 두 가지 범주의 시간적 특징을 추가했습니다:
   • 흐름 타이밍: 모든 흐름에 대한 정확한 시작 및 종료 타임스탬프 (밀리초 단위).
   • 패킷 간 도착 시간 (IAT): 소스 - 목적지 및 목적지 - 소스 방향 모두에 대해 연속된 패킷 간의 시간 간격에 대한 통계적 집계 (최소, 최대, 평균, 표준편차).
4. 레이블링: 5-튜플 식별자 및 타임스탬프를 기준 진실 (ground truth) 파일과 매칭하여 흐름을 재레이블링함으로써 이진 (정상/악성) 및 다중 클래스 공격 레이블을 생성했습니다.

B. 시간적 분석 기법

저자들은 새로운 데이터셋에 대해 다면적인 분석을 수행했습니다:

• 분포 분석: 정상 및 악성 트래픽 간의 뚜렷한 패턴을 식별하기 위해 흐름 길이 분포 (FLD) 및 IAT 히스토그램을 검토했습니다.
• 시계열 시각화: 공격의 시작, 지속 시간 및 종료를 시각화하기 위해 분 단위로 트래픽 볼륨 (바이트/패킷) 및 범주형 특징 (고유 IP/포트) 을 집계했습니다.
• 시간 - 주파수 분석 (TFD): 스펙트로그램(신호 처리 기법) 을 적용하여 트래픽 시계열 데이터를 시간 - 주파수 표현으로 변환했습니다. 이는 서로 다른 공격 클래스가 주파수 영역에서 고유한 "서명"을 나타내는지 확인하기 위해 테스트되었습니다.

3. 주요 기여

1. NF3-Datasets 의 공개: 기존 표준 벤치마크에서 누락되었던 중요한 시간적 지표를 포함하는 57 개 특징을 가진 네 가지 풍부화된 NetFlow 데이터셋을 생성하고 공개했습니다.
2. 포괄적인 시간적 특성화: 흐름 지속 시간 및 패킷 도착 간격과 관련하여 서로 다른 공격 클래스 (예: DDoS, 백도어, 웜) 가 고유한 시간적 행동을 보인다는 것을 보여주는 상세 분석.
3. 시간 - 주파수 탐색: NetFlow 데이터에 스펙트로그램을 적용한 혁신적인 시도로, 서로 다른 공격이 ML 분류를 지원할 수 있는 고유한 시간 - 주파수 서명을 갖는다는 가설을 세우고 입증했습니다.
4. 표준화: 네 가지 주요 데이터셋 전반에 걸쳐 일관된 특징 집합을 제공하여 시간적 ML 모델에 대한 공정한 교차 데이터셋 비교를 가능하게 했습니다.

4. 주요 결과 및 발견

• 흐름 길이 패턴:
  • 정상 트래픽: 주로 짧은 지속 시간의 흐름으로 구성됩니다.
  • 악성 트래픽: 뚜렷한 편차를 보입니다. 예를 들어, 백도어 및 웜은 종종 더 긴 흐름 지속 시간 (지속적인 연결을 나타냄) 을 보이는 반면, DDoS/DoS 공격은 돌발적인 짧은 흐름과 장기간 지속되는 흐름 모두를 포함하는 광범위한 분포를 보입니다.
• 패킷 간 도착 시간 (IAT):
  • 서로 다른 공격 유형은 고유한 IAT 분포를 보입니다. 예를 들어, ToN-IoT 데이터셋의 MITM 및 백도어 공격은 특정 간격에서 뚜렷한 피크를 보였는데, 이는 아마도 주기적 신호를 반영한 것입니다.
  • DDoS/DoS 공격은 더 넓은 IAT 분포를 보이며 더 높은 간격에서 피크를 나타내는데, 이는 불규칙하고 파괴적인 타이밍을 반영합니다.
• 시계열 역학:
  • 시각화를 통해 공격이 종종 "파도" (예: NF3-BoT-IoT) 로 발생하거나 동시 중첩 (예: NF3-UNSW-NB15) 으로 발생함을 확인하여 실제 세계 공격 시나리오의 시간적 구조에 대한 통찰력을 제공했습니다.
  • 범주형 분석에 따르면 봇넷 활동 (BoT-IoT) 은 목적지 IP 및 포트의 빈번한 변화를 수반하는 반면, 정상 트래픽은 상대적으로 안정적으로 유지됩니다.
• 시간 - 주파수 서명:
  • NF3-UNSW-NB15 데이터셋의 스펙트로그램 분석에 따르면, 일부 공격 (예: DoS 및 웜) 은 유사점을 공유하지만 고유한 시간 - 주파수 패턴을 갖는 것으로 나타났습니다.
  • Fuzzers와 같은 공격은 고유한 서명을 보여주어, TFD 표현이 정적 특징만으로는 공격 클래스를 더 효과적으로 구분하는 데 ML 모델에 도움이 될 수 있음을 시사했습니다.

5. 중요성 및 향후 작업

• 중요성: 이 연구는 정적 NetFlow 분석과 동적 시간 인식 침입 탐지 사이의 격차를 해소합니다. 시간적 특징을 포함한 데이터셋을 제공함으로써, 고급 지속 위협 (APTs) 및 저속 - 저속 공격과 같은 미묘하고 시간에 의존하는 이상 징후를 탐지할 수 있는 고급 ML 모델 (RNN, Transformer, CNN-LSTM) 의 개발을 가능하게 합니다.
• 향후 방향:
  • 새로운 시간적 특징을 활용하도록 ML 모델을 최적화합니다.
  • 실시간 탐지를 위해 시간 - 주파수 분포 (TFD) 접근 방식을 정제합니다.
  • 이러한 풍부화된 데이터셋을 사용하여 공격 분류 정확도를 더욱 향상시키기 위해 순차 학습 모델 (RNN, Transformer) 을 조사합니다.

요약하자면, 이 논문은 정적 특징 분석을 넘어 네트워크 위협의 동적 진화를 이해하는 차세대 시간 인식 네트워크 침입 탐지 시스템에 필요한 데이터 인프라 및 분석적 기반을 제공합니다.