A Comparative Study of Intrusion Detection Models for DDoS and Brute Force Attack Detection Using Public Cybersecurity Datasets

기술 요약: DDoS 및 Brute Force 공격 탐지를 위한 침입 탐지 모델의 비교 연구

문제 정의
인터넷 기반 서비스의 급격한 확장은 DDoS(분산 서비스 거부) 및 Brute Force(무차별 대입) 공격의 위험을 고조시켰습니다. 전통적인 침입 탐지 시스템(IDS)은 시그니처 기반 탐지에 의존하며, 이는 알려진 위협에는 효과적이지만 제로 데이(zero-day) 공격이나 진화하는 패턴을 식별하는 데는 한계가 있습니다. 머신러닝을 이용한 이상 탐지는 해결책을 제시하지만, 기존 문헌은 서로 다른 실험 조건하에서 다양한 알고리즘을 체계적으로 비교하는 경우가 부족합니다. 전처리, 특징 공학(feature engineering), 평가 지표의 차이로 인해 특정 공격 유형에 가장 효과적인 모델을 결정하기 어렵습니다. 본 연구는 CICIDS2017 데이터셋을 사용하여 Random Forest(RF), Extreme Gradient Boosting(XGBoost), 그리고 인공 신경망(ANN)을 비교 분석함으로써, DDoS 및 Brute Force 공격을 탐지하는 데 가장 신뢰할 수 있는 알고리즘을 식별하고자 하는 필요성을 다룹니다.

방법론
본 연구는 지도 학습 기반의 머신러닝을 사용하는 정량적 접근 방식을 채택합니다. 연구에는 78개의 수치형 특징과 다양한 공격 범주를 포함하는 현실적인 네트워크 트래픽 벤치마크인 CICIDS2017 데이터셋을 활용합니다. 방법론은 다음과 같은 구조화된 파이프라인을 따릅니다:

1. 데이터 전처리: 무한값(infinite values)을 결측치(NaN)로 대체하고 결측 데이터가 포함된 레코드를 제거하여 데이터셋을 정제했습니다. 범주형 공격 레이블은 수치형으로 인코딩되었습니다. 결정적으로, 트리 기반 모델(RF 및 XGBoost)은 이 단계가 필요하지 않으므로, 인공 신경망(ANN)의 입력값에 대해서만 특성 스케일링(StandardScaler)을 적용했습니다.
2. 데이터셋 분할: 클래스 분포를 유지하기 위해 전처리된 데이터를 80:20 비율의 층화 추출(stratified split) 방식을 사용하여 훈련 및 테스트 서브셋으로 나누었습니다.
3. 모델 구현: 동일한 데이터에 대해 세 가지 모델을 학습시켰습니다:
   • Random Forest: 100개의 결정 트리와 랜덤 시드 42로 구성되었습니다.
   • XGBoost: 100개의 에스티메이터(estimator), 최대 트리 깊이 6, 학습률 0.1, 그리고 서브샘플/컬럼 샘플링 비율 0.8로 구성되었습니다.
   • Artificial Neural Network (ANN): 하나의 입력층, 세 개의 은닉층(각각 128, 64, 32개의 뉴런), 그리고 하나의 출력층을 가진 딥러닝 모델입니다. 은닉층에는 ReLU 활성화 함수를, 출력층에는 Softmax를 사용하였으며, 과적합을 방지하기 위해 Dropout(0.3)을 적용했습니다. 모델은 Adam 옵티마이저와 Sparse Categorical Crossentropy 손실 함수를 사용하여 학습되었습니다.
4. 평가: 성능은 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-스코어(F1-score)를 사용하여 평가되었습니다. 혼동 행렬(Confusion Matrix)을 통해 참 양성(True Positives), 참 음성(True Negatives), 거짓 양성(False Positives), 거짓 음성(False Negatives)을 분석했습니다.

주요 결과
세 모델 모두 99% 이상의 정확도를 기록하며 우수한 분류 성능을 보여주었습니다. 그러나 뚜렷한 차이점이 나타났습니다:

• XGBoost는 모든 지표에서 가장 높은 성능을 달ы하며, 정확도, 정밀도, 재현율, F1-스코어에서 약 **99.9975%**를 기록했습니다. 이는 거짓 양성과 거짓 음성이 최소화된 가장 정확한 혼동 행렬을 생성했습니다.
• Random Forest는 모든 지표에서 **99.9965%**를 기록하며 XGBoost를 밀접하게 뒤따르는 매우 경쟁력 있는 결과를 나타냈습니다.
• Artificial Neural Network (ANN)는 강력한 결과를 달성했으나, 앙상블 방법론에 비해 약간 낮은 성능(~99.955%)을 보였습니다. 저자들은 이를 모델의 특성 스케일링에 대한 민감도와 사용된 특정 하이퍼파라미터 설정 때문으로 분석했습니다.

트리 기반 모델에 대한 특성 중요도(Feature Importance) 분석 결과, 역방향 흐름(backward-flow) 트래픽 특성(예: Avg Bwd Segment Size, Bwd Packet Length Max, Bwd Packet Length Std)이 악성 트래픽과 정상 트래픽을 구분하는 데 가장 영향력 있는 특징인 것으로 밝혀졌습니다.

주요 기여

• 체계적 비교: 본 연구는 서로 다른 방법론을 사용하는 기존 연구의 격차를 해소하기 위해, 동일한 전처리, 학습 및 평가 조건 하에서 RF, XGBoost, ANN을 직접 비교합니다.
• 성능 벤치마킹: CICIDS2017 맥락 내에서 DDoS 및 Brute Force 공격을 탐지하는 데 있어 XGBoost가 Random Forest와 ANN을 능가하는 최상의 모델임을 입증했습니다.
• 재현성: 본 논문은 재현 가능한 프레임워크와 상세한 구성 파라미터를 제공하여 향후 연구를 위한 참조 자료 역할을 합니다.
• 특성 통찰: 분석을 통해 특정 역방향 흐름 네트워크 특성이 침입 탐지의 핵심 지표임을 식별했습니다.

의의 및 주장
본 논문은 앙상블 학습 기법, 특히 XGBoost와 Random Forest가 현대적 침입 탐지에 매우 효과적이며, 극도로 낮은 거짓 양성 및 거짓 음성률과 함께 신뢰성을 제공한다고 주장합니다. 저자들은 이러한 트리 기반 방법들이 높은 분류 성능과 계산 효율성 사이의 실질적인 균형을 제공하여 운영 중인 네트워크 보안 환경에 배포하기 적합하다고 단언합니다.

본 연구는 ANN(딥러닝)도 충분히 가능성이 있지만, 테스트된 조건 하에서는 앙상블 방법이 이 특정 작업에 더 견고할 수 있다고 결론짓습니다. 연구 결과는 사이버 보안 전문가와 네트워크 관리자가 지능형 IDS를 개발할 때 적절한 머신러닝 알고리즘을 선택하는 데 도움을 주기 위한 것입니다. 저자들은 본 연구가 라이브 트래픽이 아닌 정적 벤치마크 데이터셋에 의존했으며 DDoS와 Brute Force 공격에만 집중했다는 한계를 인정하며, 향후 연구에서 하이브리드 모델, 실시간 애플리케이션 및 더 넓은 공격 범주를 탐구할 것을 제안합니다.