Evaluation of AutoML Frameworks for IDS under Imbalanced Data Conditions of the NSL-KDD Dataset

기술 요약: NSL-KDD 데이터셋의 불균형 데이터 조건 하에서의 AutoML 프레임워크 평가

문제 정의
네트워크 침입 탐지 시스템(NIDS)은 악성 활동을 식별하기 위해 머신러닝(ML)에 점점 더 의존하고 있다. 그러나 실제 네트워크 트래픽 데이터셋인 NSL-KDD에서 나타나는 심각한 클래스 불균형 문제는 지속적인 과제로 남아 있다. 이러한 데이터셋에서는 소수 공격 카테고리(특히 Remote-to-Local [R2L] 및 User-to-Root [U2R])가 다수 클래스(Normal 및 Denial of Service)에 비해 현저히 적게 나타난다. 이러한 불균형은 표준 학습 과정을 다수 클래스 쪽으로 편향시켜, 희귀 공격에 대한 탐지 성능을 저하시킨다. AutoML 프레임워크는 자동화된 전처리, 알고리즘 선택, 하이퍼파라미터 최적화를 통해 ML 파이프라인을 간소화할 수 있는 대안을 제시하지만, NIDS 도메인 내의 심각한 다중 클래스 불균형을 처리하는 데 있어 이들의 효과성은 아직 충분히 탐구되지 않았다. 기존 연구들은 종 often 이 문제를 이진 분류로 변환하거나 소수 클래스를 제거함으로써 단순화하였으며, 이는 불균형에 민감한 학습 동작에 대한 현실적인 평가를 제공하지 못한다.

연구 방법론
본 연구는 NSL-KDD 데이터셋에 적용된 9개의 오픈 소스 AutoML 프레임워크를 통일되고 재현 가능한 실험 프로토콜 하에 비교 분석한다. 본 연구는 과업을 단순화하는 대신, 불균형의 심각성을 유지하기 위해 원래의 5개 클래스 분포(Normal, DoS, Probe, R2L, U2R)를 보존한다.

평가 대상 프레임워크는 다음과 같다:

• AutoGluon, PyCaret, TPOT, H2O AutoML, Auto-Sklearn, FLAML, LazyPredict, Auto-PyTorch, 그리고 AutoKeras.

실험 설계는 각 프레임워크의 내부 아키텍처, 구체적으로 다음 사항들을 분석하는 데 중점을 둔다:

1. 파이프라인 구축: 각 프레임워크가 데이터 로딩, 분할 및 반복적 평가를 처리하는 방식.
2. 최적화 전략: 유전 프로그래밍(TPOT), 베이지안 최적화(Auto-Sklearn, Auto-PyTorch, AutoKeras), 비용 효율적 최적화(FLAML), 신경망 구조 탐색(AutoKeras, Auto-PyTorch)의 활용.
3. 불균형 처리 메커니즘: 네이티브 리샘플링(예: SMOTE), 클래스 가중치 부여, 앙상블 전략의 존재 여부 및 활성화 여부.

본 연구는 평가를 위해 KDDTest+ 서브셋을 활용한다. 성능 측정에는 macro-F1 점수, weighted-F1, 정확도(accuracy), 정밀도(precision), 재현율(recall)이 사용된다. 결정적으로, 다수 클래스에 의해 소수 클래스의 식별 능력이 가려지지 않도록 macro-F1 지표를 우선시한다. 결과는 수동으로 최적화된 파이프라인을 사용하는 관련 연구들과 벤치마킹된다.

주요 결과
평가 결과, 프레임워크 간의 상당한 성능 차이가 드러났으며, 이는 클래스 불균형을 처리하는 능력과 직접적인 상관관계가 있음이 밝혀졌다:

• 상위 수행 모델: PyCaret은 **66%**의 macro-F1 점수로 가장 우수한 전체 성능을 달성했으며, AutoGluon이 **55%**로 그 뒤를 이었다. PyCaret의 성공은 스태킹(stacking), 앙상블, 그리고 정교한 하이퍼파라미터 최적화(Optuna 활용)를 사용하는 모듈형 설계 덕분이다. AutoGluon의 성능은 다수 클래스의 지배력을 완화하기 위해 모델(NeuralNetFastAI, Extra Trees, LGBM)을 계층적으로 결합하는 가중 앙상블 전략에서 기인한다.
• 하위 수행 모델: 네이티브 균형 지원 기능이 부족하거나 복잡한 탐색 공간보다 계산 효율성을 우선시하는 프레임워크들은 상당한 성능 저하를 보였다. TPOT와 FLAML은 각각 **49%**와 **48%**의 macro-F1 점수를 기록했다. 하이퍼파라미터 최적화나 균형 지원 기능이 없는 LazyPredict 또한 낮은 성능을 보였다.
• 수동 설계 모델과의 비교: 본 연구는 수동으로 설계된 아키텍처(예: 이전 문헌의 특화된 Random Forest, Gradient Boosting, Voting Ensembles)가 일반적으로 기본 설정된 AutoML 프레임워크보다 우수한 성능을 보였음을 주목한다. 이들은 68.99%에서 71.10% 사이의 macro-F1 점수를 달성하였다. 이는 AutoML가 강력한 베이스라인을 제공하기는 하지만, 현재로서는 수동으로 튜닝된 솔루션에서 발견되는 데이터셋 특화 적응(특징 선택, 적응형 가중치 부여, 언더샘플링) 능력이 부족함을 시사한다.
• 지표 민감도: 결과는 정확도 중심의 최적화가 불균형한 IDS 시나리오에는 불충분하다는 것을 입증한다. 정확도를 최적화하는 프레임워크는 흔히 희귀 공격 카테고리에 대한 낮은 일반화 성능과 공존한다.

기여 및 의의
본 논문은 심각한 다중 클래스 불균형 상황 하에서의 AutoML 기반 침입 탐지를 평가하기 위한 표준화된 벤치마크를 구축한다. 주요 기여는 다음과 같다:

1. 현실적인 평가: NSL-KDD의 원래 5개 클래스 분포를 보존함으로써, 이진 분류 단순화의 함정을 피하고 불균형 인지 학습에 대한 더욱 엄격한 테스트를 제공한다.
2. 아키텍처 분석: 앙상블 학습 및 불균형 인지 최적화(예: 명시적 리샘플링 또는 클래스 가중치 부여)를 포함하는 프레임워크가 그렇지 않은 프레임워크보다 크게 우수하다는 것을 확인하였다.
3. 한계점 식별: 현재의 AutoML 파이프라인이 데이터셋 특화 적응 없이 일반화된 탐색 공간에 의존하는 경우가 많으며, 이로 인해 R2L 및 U2R과 같은 희귀 공격 탐지 능력이 수동 설계 솔루션에 비해 제한적임을 밝혀냈다.
4. 재현성: 실험 프로토콜의 재현성을 보장하기 위해 공개적으로 사용 가능한 소스 코드 저장소를 제공한다.

결론
본 논문은 PyCaret이나 AutoGluon과 같은 AutoML 프레임워크가 NIDS를 위한 경쟁력 있는 베이스라인을 제공할 수 있지만, 수동 개입이나 특정 설정 없이는 극단적인 클래스 불균형을 처리하는 데 한계가 있음을 결론짓는다. 저자들은 사이버 보안 응용 분야에서의 적응성과 견고성을 향 향상시키기 위해, 자동 오버샘플링, 클래스 가중치 부여, 계층적 검증과 같은 네이티브 균형 전략을 AutoML 탐색 및 최적화 절차에 직접 통합할 것을 제안한다.