A Comprehensive Study of Supervised Machine Learning Models for Zero-Day Attack Detection: Analyzing Performance on Imbalanced Data

인터넷을 끝없는 고속도로 위로 데이터가 교통 흐름처럼 움직이는 거대하고 북적이는 도시라고 상상해 보세요. 이 도시에는 보안 요원(방화벽 및 백신 소프트웨어)들이 모든 검문소에 서서 아무도 몰래 들어오지 못하도록 신분증을 확인합니다. 보통 이 요원들은 알려진 범죄자들의 사진이 담긴 '지명수배 포스터' 책을 가지고 있습니다. 만약 낯선 사람이 목록에 있는 사람과 닮았다면, 그들은 제지당합니다. 하지만 한 번도 본 적 없는, 즉 책에 있는 어떤 사진과도 일치하지 않는 새로운 얼굴을 한 새로운 범죄자가 나타나면 어떻게 될까요? 이것이 바로 '제로 데이(zero-day)' 공격의 악몽입니다. 디지털 침입자가 보안 시스템이 한 번도 접해보지 못한 완전히 새로운 수법을 사용하는 것이죠.

이 보이지 않는 도둑들을 잡기 위해 과학자들은 머신러닝이라는 특별한 종류의 탐정에게 눈을 돌리고 있습니다. 이 탐정들을 '좋은 교통 흐름'과 '나쁜 교통 흐름'의 수천 가지 사례를 공부하여 패턴을 익히는 학생이라고 생각해 보세요. 하지만 이들의 교실에는 까다로운 문제가 하나 있습니다. 선생님(데이터)이 '좋은 교통 흐름'의 예시는 너무 많이 주면서, '나쁜 교통 흐름'의 예시는 아주 적게 준다는 점입니다. 이는 마치 숲속에서 희귀하고 수줍음 많은 동물을 찾아내는 법을 배우려는데, 생명체의 99%가 그냥 다람쥐뿐인 상황과 같습니다. 학생은 다람쥐를 찾아내는 데는 매우 능숙해질 수 있지만, 훈련 중에 거의 보지 못했기 때문에 그 희귀한 동물을 완전히 놓칠 수도 있습니다. 이 논문은 이러한 디지털 탐정들이 압도적인 숫자의 평범한 다람쥐들에 혼란을 느끼지 않고, 어떻게 하면 그 새롭고 희귀한 위협들을 찾아내도록 가르칠 수 있는지에 대해 파고듭니다.

---

위대한 디지털 탐정 경주

이 연구에서 연구자 Zahra Lotfi와 Mostafa Lotfi는 어떤 머신러닝 모델이 궁극적인 제로 데이 공격 탐지기가 될 수 있는지 알아보기 위해 거대한 훈련장을 마련했습니다. 그들은 단순히 어떤 모델이 가장 똑똑한지를 알고 싶었던 것이 아니라, 어떤 모델이 가장 빠른지도 알고 싶었습니다. 결국, 실제 세상에서 단 한 명의 신분증을 확인하는 데 한 시간을 걸리는 보안 요원은, 설령 범죄자를 절대 놓치지 않는다 하더라도 무용지물이기 때문입니다.

연구진은 140만 개 이상의 네트워크 트래픽 기록이 포함된 UNSW-NB15라는 거대한 데이터셋을 사용했습니다. 테스트를 현실적으로 만들기 위해, 그들은 모델들이 정상적인 트래픽과 알려진 공격이 섞인 상태로 훈련되지만, 그 이후에는 한 번도 본 적 없는 '제로 데이' 공격에 대해 테스트를 받는 시나리오를 만들었습니다. 상황을 더 어렵게 만들기 위해, 실제 생활에서와 마찬가지로 정상 트래픽이 공격보다 훨씬 더 많은 불균형된 데이터셋을 사용했습니다.

그들은 다섯 가지 서로 다른 '탐정'(머신러닝 모델)을 테스트했습니다:

1. 의사결정 나무 (Decision Tree, DT): 일련의 예/아니오 질문을 던져 결정을 내리는 모델입니다.
2. 로지스틱 회귀 (Logistic Regression, LR): 어떤 것이 공격일 확률을 계산하는 통계 모델입니다.
3. 랜덤 포레스트 (Random Forest, RF): 정답을 두고 투표하는 수많은 의사결정 나무의 팀입니다.
4. XG 부스트 (XG Boost, XGB): 자신의 실수를 바탕으로 더 똑똑해지는 강력한 팀으로, 매우 빠른 것으로 알려져 있습니다.
5. MLP (Multilayer Perceptron): 인간의 뇌 속 뉴런의 층을 모방한 딥러닝 모델입니다.

저울의 균형을 맞추는 마법

연구진이 해결한 가장 큰 난관 중 하나는 '클래스 불균형 문제'였습니다. 공격 사례가 정상 사례에 비해 너무 적었기 때문에, 모델들은 공격이 실제로 어떻게 생겼는지 학습하는 데 어려움을 겪었습니다. 이를 해결하기 위해 팀은 SMOTE(Synthetic Minority Over-sampling Technique)라고 불리는 기법을 사용했습니다.

여러분이 아이에게 희귀한 파란 새를 인식시키는 법을 가르치려 하는데, 사진은 단 한 장뿐이라고 상상해 보세요. 아이는 아마 그 새가 어떻게 생겼는지 금방 잊어버릴 것입니다. SMOTE는 원래의 사진을 주변의 이웃들과 혼합하여 원래 사진과는 약간씩 다른 새로운 사진들을 만들어내는 '마법의 복사기'와 같습니다. 이는 아이가 야생에서 더 많은 진짜 새를 찾을 필요 없이, 그 새가 어떻게 생겼는지 제대로 이해할 수 있도록 충분한 예시를 제공합니다. 연구진은 이를 데이터에 적용하여, 훈련 세트의 균형을 맞추기 위한 합성 공격 예시들을 만들어냈습니다.

결과: 경주의 승자는 누구인가?

결과는 '가장 똑똑한 것'과 '가장 빠른 것'이 섞여 있었으며, 승자는 여러분이 무엇을 더 가치 있게 여기느냐에 따라 달랐습니다.

모델들을 균형 잡기 기술(SMOTE) 없이 테스트했을 때, 그들은 희귀한 공격을 포착하는 데 어려움을 겪었습니다. 예를 들어, 랜덤 포레스트 모델은 공격의 약 **83.11%**만을 잡아냈고, MLP 모델은 훨씬 더 좋지 않아 단 **25.35%**만을 잡아냈습니다.

하지만 데이터를 균형 있게 맞추는 SMOTE를 사용했을 때, 성능이 급격히 치솟았습니다.

• 가장 똑똑한 탐정: 랜덤 포레스트 (RF) 모델이 정확도 측면에서 확실한 챔피언이었습니다. 균형 잡힌 데이터를 통해, 이 모델은 **94.38%**라는 엄청난 제로 데이 공격 검출률(재현율)을 기록했으며, **98.91%**의 정확도를 달達성했습니다. 이는 나쁜 놈들을 놓치지 않는 데 가장 신뢰할 수 있는 모델이었습니다.
• 스피드 레이서: 하지만 함정이 있습니다. 랜덤 포레스트는 믿기 힘들 정도로 느렸습니다. 테스트 데이터를 처리하는 데 1,379.10초(22분 이상)가 걸렸습니다. 실제 사이버 공격 상황에서 해커를 막기 위해 22분을 기다리는 것은, 소방서에 전화를 걸기 전에 건물이 다 타버릴 때까지 기다리는 것과 같습니다.
• 최고의 올라운더: 여기서 **XG 부스트 (XGB)**가 등장합니다. 랜덤 포레스트만큼 많은 공격을 잡아내지는 못했지만( **81.40%**를 잡았습니다), 이 모델은 번개처럼 빨랐습니다. 동일한 작업을 단 5.08초 만에 끝냈습니다. 또한 **98.21%**라는 높은 정확도도 유지했습니다.

결론

연구진은 랜덤 포레스트가 이러한 보이지 않는 제로 데이 공격을 찾는 데 기술적으로 가장 정확하지만, 실시간 보안 시스템에 적용하기에는 너무 느리다고 결론지었습니다. 만약 잠도 자지 않고 절대 실수도 하지 않지만, 생각하는 데 한참 걸리는 경비원을 원한다면 문제가 생길 수 있습니다.

대신, 그들은 XG 부스트를 실세계 사용을 위한 최고의 선택으로 꼽았습니다. 이 모델은 "매우 빠르고 정밀함"이라는 최적의 균형을 제공했습니다. 이는 항상 절대적으로 완벽한 탐지기가 필요한 것이 아니라, 피해가 발생하기 전에 공격을 막을 수 있을 만큼 충분히 빠른 탐지기가 필요하다는 것을 증명했습니다.

또한 연구진은 '마법의 복사기'(SMOTE)가 필수적임을 확인했습니다. 이것 없이는 모델들이 희귀한 공격에 대해 눈먼 상태가 됩니다. 이것이 있으면 더 느린 모델들도 크게 개선되었지만, 실세계에서 어떤 모델을 사용할지를 결정하는 핵심 요소는 여전히 모델의 속도였습니다.

결국, 이 연구는 디지털 범죄를 잡는 경주에서 단순히 똑똑한 것만으로는 부족하며, 빨라야 한다는 점을 보여줍니다. 그리고 때로는, 몇 초 만에 1마일을 달릴 수 있는 두 번째로 똑똑한 탐정이 실제로 승리를 가져오는 주인공이 되기도 합니다.