TOPIC: Deep Learning Approach for Network Intrusion Detection and Multi-Class Attack Classification Using UNSW-NB15 Dataset

당신이 거대하고 북적이는 공항(인터넷)의 보안 요원이라고 상상해 보십시오. 당신의 임무는 누군가 무기를 몰래 들여오거나, 가방을 훔치거나, 소동을 일으키려는 것(사이버 공격)을 포착하는 것입니다.

오랫동안 보안 요원들은 "현상 수배 전단" 방식을 사용해 왔습니다. 그들은 알려진 범죄자들의 얼굴 목록을 가지고 있었습니다. 만약 누군가가 그 전단 속 인물과 닮았다면, 그들은 제지되었습니다. 이것이 전통적인 컴퓨터 보안 시스템이 작동하던 방식입니다. 즉, 알려진 악당들의 "시그니처"를 찾는 것이었습니다. 하지만 범죄자들이 추적을 피하기 위해 머리 모양과 옷차ร을 바꾸는 것처럼, 해커들도 그들의 수법을 바꿉니다. 오래된 "현상 수배 전단" 시스템은 이러한 새로운, 교묘한 변장들을 잡아낼 수 없었습니다.

이 논문은 새로운 종류의 보안 요원을 가르치는 것에 관한 것입니다. 그것은 바로 딥러learning(Deep Learning)—기본적으로 규칙 목록을 읽는 대신 수백만 개의 사례를 관찰하며 학습하는 초지능형 컴퓨터 뇌를 사용하는 것입니다.

훈련장: UNSW-NB15 데이터셋

이 컴퓨터 뇌들을 훈련시키기 위해, 연구자들은 거대한 연습장이 필요했습니다. 그들은 UNSW-NB15라고 불리는 데이터셋을 사용했습니다. 이것은 시뮬레이션된 공항의 "트래픽 로그"가 담긴 100GB 규모의 거대한 도서관이라고 생각하면 됩니다.

• 선량한 사람들: 그저 일상을 보내고 있는 평범한 여행객들.
• 악당들: "퍼저(Fuzzer, 문을 부수기 위해 무작위로 시도하는 사람)"부터 "웜(Worm, 빠르게 퍼지는 바이러스)"에 이르기까지 9가지 유형의 트러블 메이커들.
• 문제점: 현실 세계에서는 선량한 여행객이 악당보다 훨씬 더 많습니다. 이 도서관에서도 "악당" 관련 책은 "선량한 사람" 관련 책에 비해 매우 적었습니다. 만약 이 도서관을 있는 그대로 읽는다면, 당신의 뇌는 높은 점수를 받기 위해 매번 "선량한 사람"이라고 대답하며 게을러질 것이고, 결국 희귀한 악당들을 놓치게 될 것입니다.

해결책: SMOTE (The "Photocopy" Trick, "복사" 기술)

이 불균형을 해결하기 위해, 연구자들은 SMOTE라는 기술을 사용했습니다. 특정 유형의 도둑 사진이 단 5장밖에 없지만, 제대로 공부하기 위해 50장이 필요하다고 가정해 봅시다. 단순히 똑같은 사진 5장을 복사하는 것은 지루할 뿐만 아니라 도움이 되지 않습니다. SMote는 기존 사진들의 특징을 혼합하여 새로운 가짜 사진을 만들어냅니다. 이는 빨간 모자를 쓴 도둑의 사진과 파란 코트를 입은 도둑의 사진을 결합하여, 새로운 형태의 보라색 모자를 쓴 도둑 사진을 생성하는 것과 같습니다. 이를 통해 컴퓨터 뇌는 속임수를 쓰지 않고도 이 희귀한 도둑들이 어떻게 생겼는지 충분히 학습할 수 있는 예시를 얻게 됩니다.

세 명의 경쟁자

연구자들은 어떤 보안 요원이 가장 뛰어난지 확인하기 위해 세 가지 다른 유형의 "컴퓨터 뇌"(딥러닝 모델)를 구축했습니다. 공정한 대결을 위해 그들은 모두 동일한 데이터와 동일한 훈련 규칙을 사용하여 테스트했습니다.

1. ANN (인공 신경망): 제너럴리스트(Generalist)

   • 비유: 이 모델은 전체적인 그림을 한꺼번에 보는 매우 똑똑한 인턴이라고 생각하십시오. 그들은 승객의 키, 몸무게, 수하물을 모두 종합적으로 보고 판단을 내립니다.
   • 성능: 약 **91.6%**의 위협을 정확히 맞히며 준수한 성적을 거두었습니다. 훈련 속도는 빨랐지만, 더 까다로운 변장들을 놓치기도 했습니다.

2. CNN (합성곱 신경망): 패턴 포착가(Pattern Spotter)

   • 비유: 이 경비원은 특정 패턴을 찾아내는 탐정과 같습니다. 사람 전체를 보는 대신, 신발의 패턴이나 가방을 쥐는 방식 같은 작은 디테일에 집중합니다. 이들은 국소적인 단서를 포착하는 데 탁월합니다.
   • 성능: 약 **94.6%**의 정확도를 기록하며 더 나은 성과를 냈습니다. 이들은 공격의 특정 "시그니처"를 포착하는 데 능숙했습니다.

3. RNN-LSTM (순환 신경망 - 장단기 메모리): 스토리텔러(Storyteller)

   • 비유: 가장 진보된 형태의 경비원입니다. 이 탐정은 단순히 한 장의 사진을 보는 것이 아니라, 승객의 여정 전체라는 이야기를 기억한다고 상상해 보십시오. 그들은 5분 전에 무슨 일이 있었는지, 그리고 그것이 지금 일어나고 있는 일과 어떻게 연결되는지를 기억합니다. 그들에게는 복잡한 시퀀스와 다양한 단서 사이의 관계를 이해하도록 돕는 "기억력"이 있습니다.
   • 성능: 이 모델이 승리했습니다. **97.4%**의 정확도를 달성했습니다. 이들은 네트워크 트래픽의 서로 다른 부분들 사이의 복잡한 관계를 파악하는 데 가장 뛰어났습니다.

결과: 누가 승리했는가?

연구자들은 누가 악당을 가장 많이 올바르게 식별하는지 확인하기 위해 경주를 진행했습니다.

• 우승자: RNN-LSTM (스토리텔러). 가장 적은 실수를 저지르며 가장 많은 악당을 잡아냈습니다. 이 모델은 매우 유사해 보이는 공격들을 거의 완벽하게 구별해 낼 정도로 뛰어났습니다.
• 준우승: CNN (패턴 포착가). 강력한 2위를 차지했습니다.
• 3위: ANN (제너럴리스트). 괜찮은 수준이었지만, 다른 모델들만큼 날카롭지는 못했습니다.

주의할 점:
트레이드오프(Trade-off)가 존재했습니다. RNN-LSTM은 업무 수행 능력은 가장 좋았지만, 훈련 속도는 가장 느렸습니다. 이 모델은 학습하는 데 약 1,700초(약 30분)가 걸린 반면, ANN은 단 220초(약 3분)밖에 걸리지 않았습니다.

• 비유: ANN은 빠르게 배우지만 실수가 많은, 말 잘하는 인턴과 같습니다. 반면 RNN-LSTM은 사건 파일을 공부하는 데 오랜 시간이 걸리지만, 놀라운 정확도로 미스터리를 해결하는 베테랑 형사와 같습니다.

결론

이 논문은 복잡한 네트워크를 위한 최고의 보안 요원을 원한다면, 비록 훈련 시간이 더 걸리더라도 RNN-LSTM이 정답이라고 결론짓습니다. 데이터의 서로 다른 조각들이 어떻게 연결되는지 이해하기 위한 "기억력"을 컴퓨터에게 부여하는 것이 현대의 교묘한 사이버 공격을 포착하는 핵심임을 입증했습니다.

또한, 시스템이 훌륭하긴 했지만 "중간자 공격(Man-in-the-Middle)"이나 "DDoS"와 같은 특정 유형의 공격들은 여전히 서로 구별하기 다소 까다로웠으며, 이는 가장 똑똑한 뇌라 할지라도 여전히 성장할 여지가 있음을 시사합니다.

요약하자면: 데이터를 균형 있게 맞추기 위한 스마트한 "복사" 기술을 사용하고 세 가지 다른 유형의 컴퓨터 뇌를 대결시킨 결과, 연구자들은 "기억력"을 가진 모델(RNN-LSTM)이 현재 사이버 침입자를 포착하는 데 있어 챔피언이라는 것을 발견했습니다.