Real-Time Anomaly Detection in Software-Defined Networks using an Integrated ELK Stack and Machine Learning Framework

현대적인 컴퓨터 네트워크는 매초 수백만 개의 장치 사이에서 데이터를 이동시키는 거대하고 복잡한 시스템입니다. 수십 년 동안 이러한 네트워크는 각자가 정보를 어디로 보낼지 스스로 결정하는 개별 하드웨어 박스들에 의해 관리되어 왔습니다. 소프트웨어 정의 네트워킹(Software-Defined Networking)으로 알려진 새로운 접근 방식은 이 결정권을 개별 박스들로부터 추출하여 '컨트롤러'라고 불리는 단일한 중앙 컴퓨터 프로그램에 배치함으로써 이를 변화시킵니다. 이 중앙 컨트롤러는 네트워크의 두뇌 역할을 하며, 시스템 전체를 한눈에 파악하고 유연하게 트래픽을 지시합니다. 그러나 이러한 중앙 집중화는 새로운 종류의 위험을 초래합니다. 만약 공격자가 이 단일한 두뇌를 장악하는 데 성공한다면, 전체 네트워크를 마비시킬 수 있습니다. 컨트롤러가 매우 중요하기 때문에, 보안 팀은 이상 징후가 발생하는 즉시 이를 포착할 수 있도록 끊임없이 관찰할 방법이 필요합니다. 문제는 컨트롤러와 그가 관리하는 장치들이 생성하는 디지털 기록, 즉 로그(logs)의 양이 방대하며, 이 로그들은 종가 읽거나 빠르게 분석하기 어렵다는 점입니다.

초아이브 두칼리 대학교(Chouaib Doukkali University)와 라바 국제 대학교(International University of Rabat)의 연구진은 강력한 로그 분석 도구와 인공지능을 결합하여 이 문제를 해결하기 위해 설계된 시스템을 구축했습니다. 그들의 연구는 소프트웨어 정의 네트워크를 감시하고, 무엇이 정상인지 이해하며, 특이한 점을 즉각적으로 표시할 수 있는 실시간 모니터링 시스템을 만드는 데 중점을 둡니다. 이 아이디어를 테스트하기 위해 그들은 실험하기에 너무 위험한 실제 공개 네트워크를 사용하지 않았습니다. 대신, 미니넷(Mininet)이라는 도구를 사용하여 컴퓨터 내부에 네트워크의 가상 복사본을 만들었습니다. 이 가상 환경에는 중앙 컨트롤러와 실제 네트워크 하드웨어를 모방한 여러 개의 스위치가 포함되었습니다. 그런 다음 그들은 이 가상 네트워크를 ELK 스택이라고 알려진 오픈 소스 소프트웨어로 구축된 모니터링 프레임워크에 연결했습니다. 이 프레임워크는 정보의 고속 조립 라인처럼 작동합니다. 즉, 컨트롤러와 스위치로부터 오는 가공되지 않은 텍스트 로그를 수집하고, 이를 정제하며, 검색 가능한 형식으로 정리하고, 인간 운영자가 볼 수 있도록 화면에 표시합니다.

연구진은 특정 난관에 봉착했습니다. 중앙 컨트롤러에서 오는 로그와 네트워크 스위치에서 오는 로그는 서로 다른 형식으로 작성되며 서로 다른 유형의 정보를 포함하고 있다는 점이었습니다. 이를 처리하기 위해 그들은 시스템이 이 두 소스를 다르게 취급하도록 프로그래밍했습니다. 중앙 컨트롤러의 로그는 모니터링 시스템으로 직접 전송되었고, 스위치의 로그는 로컬 헬퍼 프로그램에 의해 먼저 수집된 후 전달되었습니다. 모든 데이터가 중앙 시스템에 도착하면, 데이터는 처리되어 컴퓨터가 쉽게 이해할 수 있는 구조화된 데이터로 변환되었습니다. 그들의 설계에서 가장 중요한 부분은 시각화 대시보드에 머신러닝을 직접 통합한 것이었습니다. 이를 통해 시스템은 시간이 지남에 따라 정상적인 네트워크 트래픽이 어떤 모습인지 학습할 수 있었습니다. 일단 시스템이 정상 활동의 기준선(baseline)을 이해하고 나면, 요청의 홍수가 컨트롤러를 압도하기 시작하는 것과 같이 네트워크가 이상하게 작동할 때 이를 자동으로 감지할 수 있었습니다.

그들의 시스템이 작동하는지 확인하기 위해, 연구진은 공격자가 네트워크를 작동 불능 상태로 만들기 위해 과도한 트래픽을 퍼붓는 분산 서비스 거부(DDoS)라고 알려진 특정 유형의 사이버 공격을 시뮬레이션했습니다. 또한 장치 주소를 범람시키는 다른 유형의 공격을 시뮬레이션하려고 시도했으나, 해당 테스트는 그들의 설정에 너무 많은 컴퓨팅 자원을 요구했기 때문에 일찍 중단해야 했습니다. 트래픽 범람 시뮬레이션을 실행했을 때, 시스템은 의도한 대로 정확히 작동했습니다. 시스템은 컨트롤러와 스위치 양쪽 모두에서 로그를 성공적으로 수집하고 정리했으며, 트래픽의 급증을 보여주는 대시보드에 활동을 표시했습니다. 더 중요한 것은, 머신러닝 구성 요소가 비정상적인 행동을 감지했다는 점입니다. 총합하여, 시스템은 시뮬레이션 동안 47개의 뚜렷한 이상 활동 순간을 식별했습니다. 그런 다음 시스템은 이 이벤트들을 위험도에 따라 분류하여, 50건을 심각하거나 주요한 위협으로, 또 다른 28건을 경고로 분류했습니다.

결과는 이러한 통합된 접근 방식이 소프트웨어 정의 네트워크를 효과적으로 감시하고 공격이 발생하는 즉시 포착할 수 있음을 보여줍니다. 시스템은 네트워크의 서로 다른 부분에서 오는 복잡한 데이터 혼합을 처리하고 이를 보안 팀을 위한 명확한 그림으로 바꾸는 능력을 입증했습니다. 그러나 연구진은 이러한 결과가 시뮬레이션된 환경에서 나온 것임을 주의 깊게 언급했습니다. 가상 테스트는 통제되고 성공적이었지만, 실제 세계의 네트워크는 훨씬 더 복잡하고 예측 불가능합니다. 시스템은 그들이 테스트한 특정 유형의 트래픽 범람에는 잘 작동했지만, 더 넓은 범위의 정교한 공격이나 실제 운영 네트워크에 대해서는 아직 검증되지 않았습니다. 연구진은 또한 일부 탐지 작업은 많은 컴퓨팅 자원을 요구할 수 있음을 관찰했으며, 이는 시스템이 얼마나 많이 감시하느냐와 얼마나 빠르게 실행되느냐 사이의 절충 관계(trade-off)를 시사합니다.

앞으로 연구팀은 시스템이 어떻게 확장되는지 보기 위해 더 크고 복잡한 네트워크에서 시스템을 테스트할 계획입니다. 그들은 더 미묘한 위협을 잡아내기 위해 더 발전된 인공지능 모델을 도입하고, 소프트웨어 정의 네트워크을 구체적으로 겨냥하는 다양한 종류의 공격을 탐지하는 능력을 확장할 예정입니다. 궁극적으로 그들의 목표는 단순히 인간에게 알림을 보내는 시스템에서, 인간의 개입 없이 네트워크를 보호하기 위해 트래픽을 재라우팅하거나 침해된 장치를 격리하는 것과 같이 자동으로 조치를 취할 수 있는 시스템으로 나아가는 것입니다. 현재로서는, 그들의 연구는 혼란스러운 데이터의 홍수를 명확하고 실행 가능한 신호로 바꿈으로써 현대 네트워크의 중앙 두뇌를 보호하기 위한 실질적인 경로를 보여주고 있습니다.