On fair and realistic performance evaluations for graph-based lateral movement detectors

인터넷을 모든 컴퓨터가 건물이고 모든 데이터 패킷이 배달 트럭인 거대하고 북적이는 도시라고 상상해 보세요. 이 도시에서는 보안 요원(사이버 보안 전문가)들이 끊임없이 문제를 감시하고 있습니다. 보통 그들은 외부에서 건물로 침입하려는 누군가를 찾습니다. 하지만 가장 교활한 도둑들은 단순히 침입하는 데 그치지 않습니다. 일단 한 건물에 들어오면, 방에서 방으로 옮겨 다니며 열쇠를 훔치고 가장 가치 있는 금고로 통하는 문들을 열기 시작합니다. 이 도시 내부에서 몰래 이동하는 이 교활한 움직임을 "측면 이동(lateral movement)"이라고 부릅니다. 이 디지털 도둑들을 잡기 위해 연구자들은 도시의 교통 로그를 살펴보고 도둑이 건물 사이를 이동하는 이상한 패턴을 포착하려는 "탐정"—컴퓨터 프로그램—을 만듭니다.

수년 동안 연구자들은 최고의 탐정을 만들기 위해 경주를 벌여왔습니다. 누가 이기고 있는지 확인하기 위해, 그들은 도둑이 돌아다니는 것으로 알려진 도시를 시뮬레이션한 거대한 사전 제작 데이터셋인 "훈련장(training grounds)"을 사용합니다. 아이디어는 간단합니다. 만약 당신의 탐정이 훈련장에서 도둑을 찾아낸다면, 그 탐정은 훌륭한 것입니다. 하지만 여기에는 함정이 있습니다. 훈련장은 지저먹스럽습니다. 어떤 연구자들은 "지루한" 트래픽을 버림으로써 로그를 정리하는 반면, 다른 이들은 도둑이 취하는 모든 단계 하나하나를 범죄로 라벨링합니다. 이것은 마치 탐정의 기술을 심사하면서, 이미 어려운 단서들은 모두 숨겨두고 나쁜 놈이 정확히 어디에 있는지까지 알려주는 시험을 치르게 하는 것과 같습니다. 만약 연구자마다 테스트의 규칙이 달라진다면, 누가 실제로 최고의 탐정인지 정말로 알 수 없습니다.

이것이 바로 "그래프 기반 측면 이동 탐지기에 대한 공정하고 현실적인 성능 평가에 대하여(On Fair and Realistic Performance Evaluations for Graph-Based Lateral Movement Detectors)"라는 논문이 조사하고 있는 내용입니다. 저자인 코랑탱 라로슈(Corentin Larroche)는 지난 몇 차례의 큰 대회 점수표를 확인하기로 결정한 심판 역할을 합니다. 그는 두 개의 유명한 훈련장(LANL 및 OpTC라고 불리는 데이터셋)을 살펴보고, 연구자들이 데이터를 준비하고 "범죄"를 라벨링하는 데 있어 매우 서로 다른 규칙을 사용해 왔음을 발견합니다. 어떤 이들은 테스트를 쉽게 만들기 위해 무고한 사람들의 트래픽을 걸러냈고, 다른 이들은 무해한 트래픽을 악성으로 간주했습니다. 논문은 이러한 일관성 없는 규칙들이 결과가 실제보다 훨씬 더 좋아 보이게 만들고 있다고 주장합니다.

그 후 라로슈는 이 데이터셋들을 준비하기 위한 새로운, 더 엄격한 규칙을 제안합니다. 그는 우리가 "흥미로운" 부분뿐만 아니라 테스트의 모든 트래픽을 유지해야 하며, 무엇을 "측면 이동"이라고 부를지에 대해 매우 주의를 기울여야 한다고 제안합니다. 그는 자신의 새로운, 더 공정한 규칙을 적용하여 세 가지 유명한 탐지 방법들에 대해 테스트를 다시 실행했을 때, 결과는 극적으로 변했습니다. 예전의 테스트에서 슈퍼히어로처럼 보였던 탐정들은 갑자기 훨씬 덜 인상적으로 변했습니다. 예를 들어, 이전에 거의 완벽한 점수를 기록했던 한 방법은 지저분하고 현실적인 데이터를 다루도록 강제되자 점수가 크게 떨어졌습니다. 논문은 측면 이동 탐지가 여전히 매우 어려운 문제이지만, 만약 우리가 실제로 세상에서 작동하는 시스템을 구축하고 싶다면 테스트에서 편향된 조정을 사용하는 것을 멈춰야 한다고 결론짓습니다.