BARS: Benign-Anchored Ranking and Selection for False Alarm Reduction in Network Intrusion Detection

과도하게 업무에 시달리는 보안 요원의 이야기

BARS가 어떻게 탄생했는지 그 이야기를 자세히 들여다봅시다. 컴퓨터 보안의 세계에는 **네트워크 침입 탐지 시스템(NIDS)**이라 불리는 시스템들이 있습니다. 이들을 인터넷의 궁극적인 문지기라고 생각하면 됩니다. 이들은 네트워크의 입구에 서서 안팎으로 드나드는 모든 데이터 조각을 하나하나 검사합니다. 이들의 임무는 해커, 바이러스, 또는 데이터 도둑과 같은 '침입자'를 찾아내는 것입니다.

하지만 큰 문제가 있습니다. 이 문지기들은 종종 너무 예민합니다. 분주한 네트워크에서는 매일 수백만 개의 '양성'(정상적이고 안전한) 데이터 패킷이 오갑니다. 만약 문지기가 정상적인 패킷을 나쁜 것으로 오해할 확률이 단 1%라도 있다면, 매일 수만 건의 오경보(False Alarm)가 발생하게 됩니다. 보안 요원이 하루에 5만 번씩 "불이야!"라고 외친다고 상상해 보십시오. 결국 보안 요원은 지쳐버리고, 소리를 듣지 않게 되며, 진짜 불이 났을 때도 이를 알아차리지 못하게 됩니다. 이것이 바로 이 논문이 다루고자 하는 '오경보 위기'입니다.

옛날 방식 vs 새로운 방식

과학자들은 문지기가 무고한 사람들에게 소리치지 않도록 하기 위해 **특징 선택(Feature Selection)**이라는 기술을 사용합니다. 데이터 패킷을 금속 탐지기를 통과하는 사람이라고 상상해 보십시오. 패킷은 키, 신발 사이즈, 걷는 속도, 그리고 무엇을 들고 있는지와 같은 수백 가지의 '특징'을 가지고 있습니다. 기존의 방식들은 이러한 특징들 중 어떤 것이 범죄자를 찾아내는 데 유용한지를 파악하려고 노력했습니다.

기존 방식의 문제는 이들이 '대칭적(Symmetric)'이었다는 점입니다. 그들은 '착한 사람들'(정상 트래픽)과 '나쁜 사람들'(공격)을 마치 게임 속의 두 팀처럼 취급하며, 둘 사이의 차이점을 찾는 데 집중했습니다. 하지만 현실 세계에서 '착한 사람들'은 기준점(Baseline)입니다. 그들은 세상의 정상적인 상태입니다. '나쁜 사람들'은 그 정상으로부터 벗어난 기이한 편차입니다.

CMD라고 불리는 최근의 한 방법은 '나쁜 사람들'이 평균으로부터 얼마나 벗어났는지를 관찰함으로써 이 문제를 해결하려 했습니다. 하지만 여기에는 결함이 있었습니다. 이 방식은 '전체 평균'(방 안에 있는 모든 사람의 평균)을 참조점으로 사용했습니다.

• 결함: 만약 방 안에 나쁜 사람들이 가득하다면(일부 데이터셋에서 발생하는 현상), '전체 평균'은 나쁜 사람의 모습에 가깝게 변해버립니다. 갑자기 나쁜 사람들이 더 이상 평균과 달라 보이지 않게 되는 것입니다! 시스템은 더 이상 그들을 잡아내지 못합니다. 마치 방 안에 빨간 셔츠를 입은 사람들이 가득해서, 당신이 '빨간색'을 새로운 표준(Normal)으로 결정해 버린 것과 같습니다. 그러면 빨간 셔츠를 입은 범죄자가 들어와도 당신은 그를 알아차리지 못하게 됩니다.

등장한 BARS: "양성 앵커(Benign Anchor)"

이 논문의 저자인 아부 푸아드 아마드(Abu Fuad Ahmad)와 이스티아크 아메드(Istiaque Ahmed)는 영리한 해결책인 BARS를 제안했습니다.

'전체 평균'(왜곡될 수 있는 값)을 사용하는 대신, BARS는 **'양성 앵커(Benign Anchor)'**를 사용합니다. BARS는 이렇게 말합니다. "기준점을 설정할 때 나쁜 사람들은 무시하자. 오직 정상적이고 안전한 트래픽만을 보고, '이것이 정상이다'라고 정의하자."

BARS가 작동하는 방식은 간단히 두 단계로 나뉩니다.

1. 1단계: 편차 확인 (The Deviation Check)
   BARS는 모든 특징(예: 신발 사이즈나 걷는 속도)을 살펴보고 묻습니다. "'나쁜 사람'의 평균은 '착한 사람'의 평균과 얼마나 다른가?" BARS는 전체 군중을 무시합니다. 만약 어떤 특징이 나쁜 사람을 착한 사람과 매우 다르게 보이게 만든다면, 그 특징은 높은 점수를 받습니다. 반대로 특징이 그들을 비슷하게 보이게 만든다면 낮은 점수를 받습니다. 이를 통해 시스템은 항상 왜곡된 군중이 아닌, '정상성'으로부터의 편차를 측정하게 됩니다 됩니다.

2. 2단계: "중복 방지" 확인 (The "Don't Repeat Yourself" Check)
   때때로 두 개의 특징은 본질적으로 같은 것일 수 있습니다. 예를 들어, '전송된 패킷 수'와 '전송된 총 바이트 수'는 함께 오르내릴 수 있습니다. 만약 이 둘을 모두 선택한다면, 당신은 노이즈를 두 배로 만드는 셈입니다. BARS는 상위 특징 목록을 따라 내려가며 확인합니다. "이 새로운 특징이 내가 이미 선택한 것들과 너무 유사한가?" 만약 그렇다면, BARS는 그 특징을 건너뜁니다. 이를 통해 특징 목록을 다양하고 효율적으로 유지합니다.

연구 결과

연구진은 BARS의 성능을 확인하기 위해 세 가지 서로 다른 "도시"(데이터셋)에서 테스트를 진행했습니다.

• CICIDS2017: 정상 트래픽이 대다수인 도시 (실제 사무실 네트워크와 유사).
• CICDDoS2019: 거의 전적으로 공격을 받고 있는 도시 (DDoS 폭풍 상황).
• UNSW-NB15: 공격 성향이 있지만 혼합된 형태를 가진 도시.

그들은 BARS를 기존의 CMD 방식 및 다른 표준 도구들과 비교했습니다.

결과:

• 도시가 공격받고 있을 때 (Attack-Majority): 이것은 기존 방식이 가장 많이 실패했던 지점입니다. '전체 평균'이 공격에 의해 왜곡되었기 때문에, 기존 방식은 많은 나쁜 사람들을 놓쳤습니다. 하지만 '양성 앵커'를 가진 BARS는 노이즈를 뚫고 그들을 찾아냈습니다. BARS는 한 데이터셋에서 오경보를 15.4% 줄였고, 다른 데이터셋에서는 **21~23%**까지 줄이면서도 실제 공격은 하나도 놓치지 않고 모두 잡아냈습니다.
• 도시가 대부분 안전할 때 (Benign-Majority): 이 경우 '전체 평균'과 '착한 사람의 평균'이 거의 동일합니다. 따라서 BARS와 기존 방식의 성능은 거의 똑같았습니다. 이는 BARS가 기존의 기능을 망가뜨리지 않으면서, 문제가 존재하는 지점에서만 정확히 문제를 해결한다는 것을 증명합니다.

이것이 중요한 이유

저자들은 BARS가 모든 문제를 해결하는 마법 지팡이는 아니라는 점을 분명히 하고 있습니다. 더 적은 오경보를 찾아낼 수 있는 더 복잡한 방법들도 존재합니다. 하지만 그런 방법들은 매우 무겁습니다. 어떤 테스트에서는 1 테라바이트 이상의 엄청난 메모리를 요구하기도 합니다.

BARS가 특별한 이유는 가볍고 빠르기 때문입니다. BARS는 "선형 시간(Linear time)" 내에 작동하므로, 네트워크가 거대해지더라도 쉽게 확장할 수 있습니다. 또한 메모리 사용량도 매우 적습니다. 이는 지금 당장 표준 하드웨어에서 작동하는 도구가 필요한, 이미 알람에 시달리고 있는 실제 보안 팀들에게 완벽한 도구가 됩니다.

요약하자면, BARS는 특정 문제에 대한 스마트하고 단순한 해결책입니다. 데이터가 지저하고 공격으로 가득 차 있다면, '평균'에 속지 마십시오. 무엇이 '정상'인지를 명확히 고수한다면, 나쁜 놈들은 명확하게 드러날 것입니다. 때로는 기이한 것을 찾아내는 가장 좋은 방법이, 정상적인 것이 무엇인지 아주 명확한 그림을 갖는 것임을 BARS는 보여줍니다.