인터넷을 모든 장치가 길을 찾기 위해 끊임없이 외침을 내뱉는 거대하고 북적이는 도시라고 상상해 보십시오. 수십 년 동안 이러한 외침은 이웃 사이에 전달되는 공개 편지와 같았습니다. 지나가는 사람이라면 누구나 그 내용을 읽거나, 비밀을 훔치거나, 심지어 가짜 편지를 만들어 사람들을 엉뚱한 곳으로 보낼 수도 있었습니다. 이를 해결하기 위해 엔지니어들은 DNS over HTTPS(DoH)라는 "보안 터널"을 구축했습니다. 이것은 마치 그 공개 편지들을 깨지지 않는 튼튼한 강철 상자 안에 넣고, 수백만 개의 다른 정당한 트럭들과 똑같이 생긴 특수 배달 트럭을 통해 보내는 것과 같습니다. 이는 아무도 상자 안을 들여다볼 수 없기 때문에 프라이버시 측면에서 매우 뛰어나지만, 보안 요원들에게는 새로운 문제를 야기합니다. 만약 범죄자가 훔친 데이터를 도시 밖으로 빼돌리고 싶다면, 이 잠긴 상자들 중 하나에 데이터를 숨길 수 있기 때문입니다. 경비원들은 상자 안에 무엇이 들어있는지 볼 수 없으며, 그 상자는 일반적인 배달물과 똑같아 보이므로 나쁜 놈들을 찾아내기가 매우 어렵습니다.

이것이 바로 연구자 에나스 셀렘(Enas Selem)과 라니아 살라마(Rania Salama)가 다루는 과제입니다. 그들은 핵심적인 질문을 던지고 있습니다. "어떻게 하면 자물쇠를 부수거나 도시의 속도를 늦추지 않고도 잠긴 상자 속에 숨은 범죄자를 잡을 수 있을까?" 이 논문은 영리한 "하이브리드" 탐정 시스템을 제안합니다. 단 하나의 방법만으로 범죄자를 찾아내는 대신, 그들은 날카로운 눈을 가진 감독관(XGBoost라는 머신러칭 모델)과 두 명의 "이상 탐지기"(Isolation Forest와 Local Outlier Factor)를 결합합니다. 감독한를 과거의 사례를 바탕으로 전형적인 범죄자가 어떤 모습인지 알고 있는 베테랑 경찰이라고 상상해 보십시오. 이상 탐지기들은 사람들이 정상적이고 정직한 시민의 패턴에서 벗어날 때마다 "여기 뭔가 이상해!"라고 비명을 지르는 센서 쌍과 같습니다. 이들은 설령 경찰이 이 특정 유형의 범죄자를 본 적이 없더라도 작동합니다. 연구진은 이 팀을 인터넷 트래фа픽의 방대한 데이터셋과 대조하여 테스트했으며, 여기에는 시스템이 한 번도 본 적 없는 도구를 사용한 교묘한 시나리오도 포함되었습니다. 그들은 하이브리드 팀이 쉬운 상황에서 반드시 베테랑 경찰을 이기는 것은 아니었지만, 경찰이 놓친 교묘하고 보이지 않는 범죄자들을 잡아내는 데 매우 효과적이었으며, 가장 까다로운 테스트에서 놓친 공격의 수를 약 70%에서 74%까지 줄였다는 것을 발견했습니다.

하이브리드 탐정 이야기

연구진은 인터넷 트래픽을 위한 보안 체크포인트 역할을 하는 시스템을 구축했지만, 약간의 반전이 있습니다. 잠긴 강철 상자를 읽으려고 시도하는 대신(암호화되어 있기 때문에 불가능합니다), 시스템은 상자가 어떻게 움직이는지를 관찰합니다. 시스템은 배달의 타이밍, 패키지의 크기, 그리고 얼마나 자주 도착하는지를 살펴봅니다.

그들 발명의 핵심은 "하이브리드" 팀입니다. 주인공은 강력한 머신러닝 모델인 XGBoost로, 숙련된 탐정 역할을 합니다. 이 모델은 수천 개의 과거 사례를 연구했으며 알려진 악당들의 특정 "시그니처"를 알고 있습니다. 하지만 연구진은 만약 범죄자가 옷을 갈아입거나 새로운 기술을 사용한다면 탐정이 혼란에 빠질 수 있다는 점을 알고 있었습니다. 그래서 그들은 두 명의 조력자, 즉 Isolation Forest와 Local Outlier Factor를 추가했습니다.

이 조력자들을 "이상함 감지기"라고 생각하십시오. 이들은 특정 범죄의 시그니처에는 관심이 없습니다. 대신, 오직 "정상적인" 시민들이 어떤 모습인지만을 학습합니다. 만약 어떤 사람이 너무 빠르게 움직이거나, 패키지의 무게가 다른 모든 사람과 비교했을 때 맞지 않는 등 이상하게 행동하며 스테이션에 들어온다면, 이 탐지기들은 빨간 깃발을 올립니다. 이들은 범죄자가 누구인지 알 필요는 없습니다. 단지 이 사람이 군중과 어울리지 않는다는 것을 알 뿐입니다.

연구진은 탐정의 지식과 이상 탐지기의 경고를 하나의 "슈퍼 피처(super-feature)" 목록으로 결합했습니다. 그런 다음, 이 목록을 다시 탐정에게 입력하여 최종 결정을 내리게 했습니다. 그들은 더 복잡한 딥러닝 "두뇌"(오토인코더와 같은)를 사용하는 것을 의도적으로 피했는데, 왜냐하면 테스트 결과 그것이 시스템을 더 느리고 복잡하게 만들 뿐 실제로 더 많은 범죄자를 잡지는 못했기 때문입니다. 그들은 탐정과 두 명의 이상 탐지기로 구성된 더 단순하고 가벼운 팀이 완벽한 균형을 이룬다는 것을 발견했습니다.

큰 시험: 보이지 않는 자를 잡다

이 논문의 진짜 마법은 단순히 시스템이 작동한다는 것이 아니라, 그것이 미지의 대상을 얼마나 잘 다루느냐에 있습니다. 연구진은 "Leave-One-Attack-Out"이라 불리는 일련의 혹독한 테스트를 통해 시스템을 검증했습니다. 탐정이 세 가지 유형의 도둑—쇠지렛대를 사용하는 도둑, 락픽을 사용하는 도둑, 그리고 플라스틱 쇠지렛대를 사용하는 도둑—에 대해 훈련받았다고 가정하는 게임을 상상해 보십시오. 그런데 테스트에서 탐정에게 한 번도 본 적 없는 도구인 드라이버를 사용하는 도둑을 던져주는 것입니다.

이 테스트에서 연구진은 "DoH 플래그"(이것이 잠긴 상자임을 나타내는 간단한 단서)를 제거하여 난이도를 높였습니다. 그들은 시스템이 도둑의 행동이 얼마나 이상한지를 보는 것만으로도 드라이버를 든 도둑을 여전히 잡을 수 있는지 확인하고 싶었습니다.

결과는 인상적이었습니다. 15가지의 서로 다른 테스트 구성(공정성을 보장하기 위해 서로 다른 무작위 시드를 사용함)에서 하이브리드 팀은 단독으로 작동하는 탐정보다 훨씬 더 많은 범죄자를 잡았습니다.

• "null" 유형의 미지의 공격에 대해, 하이브리드 팀은 평균적으로 52.2명의 범죄자를 놓친 반면, 단독 탐정은 178.6명을 놓쳤습니다. 이는 놓친 공격이 70.8% 감소한 것입니다.
• "srv" 유형의 경우, 127.6명 대신 39.4명을 놓쳤습니다 (69.1% 감소).
• "txt" 유형의 경우, 101.2명 대신 26.2명을 놓쳤습니다 (74.1% 감소).

통계적 테스트는 이것이 단순히 운이 아니었음을 확인해주었습니다. 차이는 실재하며 유의미했습니다. 하이브리드 시스템은 안전망 역할을 하여, 탐정이 아직 암기하지 못한 "약간의 이상함"을 보이는 행동을 근거로 범죄자들이 빠져나가는 것을 잡아냈습니다.

빛나는 부분과 주춤하는 부분

이 논문은 이 시스템이 어디에서 가장 잘 작동하고 어디에서 그렇지 않은지에 대해 매우 솔직합니다.

• 최적의 지점(Sweet Spot): 시스템이 한 번도 본 적 없는 새로운 유형의 공격에 직면했을 때, "이상 탐지기"들이 영웅이 됩니다. 이들은 트래픽 흐름의 이상 징яв을 포착하여 탐정이 올바른 결정을 내리도록 돕습니다.
• 중립 구역(Neutral Zone): 시스템이 학습한 것과 정확히 일치하는 데이터(예: "Standard" 또는 "Full Data" 시나리오)에 대해 테스트될 때, 하이브리드 팀은 단독 탐정보다 약간 더 나은 성능을 보이거나 비슷합니다. 학습과 테스트 사이의 정상 트래픽 자체가 약간 변한 "Cross-Scenario"라는 특정 시나리오에서는 두 시스템이 사실상 동등했습니다. 실제로 이상 탐지기들은 여기서 가끔 잘못된 경보를 울려, 정상적이지만 약간 다른 트래픽을 의심스러운 것으로 분류하기도 했습니다.
• 속도 제한(Speed Limit): 연구진은 시스템이 얼마나 빨리 실행될 수 있는지도 확인했습니다. 그들은 하이브리드 팀이 단일 패키지를 하나씩 확인하는 것(스트리밍)이 단독 탐정보다 약 16배 느리다는 것을 발견했습니다. 그러나 패키지를 배치(트럭 한 짐을 한꺼번에 처리하는 것처럼)로 확인하면 속도 저하는 약 2.3배에 불과했습니다. 이는 이 시스템이 짧은 간격의 트래픽을 분석하는 것(배치 프로세싱)에는 훌륭하지만, 패킷이 도착하는 즉시 하나하나 확인하기에는 너무 느릴 수 있음을 의미합니다.

"피처 갭(Feature Gap)" 문제

시스템이 어려움을 겪었던 한 가지 까다로운 사례가 있었습니다: 바로 dns2tcp라는 도구였습니다. 하이브리드 팀을 사용했음에도 불구하고, 시스템은 dns2tcp 공격의 약 **35%**만을 잡아냈습니다. 연구진은 깊이 파고들어 "피처-도메인 갭(feature-domain gap)"을 발견했습니다. 이 데이터셋의 dns2tcp 트래픽는 근본적으로 다르다는 것이 밝혀졌습니다. 즉, 다른 도구들에 비해 더 짧고, 빠르며, 데이터 이동량이 적습니다. 이는 마치 다른 행성에서 달리고 있는 도둑을 찾아내려는 것과 같습니다. "이상 탐지기"들은 그 행동이 범죄 때문인지, 아니면 단순히 다른 세계에서 왔기 때문에 발생하는 것인지 구분할 수 없었습니다. 시스템은 더 많은 규칙을 추가한다고 해서 이 문제를 해결할 수 없었습니다. 데이터 자체가 시스템이 학습한 것과 너무 달랐기 때문입니다.

핵심 요약

이 논문은 암호화된 터널 속에 숨은 디지털 범죄자를 잡는 데 있어, 단순히 지문을 매칭하는 것이 아니라 "이상함"을 찾는 "두 번째 눈"을 갖는 것이 얼마나 중요한지를 보여줍니다. 하이브리드 프레임워크는 전문가 탐정을 대체하는 것이 아니라, 미지의 영역에 대한 안전망을 제공합니다. 비록 이 시스템이 모든 문제를 즉시 해결하는 마법의 지팡이는 아니며(컴퓨팅 자원을 더 소모하긴 하지만), 숙련된 지도 학습(알려진 위협용)과 비지도 학습(이상하고 미지의 위협용)이라는 서로 다른 종류의 지능을 결합하는 것이 훨씬 더 강력한 방어 체계를 만든다는 것을 입증했습니다. 연구진은 이러한 접근 방식과 엄격한 테스트 방법이 차세대 교묘한 공격을 처리할 수 있는 보안 시스템 구축의 새로운 표준이 되어야 한다고 제안합니다.