💻 computer science

Behavioral Anomaly Detection and Malicious Service Identification in the Tor Network Using Deep Learning

본 논문은 다중 스케일 행동 시그니처를 융합하고, 적응형 가중치를 위한 앙상블 기반 품질 추정을 채택하며, GAN 생성 합성 특징을 활용하여 악성 서비스 탐지 성능을 탁월하게 향상시킴으로써 Tor 네트워크의 프로토콜 균질화, 암호화 노이즈, 극심한 클래스 불균형 문제를 해결하는 3단계 딥러닝 프레임워크인 MBRD-Tor를 제안한다.

원저자: Amirhossein Saviz

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amirhossein Saviz

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 모든 사람이 자유롭게 돌아다닐 수 있지만, 어떤 이들은 얼굴을 숨기기 위해 가면을 쓰고 싶어 하는 거대하고 북적이는 도시라고 상상해 보십시오. 이것이 바로 토르(Tor) 네트워크입니다. 토르는 메시지를 일련의 비밀 터널을 통해 전달하여 아무도 누가 무엇을 보냈는지 알 수 없게 함으로써 프라이버시를 보호하도록 설계된 디지털 도구입니다. 하지만 실제 도시와 마찬가지로, 때때로 악의적인 행위자들이 이 가면을 사용하여 범죄를 숨기고, 바이러스에 비밀 명령을 보내거나 불법 상점을 운영하기도 합니다. 문제는 도시의 보안 요원들에게 있어, 토르가 자신의 임무를 너무나 완벽하게 수행한 나머지 모든 메시지를 정확히 동일한 형태인 512바이트의 데이터 블록으로 보이게 만든다는 점입니다. 이는 마치 모든 사람이 정확히 똑같은 회색 정장을 입고, 똑같은 자세로 서서, 똑같은 속도로 걷고 있는 군중 속에서 소매치기를 찾아내야 하는 것과 같습니다. 크기나 형태의 차이를 찾아내던 기존의 보안 도구들은 완전히 혼란에 빠집니다. 그들은 '유니폼'이 동일하기 때문에 무해한 관광객과 범죄자를 구분할 수 없습니다. 이는 방어자들에게 엄청난 골칫거리를 안겨줍니다. 그들은 수십억 개의 동일해 보이는 블록들 속에 숨겨진 아주 작은 악성 공격이라는 바늘을 찾아내야 하며, 나쁜 놈들은 그 흔적을 숨기는 데 점점 더 영리해지고 있습니다.

여기서 아미르호세인 사비즈(Amirhossein Saviz)의 새로운 연구가 등장합니다. 이 연구는 잠긴 가방 내부를 들여다볼 필요 없이 디지털 범죄자들을 잡을 수 있는 영리하고 새로운 방법을 제안합니다. 이 논문은 MBRD-Tor라고 불리는 시스템을 소개하는데, 이는 신분증을 확인하는 엄격한 보안 요원이라기보다 군중의 리듬과 행동에 주목하는 탐정과 같습니다. 메시지의 내용(암호화되어 있어 보는 것이 불가능함)을 읽으려 하는 대신, 이 시스템은 메시지가 어떻게 움직이는지, 즉 얼마나 빨리 도착하는지, 어느 방향으로 가는지, 그리고 어떤 순서로 나타나는지를 관찰합니다.

연구진은 설령 "정장"이 동일하더라도, 소매치기가 군중 사이를 움직이는 방식은 일반 관광객과 다르다는 점을 깨달았습니다. 범죄자는 신호를 보낸 후 큰 패키지가 돌아오기를 기다리는 등 특정한 패턴을 만들 수 있습니다. 이를 포착하기 위해 팀은 3단계 과정을 구축했습니다. 첫째, 타이밍, 위치, 방향을 하나의 압축된 데이터 요약본으로 결합하여 "행동 지문(behavioral fingerprint)"을 만들었습니다. 둘째, 그들은 까다로운 문제에 직면했습니다. 현실 세계에서는 악성 트래픽이 매우 드물며(때로는 전체 트래픽의 1% 미만), 일부 데이터는 단순히 "노이즈"가 섞여 있거나 지저분합니다. 이를 해결하기 위해, 그들은 다섯 명의 서로 다른 "판사"(앙상블 알고리즘) 패널을 사용하여 각 데이터 조각이 얼마나 신뢰할 수 있는지 투표하게 했으며, 깨끗하고 명확한 사례에는 더 많은 비중을 두고 지저분한 사례는 무시하도록 했습니다. 마지막으로, 학습할 수 있는 악성 트래키의 사례가 너무 적다는 문제를 해결하기 위해, 그들은 생성적 적대 신경망(GAN)이라는 특별한 종류의 AI를 사용했습니다. 이것을 완벽한 가짜 범죄 패턴을 만들어내는 디지털 위조범이라고 생각할 수 있는데, 단 엄격한 판사 위원회가 그 가짜 복제품이 진짜와 구별할 수 없을 정도로 정교하다고 동의할 때만 작동합니다. 이를 통해 시스템은 수백만 개의 실제 사례 없이도 범죄자들이 어떤 모습인지 학습할 수 있습니다.

연구팀이 실제 토르 트래픽 데이터셋을 사용하여 이 새로운 시스템을 테스트했을 때, 결과는 유망했습니다. 악성 트래픽이 다소 흔한 일반적인 조건에서, 그들의 시스템은 이전의 최고 방법들보다 훨씬 뛰어난 **73.70%**의 F1-스코어(전반적인 정확도를 나타내는 척도)를 달 기록했습니다. 하지만 진짜 마법은 악성 트래픽이 전체의 단 **1%**에 불에 불과한 실제 인터넷의 극한 상황을 시뮬레이션했을 때 일어났습니다. 이 시나리오에서 대부분의 다른 시스템은 완전히 실패하여 범죄자를 잡는 능력이 거의 제로에 가깝게 떨어졌습니다. 그러나 MBRD-Tor는 굴하지 않고 **21.1%**의 재현율(악당을 실제로 찾아내는 능력)과 **33.3%**의 F1-스코어를 유지했습니다. 이 연구는 데이터의 미묘한 행동 리듬에 집중하고, 학습 데이터를 정화하기 위한 스마트한 다단계 프로세스를 사용함으로써, 수백만 개의 동일해 보이는 블록들 사이에 숨어 있는 악성 활동을 포착하는 것이 가능하다는 것을 시사합니다. 저자들은 이 접근 방식이 모두의 프라이버시를 보호하는 암호화를 깨뜨리지 않으면서도 디지털 도시를 안전하게 유지할 수 있는 강력하고 프라이버시 친화적인 방법을 제공한다고 결론짓습니다.

기술 요약: 악성 Tor 트래픽 탐지를 위한 MBRD-Tor 프레임워크

1. 문제 정의

사용자의 프라이버시를 위해 필수적인 Tor(The Onion Router) 네트워크는 점점 더 명령 제어(C2) 통신, 랜섬웨어 조율, 불법 다크웹 서비스 호스팅을 목적으로 하는 악의적인 행위자들에 의해 악용되고 있습니다. 이러한 활동을 탐지하는 데에는 세 가지 근본적인 기술적 과제가 존재합니다:

프로토콜 수준의 균질화(Protocol-Level Homogenization): Tor의 고정된 512바이트 셀 구조는 크기 기반의 지문 추출 벡터를 제거하여, 표준 트래픽 분석으로는 쉽게 구별할 수 없는 특징의 균질성을 생성합니다.
이질적인 샘플 품질(Heterogeneous Sample Quality): 다층 암호화, 적응형 패딩 방어, 네트워크 지터(jitter)는 학습 샘플 간의 매우 가변적인 식별성을 초래하며, 이는 데이터에 대한 균등한 처리가 최적이 아님을 의미합니다.
극심한 클래스 불균형(Extreme Class Imbalance): 실제 경계 트래픽에서 악성 플로우는 전체 트래픽의 1%에서 5% 미만을 차지하는 경우가 많습니다. 이러한 데이터에 최적화된 표준 경험적 위험 최소화(ERM) 모델은 희귀한 악성 동작에 대해 치명적인 재현율(recall) 저하를 겪습니다.

2. 방법론: MBRD-Tor 프레임워크

본 논문은 복잡한 분류기 학습에서 데이터 표현 엔지니어링 및 학습 데이터 품질 향상으로 초점을 전환하기 위해 설계된 3단계 데이터 중심 프레임워크인 MBRD-Tor(Multi-scale Behavioral Representation and Data-centric refinement for Tor)를 제안합니다.

1단계: 다중 척도 표현 학습 및 압축

고정된 크기의 셀 균질화 문제를 극복하기 위해, 본 프레임워크는 Tor 플로를 $n=50$ 개의 셀 시퀀스로 취급하며, 각 셀에서 세 가지 메타데이터 속성인 도착 간격( $\Delta t$ ), 위치, 방향을 추출합니다.

융합 임베딩(Fused Embeddings): 세 가지 상보적인 임베딩이 생성됩니다:
- 시간적 인코딩(Temporal Encoding): 로그 정규화 및 Z-점수화된 도착 간격.
- 위치적 인코딩(Positional Encoding): 시퀀스 순서를 인코딩하는 사인 함수.
- 방향적 인코딩(Directional Encoding): 셀 방향(인바운드/아웃바운드)의 원-핫 표현.
맥락화(Contextualization): 이 벡터들은 결합되어 방향성 패턴(예: 주기적 비코닝)을 포착하기 위해 로컬(슬라이딩 윈도우) 및 글로벌 맥락 벡터와 함께 풍부해집니다.
오토인코더 압축(Autoencoder Compression): 4개 층의 피드포워드 오토인코더가 종합적인 플로 표현을 압축된 잠재 공간( $z \in \mathbb{R}^{64}$ )으로 변환합니다. 이 모델은 재구성 오차와 보조 분류 손실을 결합한 공동 손실 함수를 사용하여 학습되며, 이를 통해 잠재 공간이 판별력을 유지하도록 합니다.

2단계: 품질 추정 및 데이터 정제

이 단계는 앙상블 기반 접근 방식을 통해 샘플 품질의 편차와 극심한 클래스 불균형 문제를 해결합니다.

앙상블 품질 추정(Ensemble Quality Estimation): 다섯 가지 상보적인 이상치 및 밀도 추정기(Isolation Forest, Local Outlier Factor, One-Class SVM, Variational Autoencoder, Masked Autoencoder for Density Estimation)가 각 클래스의 잠재 표현에 적합(fit)됩니다.
적응형 가중치 부여(Adaptive Weighting): 이 다섯 가지 모델의 출력은 정규화되어 단일 "호환성 점수"로 집계됩니다. 이 점수는 온도 제어 소프트맥스(temperature-controlled softmax)를 통해 클래스 정규화된 학습 가중치로 변 conversion되어, 모델이 고품질 샘플을 우선시하고 노이즈가 있거나 모호한 샘플의 가중치를 낮추도록 합니다.
다중 GAN 합성(Multi-GAN Synthesis): SMOTE와 같이 결정 경계를 흐리는 일반적인 방식과 달리, 클래스별로 구조적으로 구별되는 세 가지 GAN을 학습시켜 극심한 클래스 왜곡에 대응합니다:
- GAN-A (Shallow): 거친 입도의 분포를 포착합니다.
- GAN-B (Deep): 미세한 행동 구조를 포착합니다.
- GAN-C (Residual): 입력 노이즈를 보존하고 그래디언트를 안정화합니다.
엄격한 합의 필터링(Strict Consensus Filtering): GAN에 의해 생성된 합성 샘플은 엄격한 수락 테스트를 거칩니다. 앙상블 합의를 기반으로 안전 임계값을 초과하는 합성 잠재 벡터만이 학습 풀에 주입되어, 데이터가 "매니폴드 상(on-manifold)"에 머물도록 보장합니다.

3단계: 분류기 불가지론적 배포(Classifier-Agnostic Deployment)

프레임워크는 검증된 잠재 임베딩을 출력하며, 이는 "분류기 불가지론적(classifier-agnostic)"입니다. 이를 통해 보안 운영자는 특징 추출 파이프라인을 재학습시키지 않고도 다양한 다운스트림 분류기(예: 엣지 디바이스를 위한 경량 의사결정 포레스트 또는 중앙 서버를 위한 심층 신경망)를 플러그인 방식으로 연결할 수 있습니다.

3. 주요 기여

다중 척도 행동 시그니처: Tor의 고정된 패킷 크기 제한을 우회하기 위해 시간적, 위치적, 방향적 셀 임베딩을 융합하는 새로운 방법을 제시합니다.
앙상벨 기반 인스턴스 가중치 부여: 다섯 가지 이질적인 추정기를 사용하여 샘플 호환성을 계산함으로써, 노이즈가 있는 데이터에서도 학습 안정성을 확보하는 강력한 메커니즘을 제공합니다.
합의 게이트형 GAN 합성: 합성 데이터가 앙상블 합의에 의해 엄격하게 필터링되는 다중 생성기 합성 방식을 통해, 표준 오버샘플링 기법에서 흔히 발생하는 경계 희석 아티팩트의 유입을 방지합니다.
프라이버시 준수 아키텍처: 시스템은 DPI(Deep Packet Inspection)나 복호화 없이 관찰 가능한 메타데이터(타이밍, 위치, 방향)만을 사용하여 작동하므로 국제적인 프라이비시 규정을 준수합니다.

4. 실험 결과

본 프레임워크는 157개의 악성 바이너리와 양성 Tor 브라우저 플로로부터 인증된 트래픽을 포함하는 CCS'22 Tor 맬웨어 데이터셋에서 평가되었습니다.

자연 클래스 분포: 자연스러운 양성 대 악성 비율(~6.5:1) 하에서, MBRD-Tor은 73.70%의 F1-score를 달성했습니다. 이는 두 번째로 높은 성능을 보인 베이스라인(LightGBM)보다 15.53% 상대적 개선을 이루었으며, 다른 최신 딥러닝 및 전통적 머신러닝 모델들을 크게 상회합니다.
극심한 클래스 불균형: 악성 트래픽이 전체의 **1%**만 차지하는 시뮬레이션 환경에서, MBRD-Tor은 **21.1%의 재현율(recall)**과 33.3%의 F1-score를 유지했습니다. 반면, 일반적인 분류기들(LightGBM 및 AN-Net 포함)은 재현율이 10% 미만으로 떨어지며 소수 클래스에 대해 사실상 붕괴되었습니다.
절제 연구(Ablation Studies):
- 다중 척도 표현 레이어(1단계)를 제거했을 때 F1-score가 15.69% 하락하여, 타이밍-방향 의존성을 포착하는 것의 필요성을 확인했습니다.
- 특화된 GAN 합성을 표준 SMOTE 보간법으로 대체했을 때 F1-score가 7.76% 하락하고 정밀도(precision)가 크게 손실되었으며, 이는 합의 필터링된 합성 방식의 우월성을 입증합니다.

5. 의의 및 주장

본 논문은 MBRD-Tor이 이론적인 딥러닝 모델과 실제적인 Tor 트래픽 분석 제약 사이의 간극을 성공적으로 메운다고 주장합니다. 주요 의의는 표준 모델들이 완전히 붕괴되는 극심한 클래스 왜곡(1% 악성 트래픽) 환경에서도 높은 탐지 능력을 유지할 수 있다는 점에 있습니다.

단순히 복잡한 분류기를 학습시키는 것을 넘어 데이터의 품질과 표현을 향상시키는 데 집중함으로써, 본 프레임워크는 다음과 같은 모듈형 솔루션을 제공합니다:

강건성(Robust): Tor 셀의 균질화와 암호화된 트래픽의 노이즈에 탄력적입니다.
확장성(Scalable): 분류기 불가지론적 설계를 통해 다양한 하드웨어 제약(엣지 vs 중앙)에 따라 유연한 배포가 가능합니다.
프라이버시 보호(Privacy-Preserving): 복호화나 페이로드 검사 없이 위협을 탐지하여 사용자 익명성을 침해하지 않습니다.
새로움 인지(Novelty-Aware): 앙상블 호환성 점수를 통해 "알려지지 않은 이상 징후"를 플래그 처리할 수 있어, 제로 데이(zero-day) 위협 탐지 메커즘을 제공합니다.

저자들은 결론적으로 MBRD-Tor이 표준 딥러닝 모델이 소수 클래스 붕괴를 겪는 환경에서도 신뢰할 수 있고 고성능인 탐지 메커니즘을 제공한다고 밝히고 있습니다.