Improving DNS Exfiltration Detection via Transformer Pretraining

이 논문은 도메인 특화 사전 학습을 통해 BERT 모델의 성능을 향상시켜, DNS 유출 탐지 시 낮은 오탐률에서 재현율과 ROC 곡선 왼쪽 꼬리 영역을 개선할 수 있음을 보여줍니다.

핵심

🕵️‍♂️ 1. 문제 상황: "가짜 편지"를 구별하기 힘든 이유

인터넷에서 데이터를 훔쳐내는 해커들은 종종 DNS(도메인 이름 시스템)라는 통로를 이용합니다. 마치 우편물을 보내듯, 해커는 악성 데이터를 작은 조각으로 잘게 나누어 '도메인 이름'에 숨겨서 보냅니다.

• 기존 방식: 과거의 보안 프로그램들은 "이 이름이 너무 길다", "숫자가 너무 많다", "문자 구성이 이상하다" 같은 단순한 규칙으로만 판단했습니다.
• 한계: 해커들은 이제 이 규칙들을 속일 수 있게 되었습니다. 마치 "가짜 편지"를 보낼 때, 진짜 우편물처럼 자연스럽게 보이는 것처럼요. 그래서 기존 프로그램은 해커를 놓치거나, 반대로 정상적인 트래픽을 잘못 잡아채는 (오경보) 일이 잦아졌습니다.

🧠 2. 새로운 해결책: "전문가 훈련" (BERT 모델)

연구진은 이 문제를 해결하기 위해 AI(Transformer/BERT)를 도입했습니다. 여기서 핵심은 **"어디서 배웠느냐"**입니다.

• **일반적인 AI **(무작위 초기화) 아무것도 모르는 신입 사원에게 "이게 해커인지 아닌지 찾아봐"라고 시키는 것과 같습니다. 처음부터 모든 것을 새로 배워야 하므로 시간이 많이 걸리고 실수도 많습니다.
• **이 연구의 AI **(도메인 특화 사전 학습) 먼저 수십만 개의 '정상적인 인터넷 주소'와 '해커 주소' 데이터를 읽게 한 뒤, 그다음에 "해커 찾기" 임무를 줍니다.
  • 비유: 마치 특수 요원 훈련을 시키는 것과 같습니다. 먼저 수만 장의 '가짜 지폐'와 '진짜 지폐'를 구별하는 훈련 (사전 학습) 을 시킨 후, 실제 사기 사건 (해커 탐지) 에 투입하는 것입니다.

🔬 3. 실험 방법: "공정한 시험"

연구진은 매우 치밀하게 실험을 설계했습니다.

1. 데이터 준비: 실제 통신사 (ISP) 의 DNS 로그와 해커가 만든 데이터를 섞었습니다.
2. 공정한 비교:
   • A 그룹: 아무것도 모르는 AI (무작위 초기화).
   • B 그룹: 인터넷 주소 데이터로 미리 훈련받은 AI (도메인 특화).
   • C 그룹: 다른 종류의 데이터 (웹 크롤링 데이터) 로 훈련받은 AI.
3. 엄격한 규칙: "오경보 (정상인을 해커로 오인) 는 0.1% 이하로만 허용한다"는 조건을 정하고, 두 그룹이 이 조건에서 얼마나 많은 해커를 잡아내는지 (민감도) 를 비교했습니다.

🏆 4. 놀라운 결과

결과적으로 **B 그룹 **(도메인 특화 AI)이 압도적으로 잘했습니다.

• 정밀도: 오경보 (정상인을 잡는 것) 는 거의 늘리지 않으면서, 해커를 잡아내는 능력은 훨씬 뛰어났습니다.
• 데이터가 적을수록 효과 큼: 해커 데이터 (레이블) 가 아주 적을 때 (예: 전체 데이터의 10%) 도, 미리 훈련받은 AI 는 신입 AI 보다 훨씬 잘했습니다.
  • 비유: "해커 데이터가 별로 없어도, 미리 '해커의 말투'를 익혀둔 전문가가 신입사원보다 훨씬 빠르게 적을 찾아냅니다."
• 훈련 시간: 더 많은 데이터로 더 오래 훈련할수록 (75,000 단계 vs 37,500 단계) 성능이 더 좋아졌는데, 특히 해커 데이터가 충분할 때 그 차이가 극명했습니다.

💡 5. 결론 및 시사점

이 연구는 **"해커를 잡으려면, 해커가 쓰는 언어 **(도메인 이름)라는 것을 증명했습니다.

• 핵심 메시지: 단순히 규칙을 정하는 것보다, AI 가 인터넷 주소의 '자연스러운 흐름'을 먼저 익히게 하면, 아주 미묘한 해커의 흔적도 놓치지 않게 됩니다.
• 실제 적용: 이 기술을 쓰면, 정상적인 인터넷 사용자는 불편함 없이 (오경보 감소) 해커만 정확하게 걸러낼 수 있어, 보안 시스템이 훨씬 똑똑하고 효율적으로 작동하게 됩니다.

한 줄 요약:

"해커를 잡는 보안 요원을 뽑을 때, 아무것도 모르는 신입보다 인터넷 주소에 대해 미리 공부한 전문가를 뽑는 것이 훨씬 효과적이고, 특히 해커 데이터가 적을 때 그 차이가 극명합니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 도메인 이름 시스템 (DNS) 은 데이터 유출 (Exfiltration) 에 흔히 사용되는 은밀한 채널입니다. DNS 쿼리는 네트워크 경계를 통과하며 인증이 약하기 때문입니다.
• 기존 방법의 한계:
  • 기존 탐지기는 주로 수동으로 설계된 특징 (문자열 길이, 엔트로피, 레이블 수 등) 이나 스트리밍 통계를 사용합니다.
  • 이러한 방법은 고 throughput 유출은 잘 탐지하지만, adversaries 가 정상적인 통계적 특성을 모방하는 저속 (Slow) 및 저빈도 터널링 공격에는 취약합니다.
  • 최근 연구들은 GAN 등을 이용해 정상적인 통계 특성을 모방한 악성 DNS 문자열을 생성하여 기존 특징 기반 탐지기의 정확도를 떨어뜨리는 것을 보여줍니다.
• 연구 질문: "도메인 특화 (In-domain) 된 마스킹 언어 모델링 (MLM) 을 통해 BERT 인코더를 사전 학습 (Pretraining) 하는 것이, 무작위 초기화 (Randomly Initialized) 된 모델을 학습시키는 것보다 DNS 유출 탐지 성능을 인과적으로 개선하는가?"

2. 방법론 (Methodology)

연구진은 사전 학습의 효과를 고립시키기 위해 엄격하게 통제된 파이프라인을 구축했습니다.

A. 데이터 처리 및 구성

• 데이터 소스:
  • Dataset A (ISP 로그): 세르비아의 한 ISP 에서 수집한 24 시간 DNS 요청 로그 (정상 + 제어된 유출 시뮬레이션 데이터 포함).
  • Dataset B (Duck's Party): 월간 웹 크롤링으로 수집된 서브도메인 데이터.
• 전처리:
  • MLM 사전 학습: 문자열 수준에서 중복 제거 (Deduplication) 수행.
  • 분류 학습 (Fine-tuning): Dataset A 사용. 중요: 학습 세트는 실제 배포 환경을 반영하기 위해 중복 데이터를 유지하여 빈도 분포를 보존하고, 검증/테스트 세트는 문자열 수준에서 중복 제거하여 모델의 일반화 능력을 측정합니다.
• 평가 지표:
  • 극심한 클래스 불균형으로 인해 ROC 곡선의 왼쪽 꼬리 (Low-FPR 영역) 에 초점을 맞춤.
  • FPR 1% 및 0.1% 에서의 Recall (Recall@τα): 고정된 임계값에서의 탐지율.
  • 부분 AUC (pAUC): FPR 0~α 구간에서의 정규화된 부분 AUC.
  • 보정 (Calibration): Brier score 사용.
  • Frozen Operating Points: 검증 세트에서 FPR 목표치 (α) 를 만족하는 임계값을 결정하고, 이를 변경 없이 테스트 세트에 적용하여 편향을 방지합니다.

B. 모델 아키텍처 및 학습 설정

• 모델: 문자 단위 (Character-level) BERT 인코더 (12 레이어, hidden size 768).
• 학습 단계:
  1. 사전 학습 (Pretraining): Dataset A(도메인 일치) 또는 Dataset B(도메인 불일치) 에서 MLM 태스크 수행. (37.5k, 75k 스텝).
  2. 파인튜닝 (Fine-tuning): 이진 분류 태스크 (유출/정상).
• 실험 설계 (Ablation Study):
  • 기저선 (Baseline): 무작위 초기화 된 모델.
  • 제어 조건: 사전 학습 모델과 무작위 초기화 모델이 동일한 수의 그래디언트 업데이트 (Gradient updates) 를 받도록 학습 스텝을 조정하여, 사전 학습 자체의 효과를 분리해 냄.
  • 라벨 효율성: 학습 데이터의 라벨 비율 (10%, 25%, 50%, 100%) 을 변화시켜 사전 학습의 효과를 검증.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 도메인 일치 사전 학습의 효과

• 성능 향상: 도메인 일치 (Dataset A) 로 사전 학습된 모델 (PT-37.5k) 은 무작위 초기화 모델보다 ROC 곡선 왼쪽 꼬리 (저 FPR 영역) 에서 유의미한 성능 향상을 보였습니다.
  • Recall@0.1%: 0.9926 (사전 학습) vs 0.9853 (무작위).
  • pAUC@0.1%: 0.9830 vs 0.9790.
  • 보정 (Calibration): 사전 학습 모델이 더 낮은 Brier score 를 기록하여 확률 추정치가 더 정확함을 보임.
• 도메인 불일치의 한계: 다른 도메인 (Dataset B) 에서 사전 학습된 모델 (HF-PT) 은 무작위 초기화 모델보다 성능이 낮거나 비슷하여, 도메인 일치 (Domain Match) 의 중요성을 강조했습니다.

B. 라벨 효율성 (Label Efficiency)

• 라벨 부족 시 효과 극대화: 라벨이 부족한 상황 (10% ~ 50%) 에서 사전 학습의 이점이 가장 두드러졌습니다.
  • 특히 10% 라벨 조건에서는 FPR 1% 기준에서 True Positive 13 개 증가 (대신 False Positive 223 개 증가) 하는 트레이드오프가 있었으나, 전반적인 pAUC 는 크게 향상되었습니다.
  • 25%~50% 라벨 조건에서는 Recall 증가와 동시에 FPR 감소라는 이상적인 향상을 보였습니다.
• 전체 데이터 (100%): 라벨이 충분할 때도 사전 학습 모델이 우세했으나, 그 격차는 라벨이 적을 때보다 작았습니다.

C. 사전 학습 예산 (Pretraining Budget) 확장

• 스텝 수 증가: 사전 학습 스텝을 37.5k 에서 75k 로 늘렸을 때, 라벨이 풍부한 환경 (100% 라벨) 에서 하류 태스크의 성능이 명확히 향상되었습니다.
• 라벨 부족 시: 라벨이 매우 적을 때 (10%) 는 스텝 수 증가의 효과가 불명확하거나 혼합된 결과를 보였습니다. 이는 라벨 부족이 검증/테스트 간의 FPR 차이 (Threshold transfer) 에 큰 영향을 미치기 때문입니다.

4. 의의 및 결론 (Significance & Conclusion)

• 핵심 결론: 도메인 특화 된 문자 단위 BERT 의 MLM 사전 학습은 DNS 유출 탐지, 특히 매우 낮은 오경보율 (Low FPR) 을 요구하는 환경에서 무작위 초기화 모델 대비 우월한 성능을 제공합니다.
• 실용적 가치:
  • 라벨 효율성: 악성 DNS 탐지를 위한 라벨링 비용이 높은 상황에서, 소량의 라벨 데이터로도 강력한 탐지 모델을 구축할 수 있는 효율적인 경로를 제시합니다.
  • 신뢰성: 사전 학습을 통해 모델의 보정 (Calibration) 능력이 향상되어, 탐지 확률의 신뢰도가 높아졌습니다.
• 제언: DNS 유출 탐지와 같은 특정 도메인 작업에서는 대규모 범용 모델보다는 소규모 도메인 데이터에 맞춘 자기지도 학습 (Self-supervised learning) 이 더 효과적일 수 있음을 증명했습니다.

이 논문은 기존 특징 공학 (Feature Engineering) 에 의존하던 접근법에서 벗어나, 도메인 지식을 사전 학습에 통합함으로써 저속 및 은밀한 DNS 유출 공격을 탐지하는 새로운 패러다임을 제시합니다.