기술 요약: 머신러닝 기반 피싱 탐지 시스템의 컨셉 드리프트(Concept Drift) 영향 평가 및 대응 방안

1. 문제 정의

본 논문은 머신러닝(ML) 기반 피싱 탐지 시스템이 **컨셉 드리프트(concept drift)**에 취약하다는 점을 다룬다. 피싱 기법이 기존 필터를 우회하기 위해 급격히 진화함에 따라, 피싱 데이터의 통계적 분포($P(x, y)$)가 시간에 따라 변화하며, 이로 인해 과거 데이터로 학습된 모델의 성능이 저하된다. 머신러닝 방법론들이 초기에는 높은 정확도를 달나지만, 공격자들이 적응함에 따라 모델은 종종 무용지물이 된다. 기존의 해결책들은 빈번한 재학습이나 하이브리드 접근 방식에 의존하는 경우가 많으나, 이는 지속적으로 진화하는 공격 벡터를 완전히 해결하지 못할 수 있다. 저자들은 랜섬웨어 탐지(예: FeSAD 프레임워크)에서 성공적으로 적용되었던 수학적 프레임워크를 피싱 영역에 적용하여, 지속적인 재학습 없이도 이러한 드리프트 효과를 완화할 수 있는 공백을 식별하였다.

2. 방법론

저자들은 표준 머신러닝 분류기와 병행하여 작동하며 컨셉 드리프트를 탐지하고 보상할 수 있도록 설계된 통계적 프레임워크를 제안한다. 이 방법론은 다음과 같은 핵심 구성 요소로 이루어져 있다.

2.1 특징 선택 (Feature Selection)

정보 이득(information-gain)이 높은 특징을 선택하기 위해 수정된 **유전 알고리즘(genetic algorithm)**이 사용된다. 이 과정은 드리프트 값(drift values)을 훈련 데이터에 대해 계산하여 허용 가능한 수준과 비정상적인 수준의 드리프트를 구분함으로써, 컨셉 드리프트에 강건한 특징 집합을 식별하는 것을 목표로 한다.

2.2 드리프트 계산 지표 (Drift Calculation Metrics)

프레임워크는 수학적 거리 지표와 알고리즘 예측 확률을 결합하여 "샘플 드리프트"를 계산한다.

• 거리 비율 ($dist_i$): **이종 유클리드 중첩 메트릭(Heterogeneous Euclidean Overlap Metric, HEOM)**을 사용하여 샘플의 악성(피싱) 샘플과의 거리 대 정상(benign) 샘플과의 거리 비율을 측정한다. HEOM은 연속형 및 명목형 속성을 모두 처리할 수 있어 선택되었다.
  • $dist_m$: 악성 샘플까지의 평균 거리.
  • $dist_b$: 정상 샘플까지의 평균 거리.
  • $dist_i = dist_m / dist_b$.
• 예측 가중치 (Prediction Weights): 샘olog의 예측 확률을 해당 클래스의 훈련 세트 내 평균 오답 예측 확률로 나누어 가중치($w_m, w_b$)를 계산한다.
• 가중 거리 (Weighted Distance): 거리 비율과 예측 가중치를 결합하여, 분류기가 확신할 때 클래스 간 분리도를 높이는 메트릭($dw$)을 생성한다.

2.3 드리프트 임계값 및 캘리브레이션 (Drift Thresholds and Calibration)

시스템은 드리프트를 분류하기 위한 임계값을 설정한다.

• 기대 드리프트 ($D_e$): 캘리브레이션 세트를 사용하여 분포 간(예: 훈련 데이터 vs 최신 데이터)의 정상적인 드리프트 범위를 결정한다.
• 드리프트 경계 ($D_{max}$): 올바른 분류의 평균 가중 거리와 잘못된 분류의 평균 가중 거리 사이의 중간 지점으로 정의된다. 샘플의 드리프트가 $D_{max}$를 초과하면 오분류로 간주되어 재평가된다.
• 비정상 드리프트 (Abnormal Drift): 기대 임계값은 초과했으나 최대 경계 내에 있는 샘플은 플래그가 지정된다. 사용자 정의 수($z$)만큼 이러한 샘플이 축적되면 시스템은 재학습 알림을 트리거한다.

2.4 실험 설정

• 데이터셋: 컨셉 드리프트를 시뮬레이션하기 위해 2016년부터 2024년까지의 피싱 데이터셋을 활용한다. 비례적인 테스트를 보장하기 위해 각 데이터셋에서 약 10,000개의 샘플을 추출하였다.
• 알고리즘: 세 가지 분류기를 테스트하였다: 랜덤 포레스트(Random Forest), 베이지안 네트워크(Bayesian Network), 다층 퍼셉트론(MLP).
• 구성: 프레임워크는 WEKA API를 사용하여 Java로 구현되었다. 실험은 오래된 데이터(예: 2016년)로 학습하고 새로운 데이터(예: 2021년, 2024년)로 테스트하여 성능 저하와 회복을 측정하는 방식으로 진행되었다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장한다.

1. 피싱 분야에 대한 통계적 프레임워크 적용: 저자들은 랜섬웨어 도메인에서 사용된 수학적 프레임워크(FeSAD와 유사)를 피싱 탐지에 적응시켰으며, 이것이 컨셉 드리프트 상황에서 ML 탐지 시스템의 수명을 연장할 수 있다고 가설을 세웠다.
2. 컨셉 드리프트의 정량화: 프레임워크는 드리프트를 정량화하기 위한 수치 값을 도출하여, 데이터셋의 품질과 특징의 강건성을 평가할 수 있게 한다. 이는 진화에도 불구하고 어떤 특징이 정상 URL과 피싱 URL 사이의 구별 가능한 차이를 가장 잘 제공하는지 식별한다.
3. 드리프트 발생 시 성능 향상: 유사도 지수(HEOM)를 분류 알고리즘과 결합하는 것이 모델이 진화된 피싱 샘플에 노출되었을 때 탐지율을 높이고 오탐률(False Positive Rate)을 줄일 수 있음을 입증한다.

4. 결과

실험을 통해 다음과 같은 결과가 도출되었다.

• 베이스라인 저하: 프레임워크 없이 테스트했을 때, 새로운 데이터에 대한 탐지율이 크게 저하되었다. 예를 들어, 랜덤 포레스트의 탐지율은 86.3%(2016년 데이터)에서 78.4%(2021년 데이터)로 떨어졌으며, 오탐률(FPR)은 10.8%에서 16.9%로 증가했다.
• 프레임워크 효능:
  • 랜덤 포레스트: 프레임워크는 모든 시나리오에서 일관되게 성능을 개선했다. 2016년 데이터로 학습하고 2024년 데이터로 테스트했을 때, 프레임워크 적용 시 탐지율은 약 74.1%를 유지했다(프레임워크 미적용 시 56.9%). 또한 FPR은 19.3%에서 10.3%로 감소했다.
  • 기타 알고리즘: 프레임워크는 베이지안 네트워크와 MLP, 특히 심각한 성능 저하가 발생하는 시나리오에서 유의미한 개선을 보였다. 예를 들어, 베이지안 네트워크의 2024년 데이터 탐지율은 프레임워크 적용 시 56.9%에서 74.2%로 향상되었다.
  • 비정상 드리프트 감소: 캘리브레이션 구성 요소를 통해 "비정상"으로 플래그가 지정된 샘플의 수가 약 45% 감소하였으며, 이는 시스템이 정상적인 진화와 실제 이상치를 성공적으로 구분했음을 나타낸다.
• 데이터셋 품질 평가: 프레임워크는 세 가지 외부 데이터셋(Kaggle, Maribor, Badji Mokhtar)의 통계적 구별 가능성을 평가하는 데 사용되었다. Maribor 데이터셋은 정상 샘플과 피싱 샘플 간의 드리프트 차이가 1.17로 가장 높게 나타났으며, 이는 가장 높은 성능 향상(랜덤 포레스트 탐지율이 93.9%에서 97.8%로 상승)과 상관관계가 있었다.

5. 의의 및 주장

저자들은 본 연구가 유사도 지수를 ML 분류기와 결합하여 컨셉 드리프트에 대한 피싱 탐지 시스템을 강화할 수 있다는 타당성을 보여준다고 겸허히 주장한다.

• 수명 연장: 프레임워크는 탐지 시스템이 즉각적인 재학습 없이도 서로 다른 데이터 분포(시간대)에 대해 일관된 성능을 유지할 수 있도록 한다.
• 데이터셋 통찰: 드리프트 메트릭은 개별 ML 알고리즘의 확신도와 독립적으로, 피싱 데이터셋의 품질과 특정 특징의 강건성을 평가할 수 있는 객관적이고 통계적인 방법을 제공한다.
• 한계점: 논문은 프레임워크가 탐지율을 개선하지만, 모든 경우에서 높은 오탐률 문제를 완전히 해결하지는 못한다는 점을 인정한다. 저자들은 URL 기반 접근 방식 자체에 시간이 흐름에 따라 진화하는 오탐에 대한 내재적 한계가 있을 수 있다고 제안한다.

결론적으로, 본 논문은 수학적 프레임워크가 피싱 탐지에서의 컨셉 드리프트 영향을 효과적으로 완화할 수 있으며, 재학습이 필요한 시점을 식별하고 기존 ML 모델의 강건성을 개선하는 메커니즘을 제공한다고 주장한다.