AI Powered Image Analysis for Phishing Detection

논문 요약: AI 기반 이미지 분석을 통한 피싱 탐지

1. 연구 배경 및 문제 정의 (Problem Statement)

• 진화하는 피싱 공격: 최근 피싱 공격자들은 텍스트나 URL 기반의 필터링을 우회하기 위해 로고, 색상, 레이아웃 등을 정교하게 모방하는 시각적 기만 (Visual Imitation) 방식을 주로 사용합니다.
• 기존 방법의 한계: 기존의 텍스트 분석이나 URL 기반 탐지 시스템은 이러한 시각적 변형을 식별하지 못해 탐지율이 떨어집니다.
• 연구의 공백: 기존 이미지 기반 피싱 탐지 연구들은 대부분 '정확도 (Accuracy)'에만 집중하고 있습니다. 그러나 불균형한 데이터셋 (정상 사이트가 피싱 사이트보다 훨씬 많음) 에서는 정확도가 실제 성능을 왜곡할 수 있습니다. 또한, **결정 임계값 (Decision Threshold)**에 따른 모델의 민감도 변화나 실제 배포 환경에서의 정밀도 (Precision) 와 재현율 (Recall) 의 균형을 고려한 분석이 부족합니다.
• 목표: 시각적 기만 공격에 효과적이고, 실제 배포 환경 (실제 운영 조건) 을 반영한 임계값 인식 (Threshold-aware) 평가 체계를 갖춘 딥러닝 기반 이미지 분석 프레임워크를 개발하는 것입니다.

2. 방법론 (Methodology)

이 연구는 웹페이지 스크린샷을 입력으로 사용하는 엔드 - 투 - 엔드 (End-to-End) 프레임워크를 구축했습니다.

• 데이터 수집 및 전처리:

  • 데이터셋 구성: OpenPhish 의 최신 URL 피드를 기반으로 Playwright 를 이용해 자동 스크래핑하여 18,432 개의 스크린샷을 확보하고, 기존 PhishIRIS 데이터셋 (10,444 개) 과 결합하여 총 28,876 개의 레이블된 이미지를 구성했습니다.
  • 전처리: 모든 이미지를 224x224 픽셀로 리사이징하고, 중복 및 손상된 이미지를 제거했습니다.
  • 데이터 증강 (Augmentation): 무작위 수평 뒤집기, 밝기 조절 (±15%), 가우시안 블러, 무작위 크롭 등을 적용하여 데이터 다양성을 높였습니다.
  • 분할: 학습 (80%), 검증 (10%), 테스트 (10%) 세트로 균등하게 분할했습니다.

• 모델 선정 및 학습:

  • 비교 대상 모델:
    1. ConvNeXt-Tiny: 현대적인 CNN 아키텍처로, 로고, 레이아웃, 임베딩된 텍스트 등 국소적 (Local) 시각적 특징을 포착하는 데 강점이 있습니다.
    2. Vision Transformer (ViT-Base): 자기 주의 (Self-attention) 메커니즘을 통해 웹페이지의 전역적 (Global) 구조와 문맥을 이해하는 데 강점이 있습니다.
  • 학습 방식: ImageNet 으로 사전 학습된 가중치를 활용한 **전이 학습 (Transfer Learning)**을 적용하여 학습 효율성을 높였습니다. 손실 함수로 이진 교차 엔트로피 (Binary Cross-Entropy) 를, 옵티마이저로 Adam 을 사용했습니다.

• 평가 지표 및 임계값 최적화:

  • 단순 정확도 대신 정밀도 (Precision), 재현율 (Recall), F1-Score를 주요 지표로 사용했습니다.
  • 다양한 **결정 임계값 (0.1~0.9)**을 테스트하여 실제 배포 환경에서 정밀도와 재현율의 균형을 최적으로 맞추는 지점을 도출했습니다.

3. 주요 기여 (Key Contributions)

1. 임계값 인식 평가 체계: 실제 배포 조건을 반영하기 위해 다양한 임계값에서의 정밀도, 재현율, F1-Score 변화를 체계적으로 분석하는 방법론을 제시했습니다.
2. 아키텍처 비교 분석: 동일한 실험 환경 하에서 CNN 기반 모델 (ConvNeXt-Tiny) 과 Transformer 기반 모델 (ViT-Base) 의 성능, 효율성, 임계값 안정성을 비교하여 시각적 피싱 탐지에 적합한 아키텍처에 대한 통찰을 제공했습니다.
3. 오픈 소스 데이터셋: 연구에 사용된 커스터마이징된 웹페이지 스크린샷 데이터셋을 공개하여 재현성 확보와 후속 연구를 장려합니다.
4. 실용적인 프레임워크: 데이터 수집부터 모델 학습, 임계값 튜닝까지의 전체 파이프라인을 제시하여 실제 시스템 구축에 필요한 가이드를 제공합니다.

4. 실험 결과 (Results)

• 성능 비교:
  • ConvNeXt-Tiny: 최적의 임계값 (0.8) 에서 F1-Score 0.992를 기록하며 가장 우수한 성능을 보였습니다. 정밀도 (0.997) 와 재현율 (0.984) 모두 매우 높았으며, 임계값 변화에 따른 성능 변동이 완만하여 안정성이 뛰어났습니다.
  • ViT-Base: 전체적으로 양호한 성능을 보였으나, 최적 임계값 (0.8) 에서 F1-Score 는 0.900 으로 ConvNeXt-Tiny 보다 낮았습니다. 특히 재현율 (0.880) 이 상대적으로 낮아 피싱 사이트를 놓치는 경우가 더 많았습니다.
• 계산 효율성:
  • ConvNeXt-Tiny 는 ViT-Base 에 비해 파라미터 수가 적고 구조가 단순하여 추론 비용 (Inference Cost) 이 낮고 실시간 배포에 더 적합합니다.
• 임계값 분석:
  • 임계값을 높이면 정밀도는 증가하지만 재현율은 감소하는 경향을 보였습니다. ConvNeXt-Tiny 는 임계값 0.8 에서 두 지표의 균형이 가장 잘 잡혀 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• CNN 의 우위 재확인: 시각적 피싱 탐지 (로고, 레이아웃 모방 등) 에 있어 Transformer 보다는 CNN 기반 모델 (ConvNeXt-Tiny) 이 더 효과적이고 효율적임을 입증했습니다. 이는 로컬 특징 추출이 시각적 위조 탐지에 핵심임을 시사합니다.
• 실제 배포 가능성: 단순한 '정확도' 보고를 넘어, 임계값 튜닝을 통해 오경보 (False Positive) 와 누락 (False Negative) 사이의 균형을 조절할 수 있음을 보여주었습니다. 이는 보안이 최우선인 환경과 사용자 경험이 중요한 환경 등 다양한 시나리오에 모델을 적용할 수 있는 유연성을 제공합니다.
• 향후 연구 방향: 공개된 데이터셋을 기반으로 한 벤치마킹, CNN 과 Transformer 의 하이브리드 모델 연구, 그리고 새로운 피싱 패턴을 시뮬레이션한 데이터셋 구축 등을 통해 시스템의 강건성을 더욱 강화할 계획입니다.

이 논문은 이미지 기반 피싱 탐지 시스템이 이론적 정확도를 넘어, 실제 운영 환경에서 신뢰할 수 있도록 설계되고 평가되어야 함을 강조하는 중요한 연구입니다.