The Phish, The Spam, and The Valid: Generating Feature-Rich Emails for Benchmarking LLMs

논문 요약: PhishFuzzer 프레임워크 및 LLM 기반 이메일 보안 벤치마킹

1. 문제 제기 (Problem)

• LLM 을 활용한 공격의 진화: 사이버 범죄자들이 대규모로 고품질의 사기성 이메일 (피싱, 스팸) 을 생성하기 위해 대형 언어 모델 (LLM) 을 적극 활용하고 있습니다. 기존 규칙 기반 또는 정적 특징 (키워드, 발신자 평판 등) 을 사용하는 탐지 시스템은 LLM 이 재구성한 텍스트에 대해 성능이 급격히 저하됩니다.
• 데이터셋의 한계: 기존 공개된 이메일 데이터셋은 다음과 같은 심각한 결함을 가지고 있습니다.
  • 구식 데이터: 대부분 2010 년 이전에 수집되어 현대적인 AI 기반 캠페인의 언어적 품질과 구조적 정교함을 반영하지 못함.
  • 레이블 불명확: 피싱, 스팸, 정상 (Valid) 이메일을 명확히 구분한 3 클래스 레이블이 부재하거나, 공격자의 의도 (Intent) 가 누락됨.
  • 메타데이터 결여: 전체 URL 구조, 첨부파일 이름, 발신 도메인 등 중요한 구조적 메타데이터가 제거되거나 불완전함.
• 평가 기준 부재: 현대적인 LLM 기반 탐지 시스템을 평가할 수 있는 엄격하고 포괄적인 벤치마크 데이터셋이 부족함.

2. 방법론 (Methodology)

저자들은 PhishFuzzer라는 메타데이터가 풍부한 이메일 생성 프레임워크를 제안하며, 다음과 같은 4 단계 프로세스를 통해 데이터셋을 구축했습니다.

• Step 1: 시드 (Seed) 데이터셋 구축
  • 개인 큐레이션 (300 개): 익명화된 개인 및 기업 인박스에서 수집된 피싱, 스팸, 정상 이메일.
  • 공개 데이터 (3,000 개): 기존 공개 데이터셋 (SpamAssassin, Enron 등) 에서 추출.
  • 초기 상태: 공개 데이터는 URL 이 텍스트로만 존재하거나 첨부파일이 이진 플래그로만 기록되는 등 세밀한 메타데이터가 부족함.
• Step 2: LLM 벤치마킹 및 라벨 증강
  • 의도 (Intent) 식별: 99 개의 이메일에 대해 5 개의 LLM 을 테스트하여 공격자의 주된 의도 (링크 클릭, 첨부파일 열기, 답장 등) 를 정확히 식별하는 모델을 선정. (결과: Gemini-2.5-Flash가 가장 우수함)
  • 구조적 메타데이터 채우기: 누락된 URL 과 첨부파일 정보를 채우는 작업을 수행. 피싱의 경우 위장 도메인, 스팸/정상의 경우 실제 도메인을 생성하도록 프롬프트를 설계하여 현실성을 확보.
• Step 3: 라벨 풍부화 (Label Enrichment)
  • 선정된 LLM(Gemini-2.5-Flash) 을 사용하여 3,000 개의 공개 시드 이메일에 결측된 의도, URL, 첨부파일 정보를 채워 3,300 개의 구조적으로 일관된 시드 데이터셋을 완성.
• Step 4: 시딩 (Seeding) 을 통한 데이터셋 확장
  • 3,300 개의 시드 이메일을 템플릿으로 사용하여 6 개의 변형 (Synthetic Variants) 을 생성.
  • 변형 차원:
    1. 엔티티 (Entity): 실제 글로벌 기업 vs. 사실적인 가짜 기업.
    2. 길이 (Length): 짧은 (4-8 문장), 중간 (10-16 문장), 긴 (25-40 문장).
  • 최종적으로 23,100 개의 이메일 (3,300 개 시드 + 19,800 개 변형) 로 구성된 데이터셋을 완성.

3. 주요 기여 (Key Contributions)

1. PhishFuzzer 프레임워크: 실제 이메일을 템플릿으로 사용하여 구조적 일관성을 유지하면서 다양한 변형을 생성하는 LLM 기반 파이프라인.
2. PhishFuzzer 데이터셋:
   • 첫 번째 오픈 소스 3 클래스 데이터셋: 피싱, 스팸, 정상 (Valid) 을 명확히 구분.
   • 풍부한 메타데이터: 전체 URL, 첨부파일 이름, 발신자 정보 포함.
   • 공격자 의도 주석: 각 이메일의 공격 목적을 명시적으로 레이블링.
   • 규모: 3,300 개 실제 시드 + 19,800 개 합성 변형 (총 23,100 개).
3. 엄격한 LLM 벤치마킹: 최신 모델인 Qwen-2.5-72B와 Gemini-3.1-Pro를 대상으로 평가.
   • Basic 설정: 제목 + 본문만 제공.
   • Full 설정: 제목 + 본문 + 메타데이터 (URL, 발신자, 첨부) 제공.
4. 새로운 평가 지표 도입:
   • Task Success Rate (TSR): 템플릿별 변형들의 분류 정확도.
   • Confidence Index (Conf@K): 모든 변형에서 일관되게 정답을 맞춘 템플릿 비율.
   • Total Flip Score (TFS@K): 모든 변형에서 실패한 템플릿 수 (모델의 맹점 식별).

4. 실험 결과 (Results)

• 모델 성능 비교:
  • Gemini-3.1-Pro: unseen 데이터 (미처 보지 못한 데이터) 와 언어적 변형 (Rephrasing) 에 대해 더 높은 견고성 (Robustness) 을 보임. 의미론적 논리를 잘 파악하여 일관된 분류를 수행.
  • Qwen-2.5-72B: 공개 데이터셋에서는 잘 작동했으나, 비공개/합성 데이터에서는 성능이 저하되는 등 데이터 오염 (Data Contamination) 징후를 보임.
• 메타데이터의 영향 (핵심 발견):
  • 피싱 탐지 향상: 메타데이터 (URL, 발신자 등) 를 추가하면 피싱 탐지 정확도가 크게 향상됨 (Gemini 의 F1 점수 0.939 → 0.958).
  • 스팸 탐지 저하 (Trade-off): 메타데이터가 추가되면 오히려 스팸을 정상 (Valid) 으로 잘못 분류하는 오류가 급증함. 이는 스팸과 정상 이메일 간의 모호한 경계에서 메타데이터가 모델의 민감도를 떨어뜨리기 때문임.
  • 전체적 F1 점수 하락: 피싱 탐지는 좋아졌으나, 스팸 탐지 실패로 인해 전체 Macro F1 점수는 오히려 감소함.
• 시스템적 실패 모드 (Systematic Failures):
  • 두 모델 모두 스팸과 정상 이메일을 구분하는 데 본질적인 어려움을 겪음. 현대의 스팸 필터가 '프로모션', '업데이트' 등 하위 카테고리로 나누는 것처럼, LLM 도 이 경계를 명확히 구분하지 못함.
  • 일부 피싱 이메일은 메타데이터가 있어도 여전히 탐지 실패 (Blind Spots) 를 보임.

5. 의의 및 결론 (Significance & Conclusion)

• 차세대 보안 시스템 평가의 토대: 이 연구는 LLM 기반 이메일 보안 시스템을 평가하기 위해 구조적 메타데이터와 공격자 의도가 포함된 대규모 고품질 데이터셋을 처음으로 제공했습니다.
• 메타데이터의 양면성: 메타데이터는 피싱 탐지에는 필수적이지만, 스팸과 정상 이메일의 경계를 흐리게 만들어 전체적인 분류 성능을 저하시킬 수 있음을 입증했습니다.
• 향후 방향:
  • 단순한 LLM 추론뿐만 아니라, 휴리스틱 필터와 결합된 하이브리드 아키텍처의 필요성 제기.
  • 기존 공개 데이터셋의 인간 레이블 오류를 수정하고, 스팸/정상 분류의 주관성을 고려한 새로운 평가 기준 마련 필요.
  • 피싱, 스팸, 정상을 모두 아우르는 3 클래스 분류를 위한 정교한 모델 개발 필요.

이 논문은 LLM 기반 이메일 공격에 대응하기 위해 단순한 텍스트 분석을 넘어, 구조적 메타데이터와 공격 의도를 통합한 종합적인 접근법의 중요성을 강조하며, 향후 연구와 시스템 개발을 위한 엄격한 벤치마크를 제시했습니다.