기술 요약: 제로샷 및 퓨샷 피싱 URL 탐지를 위한 대규모 언어 모델 벤치마킹

문제 정의

피싱 공격은 생성형 AI를 활용하여 맥락을 인지하고 기만적인 URL을 생성하는 정교한 사이버 보안 위협으로 진화했으며, 이는 사용자와 전통적인 탐지 도구가 구분하기 어렵게 만들고 있습니다. HTTPS와 같은 반응형 보호 조치가 존재하지만, URL 구조 자체에는 보안이나 사기 방지에 대한 내재적인 메커니즘이 부족합니다. 블랙리스트나 수작업으로 제작된 렉시컬 특징(lexical features)에 의존하는 전통적인 탐지 시스템은 사전 지식에 대한 의존성 때문에 새롭게 생성되거나 변조된 URL을 식별하는 데 어려움을 겪습니다. 또한, 2022년 이후 4,000%의 급격한 규모 증가로 입증된 피싱 전술의 가속화는 지도 학습에 필요한 레이블링된 데이터의 생산 속도를 앞지르고 있습니다. 이는 최소한의 감독 하에서도 미지의 사례나 적대적 사례에 일반화할 수 있는 탐지 방법에 대한 절실한 필요성을 창출합니다.

방법론

저자들은 세 가지 독점적 대규모 언어 모델(LLM)—GPT-4o(OpenAI), Claude-3.7-sonnet-20250219(Anthropic), Grok-3-Beta(xAI)—를 피싱 URL 분류 작업에 대해 평가하는 종합적인 벤치마크를 제시합니다. 본 연구는 제로샷(zero-shot) 및 퓨샷(few-shot) 설정 모두에서 성능을 평가하기 위해 통일된 프롬프트 프레임워크를 활용합니다.

실험 설정

• 데이터셋: 평가는 PhiUSIIL 피싱 URL 데이터셋을 사용합니다.
  • 균형 평가(Balanced Evaluation): 무작위 샘플링을 사용하여 10,000개의 URL(피싱 5,000개, 정상 5,000개)로 구성된 코퍼스를 구축했습니다.
  • 불균형 평가(Imbalanced Evaluation): 실제 세계의 클래스 분포를 시뮬레이션하기 위해 피싱 비율이 1%와 10%인 1,000개의 URL 테스트 세트를 생성했습니다.
• 프롬프트 구성:
  • 제로샷 ($P_{ZS}$): 작업 지침($I$)과 쿼리($Q(u)$)로 구성됩니다. 지침은 모델을 사이버 보안 전문가로 정의하고 이진 응답(피싱은 0, 정상은 1)을 요청합니다.
  • 퓨샷 ($P_{FS}$): 지침, 쿼리, 그리고 예시 세트($E$)를 포함합니다. 균형 실험에서는 6개의 예시(피싱 3개, 정상 3개)가 사용되었습니다. 불균형 실험에서는 예시의 수가 다양하게(1, 3, 또는 9개) 변동되었습니다.
• 추론(Inference): 모든 모델은 공식 API를 통해 온도(temperature) 0, 최대 출력 10 토큰으로 접근되었습니다. 응답은 이진 예측을 추출하기 위해 파싱되었습니다.
• 지표: 성능은 정확도(Accuracy), 매크로 평균 정밀도(Macro-averaged Precision), 재현율(Recall), F1-score, AUROC, AUPRC의 6가지 지표를 통해 정량화되었습니다.

주요 기여

본 논문은 사이버 보안 및 AI 연구 커뮤니티에 세 가지 주요 기여를 합니다:

1. 통합 벤치마크: 여러 모델에 걸쳐 제로샷 및 퓨샷 능력을 비교함으로써, 피싱 URL 탐지를 위한 지시어 튜닝된(instruction-tuned) 독점적 LLM에 대한 표준화된 벤치마크를 구축합니다.
2. 통제된 평가: 데이터셋이나 지표가 서로 달랐던 기존 문헌의 불공정한 비교 문제를 해결하기 위해, 일관된 모델 불가지론적(model-agnostic) 프롬프트 설계를 사용하여 균형 잡힌 데이터셋에서 모델을 평가합니다.
3. 재현성: 추가 연구와 재현성을 촉진하기 위해 저자들은 코드베이스를 공개합니다.

실험 결과

균형 데이터셋 (10,000개 URL)

6개의 예시를 사용하는 퓨샷 프롬프팅은 모든 모델에서 제로샷 베이스라인에 비해 성능을 크게 향 향상시켰습니다.

• Grok-3-Beta는 퓨샷 설정에서 가장 우수한 성능을 보이며 가장 높은 정확도(0.9405), 정밀도(0.9492), F1-score(0.9399), AUROC(0.9405), AUPRC(0.9573)를 달성했습니다. 이 모델은 정밀도-재현율 트레이드오프에서 주목할 만한 변화를 보여, 재현율을 약간 감소시키는 대신 정밀도를 0.8361에서 0.9492로 높였습니다.
• Claude-3.7은 퓨샷 설정에서 가장 높은 재현율(0.9526)을 달성했으나, Grok-3-Beta에 비해 정밀도는 낮았습니다.
• GPT-4o는 모든 지표에서 일관된 이득을 보였으나, 전체적인 성능 면에서는 다른 두 모델에 뒤처졌습니다.
• 혼동 행렬(Confusion Matrices): 퓨샷 프롬프팅은 모든 모델에서 미탐(false negatives)을 감소시켰습니다. Grok-3-Beta는 미탐 사례를 제로샷의 950개에서 퓨샷의 248개로 줄였습니다.

불균형 데이터셋 (1% 및 10% 피싱 비율)

• 제로샷 성능: Grok-3-Beta는 10% 피싱 비율에서 정확도 0.976, 재현율 0.938을 달성하며 강력한 제로샷 능력을 입증했습니다.
• 퓨샷 민감도: 예시의 수에 따른 영향은 모델마다 달랐습니다:
  • Grok-3-Beta: 단 1개의 예시에서 정점(F1: 0.906)을 찍었으며, 3개 또는 9개의 예시에서는 성능이 약간 저하되었습니다.
  • Claude-3.7: 예시 수가 증가함에 따라 꾸준한 개선을 보였으며, 9개의 예시에서 최상의 F1-score(0.876)에 도달했습니다.
  • GPT-4o: 1개의 예시(F1: 0.709)부터 9개의 예시(F1: 0.861)까지 일관된 이득을 보여주었습니다.
• 강건성(Robustness): 모델들은 서로 다른 랜덤 시드(S123, S456)에서도 견고한 성능을 유지했으며, 10% 불균형 상황에서 F1-score 차이는 0.05 미만이었습니다.

의의 및 주장

본 논문은 피싱 전술이 레이블링된 데이터가 생성되는 속도보다 빠르게 진화함에 따라, LLM을 활용한 제로샷 및 퓨샷 학습이 시의적절하고 적응 가능한 솔루션을 제공한다고 주장합니다. 연구는 퓨샷 프롬프팅이 여러 독점적 LLM 전반에서 탐지 성능을 효과적으로 개선하여 최소한의 감독으로 일반화를 가능하게 한다고 결론짓습니다.

구체적으로 저자들은 다음과 같이 주장합니다:

• 프롬프트 기반 접근 방식은 매우 적은 수의 예시(예: 단 하나의 예시로 우수한 성능을 보이는 Grok-3-Beta)만으로도 피싱 URL을 효과적으로 탐지할 수 있습니다.
• 모델 간에는 뚜렷한 운영상의 트레이드오프가 존재합니다. 예를 들어, 어떤 모델(Grok-3-Beta 등)은 최소한의 예시와 높은 정밀도에서 탁월한 반면, 다른 모델(Claude-3.7 등)은 재현율을 극대화하기 위해 더 많은 예시가 필요할 수 있습니다.
• 현재의 환경은 이 분야에서 LLM에 대한 통합된 벤치마킹이 부족하며, 본 연구는 일관된 평가 프레임워크를 제공함으로써 그 격차를 메웁니다.

저자들은 향-후 다양한 데이터셋에 걸쳐 이러한 발견을 검증하고, 프롬프트 최적화 전략을 탐구하며, 운영 환경에서 프롬프트 기반 추론과 미세 조정(fine-tuned) 모델 간의 트레이드오프를 조사하는 후속 연구가 필요함을 언급하며 신중한 범위를 유지합니다.