1. 문제 정의 (Problem Definition)

대규모 언어 모델 (LLM) 이 자율적인 이메일 에이전트로 배포되어 유입되는 메시지를 분석하고 보안 결정을 내리는 상황이 증가하고 있습니다. 그러나 기존 연구는 모델 아키텍처나 훈련 데이터의 차이에만 초점을 맞추는 경향이 있었으며, 시스템 프롬프트 (System Prompt) 의 구성이 보안 태도에 미치는 체계적인 영향은 거의 연구되지 않았습니다.

• 핵심 문제: LLM 기반 이메일 에이전트가 피싱 메시지를 식별할 때, 시스템 프롬프트의 설정 (예: "안전 우선" 대 "효율성 우선") 이 모델의 보안 판단을 어떻게 결정하는지, 그리고 이것이 어떻게 새로운 취약점으로 이어지는지 불명확합니다.
• 위험성: 인간의 실수가 아닌, 에이전트의 자동화된 보안 결정 오류는 계정 탈취나 세션 하이재킹과 같은 즉각적이고 비대칭적인 피해를 초래합니다.

2. 방법론 (Methodology)

저자는 PhishNChips라는 대규모 벤치마크를 개발하여 이 문제를 실증적으로 분석했습니다.

• 데이터셋:
  • 2,000 개 이메일: 1,000 개 피싱 (실제 악성 URL 사용, LLM 으로 생성된 정교한 내용) 과 1,000 개 정상 이메일.
  • 인프라 피싱 (Infrastructure Phishing) 서브셋: 공격자가 발신자 도메인과 URL 도메인을 일치시키도록 구성한 73 개의 특수 피싱 샘플. 이는 도메인 불일치 신호를 우회하는 공격을 시뮬레이션합니다.
  • 합성 데이터의 타당성: 최신 LLM(Gemini 3 Flash Preview) 을 사용하여 생성된 피싱 메일은 기존 수동 작성 피싱보다 현실적이며, 11 개 모델 중 98.7% 가 정상 메일을 정상으로 판단하여 데이터의 신뢰성을 검증했습니다.
• 실험 설계:
  • 11 개 모델: GPT-4o-mini, GPT-5.2, Claude Haiku/Sonnet, Gemini, Llama, Mistral, Qwen 등 5 개 제공사의 모델.
  • 10 가지 프롬프트 전략: '보안 우선 (security_first)', '효율성 우선 (efficiency_first)', '신호 기반 최적화 (signal-based)' 등 다양한 구성.
  • 평가 지표: 재현율 (Recall), 오탐율 (FPR), 그리고 Safetility (재현율과 오탐율을 모두 고려한 배포 가능성 지표, FPR 임계값 10% 초과 시 가중치 급감).
  • 총 평가 수: 220,000 건 (11 모델 × 10 전략 × 2,000 이메일).

3. 주요 기여 (Key Contributions)

1. 대규모 LLM 피싱 탐지 벤치마크 (PhishNChips): 배포 구성 (프롬프트) 과 모델 선택 간의 상호작용이 보안 결과에 미치는 영향을 체계적으로 매핑한 최초의 대규모 실증 연구.
2. 프롬프트 × 모델 상호작용의 중요성: 모델 선택보다 시스템 프롬프트 구성이 보안 성능에 더 큰 영향을 미칠 수 있음을 입증. 특정 모델은 프롬프트에 따라 피싱 우회율이 1% 미만에서 97% 까지 변동 가능.
3. 신호 기반 최적화와 그 취약점: 도메인 일치성 (Sender-URL consistency) 같은 특정 신호에 기반한 프롬프트는 높은 재현율을 보이지만, 신호 반전 (Signal Inversion) 공격 (공격자가 도메인을 일치시키는 인프라 피싱) 에 취약함을 규명.
4. Safetility 지표 도입: 단순 재현율과 FPR 이 아닌, 운영상의 비용 (오탐) 을 고려한 배포 가능성 지표를 제안.
5. 지시 구체성의 역설 (Instruction Specificity Paradox): 지시를 구체화하면 오히려 기존에 잘 작동하던 모델의 성능이 저하될 수 있음을 발견. 모델이 지시를 맹목적으로 따르면서 다중 신호 추론 능력을 상실함.

4. 주요 결과 (Key Results)

A. 프롬프트 구성의 결정적 영향

• 모델 내 변동성: 동일한 모델 (예: GPT-4o-mini) 이라도 프롬프트에 따라 피싱 우회율이 1% 미만 (보안 우선) 에서 97% (효율성 우선) 까지 극단적으로 달라짐. 이는 모델 간 차이보다 프롬프트 구성의 영향이 더 큼을 시사.
• 안전성 vs 효율성 트레이드오프: '안전 우선' 프롬프트는 피싱을 잘 막지만 정상 메일을 57% 이상 차단 (높은 FPR) 하고, '효율성 우선'은 피싱을 많이 허용함.

B. 신호 기반 최적화와 취약점 (The Achilles' Heel)

• 고성능 달성: 'Sender-URL 도메인 일치' 신호를 강조하는 프롬프트 (sender_url_match) 는 GPT-4o-mini 의 재현율을 32.8% 에서 93.7% 로 끌어올리고 FPR 을 3.8% 로 낮춤.
• 신호 반전 공격 (Infrastructure Phishing): 공격자가 발신 도메인과 링크 도메인을 일치시키면, 최적화된 신호 기반 전략은 재현율이 50% 이상 급락함 (예: GPT-4o-mini 는 93.7% → 30.1% 로 하락).
• 원인 분석: 모델은 지시를 충실히 따르지만, 공격자가 통제 가능한 신호 (도메인 일치) 만을 신뢰하도록 프롬프트가 설계되었기 때문. 모델은 "도메인이 일치하므로 안전하다"는 논리를 따를 뿐, 다른 위험 신호를 무시함.

C. 모델별 반응 차이 (Pre-deployment Disposition)

모델은 프롬프트 지시를 실행하는 방식에 따라 세 가지 유형으로 분류됨:

1. 보안 증폭형 (Safety-amplifying, 예: Claude, Mistral): 보안 관련 지시를 과도하게 해석하여 오탐율 (FPR) 이 폭증함.
2. 자급자족형 (Self-sufficient, 예: Qwen 3): 프롬프트 지시 없이도 다중 신호 추론을 잘 수행하여 인프라 피싱에 강함. 추가 지시는 오히려 성능을 저하시킴.
3. 보정된 지시 수행형 (Calibrated, 예: GPT-4o-mini, Gemini): 지시를 정밀하게 수행하여 재현율과 FPR 의 균형을 잘 맞출 수 있음.

D. 프롬프트만으로는 한계가 있음

• 인프라 피싱에 대한 심층 분석 결과, 모델은 도메인 연령, 위협 인텔리전스, 실제 조직 맥락 등 외부 사실 (Ground Truth) 이 없으면 공격자가 조작한 도메인과 정상 도메인을 구별하지 못함.
• 프롬프트 최적화만으로는 인프라 피싱을 막을 수 없으며, 도구 증강 (Tool Augmentation) 이 필수적임.

5. 의의 및 시사점 (Significance)

1. 시스템 프롬프트는 공격 표면 (Attack Surface): 시스템 프롬프트는 단순한 설정이 아니라, 공격자가 역이용할 수 있는 핵심 보안 변수입니다. 프롬프트가 특정 신호를 강조할수록 그 신호를 우회하는 공격이 가능해집니다.
2. 모델과 프롬프트의 공동 최적화 (Co-optimization): 어떤 모델이 가장 안전한지, 혹은 어떤 프롬프트가 가장 효과적인지 단일 선택으로 결정할 수 없습니다. 모델의 선천적 성향 (Disposition) 과 프롬프트 지시를 매칭해야 합니다.
3. 신뢰할 수 있는 신호의 역설: 피싱 탐지에 효과적인 신호 (예: 도메인 일치) 는 공격자가 쉽게 조작할 수 있어, 최적화된 방어는 곧 새로운 취약점이 됩니다.
4. 실무적 권고:
   • 상용 피싱 (Commodity Phishing): 신호 기반 프롬프트 (예: sender_url_match) 를 사용하여 높은 탐지율을 달성 가능.
   • 인프라 피싱 (Infrastructure Phishing): 프롬프트만으로는 방어 불가. 도메인 조회, 위협 인텔리전스, URL 샌드박싱 등 외부 도구 연동이 필수적입니다.
   • 배포 전략: 모델별 특성에 맞는 프롬프트를 선택하고, 오탐 비용을 고려한 Safetility 지표를 사용하여 배포 가능성을 평가해야 합니다.

이 논문은 LLM 기반 에이전트 보안을 논할 때, 단순히 모델의 성능을 비교하는 것을 넘어 프롬프트 엔지니어링과 모델의 상호작용, 그리고 외부 도구와의 통합이 필수적임을 강조합니다.