기술 요약: 거울을 흐리게 하다 (Clouding the Mirror)

문제 정의

피싱 공격은 규모와 정교함 측면에서 급증하고 있으며, 최근 분기별 총 발생 건수는 110만 건을 넘어섰습니다. 대규모 언어 모델(LLM)은 URL, HTML 및 렌더링된 콘텐츠를 총체적으로 분석함으로써 피싱 사이트를 탐지하는 유망한 도구로 부상했지만, 동시에 치명적인 새로운 취약점인 **프롬프트 인젝션(Prompt Injection, PI)**을 야기했습니다.

본 연구가 다루는 핵심 문제는 인간 사용자와 LLM 사이의 **"지각적 비대칭성(perceptual asymmetry)"**입니다. 공격자는 피싱 사이트 구성 요소(URL, HTML, 스크립트, 이미지)에 대한 완전한 제어권을 가지며, 이를 통해 인간 방문자에게는 보이지 않지만 LLM에는 완전히 파싱 가능한 악성 지침을 삽입할 수 있습니다. 이러한 숨겨진 지침은 LLM의 판단을 조작하여 피싱 사이트를 정상 사이트로 오분류하게 하거나, 탐지 파이프라인을 방해하거나, 시스템 자원을 고갈시킬 수 있습니다. 대화형 AI에서 PI의 보편성에도 불구하고, 자동화된 피싱 탐지 맥락에서의 구체적인 위험과 완화 전략은 여전히 미개척 영역으로 남아 있습니다.

방법론

본 연구는 새로운 분류 체계, 실증적 테스트, 그리고 방어 검증을 포함하는 체계적인 평가 프레임워크를 채택합니다.

1. 2차원 분류 체계 (Two-Dimensional Taxonomy)

저자들은 피싱 탐지에서의 PI 전략을 분류하기 위해 두 축으로 정의된 분류 체계를 도입합니다:

• 공격 기법 (Attack Techniques):
  • 주요 기법: 정당한 위장(Legitimate Pretexting, 교육적/연구 목적이라고 주장), 역할 탈취(Role Hijacking, LLM에 새로운 페르소나 부여), 안전 정책 트리거(Safety Policy Triggering, 안전 필터를 통한 거부 유도), 도구/함수 탈취(Tool/Function Hijacking, 출력 형식 오염), 콘텐츠 플러딩/주의 분산(Content Flooding/Distraction, DoS 또는 토큰 고갈 유도).
  • 보조 기법: 은닉 인코딩(Stealth Encoding, 시각적 은폐) 및 파서 경계 혼란(Parser Boundary Confusion, 태그 파싱 모호성 악용).
• 공격 표면 (Attack Surfaces): 주입이 삽입되는 특정 위치로, HTML 메타데이터(제목, 메타 태그), 스크립트 및 주석, HTML 가시적 콘텐츠, HTML 비가시적 콘텐츠(CSS를 통해 숨겨짐), 임베디드 리소스(이미지/SVG), URL 구조를 포함합니다.

2. 실험 설정

• 데이터셋: 상위 10개 타겟 브랜드(예: Amazon, Google, Microsoft)의 로그인 페이지를 모사한 2,000개의 HTML 파일로 구성된 통제된 데이터셋을 구축했습니다. 각 파일에는 8개의 서로 다른 삽입 위치에 걸쳐 다양한 PI 메시지가 포함되었습니다.
• 평가 모델: 다양한 아키텍처와 성능 수준을 가진 4개의 LLM을 테스트했습니다: OpenAI GPT-5, xAI Grok 4 Fast, Meta Llama 4 Maverick, Google Gemma 3 27B.
• 탐지 모드:
  • 표준(Standard): 단순 질의 ("이것은 피싱 사이트입니까?").
  • 고급(Advanced): 상세한 분석 절차를 포함한 구조화된 프롬프트.
  • InjectDefuser: 제안된 방어 프레임워크.

3. 방어 프레임워크: InjectDefuser

저자들은 다음과 같은 계층적 방어 메커니즘인 InjectDefuser를 제안합니다:

• 프롬프트 강화 (Prompt Hardening): 신뢰할 수 있는 시스템 지침과 신뢰할 수 없는 외부 데이터를 분리하기 위해 고유한 UUID 기반 컨텍스트 경계를 구현하며, 신뢰할 수 없는 영역에서 발견된 지시를 실행하는 것을 명시적으로 금지하는 메타 지침을 사용합니다.
• 허용 목록 RAG (Allowlist RAG): 대상 사이트에서 브랜드 이름을 추출하고, 벡터 데이터베이스에서 합법적인 도메인 목록을 검색한 뒤, 검증된 컨텍스트를 프롬프트에 보강하여 LLM의 의사결정을 근거 있게 만듭니다.
• 출력 검증 (Output Validation): LLM의 응답을 사전 정의된 JSON 스키마와 엄격하게 대조하여 구문, 필수 필드 및 데이터 타입을 확인함으로써 형식 조작을 탐지합니다.

주요 결과

최첨단 모델의 취약성

특정 방어 체계가 없는 경우 가장 발전된 모델들조차 PI에 매우 취약한 것으로 나타났습니다:

• GPT-5: "표준" 모드에서 공격 성공률(ASK)은 **39.9%**였습니다. "고급" 모드에서도 특정 기법에 대해 10.1%의 ASR을 기록하며 여전히 취약성을 보였습니다.
• 기타 모델: Llama 4는 표준 모드에서 **84.7%**의 ASR을 보였으며, Grok 4 Fast와 Gemma 3는 각각 **65.1%**와 **64.7%**의 ASR을 기록했습니다.
• 기법의 효과성: "정당한 위장"이 가장 효과적인 공격이었으며, 특정 모델에서 최대 99.8%의 ASR을 달성했습니다. "역할 탈취"와 "안전 정책 트리거" 또한 모델에 따라 높은 성공률을 보였습니다.

InjectDefuser의 효과

제안된 방어 프레임워크는 모든 모델에서 공격 성공률을 유의미하게 감소시켰습니다:

• GPT-5: ASR이 39.9%에서 0.3%(2000건 중 5건 실패)로 떨어졌습니다.
• Grok 4 Fast: ASR이 65.1%에서 **26.1%**로 감소했습니다.
• Llama 4: ASR이 84.7%에서 **61.7%**로 감소했습니다.
• Gemma 3: ASR이 64.7%에서 **36.7%**로 감소했습니다.

이 방어 체계는 "정당한 위장" 및 "역할 탈취"에 특히 효과적이었으며, GPT-5에 대한 해당 기법들의 ASR을 거의 제로 수준으로 낮추었습니다. 그러나 "콘텐츠 플러딩"은 여전히 과제로 남았으며, GPT-5에서 1.0%의 잔여 ASR을 기록하여 자원 고갈 공격은 완전히 완화하기 어렵다는 것을 보여주었습니다.

URL 기반 및 기존 시스템 평가

• URL 기반 PI: InjectDefuser는 GPT-5에 대한 URL 기반 인젝션에서 **0.0%**의 ASR을 달성하여, 이전에 20.0%의 성공률을 보였던 시도를 완전히 무력화했습니다.
• 기존 파이프라인: 기존 LLM 기반 탐지 시스템(PhishLLM, KnowPhish, PhishAgent)에 적용했을 때, PI 공격은 **2.5%에서 25.0%**의 사례에서 성공하였으며, 이는 부분적인 구성 요소의 실패가 전체 탐지 파이프라인을 위협할 수 있음을 입증합니다.

의의 및 주장

본 논문은 멀티모달 LLM 기반 피싱 탐지를 겨냥한 프롬프트 인젝션 공격에 대한 최초의 종합적인 평가를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 분류 체계: "지각적 비대칭성"이 어떻게 악용될 수 있는지에 대한 체계적인 이해를 확립하고, 공격을 기법과 표면에 따라 분류했습니다.
2. 실증적 증거: GPT-5를 포함한 현재의 최첨단 모델들이 피싱 맥락에서 PI에 본질적으로 강하지 않음을 입증함으로써, 고도의 추론 능력이 곧 보안성을 의미한다는 가설에 도전했습니다.
3. 실용적 방어: 프롬프트 엔지니어링, RAG, 출력 검증을 결합한 실용적이고 시스템 불가지론적인(system-agnostic) 방어 프레임워크인 InjectDefuser를 소개합니다. 저자들은 이 접근 방식이 모델 재학습 없이도 신뢰성을 크게 향상시킨다는 것을 보여주었습니다.

저자들은 PI가 차세대 피싱 대응책 배포에 구체적인 위협이 되고 있지만, 제안된 방어 전략이 견고하고 신뢰할 수 있는 탐지 시스템을 향한 실행 가능한 경로를 제공한다고 결론지었습니다. 또한, 이러한 공격이 아직 실제 환경에서 널리 배포되지는 않았으나, 공격의 용이성과 낮은 비용을 고려할 때 즉각적인 방어 조치가 필요하다고 강조했습니다.