Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks

기술 요약: 도메인 위장 주입 공격에 대한 프롬프팅 기반 방어 기제 평가

문제 정의
기업 환경의 대규모 언어 모델(LLM) 에이전트는 신뢰할 수 없는 출처(예: 금융 보고서, 법률 계약서)로부터 문서를 검색하고 처리하여 권고안을 생성하는 경우가 점점 늘어나고 있다. 표준적인 프롬프트 주입 공격은 명시적인 무시 지시어(예: "이전의 모든 지침을 무시하라")를 사용하여 구문 탐지기에 쉽게 포착되지만, 더 정교한 위협인 **도메인 위장 주입(domain-camouflaged injection)**이 등장했다. 이러한 공격은 악의적인 지시를 합법적인 도메인 텍스트와 구별할 수 없는 어휘를 사용하여 검색된 콘텐츠 내에 삽입한다. 선행 연구(Pai, 2026)는 Llama Guard 3를 포함한 표준 분류기들이 이러한 페이로드를 탐지하는 데 실패하며, 결과적으로 80~100%의 "위장 탐지 격차(Camouflage Detection Gap, CDG)"를 형성한다는 점을 입증했다. 결과적으로, 실무자들은 탐지 메커니즘이 실패했을 때 어떤 방어 아키텍처가 효과적으로 공격을 완화할 수 있는지에 대한 경험적 지침을 얻지 못하고 있다.

연구 방법론
저자들은 세 가지 모델 제품군과 세 가지 배포 도메인을 대상으로 다섯 가지 프롬프팅 기반 방어 아키텍처를 체계적으로 평가하였다.

• 벤치마크 및 범위: 본 연구는 금융(주식 권고, 리스크), 법률(계약서, 컴플라이언스), 일반(질의응답, 요약) 도메인을 아우르는 45개 태스크 벤치마크를 활용하였다. 데이터셋에는 3,510회의 시행(trials)이 포함되었다.
• 평가 모델: Claude Haiku 4.5, Llama 3.1 8B Instruct, Gemini 2.0 Flash.
• 공격 조건:
  • 정적(Static): 표준적인 무시 지시어 (예: "IGNORE ALL PREVIOUS INSTRUCTIONS").
  • 위장(Camouflage): 전문적인 도메인 어휘를 모방하는 공격자 LLM이 생성한 악의적인 결론 (예: "보충 분석가 논평... 수정된 매도(SELL) 권고").
• 방어 조건: 일곱 가지 구성을 테스트하였다:
  1. 베이스라인(Baseline): 방어 없음.
  2. 스포트라이팅(Spotlighting): 검색된 콘텐츠를 출처 표시자(예: <<<UNTRUSTED EXTERNAL CONTENT>>>)로 감싸는 방식.
  3. 패러프레이징(Paraphrasing): 에이전트가 처리하기 전, 검색된 콘텐츠를 중립적인 언어로 재작성하는 방식 (Claude Haiku를 재작성 모델로 사용).
  4. 샌드위칭(Sandwiching): 검색된 콘텐츠 뒤에 작업 상기 문구를 추가하는 방식.
  5. 조합형: 스포트라이팅 + 샌드위칭, 그리고 패러프레이징 + 스포트라이팅.
  6. Llama Guard 4: 안전하지 않다고 분류된 문서를 차단하는 분류기 기반 방어.
• 지표: 공격 성공률(ASR), 유용성(정당한 태스크의 완료 여부), 그리고 방어 측면의 CDG ($CDG_{def} = ASR_{static} - ASR_{camouflage}$)를 측정하였다. 통계적 유의성은 McNemar의 정확 검정과 Fisher의 정확 검정을 사용하여 평가하였다.

주요 결과
평가 결과, 방어의 효과는 모델 의존성이 매우 높으며, 표준 방어 기제는 정적 공격에 비해 위장 공격에 대해 다르게 작동함을 밝혔다.

• 패러프레이징이 가장 효과적인 방어임: 검색된 콘텐츠를 처리 전 재작성하는 것은 모든 모델에서 위장 ASR을 일관되게 감소시켰다:
  • Claude Haiku: 14.4% $\to$ 4.4%
  • Llama 3.1: 22.2% $\to$ 10.0%
  • Gemini 2.0: 21.1% $\to$ 3.3%
  • 패러프레이징 + 스포트라이팅 조합은 모든 모델에서 가장 낮은 절대 ASR을 달성하였다 (예: Haiku에서 3.3%).
• 스포트라이팅은 일관성이 없음: Claude Haiku에서는 ASR을 절반으로 줄였으나(14.4% $\to$ 6.7%), Llama 3.1 8B에서는 이점이 없었다 (22.2% $\to$ 23.3%, 유의미하지 않음).
• 샌드위칭은 취약함: Llama와 Gemini에서 베이스라인 이하로 ASR을 낮추는 데 실패하였다.
• Llama Guard 4와의 비교: 패러프레이징은 테스트된 모든 모델에서 Llama Guard 4 구성보다 낮은 위장 ASR을 달성하였다. 또한, Llama Guard 4는 높은 과잉 거부율(over-refusal rates, >90%)을 보인 반면, 패러프레이징은 거의 제로에 가까운 과잉 거부율을 유지하였다.
• 도메인 리스크: 금융 도메인 배포는 가장 높은 잔여 리스크를 보였으며, 베이스라인 공격 성공률은 26~33%였다. 어떤 프롬프팅 기반 방어도 약한 모델에서의 위협을 완전히 제거하지 못했다.
• 모델 이상 현상: Gemini 2.0 Flash는 정적 ASR(38.9%)이 위장 ASR(21.1%)을 초과하는 역전 현상을 보였으며, 이는 다른 모델에서는 관찰되지 않은 현상이다.

주요 기여

1. 최초의 체계적 평가: 본 연구는 도메인 위장 주입 클래스에 특화된 프롬프팅 기반 방어(패러프레이징, 스포트라이팅, 샌드위칭)를에 대한 최초의 벤치마크 기반 평가를 제공한다.
2. 방어 순위의 변화: 본 연구는 위장 조건 하에서 방어 순위가 변한다는 점을 입증한다. 즉, 정적 공격에는 효과적이었던 스포트라이팅이 특정 모델(Llama 3.1 8B)의 위장 페이로드에 대해서는 아무런 이점이 없다.
3. 패러프레이징의 우수성: 저자들은 패러프레이징이 과잉 거부 페널티를 부과하지 않으면서도 모든 테스트된 모델에서 Llama Guard 4보다 낮은 공격 성공률을 달성함을 입증한다.
4. 실무자 권고 사항: 본 논문은 금융 도메인이 높은 주의를 요한다는 점을 강조하며, 단일 프롬프팅 방어가 약한 모델에서의 리스크를 완전히 완화할 수 없음을 밝히는 등 배포 특화된 권고 사항을 제공한다.

의의 및 한계점
본 논문은 표준 탐지를 우회하는 공격 클래스에 대한 방어를 평가하기 위한 새로운 벤치마크를 구축한다. 저자들은 패러프레이징된 검색 콘텐츠를 사용하는 것이 현재 위장 공격을 완화하기 위한 가장 강력한 프롬프팅 기반 전략이라는 실행 가능한 증거를 제시한다.

저자들은 연구 결과의 일반화 가능성에 대해 신중한 입장을 유지한다. 그들은 사용된 모든 태스크가 합성적으로 구성된 전문 문서임을 명시적으로 언급하였다. 따라서 이러한 벤치마크 순위와 방어 효과 수준이 실제 기업용 문서에도 일반화될 수 있는지는 여전히 미해결 과제로 남아 있다. 본 연구는 주입된 콘텐츠가 구문적으로 합법적 텍스트와 구별할 수 없을 때, 어떻게 주입 공격에 대응할 것인가에 대한 이해의 격차를 해소한다.