The Vulnerability of LLM Rankers to Prompt Injection Attacks

논문 요약: LLM 랭커에 대한 프롬프트 인젝션 공격의 취약성

이 논문은 대규모 언어 모델 (LLM) 이 정보 검색 (IR) 시스템의 재랭커 (re-ranker) 로 널리 사용됨에 따라 제기된 새로운 보안 위협을 탐구합니다. 특히, 후보 문서 내에 포함된 간단한 '자일브레이크 (jailbreak)' 프롬프트 인젝션이 LLM 의 순위 결정 방식을 어떻게 조작할 수 있는지, 그리고 이러한 취약성이 다양한 모델 아키텍처, 규모, 설정에서 어떻게 나타나는지에 대한 포괄적인 실증 연구를 수행합니다.

1. 연구 배경 및 문제 정의

• 문제: 최근 연구 (Qian et al., 2025) 는 LLM 기반 랭커가 문서 내에 삽입된 악성 프롬프트 (자일브레이크) 에 의해 순위가 조작될 수 있음을 보여주었습니다. 이는 허위 정보 유포나 검색 결과 신뢰도 저하로 이어질 수 있는 심각한 보안 위험입니다.
• 기존 연구의 한계: 선행 연구는 특정 조건 (예: 특정 모델, 제한된 평가 지표) 에서 수행되어 실제 시나리오를 완전히 반영하지 못했습니다. 또한, 모델 규모와 취약성의 관계, 문서 내 프롬프트 위치의 영향, 아키텍처별 차이, 도메인 간 견고성 등에 대한 체계적인 분석이 부족했습니다.
• 연구 목표: 기존 연구의 재현을 넘어, 다양한 LLM 패밀리와 아키텍처, 평가 설정을 포함하여 LLM 랭커의 취약성 경계 조건을 규명하고, 실제 검색 품질 (nDCG@10) 에 미치는 영향을 정량화하는 것입니다.

2. 연구 방법론 (Methodology)

저자들은 두 가지 상호 보완적인 태스크로 연구를 구성했습니다.

태스크 1: 선호도 취약성 평가 (Preference Vulnerability Assessment)

• 목적: 모델의 내재적 취약성을 측정 (공격 성공률, ASR).
• 공격 기법:
  • 의사결정 목표 탈취 (DOH): 모델에게 공격받은 문서를 가장 관련성 높은 것으로 출력하도록 지시.
  • 의사결정 기준 탈취 (DCH): 관련성 판단 기준을 조작하여 공격받은 문서를 우선시하도록 유도.
• 평가 지표: 공격 성공률 (ASR). 모델이 공격된 문서를 최상위 순위로 선택하거나 목록 상단에 배치하는지 확인.
• 범위: Pairwise(쌍별), Listwise(목록별), Setwise(집합별) 랭킹 패러다임 적용.

태스크 2: 랭킹 취약성 평가 (Ranking Vulnerability Assessment)

• 목적: 공격이 실제 검색 시스템의 품질 저하로 이어지는지 측정.
• 실험 설정: BM25 기반 1 단계 검색 후, LLM 을 이용한 Setwise 재랭킹 파이프라인 구성.
• 평가 지표: nDCG@10 의 감소량 ($\Delta$nDCG). 안전 상태 (Safe) 와 공격 상태 (Attacked) 간의 성능 격차를 측정.
• 변수: 모델 규모 (0.6B~70B), 아키텍처 (Decoder-only, Encoder-Decoder, MoE), 프롬프트 위치 (문서 앞/뒤), 도메인 (일반 웹 검색 vs 전문 도메인).

3. 주요 결과 및 발견 (Key Findings)

1) 모델 규모와 취약성의 관계 (Scaling)

• 확인된 사실: 일반적으로 모델이 크고 성능이 좋을수록 자일브레이크 공격에 더 취약한 경향이 있습니다 (ASR 증가).
• 세부 발견: 취약성 증가가 모든 모델에서 균일하지는 않습니다. Qwen3 계열은 규모에 따라 불규칙한 추세를 보인 반면, Gemma-3 는 단조로운 증가를 보였습니다. 특히 매우 작은 모델 (Qwen3-0.6B) 이 일부 조건에서 큰 모델보다 더 높은 ASR 을 보이는 등 예외적인 경우가 존재합니다.

2) 프롬프트 위치 민감도 (Position Sensitivity)

• 기존 연구와의 차이: 기존 연구는 위치와 무관하다고 주장했으나, 본 연구는 문서 뒤 (Back) 에 삽입된 공격이 문서 앞 (Front) 에 삽입된 것보다 더 치명적임을 발견했습니다.
• 영향: Setwise 랭킹에서 뒤쪽 삽입은 통계적으로 유의미하게 더 큰 nDCG@10 감소 (약 0.11 포인트 차이) 를 유발합니다. 이는 LLM 의 '최근성 편향 (recency bias)'과 관련이 있을 것으로 추정됩니다.

3) 아키텍처의 결정적 차이 (Architectural Divergence)

• 가장 중요한 발견: Encoder-Decoder 아키텍처 (Flan-T5 계열) 는 Decoder-only 모델에 비해 압도적으로 강건합니다.
  • Flan-T5 모델은 ASR 이 3% 미만으로 매우 낮았으며, 공격 시에도 랭킹 품질 (nDCG@10) 이 거의 감소하지 않거나 오히려 미세하게 향상되기도 했습니다.
  • 반면, Decoder-only 모델 (Qwen, Gemma, LLaMA) 은 ASR 이 90% 이상에 달하며 심각한 품질 저하를 겪었습니다.
  • MoE (Mixture-of-Experts) 아키텍처는 Dense Decoder-only 모델과 유사한 취약성을 보여, MoE 구조 자체가 보안을 제공하지는 못함을 확인했습니다.

4) 도메인 견고성 (Domain Robustness)

• 취약성은 도메인 (일반 웹 vs 의료/과학 등 전문 도메인) 이 변하더라도 모델 고유의 내재적 속성으로 작용하여 유지됩니다.
• 일반 도메인 (TREC-DL) 과 전문 도메인 (BEIR) 간의 ASR 상관관계가 매우 높았습니다 ($r=0.969$).
• 다만, 문서 길이와 관련성 레이블의 세분화 정도에 따라 공격 성공률에 미세한 차이가 있었습니다 (짧은 문서일수록 공격이 더 효과적).

4. 기여도 및 의의 (Contributions & Significance)

1. 포괄적인 실증 분석: 기존 연구의 재현을 넘어, 다양한 모델 패밀리, 아키텍처, 규모, 도메인을 아우르는 가장 포괄적인 LLM 랭커 취약성 분석을 수행했습니다.
2. 새로운 인사이트 도출:
   • 아키텍처별 보안 격차: Encoder-Decoder 모델이 LLM 랭커의 보안 강화에 핵심적인 대안이 될 수 있음을 입증했습니다.
   • 위치 의존성: 공격의 위치 (앞/뒤) 가 실제 시스템 성능에 미치는 영향이 기존 생각보다 훨씬 크다는 것을 규명했습니다.
   • 내재적 취약성: 도메인 이동 (Domain Shift) 에도 취약성이 유지된다는 점은 모델 자체의 학습 메커니즘에 근본적인 문제가 있음을 시사합니다.
3. 실용적 가이드라인 제공:
   • 안전한 랭킹 시스템을 구축하기 위해 Decoder-only 모델 대신 Encoder-Decoder 아키텍처를 고려하거나, 프롬프트 인젝션에 대한 방어 메커니즘을 강화해야 함을 제안합니다.
   • 공격자가 비관련 문서를 조작할 수 있는 현실적인 시나리오를 고려한 향후 연구 방향을 제시했습니다.

5. 결론

이 논문은 LLM 기반 검색 시스템이 프롬프트 인젝션 공격에 얼마나 취약한지를 명확히 보여주었습니다. 특히, 모델의 규모가 커질수록 오히려 취약해지며, Encoder-Decoder 아키텍처만이 이를 효과적으로 방어할 수 있음을 규명한 것이 가장 중요한 기여입니다. 이는 향후 신뢰할 수 있는 LLM 기반 정보 검색 시스템을 설계하는 데 있어 아키텍처 선택과 보안 전략 수립에 중요한 기준을 제시합니다.