PIDP-Attack: Combining Prompt Injection with Database Poisoning Attacks on Retrieval-Augmented Generation Systems

1. 연구 배경 및 문제 정의 (Problem)

배경:
대규모 언어 모델 (LLM) 은 다양한 분야에서 뛰어난 성능을 보이지만, 지식의 부재나 할루시네이션 (사실과 다른 정보 생성) 과 같은 한계가 있습니다. 이를 해결하기 위해 검색 증강 생성 (RAG, Retrieval-Augmented Generation) 시스템이 도입되었습니다. RAG 는 외부 지식 데이터베이스에서 관련 문서를 검색하여 LLM 에 제공함으로써 답변의 정확성과 최신성을 높입니다.

문제점:
기존 RAG 시스템은 여전히 적대적 공격에 취약하며, 특히 데이터 중독 (Data Poisoning) 공격이 주요 위협으로 대두되고 있습니다.

• 기존 공격의 한계: 기존 중독 기반 공격 (예: PoisonedRAG) 은 공격자가 사용자의 특정 질의 (Query) 를 사전에 알고 있어야 해당 질의에 맞는 중독된 문서를 데이터베이스에 주입할 수 있습니다. 이는 실제 환경에서 사용자의 질의가 동적이고 예측 불가능하다는 점을 고려할 때 유연성과 실용성이 떨어집니다.
• 프롬프트 인젝션의 한계: 프롬프트 인젝션 공격은 질의에 악성 지시를 포함시키지만, 검색된 신뢰할 수 있는 문맥이 없으면 LLM 이 이를 무시하여 공격 성공률이 낮거나 불안정합니다.

핵심 문제:
사용자의 실제 질의를 미리 알지 못하면서도, 임의의 질의에 대해 LLM 이 공격자가 원하는 오답을 생성하도록 유도할 수 있는 유연하고 은밀한 RAG 공격 방법이 필요합니다.

---

2. 제안 방법: PIDP-Attack (Methodology)

저자들은 PIDP-Attack (Prompt Injection and Database Poisoning Attack) 을 제안합니다. 이는 프롬프트 인젝션과 데이터베이스 중독을 결합한 복합 공격 (Compound Attack) 전략입니다.

공격 메커니즘:
PIDP-Attack 은 두 가지 경로를 동시에 조작합니다.

1. 데이터베이스 중독 (Corpus-path Manipulation):

   • 공격자는 데이터베이스에 소수의 보편적 중독된 문서 (Universal Poisoned Passages) 를 주입합니다.
   • 각 중독된 문서는 공격자가 설정한 목표 질문 (Target Question, $S$) 으로 시작하고, 그 뒤에 공격자가 원하는 오답 (Target Answer, $a^-$) 을 지지하는 악성 내용 ($b_i$) 을 포함합니다.
   • 예: "Who is the director of Inception? Michael Bay is the director..." (실제 답은 Christopher Nolan 임).

2. 질의 경로 프롬프트 인젝션 (Query-path Prompt Injection):

   • 사용자가 임의의 질문 ($q$) 을 입력할 때, 공격자는 시스템이 이를 가로채거나 프록시를 통해 악성 접미사 ($\delta(S)$) 를 추가합니다.
   • 수정된 질의 $q' = q \oplus \delta(S)$ 는 검색기 (Retriever) 에 의해 처리됩니다.
   • 이 접미사에는 목표 질문 $S$ 가 포함되어 있어, 검색기가 사용자의 원래 질문과 무관하게 중독된 문서 ($S$와 관련됨) 를 상위 $k$ 개 결과로 검색하도록 유도합니다.

작동 원리:

• 검색 유도 (Retrieval Steering): 인젝션된 접미사로 인해 검색기가 중독된 문서를 높은 확률로 찾습니다.
• 생성 유도 (Generation Steering): 검색된 컨텍스트에 중독된 문서가 포함되고, 프롬프트 내의 악성 지시가 LLM 에게 목표 질문 $S$ 에 대한 오답 $a^-$ 을 생성하도록 강요합니다.
• 결과: 사용자의 원래 질문과 무관하게, 시스템은 공격자가 정한 특정 오답을 출력합니다.

---

3. 주요 기여 (Key Contributions)

1. 새로운 복합 공격 전략 제안:

   • 사용자 질의에 대한 사전 지식 없이도 임의의 질의를 조작할 수 있는 PIDP-Attack 을 최초로 제안했습니다.
   • 프롬프트 인젝션과 데이터베이스 중독의 시너지 효과를 입증했습니다.

2. 효율성과 유연성:

   • 검색기의 Top-$k$ 값 ($n$) 에 해당하는 소수의 중독된 문서만 데이터베이스에 주입하면 임의의 질의에 대한 공격이 성공합니다.
   • $n$ 과 $k$ 값이 변동하더라도 공격 성능을 유지할 수 있음을 보였습니다.

3. 광범위한 실험적 검증:

   • Natural Questions, HotpotQA, MS-MARCO 등 3 가지 벤치마크 데이터셋과 8 가지 최신 LLM 을 대상으로 평가했습니다.
   • 기존 단일 표면 공격 (PoisonedRAG, GCG 등) 보다 일관되게 높은 성능을 보였습니다.

---

4. 실험 결과 (Results)

주요 지표:

• 공격 성공률 (ASR, Attack Success Rate): 공격자가 원하는 오답이 모델 응답에 정확히 포함되는 비율.

결과 요약:

• 성능 우위: PIDP-Attack 은 기존 PoisonedRAG 보다 4%~16% 높은 ASR을 기록했습니다.
  • Natural Questions (NQ) 에서 평균 ASR 향상.
  • HotpotQA 및 MS-MARCO 에서도 일관된 개선 (HotpotQA 에서 7 개 모델 기준 거의 100% 성공).
  • 전체 평균 ASR: 98.125% (기존 방법들보다 월등히 높음).
• 검색 정확도 유지: 공격이 성공하더라도 검색된 문서 중 중독된 문서가 포함될 확률 (Retrieval F1) 이 매우 높게 유지되어, 공격이 검색 단계에서 효과적으로 작동함을 증명했습니다.
• 단일 공격의 한계: 프롬프트 인젝션만 사용하거나 (Clean-RAG), 중독만 사용하거나 (Corpus-only) 한 경우 ASR 이 현저히 낮거나 0% 에 가까웠습니다. 이는 두 가지 요소의 결합이 필수적임을 시사합니다.

예산 민감도 분석:

• 중독 예산 ($n$): 소수의 중독 문서 (예: $n=2$) 만으로도 NQ 와 HotpotQA 에서 높은 성공률을 보였으나, 검색 노이즈가 많은 MS-MARCO 에서는 더 많은 문서가 필요했습니다.
• 컨텍스트 예산 ($k$): 검색된 문서 수 ($k$) 가 증가하면 중독된 문서가 포함될 기회는 늘어나지만, 동시에 깨끗한 문서로 인한 희석 효과 (Dilution Effect) 로 인해 특정 모델에서는 성공률이 감소하기도 했습니다.

---

5. 의의 및 결론 (Significance)

• RAG 시스템의 새로운 취약점 노출: RAG 시스템의 보안은 단순히 모델이나 데이터베이스 중 하나만 보호하는 것으로 충분하지 않으며, 질의 경로 (Query Path) 와 데이터 수집 경로 (Corpus Path) 모두에서 무결성을 검증해야 함을 강조했습니다.
• 실제 위협 모델의 현실화: 공격자가 사용자의 구체적인 질문을 알지 못하더라도 시스템 전체를 조작할 수 있음을 보여주어, 실제 배포 환경에서의 위험성을 높게 평가했습니다.
• 대응 방안의 필요성:
  • 질의의 비정상적인 접미사 탐지 (Query Sanitization).
  • 새로 수집된 문서의 출처 검증 및 인증 (Provenance Checking).
  • 검색된 문맥이 시스템 지시와 구분되도록 하는 강화된 프롬프트 구조 필요.

이 연구는 RAG 시스템의 보안이 검색 (Retrieval) 과 생성 (Generation) 단계의 상호작용을 고려한 종단 간 (End-to-End) 접근이 필요함을 강력하게 시사합니다.