기술 요약: 생성기에 도달할 수 있는가? 현실적인 RAG 환경에서 프롬프트 인젝션 공격의 생존 여부 조사

1. 문제 정의

생성 엔진 최적화 (GEO) 에 대한 최근 연구는 프롬프트 인젝션 공격이 특정 제품을 우선시하도록 대규모 언어 모델 (LLM) 의 출력을 조작할 수 있음을 보여주었으며, 보고된 성공률은 최대 80% 에 달합니다. 그러나 저자들은 이러한 이전 평가들이 배포된 시스템에 근본적으로 비현실적인 "고정된 컨텍스트 (Frozen Context, FC)" 프로토콜에 의존한다고 주장합니다. FC 프로토콜에서는 공격 대상 문서가 자동으로 검색되어 생성기에 직접 전달되며, 검색 및 재순위화 단계를 완전히 우회한다고 가정합니다.

실제 세계의 검색 증강 생성 (RAG) 파이프라인에서는 문서 콘텐츠에 대한 적대적 편집이 해당 문서의 의미론적 및 어휘적 속성을 변경합니다. 이러한 수정으로 인해 문서가 초기 검색기 (retriever) 에 의해 검색되지 않거나, 생성기에 도달하기 전에 재순위화기 (reranker) 에 의해 필터링될 수 있습니다. 핵심 연구 질문은 GEO 공격이 전체 3 단계 파이프라인 (검색기 $\to$ 재순위화기 $\to$ 생성기) 을 생존할 수 있는지, 아니면 그 효과가 단순화된 평가 프로토콜의 산물인지입니다.

2. 방법론

저자들은 현실적인 엔드투엔드 3 단계 RAG 파이프라인을 제안하고 평가합니다:

1. 검색기 (Retriever): 전체 코퍼스를 순위 매기는 희소 (BM25) 또는 밀집 (BAAI/bge-large-en-v1.5) 검색기.
2. 재순위화기 (Reranker): 상위 $n$개 (10) 검색 후보를 재배열하는 LLM 기반 리스트형 재순위화기 (RankGPT 전략을 사용하는 Qwen3-8B).
3. 생성기 (Generator): 상위 $k$개 (5) 재순위화된 후보를 기반으로 응답을 생성하여 $m$개 (3) 제품 추천을 도출하는 LLM (Qwen3-8B).

실험 설정

• 데이터셋: 미국 로케일 (locale) 의 Amazon ESCI 제품 검색 코퍼스이며, 전자상거래 규모를 반영하기 위해 $\ge$40 개의 주석 달린 제품이 포함된 1,294 개의 쿼리로 필터링됨.
• 공격 대상: 공격이 가해지지 않은 베이스라인에서 재순위화기에 의해 처음으로 제외되는 Rank 6 과 재순위화기가 마지막으로 확인하는 Rank 10 에 위치한 문서.
• 공격 방법: 세 가지 범주에서 일곱 가지 공격이 평가됨:
  • 지시어 오버라이드 (Instruction Override, IOA): 고정된 접미사 (예: DCH 스키마).
  • LLM 기반: 보조 LLM (CORE-Review, CORE-Reason, TAP) 을 사용한 반복적 최적화.
  • 기울기 기반 (Gradient-based): 화이트박스 토큰 최적화 (RAF, SRP, STS).
• 평가 프로토콜:
  • 고정된 컨텍스트 (FC): 이전 연구의 방법 (검색/재순위화 우회).
  • 엔드투엔드 (E2E): 공격된 코퍼스가 다시 색인화되고 전체 파이프라인이 실행됨.
• 지표:
  • 검색 생존 ($S_r$): 공격된 문서가 재순위화기의 상위 10 개에 진입하는가?
  • 재순위화 노출 ($E_\rho$): 생성기의 상위 5 개 입력에 진입하는가?
  • 생성 성공 ($S_g$): 대상 제품이 최종 상위 3 개 추천에 나타나는가?
• 방어 평가: 상용 가드 (Llama-Guard, QwenGuard, Prompt-Guard) 와 소규모 데이터셋 (104 개 쿼리) 으로 파인튜닝된 경량 Prompt-Guard 를 테스트함.

3. 주요 발견 및 결과

3.1 이전 프로토콜은 효과를 과장함

고정된 컨텍스트 프로토콜은 공격 성공을 크게 과장합니다. 전체 파이프라인을 고려할 때:

• 검색은 필터 역할을 함: 평균적으로 **약 20%**의 공격 문서가 전혀 검색되지 않음. 지시어 오버라이드 (IOA) 공격이 가장 큰 타격을 입어, 주입된 접미사가 쿼리 관련 콘텐츠를 희석시키기 때문에 검색 생존률이 약 59% 로 떨어짐.
• 재순위화는 결과를 재형성함: 재순위화기는 문서를 추가로 필터링하거나 홍보함. 순위 상승을 통해 일부 공격을 약 16.5% 증폭시킬 수 있지만, 생성기 입력을 상위 5 개로 잘라내는 후속 조치는 많은 공격을 완화시킴.

3.2 엔드투엔드 공격 효과는 매우 변동적임

E2E 파이프라인 하에서 대부분의 방법에 대해 공격 성능이 붕괴됨:

• 기울기 기반 공격 (RAF, SRP, STS): 완전히 실패하며, 성공률 ($S_g$) 이 2% 미만으로 떨어짐. 이들은 생성기 목적에 최적화되었지만 검색기와 재순위화기를 위한 문서의 어휘적/의미론적 일치도를 저하시킴.
• 지시어 오버라이드 (IOA): 검색 실패로 인해 높은 FC 성공률에서 **약 14.7%**의 E2E 성공률로 떨어짐.
• LLM 기반 공격 (CORE-Review, CORE-Reason, TAP): 엔드투엔드로 유효하게 남아 있는 유일한 방법들임.
  • CORE-Reason은 독특함: FC 대비 E2E 에서 성공률이 약 4% 증가하는 것을 보임. 그 최적화 전략은 사용자 쿼리를 여러 번 포함하여 검색 생존을 개선하고, 밀집 검색기에 의해 적극적으로 홍보됨.
  • CORE-Review와 TAP는 각각 약 46% 와 약 40% 의 성공률을 유지하지만, 여전히 FC 대비 상당한 감소를 겪음.

3.3 위치 편향과 단계 선호도

이 연구는 단계 간 반대되는 위치 편향을 드러냄:

• 재순위화기: 입력의 나중에 배치된 공격을 선호함 (Rank 10 > Rank 6).
• 생성기: 입력의 이전에 배치된 공격을 선호함 (Rank 6 > Rank 10), 이는 "중간에서 분실 (lost-in-the-middle)" 현상과 일치함.
  이는 단일 단계 분석이 입력 위치로 인해 한 단계에서는 성공할 수 있지만 다른 단계에서는 실패할 수 있는 중요한 역동성을 놓친다는 것을 시사함.

3.4 방어 가능성

• **상용 가드 (Llama-Guard, QwenGuard)**는 일반화에 실패하며, 종종 높은 거짓 발견률 (FDR) 을 보이거나 정교한 LLM 기반 공격 (CORE-Review/Reason) 을 놓침.
• 경량 파인튜닝: 단 104 개의 학습 쿼리 (1:1 균형 공격/클린) 로 파인튜닝된 Prompt-Guard 모델은 모든 공격 유형, 가장 효과적인 엔드투엔드 공격을 포함하여 거의 완벽한 탐지 (97.3% F1) 를 달성함. 이는 생존한 공격이 학습 가능한 스키마를 노출한다는 것을 나타냄.

4. 의의 및 주장

이 논문은 GEO 프롬프트 인젝션 공격의 인식된 위협 환경이 이전에 보고된 것보다 더 좁다고 주장합니다.

• 수정된 위협 모델: 기존 대부분의 공격 (기울기 기반 및 지시어 오버라이드) 은 검색 및 재순위화 단계를 생존하지 못하기 때문에 현실적인 RAG 환경에서는 비효율적입니다.
• 엔드투엔드 평가의 필요성: 저자들은 향후 GEO 연구가 엔드투엔드 평가 프로토콜을 채택해야 한다고 주장합니다. 고정된 컨텍스트 가정에 의존하면 시스템 견고성에 대한 오보를 초래합니다.
• 탐지 가능성: 전체 파이프라인을 생존하는 공격들 (LLM 기반 프롬프트 최적화) 조차도 최소한의 데이터로 쉽게 탐지 가능한 최적화 스키마를 따르므로, 시스템 유용성을 훼손하지 않고도 견고한 방어가 가능함을 시사합니다.

이 연구는 GEO 공격이 여전히 우려 사항이지만, 특정 취약점은 공격 방법과 파이프라인 아키텍처에 크게 의존하며, 전체 RAG 파이프라인을 통한 공격의 "생존" 여부가 실제 위험을 평가하는 핵심 지표라고 결론 내립니다.