Semantic Chameleon: Corpus-Dependent Poisoning Attacks and Defenses in RAG Systems

1. 문제 정의 (Problem)

검색 증강 생성 (RAG) 시스템은 외부 지식을 통해 LLM 의 성능을 향상시키지만, 검색 메커니즘 자체가 새로운 공격 표면 (Attack Surface) 을 노출시킵니다.

• 공격 벡터: 공격자가 지식 베이스에 악성 문서를 주입하여 (Poisoning), 특정 질문 (Trigger) 에만 악성 응답을 유도하고 정상 질문에는 잠복 (Sleeper) 시키는 '이중 문서 (Dual-document)' 공격이 가능합니다.
• 기존 연구의 한계: 기존 연구는 다양한 데이터셋에서 공격과 방어를 평가했으나, 지식 베이스의 구성 (Corpus Composition) 이 공격의 실효성과 방어 난이도에 어떤 영향을 미치는지에 대한 체계적인 연구가 부족했습니다.
• 핵심 질문: 기술 문서 (Security Stack Exchange) 와 일반 백과사전 (FEVER Wikipedia) 과 같이 도메인이 다른 코퍼스는 공격의 은닉성 (Stealth) 과 탐지 난이도에 어떻게 다른 영향을 미치는가?

2. 방법론 (Methodology)

저자는 대규모 실험을 통해 RAG poisoning 의 특성을 분석하고 방어 전략을 검증했습니다.

• 공격 기법:
  • 이중 문서 전략: 'Sleeper'(정상적인 내용으로 위장하여 의미적 연결고리 형성) 와 'Trigger'(악성 페이로드 전달) 두 문서를 최적화합니다.
  • 최적화 알고리즘: Greedy Coordinate Gradient (GCG) 를 사용하여 임베딩 공간에서의 코사인 유사도를 최대화하도록 토큰을 수정합니다.
  • 공격 시나리오: 인증 우회 (Auth Bypass), 데이터 유출 (Data Exfil), 프롬프트 주입 (Prompt Inject) 등 3 가지 시나리오를 평가했습니다.
• 평가 데이터셋:
  • Security Stack Exchange (기술 코퍼스): 67,941 개 문서, 전문 보안 용어 포함.
  • FEVER Wikipedia (일반 코퍼스): 96,561 개 문서, 일반적 어휘.
  • 생산 환경 사례: 주요 네트워크 보안 업체의 156,777 개 문서.
• 방어 및 탐지 평가:
  • 방어: 순수 벡터 검색 (Pure Vector) 과 하이브리드 검색 (BM25 + Vector) 의 성능 비교.
  • 탐지: 시맨틱 드리프트, 키워드 이상 탐지, 쿼리 패턴 차분 (QPD) 등 5 가지 탐지 방법의 효과 분석.
  • 모델 평가: GPT-5.3, GPT-4o, Claude Sonnet 4.6, Llama 4 등 5 가지 LLM 패밀리에서의 종단간 (End-to-End) 공격 성공률 측정.

3. 주요 기여 (Key Contributions)

1. 하이브리드 검색을 통한 아키텍처적 방어: 단순한 BM25(키워드) 와 벡터 검색의 혼합이 그라디언트 기반 poisoning 공격을 효과적으로 차단함을 증명했습니다.
2. 코퍼스 의존성 (Corpus-Dependent) 특성 규명: 기술 코퍼스는 공격 용어를 자연스럽게 흡수하여 은닉성은 높지만 검색 성공률은 낮고, 일반 코퍼스는 검색은 잘 되지만 은닉성이 전혀 없음을 발견했습니다.
3. 다중 모델 평가: 모델별 안전성 훈련 (Safety Training) 수준에 따라 공격 성공률이 극명하게 달라짐을 보였습니다.
4. 실무적 권고: 즉시 배포 가능한 방어 전략 (하이브리드 검색 + QPD 모니터링) 을 제시했습니다.

4. 주요 결과 (Key Results)

A. 하이브리드 검색의 방어 효과

• 순수 벡터 검색: 그라디언트 기반 공격의 공동 검색 (Co-retrieval) 성공률이 38% 에 달했습니다.
• 하이브리드 검색 (BM25 + Vector): 모든 혼합 비율 ($\alpha=0.3 \sim 0.7$) 에서 그라디언트 기반 공격의 성공률을 0% 로 낮췄습니다.
  • 이유: GCG 는 임베딩 공간의 연속적 유사성만 최적화할 뿐, BM25 가 요구하는 이산적 (Discrete) 키워드 매칭을 동시에 최적화하기 어렵기 때문입니다.
• 한계 (Joint Optimization): 공격자가 희소 (Sparse) 와 밀집 (Dense) 채널을 동시에 최적화하면 하이브리드 검색을 우회하여 20~44% 의 성공률을 보였습니다. 하지만 순수 벡터 검색 대비 공격 난이도는 크게 상승했습니다.

B. 코퍼스 의존성 (Corpus-Dependent Effects)

• Security Stack Exchange (기술 코퍼스):
  • 은닉성 (Stealth): 66.7% (높음). 전문 용어 환경에서 공격 키워드가 이상치로 인식되지 않음.
  • 공격 성공률: 11.1% (낮음). 정상 질문에서도 검색될 확률이 낮아 트리거가 발동되기 어려움.
• FEVER Wikipedia (일반 코퍼스):
  • 은닉성: 0% (매우 낮음). 보안 관련 용어가 일반 문서에서 매우 이례적이어서 정상 질문에서도 즉시 검색됨.
  • 공격 성공률: 0% (모든 설정에서 실패).
• 결론: 기술 코퍼스는 은닉은 쉽지만 공격 실행은 어렵고, 일반 코퍼스는 공격 실행은 쉽지만 은닉이 불가능합니다. 탐지 난이도는 코퍼스 간에 13 배~62 배 차이가 납니다.

C. 모델별 안전성 차이

• Llama 4 Instruct: 공격 성공률 93.3%, 안전 위반률 93.3%. 오픈 가중치 모델은 컨텍스트 poisoning 에 매우 취약합니다.
• Claude Sonnet 4.6: 공격 성공률 60% 이지만, 안전 위반률은 6.7% 로 낮습니다. 안전성 훈련이 공격의 심각성을 제한할 수 있음을 보여줍니다.
• GPT-5.3: GPT-4o 대비 안전성이 개선되었으나, 여전히 46.7% 의 공격에 취약합니다.
• 결론: 모델 수준의 안전성 훈련만으로는 RAG poisoning 을 막을 수 없으며, 검색 계층의 방어가 필수적입니다.

D. 탐지 성능

• QPD (Query Pattern Differential): 문서가 민감한 질문과 정상 질문에서 어떻게 검색되는지 행동 패턴을 분석하는 방법으로, 코퍼스 간 격차 (Gap) 가 가장 작아 (3.7 배) 가장 강력한 탐지 신호를 제공했습니다.
• 키워드 이상 탐지: 기술 코퍼스에서는 효과가 거의 없었으나 (40 배 격차), 일반 코퍼스에서는 효과적이었습니다.

5. 의의 및 시사점 (Significance)

1. 방어 아키텍처의 중요성: LLM 모델 자체의 안전성 훈련보다 검색 계층 (Retrieval Layer) 의 아키텍처 변경 (하이브리드 검색) 이 더 강력하고 즉각적인 방어 수단임을 입증했습니다.
2. 도메인 특화 보안 전략: RAG 보안 벤치마크는 단일 데이터셋이 아닌, 다양한 도메인 (기술, 의료, 법률 등) 의 코퍼스를 고려해야 합니다. 한 코퍼스에서 작동하는 방어 기법이 다른 코퍼스에서는 무용지물이 될 수 있습니다.
3. 실무적 권장 사항:
   • 1 차 방어: $\alpha \le 0.5$ (벡터 비중 50% 이하) 로 설정된 하이브리드 검색을 즉시 배포.
   • 보조 방어: QPD 모니터링을 통해 비정상적인 검색 패턴 감지.
   • 모델 선택: Llama 계열과 같은 오픈 모델은 보안이 중요한 RAG 환경에서 추가적인 가드레일 (Guardrails) 이 필요함.

이 논문은 RAG 시스템의 보안이 단순히 모델의 문제만이 아니라, 검색 알고리즘과 지식 베이스의 구성 (Corpus) 이 복합적으로 작용하는 문제임을 명확히 보여주었습니다.