One Shot Dominance: Knowledge Poisoning Attack on Retrieval-Augmented Generation Systems

논문 요약: One Shot Dominance (AuthChain)

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 에 외부 지식 베이스를 결합한 검색 증강 생성 (RAG) 시스템은 사실성 향상과 환각 (Hallucination) 감소에 탁월한 성능을 보이지만, 외부 지식 베이스의 조작에 취약하다는 보안 문제가 있습니다.
기존의 지식 중독 (Knowledge Poisoning) 공격 연구들은 다음과 같은 한계를 가집니다:

• 다중 문서 주입 필요: 공격 성공을 위해 여러 개의 독성 문서를 주입해야 하여 은밀성 (Stealthiness) 이 낮음.
• 단순한 질의만 대응: 복잡한 다중 홉 (Multi-hop) 질문이나 여러 요소 간의 관계를 포함하는 복잡한 질의에는 효과가 떨어짐.

이 논문은 **단 하나의 문서만 중독 (Single Document Poisoning)**하여도 복잡한 다중 홉 질문을 포함한 RAG 시스템을 성공적으로 공격할 수 있음을 증명하고, 이를 위한 새로운 공격 기법 AuthChain을 제안합니다.

2. 방법론 (Methodology: AuthChain)

AuthChain 은 LLM 이 외부 지식 베이스에서 독성 문서를 신뢰하고 우선적으로 선택하도록 유도하기 위해 세 가지 핵심 원리를 기반으로 문서를 생성합니다.

1. 의도 기반 콘텐츠 생성 (Intent-Based Content Generation):

   • 질문의 핵심 의도 (Intent), 핵심 요소 (Key Elements), 그리고 요소 간의 관계 (Relations) 를 추출합니다.
   • 추출된 정보를 바탕으로 질문의 의도와 완벽하게 일치하는 콘텐츠를 생성하여, 검색기 (Retriever) 가 해당 문서를 상위에 랭크시키고 LLM 이 추론 과정에서 이를 집중하도록 만듭니다.

2. 증거 체인 (CoE, Chain-of-Evidence) 콘텐츠 생성:

   • 단순한 의도 일치뿐만 아니라, 질문의 모든 논리적 요소를 포함하는 자기 완결형 증거 체인을 구축합니다.
   • Judge Agent 와 Revise Agent 를 활용한 반복적 정제 과정을 통해, 질문의 논리적 구조를 완전히 보존하고 파편화된 다른 외부 지식보다 우월한 경쟁력을 가지도록 문서를 구성합니다.

3. 권위 기반 콘텐츠 생성 (Authority Content Generation):

   • LLM 이 가진 내부 지식 (Internal Knowledge) 의 편향을 극복하기 위해 **권위 신호 (Authority Signals)**를 도입합니다.
   • 공인된 기관의 endorsement(후원) 나 최신 타임스탬프를 포함시켜, 정적 내부 지식보다 더 신뢰할 수 있고 최신인 정보로 인식되도록 설계합니다.

이 세 단계가 결합된 최종 독성 문서는 지식 베이스에 주입되며, RAG 시스템이 이를 검색하고 LLM 이 이를 신뢰하여 잘못된 답변을 생성하도록 유도합니다.

3. 주요 기여 (Key Contributions)

• 단일 문서 공격의 실현: 기존 연구의 한계를 극복하고, 단 하나의 문서만으로 복잡한 다중 홉 질문을 포함한 RAG 시스템을 성공적으로 공격하는 방법을 제시했습니다.
• AuthChain 프레임워크: 검색 가시성 (Visibility), 검색 가능성 및 경쟁력 (Retrievability & Competitiveness), 내부 지식 편향 극복 (Overcoming Bias) 을 동시에 해결하는 3 단계 생성 프로세스를 제안했습니다.
• 강력한 은밀성 및 방어 우회: 기존 공격 기법 (PoisonedRAG, HijackRAG) 대비 훨씬 높은 은밀성을 유지하면서, InstructRAG 및 AstuteRAG 와 같은 최신 RAG 방어 메커니즘을 우회하는 능력을 입증했습니다.

4. 실험 결과 (Results)

저자는 6 가지 주요 LLM(GPT-3.5, GPT-4, GPT-4o, Llama3-8B/70B, DeepSeek-V3) 과 3 가지 데이터셋 (HotpotQA, MS-MARCO, NQ) 을 사용하여 광범위한 실험을 수행했습니다.

• 공격 성공률 (ASR) 향상:
  • AuthChain 은 평균 **87.0% (HotpotQA), 81.5% (MS-MARCO), 77.8% (NQ)**의 공격 성공률을 기록했습니다.
  • 기존 최첨단 기법 (PoisonedRAG, HijackRAG) 대비 **21.7%~46.5%**만큼 공격 성공률이 크게 향상되었습니다.
• 은밀성 및 자연스러움:
  • 생성된 텍스트의 자연스러움을 나타내는 Perplexity (PPL) 점수가 기존 기법보다 현저히 낮아 (평균 33.4 vs PRAG 69.9, HRAG 381.1), 탐지 메커니즘을 우회하는 데 효과적이었습니다.
  • 검색 성공률 (RSR) 도 경쟁력 있는 수준을 유지했습니다.
• 방어 메커니즘 우회:
  • InstructRAG 및 AstuteRAG 방어 프레임워크 하에서도 AuthChain 은 다른 기법들보다 훨씬 높은 ASR 을 유지하며 방어 시스템을 무력화시켰습니다. 특히 AstuteRAG 는 내부 지식과 외부 지식을 검증하지만, AuthChain 의 권위 신호와 증거 체인 구조가 이를 효과적으로 속였습니다.
• 내부 지식 편향 극복:
  • LLM 이 내부적으로 정답을 알고 있는 경우에도, 권위 신호가 포함된 독성 문서는 LLM 의 내부 지식을 무효화하고 잘못된 답변을 선택하게 만들었습니다.
• 강건성:
  • 사용자의 질문이 재표현 (Paraphrasing) 되거나 다중 턴 대화 (Multi-turn) 환경에서도 공격 성공률이 높게 유지되어 실제 적용 가능성을 입증했습니다.

5. 의의 (Significance)

이 연구는 RAG 시스템의 보안 취약점이 생각보다 훨씬 심각할 수 있음을 경고합니다. 특히 단 하나의 문서 조작만으로도 복잡한 논리적 추론이 필요한 질문까지 왜곡할 수 있다는 점은 RAG 시스템이 의존하는 외부 지식 베이스의 무결성 보장이 얼마나 중요한지 보여줍니다.

• 보안 시사점: RAG 시스템 개발자는 단순한 키워드 매칭이나 텍스트 필터링을 넘어, 문서의 논리적 일관성, 출처의 신뢰성, 그리고 내부 지식과의 충돌을 심층적으로 검증하는 새로운 방어 메커니즘이 필요함을 시사합니다.
• 윤리적 대응: 저자는 공격 기법을 공개함과 동시에, 지식 베이스의 엄격한 검증, 증거 중심의 평가, 실시간 팩트 체크, 이상 패턴 모니터링 등의 방어 전략을 제안하며 AI 시스템의 안전한 발전을 위한 대화를 촉진하고 있습니다.

결론적으로, AuthChain 은 RAG 시스템의 보안 위협을 재정의하고, 더 강력한 방어 체계 구축의 필요성을 강력하게 제기하는 중요한 연구입니다.