DenialRAG: Single-Document RAG Poisoning via Embedded Parametric Denial

기술 요약: "DenialRAG: 임베디드 파라메트릭 부정을 통한 단일 문서 RAG 포이즈닝"

문제 정의
외부 문서에 기반하여 대규모 언어 모델(LLM)의 생성을 조절하는 검색 증강 생성(RAG) 시스템은 코퍼스 포이즈닝(corpus poisoning)에 취약하다. 이 위협 모델에서 공격자는 모델 가중치, 시스템 프롬프트 또는 리트리버 내부 구조에 접근하지 않고도, 생성기가 공격자가 선택한 오답($Y$)으로 유도되도록 정교하게 제작된 문서를 검색 코퍼스에 삽로한다. 기존의 단일 문서 공격들(예: PoisonedRAG, AuthChain, CorruptRAG)은 단일 포이즈닝 패시지가 RAG 시스템을 오도할 수 있음을 입증했지만, 일반적으로 정답($X$)을 명시적으로 언급하는 것은 피한다. 이는 $X$를 언급하는 것이 모델의 파라메트릭 지식을 활성화하여 포이즈닝된 콘텐츠를 거부하게 만들 수 있다는 일반적인 가정 때문이다. 본 논문은 $X$를 회피하는 것이 필수적인지, 아니면 $X$를 명시적으로 언급하고 이를 부정하는 것이 더 강력한 공격 벡터가 될 수 있는지를 조사한다.

방법론: DenialRAG
저자들은 공격자가 선택한 정답($Y$)과 정답($X$) 사이의 충돌을 포이즈닝된 패시지 내에 명시적으로 삽입하는 단일 문서 포이즈닝 공격인 DenialRAG를 제안한다. $X$를 억제하는 대신, 이 공격은 $X$를 명시적으로 언급하고 $Y$를 선택해야 하는 이유에 대해 공격자가 통제하는 설명을 제공한다.

공격 파이프라인은 두 단계로 작동한다:

1. 오프라인 공격 시점: 타겟 쿼리 $q$, 정답 $X$, 그리고 타겟 오답 $Y$가 주어지면, 공격자는 LLM을 사용하여 짧은(≤100 단어) 포이즈닝 패시지를 생성한다. 이 생성 과정에는 두 번의 호출이 포함된다:
   • 특징 추출(Feature Extraction): 검색 관련성을 보장하기 위해 질문의 의도와 주요 증거 노드(엔티티, 날짜 등)를 식별한다.
   • 패시지 구성(Passage Construction): 네 가지 구성 요소를 포함하는 구조화된 패시지를 생성한다:
     1. 도입부(Opening): 구체적인 세부 사항과 함께 $Y$를 확정적인 답으로 단언한다.
     2. 증거 엮기(Evidence Weaving): 추출된 증거 노드들을 포함시켜 사용자 쿼리와 정렬시킨다.
     3. 임베디드 부정(Embedded Denial): $X$를 명시적으로 언급하고, 이를 오해나 구식 정보로 규정하며, 이를 거부해야 하는 이유를 제공한다.
     4. 종결 권위(Closing Authority): 기관 또는 기록에 근거한 인용을 통해 $Y$를 재확인한다.
        생성된 문서는 검색 코퍼스 $K$에 삽입된다.
2. 온라인 쿼리 시점: 사용자가 $q$를 제출하면, 리트리버는 높은 어휘적/의미적 중첩도로 인해 포이즈닝된 패시지를 선택한다. $X$가 이미 인정되고 "설명되어 버린" 컨텍스트를 받은 생성기는 $Y$를 출력하도록 유도된다.

주요 기여

1. 새로운 공격 메커니즘: 포이즈닝 공격에서 정답을 피해야 한다는 가설에 도전하는 DenialRAG를 도입한다. 이는 $X$를 명시적으로 언급하고 $Y$를 옹호하는 로컬 해결책을 임베딩하는 것이 매우 효과적임을 입증한다.
2. 체계적 평가: 세 가지 오픈 도메인 QA 데이터셋(Natural Questions, HotpotQA, MS-MARCO), 네 개 벤더의 8개 타겟 LLM(보급형부터 프런티어 모델까지), 그리고 네 가지 기존 단일 문서 포이즈닝 베이스라인에 대한 종합적인 평가를 수행한다.
3. 방어 분석: 추론 시점의 방어 기제 5가지(Paraphrase, InstructRAG, TrustRAG, RobustRAG, AstuteRAG)를 평가하여 단일 문서 공격을 완화할 수 있는지 판단한다.
4. 구성 요소 및 안정성 분석: "임베디드 부정"이 가장 결정적인 구성 요소임을 식별하는 절제 연구(Ablation study)와, 공격의 유효성이 균일하지 않으며 포이즈닝 메커니즘과 타겟 모델의 정렬 및 파라메트릭 지식 간의 상호작용에 크게 의존함을 보여주는 교차 모델 분석을 수행한다.

결과

• 공격 유효성: DenialRAG는 세 데이터셋 모두에서 Mistral-7B에 대해 가장 높은 공격 성공률(ASR)(89%, 94%, 86%)을 달s성한다. 그러나 유효성은 모델에 따라 크게 달라진다. 프런티어 모델(예: GPT-5.2, GPT-5.5)에서는 PIA-direct(직접 단언)나 CorruptRAG-AK(최신성 업데이트 프레이밍)와 같은 다른 공격들이 종종 DenialRAG보다 우수한 성능을 보인다. 예를 들어, GPT-5.5에서는 CorruptRAG-AK가 우세하며, DenialR의 성능은 보급형 모델에 비해 프런티어 모델에서 크게 하락한다.
• 방어 견고성: 추론 시점의 방어 기제들은 많은 설정에서 ASR을 낮추지만, 균일한 보호를 제공하지는 못한다.
  • Paraphrase는 제한적인 효과를 보인다.
  • InstructRAG와 TrustRAG는 일부 공격의 ASR을 낮추지만, 특히 포이즈닝된 패시지가 스스로 갈등을 설명하는 경우 DenialRAG와 CorruptRAG-AK에 대해 상당한 잔류 위험을 남긴다.
  • RobustRAG와 AstuteRAG는 특정 설정에서 강한 감소를 보인다(예: GPT-5.2에서 DenialRAG의 ASR을 약 8%까지 감소시킴). 그러나 Mistral-7B에 대한 DenialRAG에는 효과적이지 않다(ASR이 약 77-86% 유지됨).
• 절제 연구 결과: "임베디드 부정"(즉, $Y$만을 단언함)을 제거했을 때 ASR이 가장 크게 감소(평균 약 17 퍼센트 포인트)하였으며, 이는 왜 $X$가 틀렸는지 설명하는 메커니즘이 성공의 주요 동력임을 확인시켜 준다. 또한 $X$의 이름을 명시하는 것도 중요하다. 정답의 이름을 누락하면 유효성이 감소한다.
• 모델 체제 안정성: DenialRAG는 보급형 모델에서 프런티어 모델로 이동할 때 가장 큰 성능 저하(30.3 퍼센트 포인트 하락)를 보이는데, 이는 강력한 모델이 DenialRAG가 제시하는 명시적 모순을 자신의 파라메트릭 지식과 대조하여 검증하는 능력이 더 뛰어나기 때문임을 시사한다. 반면, 갈등을 "최신성 업데이트"로 프레이밍하는 공격(CorruptRAG-AK)은 모델 체제 전반에 걸쳐 더 안정적이다.

의의 및 주장
본 논문은 RAG 포이즈닝 위험이 단일 공격 제품군이나 단일 타겟 모델로 특징지어질 수 없다고 주장한다. 포이즈닝 공격의 유효성은 공격 메커니즘(예: 부정 vs 단언 vs 업데이트 프레이밍)과 타겟 LLM의 아키텍처 및 정렬 사이의 구체적인 상호작용에 크게 의존한다.

저자들은 DenialRAG가 특히 보급형 모델에 대해 강력한 새로운 벡터이지만, 보편적으로 우월한 것은 아니라고 강조한다. 이 연구는 방어 기제가 비균일적임을 보여준다. 즉, 한 종류의 포이즈닝(예: 직접 단언)을 완화하는 방어가 다른 종류(예: 임베디드 부정 또는 최신성 업데이트)에 대해서는 시스템을 취약하게 남겨둘 수 있다. 결과적으로, 본 논문은 RAG 보안을 이해하려면 단일 지표나 모델 클래스에 의존하기보다, 다양한 모델과 방어 기제 전반에 걸친 다양한 공격 메커니즘을 분석해야 한다고 결론짓는다.