기술 요약: RAG 포이즈닝(Poisoning)에 미치는 영향 요인

문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템은 추론 시점에 외부 지식을 검색하여 대규모 언어 모델(LLM)의 응답 근거를 강화합니다. 그러나 이러한 의존성은 치명적인 취약점인 **포이즈닝 공격(poisoning attacks)**을 야기합니다. 이러한 시나리오에서 지식 베이스에 삽입된 적대적 문서들은 검색 과정과 최종 생성 출력 모두를 조작할 수 있습니다. 기존 연구들이 이러한 공격의 실현 가능성을 입증해 왔음에도 불구하고, 특정 RAG 설계 선택 사항들이 어떻게 상호작용하여 취약성에 영향을 미치는지에 대한 체계적인 이해는 부족한 실정입니다. 기존 연구들은 종종 개별 요인들을 고립시켜 조사하며, 검색 메커니즘, 생성 모델, 그리고 지식 베이스 구성 간의 고차 상호작용 효과를 정량화하는 데 실패합니다. 본 논문은 복합적인 시스템 구성이 포이즈닝 공격의 효과성, 은밀성 및 영향력을 어떻게 결정하는지 조사함으로써 이 격차를 해소하고자 합니다.

방법론

저자들은 포이즈닝 강건성을 체계적으로 평가하기 위해 432개의 고유한 구성을 포함하는 **전요인 실험 설계(full factorial experimental study)**를 수행했습니다. 방법론은 다음 차원들에 걸쳐 핵심 파이프라인 매개변수를 변화시키는 방식을 취했습니다:

• 데이터셋: 두 가지 질의응답 데이터셋인 HotpotQA(다중 홉 추론)와 MS-MARCO(오픈 도메인 패시지 검색)가 사용되었습니다. 정렬된 검색 조건을 보장하기 위해 의미적으로 유사한 100개의 질문 쌍으로 구성된 큐레이션된 하위 집합을 구축했습니다.
• 검색 아키텍처: 세 가지 뚜렷한 패러다임이 테스트되었습니다:
  • BM25: 희소(sparse) 기반의 어휘적 검색기.
  • Dense BGE: 의미론적 임베딩을 사용하는 밀집(dense) 벡터 기반 검색기.
  • Graph-based: 문서 간 관계를 탐색하여 증거를 검색하는 구조적 접근 방식.
• 검색 깊이 ($k$): 컨텍스트 윈도우 크기가 포이즈닝된 콘텐츠의 포함에 미치는 영향을 평가하기 위해 검색된 패시지의 수(2, 3, 5)를 변화시켰습니다.
• 지식 베이스 구성: 총 데이터베이스 수(1 또는 2개)와 포이즈닝된 데이터베이스 수(1 또는 2개)를 변화시켜 다양한 리스크 프로필을 시뮬레이션했습니다. 여기에는 단일 소스 침해, 하나의 포이즈닝된 소스를 가진 이중 소스 중복성, 그리고 전체 시스템 포화 시나리오가 포함되었습니다.
• 문서 전처리: 세그멘테이션(segmentation)이 포이즈닝 노출에 미치는 영향을 평가하기 위해 청크 크기(512 vs. 768 토큰)와 오버랩 값(64 vs. 100 토키)을 평가했습니다.
• 생성 모델: 두 가지 LLM이 테스트되었습니다: llama-4-scout-17b-16e-instruct 및 openai-gpt-oss-120b.
• 포이즈닝 전략: 잘못된 주장을 유도하도록 적대적 문서를 자동 생성했습니다. 이 전략은 검색을 보장하기 위해 쿼리와 높은 어휘적 중첩을 유지하면서도, 정답은 명시적으로 피하도록 설계되었습니다.
• 평가 지표:
  • 검색 단계: Poison@k (top-k 내 존재 여부), Poison Rank, Score Margin (최적의 포이즈닝 문서와 최적의 클린 문서 간 점수 차이).
  • 생성 단계: Abstention Rate (기권율), Correct Answer Rate (정답률), Attack Success Rate (ASR, 공격 성공률).

변수 간의 주효과(main effects)와 상호작용 항(interaction terms, 최대 3차까지)을 식별하기 위해 최소제곱법(OLS) 회귀 분석을 통한 통계 분석이 수행되었습니다.

주요 기여

1. 체계적 요인 분석: 개별 구성 요소에 집중했던 기존 연구와 달리, 본 연구는 데이터셋, 검색기 유형, 검색 깊이, 데이터베이스 구성, 청킹(chunking), 그리고 생성기 선택이 포이즈닝 결과에 어떻게 상호작용하여 영향을 미치는지에 대한 종합적인 정량화를 제공합니다.
2. 데이터베이스 구성 변수: 본 논문은 "데이터베이스 수"와 "포이즈닝된 데이터베이스 수"를 실험 변수로 도입하여, 적대적 중복성과 클린 소스의 경쟁이 공격 성공에 미치는 영향을 분석했습니다.
3. 상호작용 효과: 본 연구는 포이즈닝 취약성이 단일 구성 요소의 결함이 아니라, 특히 데이터셋, 검색 아키텍처, 그리고 검색 깊이 사이의 복잡한 상호작용에서 비롯된다는 점을 식별했습니다.
4. 세밀한 지표: 전요인 설계를 통해 공격이 검색 실패(포이즈닝된 문서가 발견되지 않음)로 인해 성공하는지, 아니면 생성 실패(포이즈닝된 문서가 발견되었으나 무시됨)로 인해 성공하는지를 구분함으로써 시스템 강건성에 대한 더 미묘한 관점을 제공합니다.

결과

실험 결과는 검색 노출과 생성 성공을 결정짓는 서로 다른 동인을 보여줍니다:

• 검색 단계 요인:

  • 검색 아키텍처: Dense(BGE) 및 Graph-based 검색기는 일반적으로 BM25보다 높은 강건성을 보였으며, 이는 더 낮은 Poison@k, 더 높은 Poison Rank(포이즈닝된 문서가 낮은 순위에 위치), 그리고 더 작은 Score Margin을 나타냈습니다.
  • 데이터셋: MS-MARCO가 HotpotQA에 비해 낮은 포이즈닝 노출도를 보였습니다.
  • 검색 깊이: 모든 아키텍처에서 $k$를 증가시킴에 따라(2에서 5로) 포이즈닝된 패시지를 검색할 확률(높은 Poison@k)이 유의미하게 증가했습니다.
  • 상호작용: 가장 강력한 상호작용 효과는 Dataset × Retriever 사이에서 발견되었으며, 이는 강건한 검색기의 이점이 데이터셋에 따라 달라짐(MS-MARCO에서 더 효과적임)을 나타냅니다.

• 생성 단계 요인:

  • 생성기 선택: openai-gpt-oss-120b 모델은 llama-4-scout-17b-16e-instruct에 비해 낮은 Abstention Rate와 높은 ASR을 보였으며, 이는 일단 검색되면 포이즈닝된 컨텍스트를 따르는 데 더 취약함을 시사합니다.
  • 데이터베이스 구성:
    • 적대적 중복성: 여러 데이터베이스에 포이즈닝된 콘텐츠를 복제하는 경우("2 Databases | 2 Poisoned"), 포이즈닝된 패시지의 경쟁력을 높임으로써 공격 성공률을 증폭시켰습니다(높은 ASR, 낮은 정답률).
    • 클린 소스 완화: 추가적인 클린 데이터베이스의 존재("2 Databases | 1 Poisoned")는 정답률을 개선하고 포이즈닝된 패시지를 순위에서 낮추어 공격을 부분적으로 완화했습니다.
  • 청킹: 청크 크기 및 오버랩(512/768 토큰, 64/100 오버랩)의 변화는 검색기 및 데이터셋 선택에 비해 지표에 미치는 영향이 상대적으로 제한적이었습니다.

의의 및 주장

본 논문은 RAG의 포이즈닝 취약성이 단일 구성 요소의 결함이 아니라, 검색, 생성, 그리고 지식 베이스 구성의 상호작용에서 발생하는 시스템적 속성이라고 주장합니다.

• 설계 시사점: 연구 결과는 강건성을 개선하기 위해서는 시스템적 관점이 필요함을 시사합니다. 보안 설계 시 검색 구성(예: BM25 대신 dense/graph 검색기 선택), 데이터베이스 구성(적대적 중복성 방지), 그리고 생성기 동작 간의 상호작용을 반드시 고려해야 합니다.
• 완화 전략: 결과는 생성 전 단계의 완화 전략(예: 의심스러운 패시지를 필터링하거나 순위를 낮추는 것)을 촉구합니다. 왜냐하면 검색기의 선택과 클린 증거와 포이즌 증거 사이의 균형이 최종 출력 품질을 결정짓는 중요한 요소이기 때문입니다.
• 향향후 연구 방향: 저자들은 본 연구의 결과가 특정 데이터셋과 모델에 기반하고 있음을 겸허히 언급했습니다. 향러 연구에서는 더 크고 덜 큐레이션된 쿼리 집합, 적응형 공격을 포함한 추가적인 포이즈닝 전략, 그리고 리랭킹(re-ranking) 단계나 하이브리드 파이프라인과 같은 더 넓은 범위의 구성 매개변수에 대한 분석이 확장되어야 합니다. 또한, 다양한 LLM의 컨텍스트 윈도우 크기가 취약성에 미치는 영향에 대한 조사 필요성도 강조했습니다.