Evaluating RAG Reliability under Clean, Misleading, and Mixed Retrieval

기술 요약: 클린, 오도(Misleading), 혼합된 검색 환경에서의 RAG 신뢰성 평가

문제 정의
검색 증강 생성(RAG) 시스템은 외부 증거에 기반하여 응답을 생성함으로써 대규모 언어 모델(LLM)의 사실적 신뢰성을 높이도록 설계되었습니다. 그러나 검색된 콘텐츠가 그럴듯하지만 틀린 정보(오정보)를 포함한 이질적인 데이터를 포함하는 경우가 많은 실제 정보 환경에서는 치명적인 취약점이 존재합니다. 현재의 평가 프레임워크는 검색된 문맥이 신뢰할 수 있다고 가정하거나, 주로 보안 중심의 "포이즈닝(poisoning)" 공격에 초점을 맞추는 경우가 많습니다. 특히 모델이 이미 자신의 파라미터적(내부적) 지식으로 정답을 알고 있는 시나리오에서, 검색된 문맥에 오정보가 포함될 때 RAG 시스템이 어떻게 반응하는지에 대한 체계적인 분석이 부족합니다. 핵심 문제는 오도하는 증거가 올바른 내부 지식을 얼마나, 그리고 어떻게 대체하고 모델의 확신에 영향을 미치는지 결정하는 것입니다.

연구 방법론
본 연구는 네 가지 뚜un한 문맥 시나리오에 걸쳐 RAG의 강건성을 테스트하기 위한 평가 프로토콜을 제안합니다:

1. 클린(Clean): 올바른 구절들로만 구성된 문맥.
2. 포이즌드(Poisoned): 잘못된(오도하는) 구절들로만 구성된 문맥.
3. 혼합-33(Mixed-33): 하나의 잘못된 구절과 두 개의 올바른 구절로 구성된 문맥.
4. 혼합-67(Mixed-67): 두 개의 잘못된 구절과 하나의 올바른 구절로 구성된 문맥.

실험 설정:

• 데이터셋: TruthfulQA 데이터셋에서 100개의 팩토이드(factoid) 질문 샘플을 추출했습니다. 결정적으로, 본 연구는 모델이 파라미터 전용(Parametric-Only) 설정(검색 없이)에서 정답을 맞힌 질문들만을 필터링하여, 이후 발생하는 오류가 지식의 부재가 아닌 문맥의 영향 때문임을 보장했습니다.
• 모델: 모델 용량의 영향을 평가하기 위해 GPT-4o(강력한 폐쇄형 가중치 모델)와 LLaMA-3.1-8B(더 작은 개방형 가중치 모델)를 사용하여 실험을 진행했습니다.
• 문맥 구성: 클린 문맥은 BM25를 사용하여 위키피디아에서 검색되었습니다. 오도하는("포이즌드") 문맥은 LLaMA-3.1-8B를 사용하여 생성되었으며, 이는 독점 API에 의존하지 않고도 현실적인 오정보를 모사할 수 있도록 그럴듯하고 정보력이 있으며 사실 관계가 정답과 상충되도록 합성되었습니다.
• 평가 지표: 단순 정확도를 넘어 다음과 같은 세 가지 특정 지표를 도입했습니다:
  1. 파라미터 덮어쓰기 비율 (Parametric Override Rate, POR): 검색된 문맥이 모델로 하여나 올바른 파라미터 답변을 버리고 잘못된 답변을 선택하게 만드는 빈도를 측정합니다.
  2. 확신 인플레이션 (Confidence Inflation, CI): 오도하는 문맥 하에서 잘못된 답변을 생성할 때 모델의 단언적 태도(확신)가 클린 문맥 대비 얼마나 증가하는지 정량화합니다.
  3. 포이즌 비율 곡선 (Poison Ratio Curve, PRC): 문맥 내 잘못된 구절의 비율이 0%에서 100%로 증가함에 따라 모델의 전체 정확도가 어떻게 변화하는지 추적합니다.

주요 결과

• 파라미터 덮어쓰기: 두 모델 모두 올바른 내부 지식을 대체하는 데 상당한 취약성을 보였습니다. 클린 시나리오에서도 상당 부분의 올바른 파라미터 답변이 덮어쓰기 되었으며(GPT-4o의 POR 0.378, LLaMA-3.1의 POR 0.417), 이는 검색된 문맥의 존재 자체가 내부 추론을 방해할 수 있음을 시사합니다. 잘못된 문맥의 비율이 높아질수록 POR은 체계적으로 상승했습니다. 포이즌드 시나리오에서 두 모델 모두 56% 이상의 사례에서 올바른 지식을 포기했습니다.
• 모델 민감도: LLaMA-3.1은 GPT-4o보다 모순되는 증거에 더 높은 민감도를 보였으며, 혼합 시나리오에서 더 급격한 성능 저하를 나타냈습니다 (예: LLaMA-3.1의 경우 Mixed-67에서 POR이 0.583으로 급증).
• 확신 인플레이션: 오도하는 문맥은 모델이 잘못된 답변을 훨씬 더 높은 확신을 가지고 표현하게 만들었습니다. 완전히 포이즌된 시나리오에서 두 모델은 유사한 수준의 확신 인플레이션(약 1.6)을 보였으며, 이는 오정보에 대한 과도한 확신이 특정 아키텍처의 결함이라기보다 RAG 시스템의 일반적인 특성임을 나타냅니다.
• 정확도 저하: 포이즌 비율 곡선은 오정보의 양과 모델 정확도 사이의 명확한 역관계를 보여주었습니다. 코크란의 Q 검정(Cochran's Q) 통계 테스트를 통해 문맥 조건에 따른 정확도 저하가 두 모델 모두에서 유의미함을 확인했습니다.

의의 및 기여
본 논문은 검색된 문맥의 영향 아래 모델이 올바른 파라미터 지식으로부터 얼마나 벗어나는지를 명시적으로 측정하는 최초의 체계적인 평가 프레임워크를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 행동적 통찰: RAG의 신뢰성이 단순히 검색 정확도에 관한 것이 아니라, 내부 지식과 외부 증거 사이의 충돌을 모델이 어떻게 해결하느냐에 크게 의존한다는 점을 입증했습니다.
2. 새로운 지표: "덮어쓰기" 효과와 잘못된 답변이 높은 확신과 결합되는 위험한 현상을 정량화하기 위해 POR, CI, PRC를 도입했습니다.
3. 현실적인 평가: RAG 시스템이 오정보가 지배적이지 않은 "혼합" 환경에서도 취약하다는 점을 강조하며, 문맥 내의 올바른 정보가 자연스럽게 우세할 것이라는 가정에 도전했습니다.

저자들은 오정보가 풍부한 환경에서는 검색된 증거의 신뢰성이 그 관련성만큼이나 중요하다고 결론짓습니다. 본 연구는 향-RAG 시스템이 검증된 지식보다 오도하는 정보를 확신 있게 채택하는 것을 방지하기 위해 신뢰도 인식 검색 메커니즘과 충돌 탐지 전략이 필요함을 시사합니다.