RARE: Redundancy-Aware Retrieval Evaluation Framework for High-Similarity Corpora

1. 문제 정의 (Problem)

기존의 질문 응답 (QA) 벤치마크 (HotpotQA, MS MARCO 등) 는 문서 간 중복이 적고 명확하게 구분된 문서를 가정하여 설계되었습니다. 그러나 실제 기업 환경 (금융, 법률, 특허 등) 에서 작동하는 **검색 증강 생성 (RAG)**시스템은 다음과 같은 특성을 가진 고도화된 코퍼스를 다룹니다.

• 높은 정보 중복성 (High Redundancy): 동일한 사실 정보가 여러 문서에 반복적으로 나타남.
• 높은 문서 간 유사성 (High Inter-document Similarity): 문서들이 서로 매우 유사한 내용을 담고 있어 구분이 어려움.

이러한 현실과 벤치마크 간의 불일치는 두 가지 주요 평가 실패를 초래합니다.

1. 부당한 패널티: 검색기가 정답을 포함하는 대체 문서를 찾아냈더라도, 기존 벤치마크가 '단 하나의 정답 문서'만을 금표 (Gold Standard) 로 간주하면 이를 오답으로 처리하여 검색기의 성능을 과소평가함.
2. 과도한 성능 추정: 낮은 중복성을 가진 표준 벤치마크에서의 높은 성능이 실제 고중복 환경에서의 강건성 (Robustness) 을 반영하지 못해, 배포 시 성능 저하를 예측하지 못함.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 **RARE(Redundancy-Aware Retrieval Evaluation)**라는 모듈형 프레임워크를 제안했습니다. RARE 는 크게 세 가지 핵심 단계로 구성됩니다.

A. 원자적 사실 분해 및 유효 정보 선정 (Atomic Information Extraction & Selection)

• 원자적 사실 (Atomic Facts) 추출: 문서를 최소 단위의 사실 단위 (Atomic Information Units) 로 분해합니다. 이는 문서 간 중복을 정밀하게 추적하고, 유연한 멀티홉 (Multi-hop) 질문 생성의 기초가 됩니다.
• 유효성 필터링: 추출된 사실 중 불완전하거나, 사소한 메타데이터이거나, 비실용적인 정보를 제거합니다.
• 다기준 순위 매기기: 유효한 사실들을 '유효성, 완전성, 구체성, 명확성, 질문 가능성' 등 5 가지 기준에 따라 평가합니다.

B. 체계적인 중복성 추적 (Systematic Redundancy Tracking)

• 이중 단계 감지:
  1. 임베딩 유사성 검색: 임베딩 유사도 임계값 ($\tau=0.5$) 을 사용하여 높은 재현율 (Recall) 을 가진 후보 집합을 추출합니다.
  2. LLM 검증: LLM 을 사용하여 후보 사실들이 사실적으로 동등한지 (Redundant) 판단합니다.
• 금표 (Gold Label) 확장: 검색기가 원본 문서가 아닌, 사실적으로 동등한 다른 문서를 찾아내더라도 정답으로 인정하도록 금표 집합을 확장합니다.

C. CRRF 를 활용한 고품질 데이터 생성 (CRRF for Data Generation)

LLM 기반 데이터 생성 시 발생하는 사소한 오류나 모순을 해결하기 위해 **CRRF(Criterion-wise Prompting with Reciprocal Rank Fusion)**를 도입했습니다.

• 문제: LLM 이 여러 기준을 동시에 고려할 때 출력이 불안정하고, 신뢰도 점수 (Confidence Score) 가 잘 보정되지 않음.
• 해결책:
  1. 분리된 평가 (Separate Prompting): 각 품질 기준을 독립적인 프롬프트로 개별 평가합니다.
  2. 상호 순위 융합 (Reciprocal Rank Fusion, RRF): 개별 평가 결과를 신뢰도 점수가 아닌 순위 (Rank) 기반으로 융합합니다.
  • 공식: $s(x) = \sum \frac{1}{rank_i(x)}$
  • 이 방식은 LLM 의 점수 불일치 문제를 해결하고 더 안정적이고 일관된 데이터 생성을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. RARE 프레임워크 제안: 실제 배포 환경 (높은 중복성/유사성) 을 반영한 도메인 특화 RAG 벤치마크 구축을 위한 모듈형 프레임워크를 제시했습니다.
2. CRRF 도입: LLM 기반 데이터 생성의 신뢰성을 높이기 위한 다기준 품질 관리 레시피를 제안했습니다. 실험을 통해 기존 방식보다 더 안정적이고 고품질의 데이터를 생성함을 입증했습니다.
3. RedQA 벤치마크 및 분석: 금융 (Finance), 법률 (Legal), 특허 (Patent) 도메인을 대상으로 RedQA라는 새로운 벤치마크를 구축했습니다. 이를 통해 기존 벤치마크와 실제 기업 코퍼스 간의 성능 격차를 정량화했습니다.

4. 실험 결과 (Results)

RedQA 를 통해 다양한 검색 모델 (BM25, E5, BGE-M3, Qwen3 등) 을 평가한 결과는 다음과 같습니다.

• 성능 급감 (Performance Degradation):
  • 기존 벤치마크 (General-Wiki) 에서는 4-hop 질문에서 검색 모델의 PerfRecall@10 이 **66.4%**를 기록했으나, 고중복 도메인에서는 급격히 하락했습니다.
  • 금융: 8.5%, 법률: 5.0%, 특허: 27.9% 로 떨어졌습니다.
  • 특히 4-hop 질문에서 고중복 코퍼스는 '중복된 정보로 인한 증거 병목 현상'으로 인해 성능이 붕괴되는 경향을 보였습니다.
• 유사성 vs 중복성:
  • **문서 간 유사성 (Similarity)**이 높을수록 검색 성능이 선형적으로 저하되는 경향이 강했습니다. (유사한 문서들이 혼란을 유발)
  • **중복성 (Redundancy)**은 오히려 대체 증거 경로를 제공하여 오류를 완화하는 역할을 하기도 했습니다.
• 모델 크기 및 아키텍처:
  • 모델 크기가 커질수록 성능은 향상되지만, 고중복 환경에서는 여전히 낮은 성능을 보였습니다.
  • LLM 기반 임베딩 모델이 순수 임베딩 모델보다 멀티홉 검색에서 약간 더 우수한 성능을 보였습니다.
• CRRF 의 효과:
  • CRRF(Separate + RRF) 를 사용한 순위 매기기가 단일 프롬프트나 점수 기반 융합 방식보다 NDCG@3 및 안정성 (Stability) 면에서 월등히 우수함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 현실적인 평가 프로토콜의 필요성: 기존 벤치마크는 실제 기업 환경의 RAG 성능을 과대평가할 수 있음을 지적했습니다. RARE 는 실제 배포 조건 (높은 중복성, 유사성) 을 faithfully 반영한 평가를 가능하게 합니다.
• 다중 홉 검색의 어려움: 고중복 환경에서는 단순한 정보 검색을 넘어, 중복된 정보 속에서 핵심 증거를 선별하고 논리적으로 연결하는 능력이 필수적임을 보여줍니다.
• 실무적 적용: RAG 시스템을 기업에 도입할 때, 도메인 특화 벤치마크 (RedQA 와 같은) 를 통해 강건성을 검증해야 함을 강조합니다.

요약하자면, 이 논문은 RAG 시스템이 실제 복잡한 문서 환경에서 겪는 '중복성'과 '유사성' 문제를 체계적으로 평가할 수 있는 새로운 프레임워크와 벤치마크를 제시함으로써, RAG 기술의 현실적인 발전 방향을 제시했습니다.