From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 검색 증강 생성 (RAG) 시스템의 성능은 검색 (Retrieval) 단계의 품질에 결정적으로 의존합니다. 그러나 텍스트와 표 (Table) 가 혼합된 이질적인 문서 (예: 금융 보고서, 규제 문서) 에 대한 체계적인 검색 방법 비교 연구는 부재했습니다.
• 문제점:
  • 금융 문서는 텍스트로 문맥을 제공하고 표로 정확한 수치를 담고 있어, 질문의 답을 찾기 위해 문서 전체와 표 내 특정 셀을 동시에 찾아야 합니다.
  • 기존 연구들은 주로 텍스트 기반이거나, 단일 검색 방법만 평가했습니다.
  • 의미 기반 검색 (Dense Retrieval) 이 항상 단어 기반 검색 (Sparse/BM25) 을 능가한다는 가정이 금융 도메인에서 유효한지 의문입니다.
  • 기존 벤치마크 (FinQA 등) 는 '오라클 컨텍스트' (정답 문서를 이미 알고 있는 상태) 를 가정하여 검색 성능을 평가하는 데 한계가 있었습니다.

2. 방법론 (Methodology)

A. 데이터셋: T2-RAGBench

• 구성: 7,318 개의 금융 문서 (SEC 제출 서류, 연차 보고서 등) 와 23,088 개의 질의 - 답변 쌍으로 구성됨.
• 특징: 텍스트와 마크다운 형식의 표가 혼합되어 있음.
• 혁신: 기존 데이터셋의 문맥 의존적 질문을 Llama 3.3-70B 를 활용하여 재구성 (Reformulation) 함. 회사명, 업종, 보고서 연도 등을 포함시켜 문맥과 무관하게 정답이 하나만 존재하는 질문으로 변환했습니다. (인간 검증 후 83.9% 의 질문이 문맥 독립적임 확인)

B. 평가된 10 가지 검색 전략

연구는 다음과 같은 범주의 10 가지 전략을 비교 평가했습니다:

1. 단일 검색 (Single-stage):
   • BM25: 전통적인 희소 검색 (Lexical).
   • Dense Retrieval: text-embedding-3-large 기반의 밀집 벡터 검색.
2. 하이브리드 및 퓨전 (Hybrid & Fusion):
   • Hybrid (RRF): BM25 와 Dense 검색 결과를 상호 순위 퓨전 (Reciprocal Rank Fusion) 으로 결합.
   • Hybrid + Rerank: 하이브리드 검색 (Top-50) 후 Cohere Rerank v4.0 Pro (Cross-Encoder) 를 통한 재순위화.
3. 쿼리 확장 (Query Expansion):
   • HyDE: 가상의 답변 문서를 생성하여 임베딩으로 검색.
   • Multi-Query: LLM 을 통해 생성된 여러 변형 쿼리로 검색 후 결과 병합.
4. 인덱스 증강 (Index Augmentation):
   • Contextual Retrieval: 색인화 시 LLM 이 생성한 문서 요약 (메타데이터) 을 문서 앞에 추가.
5. 적응형 검색 (Adaptive):
   • CRAG: 검색 결과의 관련성을 평가하여 저품질일 경우 쿼리 재작성 및 재검색 수행.

C. 평가 지표

• 검색 지표: Recall@k (k=1,3,5,10,20), MRR, nDCG, MAP.
• 생성 지표: Number Match (정답 숫자 일치 여부, 상대적 허용 오차 적용).
• 통계적 유의성: 페어드 부트스트랩 테스트 (Paired Bootstrap Test) 를 사용하여 방법론 간 차이의 통계적 유의성 검증.

3. 주요 결과 (Key Results)

A. 검색 성능 (Retrieval Performance)

• 최고 성능: 하이브리드 검색 (RRF) + 신경망 재순위화 (Neural Reranking) 파이프라인이 모든 단일 단계 방법을 압도적으로 능가했습니다.
  • Recall@5: 0.816 (Hybrid RRF 단독 0.695 대비 +17.4%p 향상).
  • MRR@3: 0.605 (Hybrid RRF 단독 0.433 대비 +39.7% 상대적 향상).
• BM25 vs Dense: 흥미롭게도, BM25 가 최신 Dense 모델 (text-embedding-3-large) 보다 모든 지표에서 더 좋은 성능을 보였습니다 (Recall@20 제외). 이는 금융 문서의 정확한 용어 (회사명, 지표명, 회계 기간) 가 단어 매칭에 더 유리함을 시사합니다.
• HyDE 의 실패: HyDE 는 일반 Dense 검색보다 성능이 낮았습니다. (Recall@5: 0.544 vs 0.587). LLM 이 생성한 가상의 답변이 실제 금융 수치와 달라 노이즈를 유발하기 때문입니다.
• Contextual Retrieval: 문서 색인 시 컨텍스트 요약본을 추가하는 방식이 Dense 및 Hybrid 성능을 일관되게 향상시켰습니다.

B. 종단간 생성 성능 (End-to-End Generation)

• 검색 품질의 향상은 생성 품질 (Number Match) 과 강한 양의 상관관계 (r > 0.98) 를 보였습니다.
• 최적의 검색 (Hybrid+Rerank) 을 사용할 때 GPT-4.1-mini 의 정답률은 0.282 였으나, 오라클 컨텍스트 (정답 문서 제공) 일 때는 0.350 으로 상승했습니다. 이는 검색 단계가 RAG 성능의 병목임을 증명합니다.

C. 에러 분석

• 실패 사례 중 73% 는 표 구조 불일치 (Table structure mismatch) 였습니다. (예: "2019 년 순이익" 질문과 표 내 셀 분리가 매칭되지 않음).
• 20% 는 수치 추론 실패였습니다.
• TAT-DQA 서브셋이 가장 어려운 것으로 나타났으며, 하이브리드 퓨전이 이 부분에서 가장 큰 개선을 보였습니다.

4. 주요 기여 (Contributions)

1. 체계적인 벤치마크: 텍스트와 표가 혼합된 금융 도메인 문서에 대한 10 가지 검색 전략에 대한 가장 포괄적인 평가 수행.
2. 다차원 평가: 검색 지표 (Recall, MRR 등) 와 생성 지표 (Number Match) 를 모두 평가하고 통계적 유의성을 검증.
3. 실무적 통찰:
   • 2 단계 파이프라인의 우위: 하이브리드 검색 + Cross-Encoder 재순위화가 생산 환경에 가장 적합함.
   • BM25 의 재발견: 금융 도메인에서는 의미 검색보다 단어 기반 검색이 더 강력할 수 있음.
   • HyDE 비추천: 정밀한 수치 질문이 필요한 도메인에서는 HyDE 사용을 피해야 함.
4. 오픈 소스: 전체 벤치마크 코드와 실험 설정 공개.

5. 의의 및 결론 (Significance & Conclusion)

• 도메인 특화 평가의 중요성: MTEB 나 BEIR 같은 일반 벤치마크 순위가 금융 도메인 검색 성능을 예측하지 못함을 증명했습니다.
• 실무 가이드라인 제공:
  1. 기본 베이스라인으로 하이브리드 검색 (BM25 + Dense) 을 사용.
  2. 품질 극대화를 위해 Cross-Encoder 재순위화 단계 추가 (가장 큰 효과).
  3. 색인화 단계에서 Contextual Retrieval 적용.
  4. 정밀한 수치/엔티티 기반 쿼리에는 HyDE 사용 금지.
• 미래 작업: ColBERT 와 같은 레이트 인터랙션 모델, RAPTOR, 그리고 비금융 도메인으로의 확장 연구가 필요함.

이 논문은 RAG 시스템 설계 시 "무조건적인 의미 검색"이 아닌, 도메인 특성 (금융/표 데이터) 에 맞는 하이브리드 접근법과 재순위화 전략의 중요성을 실증적으로 입증했습니다.