Decomposing Retrieval Failures in RAG for Long-Document Financial Question Answering

1. 연구 배경 및 문제 정의 (Problem)

• 배경: Retrieval-Augmented Generation (RAG) 은 긴 금융 규제 문서 (SEC filing 등) 를 기반으로 금융 질문 답변 (QA) 에 점점 더 많이 활용되고 있습니다. 그러나 고위험 (high-stakes) 환경에서는 답변을 뒷받침할 정확한 문맥을 추출하는 것이 매우 중요합니다.
• 핵심 문제: 기존 RAG 시스템은 종종 정확한 문서 (Document) 는 찾지만, 그 문서 내 정답이 포함된 페이지 (Page) 나 청크 (Chunk) 를 놓치는 실패 모드를 보입니다.
  • 긴 보고서, 반복되는 템플릿, 밀집된 표 등으로 인해 문서 수준에서 성공하더라도 세부 내용 (페이지/청크) 수준에서는 실패할 수 있습니다.
  • 이러한 실패는 생성 모델이 불완전한 문맥을 바탕으로 추론하게 만들어, 설득력 있지만 틀린 답변을 생성하게 합니다.
• 연구의 필요성: 기존 금융 QA 문헌에서는 문서 검색 성공 여부에만 집중하거나, 문서 검색 실패와 문서 내 컨텍스트 검색 실패를 명확히 구분하여 분석하는 체계적인 연구가 부족했습니다.

2. 방법론 (Methodology)

저자들은 FinanceBench 데이터셋 (150 개 질문) 을 사용하여 다음과 같은 방법론을 제안했습니다.

가. 오라클 기반 분석 (Oracle-based Analysis)

검색 실패의 원인을 정량화하기 위해 세 가지 검색 조건을 정의하여 성능의 상한선 (Upper Bound) 을 측정했습니다.

1. Standard Retrieval: 전체 검색 공간에서 검색.
2. Oracle Document Retrieval: 정답 문서 ($d^\star$) 로 검색 공간을 제한 (페이지/청크 검색 실패만 측정).
3. Oracle Page Retrieval: 정답 문서와 정답 페이지 ($P^\star$) 로 검색 공간을 제한 (청크 검색 실패만 측정).

• 이를 통해 문서 발견 (Document Discovery) 과 문서 내 컨텍스트 검색 (Within-document Context Retrieval) 의 성능 격차를 분리하여 분석했습니다.

나. 제안된 방법: 도메인 특화 페이지 스코어러 (Domain Fine-tuned Page Scorer)

기존의 Passage 기반 계층적 검색 (Document $\to$ Chunk) 과 달리, 페이지 (Page) 를 중간 검색 단위로 도입했습니다.

• 2 단계 검색 프로세스:
  1. 1 단계 (페이지 검색): 금융 문서 전체에서 질문과 관련된 최적의 페이지를 선별합니다. 이를 위해 BGE-M3 를 기반으로 한 Bi-encoder 를 도메인 (금융) 에 맞게 미세 조정 (Fine-tuning) 했습니다.
  2. 2 단계 (청크 검색): 1 단계에서 선정된 페이지들 내에서만 청크 (Chunk) 를 검색하여 최종 답변 생성에 필요한 문맥을 추출합니다.
• 학습 전략: Contrastive Learning (Multiple Negatives Ranking Loss) 을 사용하며, 배치 내 음의 샘플 (in-batch negatives) 을 활용하여 학습했습니다.

다. 비교 실험 설정

다양한 검색 전략을 동일한 환경에서 비교 평가했습니다.

• 검색 방식: Dense (BGE-M3), Sparse (BM25, SPLADE), Hybrid (RRF), Hierarchical (Parent-Child).
• 쿼리 개선: Query Expansion, HyDE (Hypothetical Document), Multi-HyDE.
• 재순위화 (Reranking): Cross-Encoder (BGE-reranker) 사용.

3. 주요 기여 (Key Contributions)

1. 오라클 기반 검색 격차 분석 프레임워크: 검색 실패를 '문서 발견', '페이지 발견', '청크 발견' 단계로 분해하여 정량화하는 새로운 분석 방법을 제시했습니다.
2. 포괄적인 벤치마크 평가: FinanceBench 에 대해 밀집, 희소, 하이브리드, 계층적 검색 및 쿼리 재형성 등 다양한 전략을 체계적으로 비교했습니다.
3. 새로운 페이지 스코어러 도입: 문서와 청크 사이의 중간 단위로 '페이지'를 명시적으로 모델링한 도메인 특화 검색기를 제안하여, 기존 계층적 검색의 한계를 극복했습니다.
4. 세부 분석: 문서 유형 (10-K, 10-Q 등) 과 질문 유형 (지표 기반, 도메인 관련 등) 에 따른 검색 난이도 차이를 분석했습니다.

4. 실험 결과 (Results)

• 검색 성능 (Retrieval Performance):
  • 기존 방법들은 문서 회수율 (DocRec) 은 높았으나, 페이지 회수율 (PageRec) 은 오라클 문서 설정 (0.60) 에 비해 크게 낮았습니다 (최고 0.46). 이는 문서 내 검색 격차가 존재함을 의미합니다.
  • 제안된 방법 (Learned Page Scorer): 페이지 회수율 0.55를 달성하여 모든 베이스라인 및 오라클 문서 설정을 능가했습니다.
  • 청크 수준의 BLEU (0.33) 및 ROUGE-L (0.46) 점수도 기존 방법과 오라클 문서 설정보다 우수했습니다.
• 생성 성능 (Generative Performance):
  • 더 나은 증거 검색은 답변 품질로 이어졌습니다. 제안 방법은 수치 일치 정확도 (Numeric Match) 에서 0.30을 기록하여, 최상의 베이스라인 (0.12) 과 오라클 문서 (0.26) 를 모두 능가했습니다.
  • 특히 '지표 생성 (Metrics Generated)' 질문 유형에서 오라클 문서 설정보다 높은 성능을 보였습니다. 이는 금융 표와 수치 문장이 구조화된 페이지에 위치하는 특성을 잘 포착했기 때문입니다.
• 문서 유형별 분석:
  • 10-K (연간 보고서): 구조가 일관되어 제안 방법이 매우 잘 작동함 (PageRec 0.62).
  • Earnings Call (수익 발표): 구조가 비정형적이고 대화 형식이라 성능이 저조함 (PageRec 0.10). 이는 학습 데이터의 편향과 구조적 차이 때문입니다.

5. 의의 및 결론 (Significance)

• 문서 내 검색의 중요성 강조: 금융 QA 에서 정답 문서를 찾는 것만으로는 부족하며, 문서 내 정답이 포함된 페이지를 정확히 찾는 것이 생성 모델의 성능을 결정하는 핵심 병목 현상임을 입증했습니다.
• 계층적 검색의 진화: 단순한 문서 $\to$ 청크 검색을 넘어, 문서 $\to$ 페이지 $\to$ 청크의 3 단계 검색 구조가 금융과 같은 긴 구조화된 문서에서 더 효과적임을 보였습니다.
• 실무적 함의: 금융 규제 문서 분석과 같은 고위험 분야에서 RAG 시스템의 신뢰성을 높이기 위해, 도메인 특화된 중간 단위 (페이지) 검색기를 도입해야 함을 시사합니다.

이 연구는 RAG 시스템의 성능 향상을 위해 단순한 검색 알고리즘 개선뿐만 아니라, 검색 단위의 세분화 (Granularity) 와 도메인 특화 미세 조정이 필수적임을 보여주는 중요한 통찰을 제공합니다.