Enhancing Financial Report Question-Answering: A Retrieval-Augmented Generation System with Reranking Analysis

1. 문제 정의 (Problem Statement)

• 배경: 금융 분석가들은 SEC(미국 증권거래위원회) 에 제출되는 상장 기업의 연간 보고서인 10-K 보고서 (보통 100~300 페이지) 에서 정보를 추출하는 데 어려움을 겪습니다. 이러한 문서는 방대한 분량과 복잡한 전문 용어, 표, 규제 공개 자료로 구성되어 있어 수동 검색은 시간 소모가 크고 오류가 발생하기 쉽습니다.
• 현황: 검색 증강 생성 (RAG) 시스템은 이러한 문제를 해결할 잠재력이 있지만, 금융 도메인에서는 여전히 높은 정확도를 달성하기 어렵습니다. 특히, 검색된 정보의 품질이 최종 답변의 정확도에 직접적인 영향을 미치며, 단순한 키워드 검색이나 의미적 유사성 검색만으로는 금융 문서의 미묘한 뉘앙스와 전문 용어를 정확히 파악하는 데 한계가 있습니다.
• 핵심 질문: "금융 도메인의 RAG 시스템 성능에 신경망 기반 재순위 (Neural Reranking) 가 얼마나 기여하는가?"

2. 방법론 (Methodology)

이 논문은 S&P 500 기업 500 개사의 모든 10-K 보고서를 처리하는 종단 간 (End-to-End) RAG 파이프라인을 구축하고, 재순위 (Reranking) 단계의 영향을 체계적으로 평가했습니다.

A. 시스템 아키텍처

1. 문서 처리 (오프라인):

   • 데이터 수집: HTML 형식의 10-K 보고서를 수집하여 Playwright 를 통해 PDF 로 변환하고, PyMuPDF 를 이용해 텍스트를 추출합니다.
   • 분할 (Chunking): 2,500 자 크기로 분할하며, 50% (1,250 자) 중첩 (Overlap) 을 적용하여 문맥 손실을 방지합니다.
   • 저장 및 인덱싱:
     • 키워드 검색: SQLite(FTS5 확장) 에 저장.
     • 의미 검색: OpenAI text-embedding-3-small 모델로 임베딩 생성 후 FAISS 인덱스에 저장.

2. 쿼리 처리 (온라인):

   • 쿼리 재작성 (Query Rewriting): GPT-4.1 을 사용하여 사용자의 모호한 질문을 명확히 하고, 키워드를 추출합니다.
   • 하이브리드 검색 (Hybrid Retrieval):
     • FTS (Full-Text Search): 키워드 매칭을 통해 상위 20 개 청크 추출.
     • Semantic Search: 의미적 유사성을 통해 상위 30 개 청크 추출.
     • 융합 (Fusion): Reciprocal Rank Fusion (RRF) 을 사용하여 두 검색 결과의 랭킹을 통합합니다.
   • 신경망 재순위 (Neural Reranking):
     • 모델: Jina Reranker v2 (Cross-Encoder) 사용.
     • 작동: 통합된 후보 목록 (최대 30 개) 을 쿼리와 함께 재평가하여 정밀한 관련성 점수를 산출합니다.
     • 필터링: 누적 확률 임계값 (55%) 과 점수 급강하 (Score Cliff) 감지 전략을 적용하여 관련성이 낮은 청크를 제거하고 상위 5~10 개를 선택합니다.
   • 답변 생성: 최종 선택된 청크와 쿼리를 GPT-4.1 에 입력하여 답변을 생성합니다.

B. 실험 설정

• 데이터셋: FinDER 벤치마크 (실제 10-K 보고서 기반 5,703 개의 질문 - 증거 - 답변 쌍) 사용.
• 샘플링: 통계적 견고성을 위해 5,703 개 중 5% 를 무작위 추출하여 5 개의 독립적인 테스트 그룹 (총 1,500 개 쿼리) 으로 구성.
• 비교 실험:
  1. 재순위 포함 (Full Pipeline): 하이브리드 검색 → RRF → 신경망 재순위 → 생성.
  2. 재순위 제외 (Ablation): 하이브리드 검색 → RRF → 상위 10 개 선택 → 생성.
• 평가 지표: GPT-4.1 을 '심판 (LLM-as-a-Judge)'으로 활용하여 1~10 점 척도로 답변 품질을 평가 (완전 오답, 부분 정답, 기본 정답, 완전 정답 등).

3. 주요 기여 (Key Contributions)

1. 완전한 RAG 파이프라인 구현: S&P 500 전체 기업의 10-K 보고서를 처리하는 하이브리드 검색 기반의 시스템 구축.
2. 체계적인 벤치마크 평가: FinDER 데이터셋의 1,500 개 쿼리를 5 개 그룹으로 나누어 통계적으로 유의미한 실험 수행.
3. 실증적 재순위 분석: 재순위가 금융 RAG 성능에 미치는 영향을 정량적으로 입증 (재순위가 없을 때와 있을 때의 성능 차이 명확화).
4. 성능 개선 증명: 최신 LLM(GPT-4.1), 하이브리드 검색, 그리고 특히 신경망 재순위를 결합하여 기존 베이스라인 대비 상당한 정확도 향상 달성.

4. 실험 결과 (Results)

재순위를 적용한 경우와 적용하지 않은 경우의 비교 결과는 다음과 같습니다.

• 일관성: 5 개 독립 실험 그룹 모두에서 일관된 성능 향상 패턴을 보임 (평균 점수 향상폭 1.00~1.21 점).
• 비교 분석: 재순위를 적용하지 않은 시스템의 정확도 (33.5%) 는 기존 연구 (약 33%) 와 유사하여, 성능 향상의 주된 원인이 재순위 단계임을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 재순위의 중요성: 금융 도메인에서 단순한 검색 (Hybrid Search) 만으로는 충분하지 않으며, Cross-Encoder 기반의 신경망 재순위가 검색된 문맥의 품질을 필터링하고 노이즈를 제거하여 생성 모델의 정확도를 획기적으로 높이는 핵심 요소임을 입증했습니다.
• 오류 감소: 완전히 잘못된 답변 (Hallucination 등) 을 35.3% 에서 22.5% 로 크게 줄여, 금융 의사결정 시 신뢰성을 높였습니다.
• 향후 과제:
  • 다중 홉 추론 (Multi-hop reasoning) 을 위한 그래프 기반 검색 기술 도입.
  • 표, 차트 등 비텍스트 데이터 포함을 위한 멀티모달 모델 통합.
  • 재순위 모델의 경량화 (Distillation, Quantization) 를 통한 비용 및 지연 시간 최적화.
  • 인간 평가를 통한 자동 평가 (LLM-as-judge) 의 편향성 검증.

이 논문은 금융 문서 분석 분야에서 하이브리드 검색과 신경망 재순위를 결합한 RAG 시스템이 기존 방법론보다 월등히 뛰어난 성능을 발휘함을 체계적인 실험을 통해 입증한 중요한 연구입니다.