Empirical Evaluation of PDF Parsing and Chunking for Financial Question Answering with RAG

이 논문은 금융 도메인 질문 답변을 위해 다양한 PDF 파서와 청킹 전략을 체계적으로 평가하여, 문서 구조 보존과 답변 정확도를 극대화하는 견고한 RAG 파이프라인 구축을 위한 실용적 가이드라인을 제시합니다.

핵심

이 논문은 **"PDF 문서 속의 복잡한 정보를 찾아내어 질문에 답하는 AI 시스템 (RAG)"**을 어떻게 더 똑똑하고 효율적으로 만들 수 있는지에 대한 실험 결과입니다.

금융 보고서 같은 PDF 파일은 사람에게는 읽기 쉽지만, 컴퓨터에게는 마치 미로 속의 보물 지도처럼 해석하기 어렵습니다. 글자, 표, 그림이 뒤섞여 있기 때문이죠. 이 논문은 이 미로를 어떻게 잘 통과할지, 어떤 도구를 써야 할지 실험해 보았습니다.

핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제 상황: "미로 속의 보물 찾기"

금융 분석가들은 매년 수백 페이지에 달하는 PDF 보고서 (연간 보고서, 분기 보고서 등) 를 읽어야 합니다. 여기서 중요한 숫자나 사실이 글자 속에 숨겨져 있기도 하고, 복잡한 표 (Table) 안에 숨겨져 있기도 합니다.

AI 가 이걸 자동으로 찾아주려면 두 가지 단계가 필요합니다.

1. 문서 해체 (Parsing): PDF 를 컴퓨터가 읽을 수 있는 텍스트로 잘게 쪼개는 것.
2. 조각 내기 (Chunking): 긴 텍스트를 AI 가 한 번에 처리할 수 있는 작은 덩어리 (조각) 로 나누는 것.

이 논문은 **"어떤 해체 도구와 어떤 나누기 방식이 가장 보물 (정답) 을 잘 찾아내는가?"**를 실험했습니다.

2. 새로운 지도 제작: "TableQuest" (표 탐험)

기존의 테스트 데이터는 주로 "글자"를 찾는 데 초점이 맞춰져 있었습니다. 하지만 금융 보고서의 핵심은 **표 (Table)**에 있습니다.

• 비유: 기존 테스트는 "책에서 '사과'라는 글자가 몇 번 나오는지" 찾는 것이었다면, 이 논문에서 새로 만든 TableQuest는 "책 속의 복잡한 표에서 '2023 년 매출액'이라는 숫자를 찾아서 계산하는 것"을 테스트합니다.
• 이 새로운 데이터셋을 통해 AI 가 표를 얼마나 잘 이해하는지 측정했습니다.

3. 실험 결과: 어떤 조합이 가장 좋을까?

연구진은 6 가지의 다른 **해체 도구 (Parser)**와 6 가지의 **나누기 방식 (Chunking)**을 섞어보며 실험했습니다. 마치 요리사들이 다양한 칼과 재료를 섞어 가장 맛있는 요리를 만드는 과정을 본 것과 같습니다.

① 검색 도구 (Retriever) 선택: "검색 엔진의 종류"

• 글자 찾기: 일반적인 글자 질문에는 E5라는 도구가 가장 잘 작동했습니다. (전체적인 맥락을 잘 이해하는 '지식인' 같은 역할)
• 표 찾기: 표 안의 숫자를 찾을 때는 ColBERT라는 도구가 가장 강력했습니다. (표의 각 칸을 자세히 훑어보는 '세밀한 검사관' 같은 역할)
• 결론: 질문의 종류 (글자 vs 표) 에 따라 검색 도구를 바꿔 쓰는 게 좋습니다.

② 해체 도구 (Parser) 선택: "문서를 자르는 칼"

• 글자 위주 문서: pdfminer라는 도구가 가장 정확했습니다. (텍스트 흐름을 잘 파악함)
• 표 위주 문서: pdfplumber라는 도구가 가장 훌륭했습니다. (표의 줄과 칸을 정확히 구분함)
• 속도: PyMuPDF나 pypdfium2는 매우 빠르지만, 복잡한 표 처리에는 약간의 차이가 있었습니다.
• 결론: 문서의 성격 (글자 위주 vs 표 위주) 에 따라 칼을 바꿔 써야 합니다.

③ 나누기 방식 (Chunking) 과 겹침 (Overlap): "조각의 크기와 이어짐"

• 나누기: 문장을 끊을 때, 신경망 (Neural) 방식이 가장 좋았습니다. (문맥을 이해해서 자연스럽게 끊음) 하지만 **문장 단위 (Sentence)**로 나누는 것도 비용이 적고 성능이 비슷해 실용적입니다.
• 겹침 (Overlap): 조각을 나눌 때, 25% 정도를 겹치게 만드는 것이 가장 좋았습니다.
  • 비유: 벽돌을 쌓을 때, 벽돌 사이를 완전히 떼어내면 (겹침 0%) 벽이 무너질 수 있습니다. 하지만 너무 많이 겹치게 하면 (겹침 50%) 자재 낭비가 심해집니다. **적당히 겹치는 것 (25%)**이 가장 튼튼하고 효율적입니다.

④ AI 두뇌 (LLM) 크기: "머리 크기의 중요성"

• 작은 AI 모델 (소형 두뇌) 은 복잡한 금융 질문을 잘 못 풀었습니다.
• 중간 크기 이상의 모델로 갈수록 정답률이 크게 향상되었습니다.
• 비유: 초등학생이 복잡한 회계 장부를 해석하는 것보다, 대학생이나 전문가가 해석하는 것이 훨씬 정확합니다. 하지만 너무 거대한 모델 (초거대 두뇌) 을 쓴다고 해서 비례해서 성능이 무한정 좋아지는 것은 아닙니다.

4. 요약 및 교훈 (실무자에게 주는 메시지)

이 연구는 금융 업계나 문서 처리를 자동화하려는 사람들에게 다음과 같은 현실적인 조언을 줍니다.

1. 도구 하나만 고집하지 마세요: 문서에 표가 많으면 표 처리에 강한 도구 (pdfplumber) 를, 글자가 많으면 다른 도구 (pdfminer) 를 쓰세요.
2. 적당히 겹치세요: 문서를 잘게 쪼갤 때, 조각끼리 25% 정도 겹치게 하세요. 너무 잘게 나누거나 아예 겹치지 않게 하면 오히려 정답을 놓칩니다.
3. 검색 도구를 상황에 맞게: 글자 질문에는 '지식인' 같은 검색기를, 표 질문에는 '세밀한 검사관' 같은 검색기를 쓰세요.
4. 적당한 두뇌로 충분: 너무 비싼 초대형 AI 모델을 쓸 필요는 없습니다. 중간 크기 모델만으로도 훌륭한 결과를 얻을 수 있습니다.

한 줄 요약:

"PDF 를 AI 가 읽게 할 때는 문서 종류에 맞는 칼로 자르고, 적당히 겹치게 조각내며, 상황에 맞는 검색 도구를 쓰면 훨씬 똑똑한 답변을 얻을 수 있다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• PDF 의 비구조적 특성: PDF 는 인간 가독성을 위해 설계된 포맷으로, 텍스트, 표, 이미지, 양식 등 이질적인 콘텐츠가 혼합되어 있어 자동화된 처리 (파싱 및 정보 추출) 에 큰 어려움을 줍니다.
• RAG 파이프라인의 취약점: 검색 증강 생성 (RAG) 시스템은 문서 파싱 (구조 추출) 과 청킹 (논리적 단위 분할) 단계에 크게 의존합니다. 파싱이 잘못되면 (예: 표 구조 붕괴) 또는 청킹이 논리적 단위를 끊으면 (예: 표와 캡션 분리), 검색 단계에서 올바른 정보를 찾지 못해 최종 답변의 정확도가 떨어집니다.
• 연구 공백: 기존 연구들은 파싱 도구나 청킹 전략 중 하나만 개별적으로 평가하는 경우가 많았습니다. 금융 도메인의 복잡한 문서 (보고서, 공시 자료 등) 에서 파서와 청킹 전략의 상호작용 (Synergy) 이 전체 RAG 성능에 미치는 영향을 체계적으로 분석한 연구는 부재했습니다.

2. 연구 방법론 (Methodology)

이 연구는 금융 문서 기반 질문 응답 (QA) 태스크를 위해 RAG 파이프라인의 각 구성 요소를 체계적으로 비교 평가했습니다.

A. 데이터셋

1. FinanceBench: 기존 벤치마크로, 150 개의 텍스트 기반 질문 (연간 보고서 등) 을 포함합니다.
2. TableQuest (새로운 기여): 저자들이 새로 생성한 벤치마크로, 표 (Table) 중심의 QA를 평가합니다.
   • FinanceBench 의 PDF 에서 표가 포함된 페이지를 추출하여 구성했습니다.
   • 난이도별 (Easy: 단일 표 추출, Medium: 단일 표 계산, Hard: 다중 표 분석) 로 116 개의 QA 쌍을 자동 생성 및 검증했습니다.

B. 실험 설계 (Benchmarking Pipeline)

• PDF 파서 (6 종): PyPDF2, PyMuPDF, pdfminer.six, pdfplumber, pypdfium2, Unstructured (OCR 기반).
• 청킹 전략 (6 종): Token, Sentence, Semantic, Recursive, SDPM, Neural.
• 검색기 (Retriever) 모델 (4 종): BM25 (키워드), E5 (Dense), ColBERT (Late-interaction), SPLADE (Sparse-hybrid).
• LLM: 다양한 크기의 오픈소스 모델 (1.5B~27B) 과 상용 모델 (GPT-4.1-mini, GPT-5 등) 을 비교.
• 평가 지표:
  • 검색 성능: Precision@1, Recall@3, Mean Reciprocal Rank (MRR).
  • 답변 정확도: GPT-4o-mini 를 활용한 자동 평가 (LLM-as-a-Judge).

3. 주요 기여 (Key Contributions)

1. 포괄적인 실증 평가: 금융 도메인에서 다양한 파서와 청킹 전략의 조합이 RAG 성능에 미치는 영향을 체계적으로 분석했습니다.
2. TableQuest 벤치마크 공개: 텍스트뿐만 아니라 표 구조와 수치 추론 능력을 평가할 수 있는 새로운 공개 데이터셋을 제안했습니다.
3. 실무 가이드라인 제시: 파서, 청킹, 검색기, LLM 선택에 따른 성능과 비용 (실행 시간) 의 트레이드오프를 분석하여 산업계 적용을 위한 구체적인 지침을 제공했습니다.

4. 주요 실험 결과 (Key Results)

RQ1: 검색기 (Retriever) 선택

• 텍스트 기반 질문 (FinanceBench): E5(Dense) 모델이 가장 우수했습니다.
• 표 기반 질문 (TableQuest): ColBERT(Late-interaction) 모델이 가장 높은 성능을 보였습니다 (표 내 토큰 수준의 정밀 매칭 능력).
• 결론: 텍스트와 표가 혼합된 경우 SPLADE(Sparse-hybrid) 가 가장 균형 잡힌 성능을 발휘했습니다.

RQ2: PDF 파서 (Parser) 영향

• 텍스트 중심: pdfminer 가 가장 높은 MRR 을 기록했습니다.
• 표 중심: pdfplumber 가 표 추출 및 구조 보존 능력으로 가장 우수했습니다.
• 안정성: pdfminer 와 Unstructured 가 청킹 전략 변화에 따른 성능 변동이 가장 적었습니다.
• 실행 시간: Unstructured(OCR 기반) 는 매우 느렸으며, pypdfium2 와 PyMuPDF 가 가장 빨랐습니다.
• 종합: pdfplumber 가 표와 텍스트 모두에서 높은 평균 성능을 보여 금융 문서 처리에 가장 적합하다고 판단되었습니다.

RQ3: 청킹 전략 및 오버랩 (Overlap)

• 청킹: Neural chunking(모델 기반) 이 가장 높은 검색 성능을 보였으나, Sentence chunking도 낮은 비용으로 유사한 성능을 제공하여 효율적인 대안이 되었습니다.
• 오버랩: 25% 오버랩이 가장 최적의 성능을 보였습니다. 오버랩이 없으면 경계 정보 손실로 성능이 떨어지고, 50% 이상으로 늘리면 인덱스 크기만 커지고 성능은 오히려 감소했습니다.

RQ4: 파서와 청킹의 시너지

• 단순한 파서 (예: pdfplumber) 와 간단한 청킹 (Sentence, Recursive) 의 조합이 복잡한 구조 인식 청킹보다 종종 더 좋은 성능을 발휘했습니다.
• 표 처리가 중요한 경우 pdfplumber + Sentence 조합이 가장 강력했습니다.

RQ5: LLM 크기 영향

• 모델 크기: 모델 크기가 커질수록 답변 정확도가 크게 향상되었습니다 (중간 규모 모델이 소형 모델보다 8~15% 포인트 더 높음).
• 상용 vs 오픈소스: 상용 모델 (GPT-5 등) 이 여전히 최상위 성능을 보이지만, 최신 오픈소스 모델 (Gemma-3 27B 등) 이 격차를 좁히고 있습니다.
• 검색 깊이 (k): 표 기반 질문 (TableQuest) 은 더 많은 컨텍스트 (k=3) 를 제공할 때 성능 향상이 두드러졌습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 시사점: 금융과 같은 고위험 도메인에서 RAG 파이프라인을 구축할 때, 무조건 복잡한 파서나 과도한 청킹을 사용하는 것보다 pdfplumber 와 Sentence/Neural 청킹, 25% 오버랩, 그리고 SPLADE 또는 ColBERT 검색기를 조합하는 것이 비용 대비 효율적인 성능을 보장합니다.
• 표 처리의 중요성: 기존 텍스트 중심 벤치마크만으로는 금융 문서의 핵심 정보 (표) 를 제대로 평가할 수 없음을 보여주었으며, TableQuest 를 통해 표 기반 추론 능력을 평가하는 새로운 기준을 제시했습니다.
• 확장성: 이 연구는 산업계에서 대규모 PDF 문서 자동화 워크플로우를 설계할 때 데이터 전처리 단계 (파싱/청킹) 가 최종 결과에 미치는 결정적 영향을 입증했습니다.

이 논문은 RAG 시스템의 성능이 단순히 LLM 의 능력뿐만 아니라, 문서가 어떻게 파싱되고 분할되어 검색기에 입력되는지에 따라 극적으로 달라질 수 있음을 실증적으로 증명했습니다.