From PDF to RAG-Ready: Evaluating Document Conversion Frameworks for Domain-Specific Question Answering

이 논문은 RAG 시스템의 성능이 문서 전처리 품질에 크게 의존함을 입증하며, 19 가지 파이프라인 구성을 비교한 결과 Docling 기반의 계층적 분할과 이미지 설명이 가장 높은 정확도를 보였으며, 메타데이터 보강과 계층 인식 청킹이 변환 프레임워크 선택보다 더 중요한 영향을 미쳤음을 밝혔습니다.

핵심

이 논문은 **"AI 가 문서를 잘 이해하려면, 먼저 그 문서를 어떻게 '정리'하느냐가 가장 중요하다"**는 놀라운 사실을 밝혀낸 연구입니다.

마치 거대한 도서관을 상상해 보세요. AI 는 이 도서관의 모든 책을 읽고 질문에 답할 수 있는 똑똑한 사서입니다. 그런데 문제는 도서관에 들어온 책들이 종이로 된 PDF 파일이라는 점입니다. 이 PDF 파일들은 컴퓨터가 읽기엔 마치 미로처럼 꼬여 있거나, 글자가 뭉개진 상태일 수 있습니다.

연구진들은 "어떤 도구를 써서 이 뭉개진 PDF 를 AI 가 읽기 좋은 '마크다운'이라는 깔끔한 텍스트로 바꾸느냐"에 따라 AI 의 답변 정확도가 얼마나 달라지는지 실험했습니다.

이 연구의 핵심 내용을 쉬운 비유로 설명해 드릴게요.

---

1. 핵심 발견: "쓰레기를 넣으면 쓰레기가 나온다 (Garbage In, Garbage Out)"

연구진들은 4 가지 다른 PDF 변환 도구 (Docling, MinerU, Marker, DeepSeek OCR) 를 시험했습니다. 마치 요리사가 같은 재료를 가지고 다른 칼질과 손질법을 쓰는 것과 비슷합니다.

• 결과: 어떤 도구를 쓰느냐에 따라 AI 의 정답률이 71% 에서 94% 까지 엄청난 차이를 보였습니다.
• 비유: 같은 소고기 (PDF) 를 요리할 때,
  • 나쁜 손질 (DeepSeek OCR 등): 뼈와 지방을 다 제거하지 않고 넣어서, AI 가 "이게 뭐야?"라고 혼란을 겪고 엉뚱한 답을 합니다. (정답률 71%)
  • 훌륭한 손질 (Docling + 추가 작업): 고기를 깔끔하게 다듬고, 뼈를 제거하고, 양념을 바르고 넣습니다. AI 는 "아, 맛있는 스테이크구나!"라고 바로 알아채고 정확한 답을 줍니다. (정답률 94%)

가장 중요한 교훈: AI 모델 자체를 더 똑똑하게 만드는 것보다, 데이터를 얼마나 깨끗하게 준비하느냐가 훨씬 더 중요합니다.

2. 도구의 선택보다 중요한 '손질법'

연구진은 단순히 도구만 바꾸는 게 아니라, 문서를 어떻게 잘게 썰고 (Chunking), 어떻게 정리하느냐도 실험했습니다.

• 비유 (문서 자르기):
  • 무작위 자르기 (Recursive): 책장을 아무렇게나 찢어서 AI 에게 줍니다. "이 장은 100 페이지의 중간인데, 앞뒤 문맥이 끊겨서 무슨 말인지 모르겠다"는 상황이 생깁니다.
  • 구조를 살린 자르기 (Hierarchical): 책의 목차를 보고, "이 부분은 '제 1 장'이고, 이 부분은 '제 1 장의 1 절'이다"라고 라벨을 붙여서 줍니다. AI 는 "아, 이 내용은 제 1 장의 맥락에서 말하는 구나!"라고 바로 이해합니다.
• 결과: 변환 도구 (칼) 가 아무리 좋아도, **문서를 어떻게 자르고 정리하느냐 (손질법)**가 정답률에 더 큰 영향을 미쳤습니다. 특히 문서의 구조 (제목, 목차) 를 보존하면서 자르는 것이 가장 중요했습니다.

3. '지식 그래프 (GraphRAG)'는 왜 실패했을까?

최근 AI 업계에서 "문서끼리 관계를 맺어주는 지식 그래프를 만들면 AI 가 더 똑똑해진다"는 이야기가 많았습니다. 마치 도서관 사서가 책들 사이에 실로 연결된 끈을 만들어서 관련 정보를 찾아주는 것처럼요.

• 실험 결과: 연구진이 이 방법을 시도했더니, 오히려 정답률이 떨어졌습니다 (94% → 82%).
• 이유:
  • 비유: 책과 책 사이에 끈을 묶으려 했지만, 끈을 너무 많이 묶거나, 엉뚱한 책끼리 묶어버렸습니다. (예: '사과'와 '오렌지'를 무작정 묶어버림).
  • AI 는 이 복잡한 끈에 걸려서 오히려 혼란을 겪었습니다.
  • 교훈: 아직은 **단순하고 깔끔한 책 정리 (기본 RAG)**가, 엉성하게 만든 복잡한 연결망 (지식 그래프) 보다 더 효과적입니다.

4. 포르투갈어와 특수 기호의 함정

이 연구는 포르투갈어로 된 군사 문서들을 다뤘습니다.

• 문제: 많은 AI 도구들이 영어에 최적화되어 있어서, 포르투갈어 특유의 'ç' (세디야) 같은 특수 문자를 잘못 읽었습니다.
• 비유: "사냥 (caça)"이라는 단어가 "똥 (caca)"으로 잘못 읽혀버린 셈입니다. AI 가 "사냥감"을 찾으라고 했을 때, AI 는 "똥"에 대한 정보를 가져와서 엉뚱한 답을 할 수 있습니다.
• 해결: Docling이라는 도구가 이 특수 문자를 잘 처리해서 가장 좋은 성적을 냈습니다.

---

📝 한 줄 요약

"AI 를 똑똑하게 만드는 비결은 더 좋은 두뇌 (LLM) 를 사는 게 아니라, 그 AI 가 먹을 음식 (데이터) 을 얼마나 깔끔하고 구조적으로 다듬느냐에 달려 있다."

이 연구는 기업이나 조직이 PDF 문서로 AI 를 만들 때, 가장 먼저 문서 변환과 정리 과정에 투자해야 한다는 강력한 메시지를 전달합니다. 복잡한 기술보다는 데이터의 질이 승패를 가른다는 것입니다.

기술 요약

논문 요약: 도메인 특화 질문 응답을 위한 PDF 변환 프레임워크 평가

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 검색 증강 생성 (RAG) 은 대규모 언어 모델 (LLM) 이 특정 도메인 지식을 기반으로 정확한 답변을 생성할 수 있게 하는 핵심 아키텍처입니다.
• 문제: 기존 RAG 연구는 주로 검색 알고리즘, 임베딩 모델, LLM 선택에 집중하는 반면, 문서 전처리 (PDF 에서 텍스트 추출) 단계의 중요성을 간과하고 있습니다.
• 핵심 쟁점: PDF 는 시각적 레이아웃 보존을 목적으로 설계되었으므로, 텍스트 시퀀스, 계층 구조, 표 구조 등을 기계가 읽을 수 있는 형식으로 변환하는 과정 (PDF-to-Markdown) 에서 오류가 발생하면, 이는 검색 및 생성 단계로 전파되어 RAG 시스템의 정확도를 크게 저하시킵니다. 특히 포르투갈어와 같은 비영어권 언어의 특수 문자 (예: 'ç') 처리 오류는 의미 왜곡을 초래할 수 있습니다.
• 연구 목적: 다양한 PDF 변환 프레임워크가 하류 (downstream) 질문 응답 (QA) 정확도에 미치는 영향을 체계적으로 평가하고, 데이터 준비의 품질이 RAG 성능에 미치는 영향을 규명하는 것입니다.

2. 방법론 (Methodology)

• 데이터셋: 포르투갈어 군 인사 관리 문서 36 개 (총 1,706 페이지, 약 49 만 단어) 로 구성된 코퍼스와, 이를 기반으로 수동으로 작성된 50 개의 평가 질문 (Benchmark) 을 사용했습니다.
• 시스템 아키텍처:
  • Medallion 아키텍처를 차용한 레이어형 데이터 저장소 (Bronze: 원본 PDF, Silver: 중간 처리, Gold: RAG 준비 완료 Markdown) 를 구축했습니다.
  • ETL 파이프라인: PDF 변환, 정제 (Cleaning), 계층 구조 재구성, 청킹 (Splitting) 단계를 모듈화하여 다양한 설정을 쉽게 교체할 수 있도록 설계했습니다.
• 평가 프레임워크: 4 가지 오픈소스 PDF 변환 도구를 비교 평가했습니다.
  • Docling: 모듈화된 레이아웃 분석 및 OCR 모델 사용.
  • MinerU: OCR 기반 및 VLM 기반 (HTTP 클라이언트) 버전.
  • DeepSeek OCR: 비전 - 언어 모델 (VLM) 기반.
  • PDFLoader (LangChain): 베이스라인 (사전 처리 없음).
  • (참고: Marker 는 프라이버시 문제 및 로컬 버전 성능 저하로 평가에서 제외됨)
• 실험 설정:
  • 변수: 변환 도구, 텍스트 정제 (HTML/라텍스 정리, 계층 구조 재구성), 청킹 전략 (재귀적, Markdown 재귀적, 계층적 재귀적), 메타데이터 enrichment, 이미지 설명 추가 등 총 19 가지 파이프라인 구성을 테스트했습니다.
  • 평가 지표: LLM-as-a-Judge 방식을 사용하여 10 회 반복 실행 후 평균 정확도를 측정했습니다.
  • 그래프 RAG (GraphRAG) 탐색: 지식 그래프 (Neo4j) 를 구축하여 기본 RAG 와 성능을 비교했습니다.

3. 주요 결과 (Key Results)

• 전체 성능 범위:
  • 최저 성능: DeepSeek OCR (71.2%)
  • 최고 자동화 성능: Docling + 계층적 분할 + 이미지 설명 (94.1%)
  • 수동 베이스라인 (Upper Bound): 수동으로 정리된 Markdown (97.1%)
  • 단순 로더 베이스라인 (Lower Bound): LangChain PDFLoader (86.9%)
  • 의의: 자동화 파이프라인 간의 정확도 차이가 약 23%p에 달하며, 이는 LLM 변경보다 데이터 전처리 전략의 영향이 훨씬 큼을 보여줍니다.
• 성능에 영향을 미치는 핵심 요인:
  1. 변환 프레임워크 선택보다 중요한 요소: 변환 도구 자체의 선택보다는 **청킹 전략 (Splitting Strategy)**과 메타데이터 enrichment가 정확도에 더 큰 영향을 미쳤습니다.
     • Docling 에서 단순 재귀적 분할 (89.4%) 에서 계층적 재귀적 분할 및 크럼브 메타데이터 추가 (93.2%) 로 변경 시 3.8%p 향상.
  2. 계층 구조 재구성 (Hierarchy Rebuilding):
     • 폰트 기반 (Font-based) 재구성이 LLM 기반 재구성보다 일관되게 우월했습니다 (약 3.5~4.6%p 차이). 이는 행정/법률 문서의 경우 폰트 정보가 더 신뢰할 수 있음을 시사합니다.
  3. 정제 (Cleaning) 의 중요성: MinerU 의 경우 HTML 표 정제가 단일 변환 중 가장 큰 개선 효과 (+5.4%p) 를 보였습니다.
  4. 이미지 설명: VLM 기반 이미지 설명 추가는 0.9%p의 소폭 향상을 보였으나 비용 대비 효율이 좋았습니다.
• GraphRAG 결과:
  • 기본 RAG (94.1%) 에 비해 지식 그래프를 활용한 GraphRAG 는 **82%**로 오히려 성능이 저하되었습니다.
  • 원인: 도메인 특화 온톨로지 (Ontology) 없이 LLM 이 자동으로 추출한 엔티티는 노이즈가 많고 그래프가 희소 (Sparse) 하여 커뮤니티 탐지 알고리즘이 효과적으로 작동하지 못했기 때문입니다.

4. 주요 기여 및 결론 (Key Contributions & Conclusions)

• 데이터 준비의 우위성: RAG 시스템의 성능은 검색 알고리즘이나 LLM 모델 선택보다 데이터 전처리 (PDF 변환 및 구조화) 의 품질에 의해 결정됩니다. "Garbage in, Garbage out"의 원칙이 RAG 에도 적용됨을 입증했습니다.
• 실무적 가이드라인:
  • 복잡한 문서 구조 (표, 계층 구조) 를 가진 도메인에서는 **계층적 청킹 (Hierarchical Chunking)**과 구조적 메타데이터 추가가 필수적입니다.
  • 비영어권 문서 처리 시 OCR/변환 도구의 특수 문자 처리 능력이 핵심 선택 기준이 되어야 합니다 (Docling 이 포르투갈어 'ç' 처리에서 우수함).
  • GraphRAG는 단순 자동 추출만으로는 기본 RAG 를 대체할 수 없으며, 도메인 온톨로지가 명확히 정의된 경우에만 고려해야 합니다.
• 공헌: 기존 벤치마크가 텍스트 정확도 (Edit Distance 등) 에만 초점을 맞췄다면, 본 연구는 하류 태스크 (QA) 성능을 기준으로 변환 프레임워크를 평가한 최초의 체계적인 연구 중 하나입니다.

5. 의의 (Significance)

이 연구는 RAG 시스템 개발 시 초기 단계인 문서 파이프라인 최적화에 대한 투자 중요성을 강조합니다. 특히 군사, 법률, 행정 등 구조화된 문서가 많은 분야에서, 단순한 텍스트 추출을 넘어 문서의 논리적 구조를 보존하고 메타데이터를 풍부하게 하는 전략이 LLM 의 답변 정확도를 결정짓는 핵심 요소임을 실증적으로 보여주었습니다. 이는 향후 RAG 시스템 설계 시 데이터 엔지니어링의 비중을 높여야 함을 시사합니다.