PDF Retrieval Augmented Question Answering

논문 요약: PDF 통합 향상된 검색 기반 질문 응답 (PIER-QA)

1. 문제 정의 (Problem)

기존의 검색 증강 생성 (RAG, Retrieval-Augmented Generation) 기반 질문 응답 (QA) 시스템은 주로 텍스트 중심의 데이터에 최적화되어 있습니다. 그러나 PDF 파일은 텍스트뿐만 아니라 이미지, 벡터 다이어그램, 그래프, 표 (Table) 등 다양한 멀티모달 (Multi-modal) 데이터를 포함하고 있습니다.

• 주요 한계: 기존 시스템은 PDF 내의 비텍스트 요소 (이미지, 표 등) 를 효과적으로 추출하고 통합하지 못해, 이러한 요소들을 포함하는 복잡한 질문에 대한 답변 정확도가 낮거나 환각 (Hallucination) 현상이 발생합니다.
• 목표: 텍스트뿐만 아니라 PDF 내의 이미지, 표, 다이어그램 등을 통합적으로 처리하여 정밀하고 관련성 높은 답변을 생성할 수 있는 종합적인 RAG 시스템 구축.

2. 방법론 (Methodology)

저자들은 PIER-QA (PDF Integrated Enhanced Retrieval Question Answering) 라는 새로운 엔드 - 투 - 엔드 시스템을 제안했습니다. 이 시스템은 크게 세 가지 핵심 단계로 구성됩니다.

가. PDF 전처리 (PDF Preprocessing)

• 헤더/푸터 제거: DBSCAN 클러스터링 알고리즘을 사용하여 페이지 상단과 하단에 반복적으로 나타나는 헤더와 푸터 영역을 자동으로 감지하고 제거합니다. 이는 노이즈를 줄이고 검색 정확도를 높입니다.
• Markdown 변환: 'Marker' 도구를 사용하여 PDF 를 Markdown 형식으로 변환합니다. 이 과정에서 텍스트, 이미지, 표를 추출합니다.
• 멀티모달 처리:
  • 이미지: 추출된 이미지에 LLaVA (Large Language and Vision Assistant) 모델을 사용하여 자동 캡션 (Captioning) 을 생성합니다. 이를 통해 이미지를 텍스트로 변환하여 LLM 이 이해할 수 있는 도메인으로 만듭니다.
  • 표: Markdown 형식의 표를 효율적인 저장 및 검색을 위해 사전 (Dictionary) 형식으로 압축 변환합니다.

나. 임베딩 및 저장 (Embedding and Storage)

• 분할 및 임베딩: 전처리된 문서를 1000 자 단위로 청크 (Chunk) 로 분할합니다. 텍스트, 이미지 캡션, 딕셔너리 형식의 표를 포함하여 GTE-large 모델을 사용하여 고차원 벡터로 임베딩합니다.
• 저장 및 인덱싱: ElasticSearch 에 저장하며, RAPTOR (Recursive Abstractive Processing for Tree-Organized Retrieval) 를 활용하여 청크 간의 의미론적 관계를 기반으로 트리 구조 인덱싱을 수행하여 검색 정밀도를 향상시킵니다.

다. 질문 응답 및 생성 (Question Answering)

• RAG 인지형 LLM 파인튜닝: Llama3-70B 모델을 사용하며, 시스템의 데이터 형식 (Markdown, 이미지 ID, 표 구조) 에 적응하도록 파인튜닝합니다.
  • 데이터 생성: GPT-4 를 활용하여 컨텍스트 청크 기반의 질문 - 답변 쌍 (약 2000 개) 을 생성하여 학습 데이터를 구성했습니다.
  • 학습: LoRA (Low-Rank Adaptation) 기법을 사용하여 2 에포크 동안 학습했습니다.
• 응답 생성: 사용자의 질의 (Query) 를 임베딩하여 상위 10 개 관련 청크를 검색합니다. 검색된 청크를 프롬프트에 주입하여 LLM 이 답변을 생성하도록 합니다.
• 멀티모달 복원: LLM 이 답변에 이미지 ID (예: [image_1.png]) 나 표 데이터를 포함하는 경우, 시스템은 해당 이미지를 데이터베이스에서 다시 추출하거나 표를 Markdown 형식으로 변환하여 사용자에게 최종적으로 표시합니다.

3. 주요 기여 (Key Contributions)

1. 비텍스트 요소 통합 RAG: 기존 텍스트 중심 RAG 의 한계를 극복하고, PDF 내의 이미지, 표, 다이어그램을 포함한 멀티모달 데이터를 통합 처리하는 체계적인 프레임워크를 제시했습니다.
2. 고급 전처리 파이프라인: DBSCAN 기반의 헤더/푸터 제거, Marker 를 통한 Markdown 변환, LLaVA 기반 이미지 캡션 생성, 표의 딕셔너리 변환 등 데이터 품질을 극대화하는 전처리 단계를 구현했습니다.
3. 도메인 특화 파인튜닝: 오픈소스 모델 (Llama3-70B) 을 PDF 문서 구조와 RAG 컨텍스트에 맞춰 파인튜닝하여, 폐쇄형 모델 (GPT-4o) 에 버금가는 성능을 달성했습니다.
4. 정량적 검증: 텍스트뿐만 아니라 이미지 및 표 검색 정확도를 포함한 포괄적인 실험을 통해 시스템의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 베이스라인 대비 성능 향상: 단순 텍스트 추출 방식의 베이스라인 시스템과 비교하여, PIER-QA 는 GPT-3.5-turbo 와 GPT-4o 에이전트 모두에서 유사도 (Similarity) 및 정확도 (Accuracy@0.85, 0.9, 0.95) 에서 일관되게 높은 점수를 기록했습니다.
  • 특히 GPT-4o 기반 PIER-QA 는 유사도 0.8837, 정확도@0.9 에서 0.4944 를 기록하여 베이스라인을 크게 상회했습니다.
• 모델 비교: 파인튜닝된 RAG-Llama3-70B 모델은 GPT-4o 에 필적하는 성능을 보여주었으며, 특히 높은 정확도 임계값 (0.95) 에서 0.2135 의 정확도를 기록하여 GPT-4o (0.1910) 보다 우수한 성능을 보였습니다.
• 멀티모달 검색 성능:
  • 이미지 검색 정확도: 65.66%
  • 표 검색 정확도: 48.38%
  • 이는 멀티모달 LLM 없이도 텍스트 기반 RAG 프레임워크 내에서 비텍스트 요소를 효과적으로 식별하고 반환할 수 있음을 의미합니다.

5. 의의 및 결론 (Significance)

이 연구는 RAG 기반 QA 시스템의 범위를 텍스트에서 멀티모달 데이터 (이미지, 표, 그래프) 로 확장했다는 점에서 중요한 의의를 가집니다.

• 실용성: 복잡한 PDF 문서 (보고서, 학술지, 기술 문서 등) 에서 다양한 형태의 정보를 통합하여 정확한 답변을 제공할 수 있어, 기업 및 연구 분야의 정보 검색 효율성을 크게 높일 수 있습니다.
• 미래 연구 방향: 멀티모달 데이터 통합 처리의 기초를 마련하였으며, 향후 더 정교한 전처리 알고리즘과 멀티모달 LLM 의 결합을 통해 시스템의 한계 (복잡한 표 처리, 헤더/푸터 오인식 등) 를 극복할 수 있는 방향을 제시했습니다.

결론적으로, 저자들은 PIER-QA를 통해 PDF 의 풍부한 멀티모달 데이터를 효과적으로 활용하여 기존 RAG 시스템의 한계를 극복하고, 오픈소스 모델을 기반으로 한 고성능 QA 시스템 구축의 가능성을 입증했습니다.