Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction

1. 문제 정의 (Problem Definition)

• 배경: 디지털 전환 가속화로 인해 전자 문서가 정보 교환의 주된 매체가 되었으나, 역사적 아카이브, 학술 논문, 법률 문서 등 여전히 스캔된 이미지나 비정형 (Unstructured) / 반정형 (Semi-structured) 형식의 문서가 대량으로 존재합니다.
• 핵심 문제: 이러한 비정형 문서를 기계가 읽을 수 있는 구조화된 데이터 (Markdown, JSON, XML, LaTeX 등) 로 변환하는 문서 파싱 (Document Parsing, DP) 기술의 필요성이 급증하고 있습니다.
• 기존 한계:
  • 기존 OCR 은 단순히 텍스트를 인식하는 데 집중하여 문서의 레이아웃, 표, 수식, 차트 간의 구조적 관계와 의미론적 조직화를 유지하지 못했습니다.
  • 기존 문헌들은 레이아웃 분석, OCR, 표 인식 등 특정 하위 작업 (Single-task) 에만 초점을 맞추거나, 멀티모달 기반 모델 (VLM) 의 등장 이전의 전통적인 파이프라인 위주로 서술하여 통합적인 관점이 부족했습니다.
• 목표: 비정형 문서를 의미와 구조를 보존한 채 구조화된 형식으로 변환하여 지식 베이스 구축, 검색 증강 생성 (RAG), 문서 기반 추론 등 다운스트림 애플리케이션의 성능을 극대화하는 것.

2. 방법론 및 분류 체계 (Methodology & Taxonomy)

저자는 문서 파싱 연구를 체계적으로 분류하기 위해 두 가지 주요 아키텍처 패러다임을 중심으로 분류 체계를 제안했습니다.

A. 모듈형 파이프라인 기반 시스템 (Modular Pipeline-Based Systems)

문서 파싱을 명시적인 하위 작업의 순차적 분해로 접근합니다. 각 단계는 독립적으로 최적화되며 중간 표현 (Bounding Box, OCR 토큰 등) 이 다음 단계로 전달됩니다.

• 문서 레이아웃 분석 (DLA): CNN 기반 (Faster R-CNN, YOLO) 과 Transformer 기반 (LayoutLM, DiT) 모델로 발전. 텍스트 블록, 표, 그림, 수식의 위치 및 범주 분류.
• 광학 문자 인식 (OCR): 텍스트 탐지 (Text Detection) 와 텍스트 인식 (Text Recognition) 을 통합한 End-to-End 텍스트 스포팅 (Text Spotting) 으로 진화.
• 수식 인식 (MER): 수식 탐지와 인식 (LaTeX 변환). 구조 인식 (Tree-aware) 과 공간적 관계를 고려한 모델 개발.
• 표 인식 (Table Recognition): 표 탐지, 셀 분할, 행/열 구조 인식. Top-down(행/열 분할) 과 Bottom-up(셀 기반) 접근법 및 Image-to-Sequence 방식.
• 시각 요소 파싱: 차트 (Chart) 와 화학 구조 (OCSR) 인식. 규칙 기반에서 멀티모달 생성 모델로 전환.

B. 통합 비전 - 언어 모델 (Unified Vision-Language Models, VLMs)

전체 파싱 작업을 단일 엔드 - 투 - 엔드 (End-to-End) 멀티모달 학습 문제로 접근합니다. 명시적인 파이프라인 없이 시각 및 텍스트 표현을 공유하여 구조화된 출력을 직접 생성합니다.

• 범용 VLM: GPT-4o, Gemini, InternVL 등 대규모 멀티모달 모델. 지시 따르기 (Instruction-following) 능력이 뛰어나지만, 미세한 구조적 파싱에는 환각 (Hallucination) 이나 구조적 일관성 부족 문제가 발생.
• 전용 End-to-End VLM: GOT-OCR2.0, DeepSeek-OCR, HunyuanOCR 등. 문서 특화 아키텍처를 통해 레이아웃, 텍스트, 수식, 표를 통합적으로 해석하고 마크업으로 직접 생성.
• 다단계/하이브리드 VLM: MonkeyOCR, MinerU, GLM-OCR 등. 구조 인식 - 관계 (SRR) 패러다임을 도입하여 레이아웃 탐지와 콘텐츠 인식을 분리하되 단일 모델 내에서 통합. 효율성과 견고성 (Robustness) 향상.

3. 주요 기여 (Key Contributions)

1. 포괄적인 분류 체계 (Taxonomy): 문서 파싱의 전체 워크플로우를 아우르는 명확하고 체계적인 분류 체계를 제안했습니다. 기존 단일 작업 중심의 문헌을 통합하여 모듈형 파이프라인과 VLM 기반 통합 모델로 구분했습니다.
2. 핵심 구성 요소 심층 분석: 레이아웃 분석, OCR, 수식/표/차트/화학 구조 인식 등 각 핵심 구성 요소의 기술적 진화 (규칙 기반 $\rightarrow$ 딥러닝 $\rightarrow$ VLM) 를 상세히 리뷰했습니다.
3. 벤치마크 및 평가 지표 통합: 문서 파싱 및 하위 작업에 널리 사용되는 평가 지표 (IoU, TEDS, CDM, Edit Distance 등) 와 벤치마크 (OmniDocBench, PubLayNet, CROHME 등) 를 체계적으로 정리했습니다.
4. 도전 과제 및 미래 방향 제시: 복잡한 레이아웃에 대한 견고성, VLM 기반 파싱의 신뢰성 (환각 문제), 추론 효율성 등 현재 직면한 주요 과제를 논의하고, 향후 연구 방향을 제시했습니다.

4. 주요 결과 및 통찰 (Results & Insights)

• 패러다임 전환: 전통적인 모듈형 파이프라인에서 VLM 기반의 통합 모델로의 전환이 가속화되고 있습니다. 특히 전용 End-to-End VLM과 다단계 VLM이 범용 VLM 보다 구조 민감도 (구조 정확도, 표/수식/읽기 순서) 에서 더 우수한 성능을 보입니다.
• 성능 비교 (OmniDocBench-v1.5 기준):
  • 범용 VLM (GPT-4o, Gemini 등) 은 높은 전반적 점수를 보이지만, 표 구조 (TEDS) 나 수식 정확도 (CDM) 에서 전용 모델에 비해 다소 떨어지는 경향이 있습니다.
  • FireRed-OCR, PaddleOCR-VL, GLM-OCR 등의 전용/다단계 모델은 파라미터 수 대비 높은 효율성과 구조적 일관성을 보여주며, 복잡한 문서에서도 우수한 성능을 기록했습니다.
• 평가의 중요성: 단순한 문자열 일치 (Edit Distance) 는 구조적 정확도를 평가하기에 부족합니다. TEDS(표 구조), CDM(수식 렌더링 일치), Unit Test 기반 평가 등 구조 인식과 기능성을 중시하는 새로운 평가 프로토콜이 필수적입니다.
• 데이터의 한계: 고품질 주석 데이터의 부족이 주요 병목 현상입니다. 대규모 합성 데이터와 자기지도 학습 (Self-supervised learning) 이 해결책으로 부상하고 있습니다.

5. 의의 및 시사점 (Significance)

• 차세대 문서 지능 시스템의 기초: 이 논문은 RAG(검색 증강 생성), 지식 베이스 구축, AI 에이전트 등 최신 AI 기술의 핵심 전처리 단계인 문서 파싱의 현재 상태를 종합적으로 정리했습니다.
• 실무 적용 가이드: 산업계와 학계가 복잡한 문서 (과학 논문, 금융 리포트, 수식 포함 문서 등) 를 처리할 때 모듈형 접근법과 통합 VLM 접근법 중 어떤 전략을 선택해야 하는지에 대한 명확한 가이드를 제공합니다.
• 연구 방향 제시: 단순한 인식 정확도 향상을 넘어, 구조적 일관성, 견고성 (Robustness), 효율성, 그리고 실제 배포 환경 (스캔 품질 저하, 왜곡 등) 에 대한 대응을 위한 연구 방향을 제시함으로써 향후 문서 AI 연구의 로드맵을 제시합니다.

결론적으로, 본 논문은 문서 파싱이 단순한 텍스트 추출을 넘어 구조적 의미 이해와 생성으로 진화하고 있음을 보여주며, VLM 기반의 통합 모델이 미래의 표준이 될 것임을 시사합니다.