ParseBench: A Document Parsing Benchmark for AI Agents

1. 문제 정의 (Problem)

기존의 문서 파싱 시스템은 PDF 를 사람이 읽을 수 있게 하거나, 미리 정의된 템플릿에서 특정 필드를 추출하는 데 초점을 맞추었습니다. 그러나 AI 에이전트의 등장으로 요구사항이 변화했습니다:

• 의사결정 기반의 신뢰성: 에이전트가 보험 청구 승인, 재무 분석, 규제 준수 검토 등을 수행할 때, 파싱된 출력물은 단순한 텍스트가 아니라 구조와 의미를 완벽하게 보존해야 합니다.
• 기존 벤치마크의 한계:
  • 도메인 편향: 학술 논문이나 단순한 템플릿 위주로 구성되어 있어, 금융, 보험, 정부 문서 등 실제 기업 환경의 복잡한 문서 분포를 반영하지 못함.
  • 평가 지표의 부적절성: 표면적인 텍스트 유사도 (Edit Distance 등) 를 중시하여, 표 구조 붕괴, 차트 데이터 오류, 의미 있는 포맷팅 (취소선, 첨자 등) 손실, 시각적 근거 (Grounding) 부재 등 에이전트에게 치명적인 오류를 간과함.

2. 방법론 (Methodology)

2.1 ParseBench 데이터셋 구성

• 규모: 약 2,000 개의 인간 검증 (Human-verified) 페이지, 1,100 개 이상의 문서, 169,000 개 이상의 테스트 규칙.
• 도메인: 보험, 금융, 정부 문서 등 실제 기업 환경에서 고위험 (High-stakes) 으로 사용되는 문서.
• **5 가지 능력 차원 **(Capability Dimensions) 에이전트 워크플로우를 방해하는 주요 실패 모드를 타겟팅합니다.
  1. **Tables **(표) 병합 셀, 계층적 헤더, 페이지 간 연속성을 포함한 구조적 정밀도.
  2. **Charts **(차트) 막대, 선, 원형 차트 등에서 정확한 데이터 포인트 추출 및 레이블 매칭.
  3. **Content Faithfulness **(콘텐츠 충실도) 누락, 환각 (Hallucination), 읽기 순서 오류가 없는지 확인.
  4. **Semantic Formatting **(의미론적 포맷팅) 취소선, 첨자/아첨자, 굵은 글씨, 하이퍼링크 등 의미 전달에 중요한 인라인 포맷팅 보존.
  5. **Visual Grounding **(시각적 근거) 추출된 요소가 원본 문서의 정확한 위치 (Bounding Box) 와 연결되어 있는지, 그리고 해당 콘텐츠가 올바른 영역에 할당되었는지 확인.

2.2 평가 지표 (Metrics)

기존의 단순 텍스트 매칭을 대체하여 의미론적 정확성을 직접 측정하는 지표를 개발했습니다.

• **Table Record Match **(TRM) 표를 '레코드 (행) 의 집합'으로 간주하여 헤더와 값의 매칭을 평가. 행/열 순서 변경에는 둔감하지만, 헤더 누락이나 값의 잘못된 매핑에는 엄격하게 패널티 부여.
• Chart Data Point Match: 차트를 표로 변환한 후, 주어진 데이터 포인트 (값 + 레이블) 가 정확히 추출되었는지 확인. 시각적 추정 오차를 고려한 허용 오차 (Tolerance) 적용.
• Rule-based Binary Tests: 콘텐츠 충실도와 포맷팅에 대해 규칙 기반의 이진 테스트 (Pass/Fail) 를 수행하여 환각, 누락, 순서 오류를 정량화.
• Element Pass Rate: 시각적 근거 평가에서 위치 (Localization), 분류 (Classification), 콘텐츠 할당 (Attribution) 이 모두 일치해야만 통과로 간주.

2.3 실험 설정

• 평가 대상: 14 가지 방법론 (비즈니스용 VLM, 오픈소스 VLM, 전문 문서 파서, LlamaParse 등).
• 비용 통제: 상용 VLM 들은 페이지당 약 1 센트 수준의 비용으로 설정하여 실제 비즈니스 환경에서의 효율성을 반영.

3. 주요 기여 (Key Contributions)

1. 에이전트 중심의 새로운 벤치마크: 기업용 문서 파싱의 실제 요구사항 (구조, 의미, 시각적 근거) 을 포괄하는 최초의 종합 벤치마크 제시.
2. 의미론적 정확성 평가 프레임워크: 텍스트 유사도가 아닌, 에이전트의 하위 작업 (Reasoning & Action) 에 영향을 미치는 구조적/의미적 오류를 정밀하게 측정하는 새로운 메트릭 도입.
3. 포괄적인 데이터셋: 2,000 여 페이지의 인간 검증 데이터와 16 만 개 이상의 테스트 규칙을 통해 다양한 실패 모드를 체계적으로 분석 가능하게 함.
4. 오픈 소스: 데이터셋 (HuggingFace) 과 평가 코드 (GitHub) 를 공개하여 재현성 있는 연구와 확장성을 보장.

4. 실험 결과 (Results)

14 가지 모델에 대한 평가 결과는 다음과 같은 통찰을 제공했습니다:

• 종합 성능: LlamaParse Agentic이 84.9% 의 최고 종합 점수를 기록했습니다.
• 차원별 성능 격차:
  • **표 **(Tables) 상위 모델들 (LlamaParse Agentic, Gemini 3 Flash) 은 높은 성능을 보였으나, 복잡한 병합 셀이나 계층적 헤더가 포함된 난이도 높은 문서에서는 성능 차이가 벌어졌습니다.
  • **차트 **(Charts) 가장 극심한 성능 분리가 발생했습니다. 많은 전문 파서들이 차트를 아예 추출하지 못하거나 텍스트로만 변환하여 점수가 6% 미만이었으며, LlamaParse Agentic (78.1%) 만 유의미한 성능을 보였습니다.
  • **콘텐츠 충실도 **(Content Faithfulness) 모든 파서가 90% 내외의 높은 점수를 받았으나, Dots OCR 1.5(90.0%) 와 LlamaParse Agentic(89.7%) 이 가장 우수했습니다.
  • **의미론적 포맷팅 **(Semantic Formatting) 대부분의 파서가 취소선이나 첨자 등 의미 있는 포맷팅을 제거하는 경향이 있었습니다. LlamaParse Agentic(85.2%) 이 압도적으로 우세했습니다.
  • **시각적 근거 **(Visual Grounding) 단일 패스 VLM(GPT-5 Mini, Haiku 4.5) 은 10% 미만의 낮은 점수를 기록한 반면, 레이아웃 인식 시스템과 에이전트 파이프라인 (LlamaParse Agentic: 80.6%) 이 월등히 우수했습니다.
• **비용 대비 효율성 **(Quality-Cost Frontier) LlamaParse Agentic 은 약 1.2 센트/페이지의 비용으로 최고 성능을 달성하여 파레토 프론티어 (Pareto Frontier) 상에 위치했습니다. 반면, 추론 비용 (Thinking budget) 을 늘린 다른 모델들은 비용 대비 성능 향상이 미미했습니다.

5. 의의 및 결론 (Significance)

• 에이전트 워크플로우의 핵심: 문서 파싱이 단순한 텍스트 추출을 넘어, 에이전트가 신뢰할 수 있는 구조화된 데이터와 시각적 근거를 바탕으로 자율적으로 행동할 수 있는 기반이 되어야 함을 강조했습니다.
• 기술적 한계와 기회: 현재 시스템들은 콘텐츠 이해 (Content Understanding) 나 구조 추출 (Structure Extraction) 중 한쪽에만 강점이 있어, 두 가지 능력을 모두 갖춘 통합 솔루션의 필요성이 대두되었습니다.
• 미래 방향: ParseBench 는 기업 자동화를 위한 문서 이해 기술의 발전 방향을 제시하며, 더 복잡한 문서 유형, 더 높은 해상도, 그리고 더 공격적인 (Adversarial) 사례를 포함하는 향후 벤치마크의 기초가 될 것입니다.

이 논문은 AI 에이전트 시대에 문서 파싱 기술이 나아가야 할 방향을 명확히 제시하고, 이를 평가하기 위한 표준을 마련했다는 점에서 큰 의의를 가집니다.