기술 요약: PureDocBench

1. 문제 제기

문서 파싱 분야는 지난 한 해 동안 20 개 이상의 오픈소스 모델이 출시되며 급속한 발전을 이루었습니다. 그러나 평가 인프라는 이를 따라가지 못해, 거의 전적으로 1,355 페이지 분량의 수동 주석 데이터셋인 OmniDocBench에 의존하고 있습니다. 저자들은 현재 최첨단 기술의 네 가지 치명적인 한계를 다음과 같이 지적합니다:

1. 주석 오류: OmniDocBench 의 21,353 개 평가자 점수 블록에 대한 3 단계 감사를 통해 **2,580 개의 오류 (12.08%)**가 발견되었습니다. 여기에는 불필요한 단어 추가, 할루시네이션, 단어 누락, 표 구조 오류, 카테고리 불일치, 그리고 OCR 잔여물이 포함됩니다.
2. 점수 포화: OmniDocBench 에서 최상위 모델들의 점수는 90% 를 상회하며, 모델 간 격차를 1~2% 로 축소시켰습니다. 이러한 포화는 관찰된 격차가 데이터셋 자체의 주석 오류율보다 작기 때문에 순위의 신뢰성을 떨어뜨립니다.
3. 제한된 커버리지: 기존 벤치마크는 금융 송장, 의료 기록, 법률 계약과 같은 고빈도 기업 문서 유형을 누락했으며, 물리적으로 열화되었거나 사진으로 촬영된 페이지를 포함하지 않아 실제 세계의 견고성을 테스트하지 못합니다.
4. 오염 위험: OmniDocBench 가 2024 년 말 이후 공개됨에 따라, 학습 파이프라인 내 데이터 오염 위험이 높아 리더보드 신뢰도가 떨어지고 있습니다.

2. 방법론: PureDocBench 구축

이러한 문제들을 해결하기 위해 저자들은 프로그래밍 방식으로 생성되고 소스 추적이 가능한 벤치마크인 PureDocBench를 소개합니다. 이 벤치마크의 핵심 설계 원칙은 렌더링된 문서 이미지와 검증 가능한 주석이 모두 동일한 HTML/CSS 소스에서 비롯된다는 것입니다.

데이터 구축 파이프라인

구축 과정은 세 단계로 이루어집니다:

1. 메타 프롬프트 설계: 66 개의 세분화된 하위 카테고리 각각에 대해 메타 프롬프트는 문서 유형, 레이아웃 스타일, 콘텐츠 도메인, 언어, 그리고 요소 구성 (예: 표 개수, 수식 밀도) 을 인코딩합니다.
2. LLM 생성: 대규모 언어 모델 (LLM) 은 현실적인 텍스트, 구조화된 표, LaTeX 수식, 다양한 레이아웃을 포함한 완전하고 독립적인 HTML/CSS 소스 파일을 생성합니다. 출력물은 레이아웃 붕괴나 반복적인 콘텐츠를 거부하기 위해 인간 검사를 거칩니다.
3. 렌더링 및 주석 추출: 검증된 소스는 브라우저 엔진을 통해 고해상도 PNG 이미지로 렌더링됩니다. 동시에, LLM 보조 추출 패스가 HTML 소스를 읽어 OmniDocBench 형식에 따라 구조화된 주석 (텍스트, 표 HTML, LaTeX, 읽기 순서) 을 생성합니다. 이러한 출력물은 결정론적 스키마 검증과 인간 교차 검토를 거칩니다.

벤치마크 범위

• 규모: 1,475 개의 정답 페이지가 4,425 개의 이미지로 렌더링되었습니다 (1,475 페이지 × 3 트랙).
• 분류 체계: 10 개 도메인(학술, 교육, 법률/정부, 비즈니스, 금융, 의료, 출판, 기술, 물류, 인증서)과 66 개 하위 카테고리를 커버합니다.
• 3 버전 설계: 각 페이지는 동일한 정답을 공유하는 세 가지 버전으로 존재합니다:
  • 클린: 고해상도 렌더링.
  • 디지털 열화: 낡은 아카이브, 책 제본, 다중 복사본, 팩스/열전사 인쇄, 잉크 번짐, JPEG 압축, 기하학적 왜곡과 같은 아티팩트를 시뮬레이션합니다.
  • 실제 열화: 물리적 획득 체인을 통해 얻어졌습니다 (인쇄된 페이지의 스마트폰 촬영, 복사본, 스크린 촬영, 소셜 미디어 압축이 적용된 스크린샷).

3. 주요 기여

1. PureDocBench 데이터셋: 오염에 강하고 소스 렌더링 기반이며 검증 가능한 주석을 갖춘 벤치마크로, 10 개 도메인과 클린, 디지털, 실제 열화 트랙에 걸쳐 4,425 개의 이미지를 커버합니다.
2. OmniDocBench 감사: 6 개 클래스 분류 체계에 걸쳐 2,580 개의 주석 오류를 확인한 종합적인 3 단계 감사로, 수정된 정답이 커뮤니티에 공개되었습니다.
3. 대규모 평가: 파이프라인 전문가, 엔드투엔드 (E2E) 전문가, 범용 비전 - 언어 모델 (VLM) 을 아우르는 40 개 모델에 대한 평가.
4. 오픈 릴리스: 데이터, 생성 파이프라인, 평가 코드, 모든 40 개 모델의 원시 예측, 그리고 수정된 OmniDocBench 주석의 전체 공개.

4. 실험 결과

저자들은 PureDocBench 에서 40 개 모델을 평가하여 네 가지 주요 발견을 도출했습니다:

(i) 문서 파싱은 아직 해결되지 않음

점수가 90% 이상으로 포화되는 OmniDocBench 와 달리, PureDocBench 에서 최상위 모델은 100 점 만점에 약 74 점만 달성합니다. 모든 40 개 모델의 평균 점수는 약 61 점이며, 최강과 최약 모델 간 44.6 점의 격차가 존재하여 의미 있는 분리를 회복시켰습니다.

(ii) 전문가 파서가 비용 효율성을 지배함

4B 이하 파라미터를 가진 전문가 파서는 5~100 배 더 큰 범용 VLM 과 경쟁하거나 능가합니다.

• **MinerU2.5-Pro(1.2B)**는 복합 지표에서 Kimi K2.6(총 1T/활성 32B) 및 Gemini-3.1-Pro와 동률을 이룹니다.
• Qwen3.5 계열 내에서 122B 에서 397B 로 파라미터를 확장해도 성능 향상이 나타나지 않아, 이 도메인에서는 일반적인 확장에서 체감 효과가 감소함을 시사합니다.

(iii) 범용 VLM 이 열화에 더 강건함

범용 VLM 은 파이프라인 전문가에 비해 물리적 촬영 노이즈에 대해 더 우수한 강건성을 보입니다.

• 파이프라인 전문가는 디지털 열화에서 4.90 점, 실제 열화에서 14.21 점을 잃습니다.
• 범용 VLM은 디지털 열화에서 0.99 점, 실제 열화에서 8.52 점만 잃습니다.
• 이로 인해 순위 역전이 발생합니다: 클린 트랙의 챔피언 (FD-RL) 은 디지털 트랙에서 Qwen3.5-122B-A10B 에게, 실제 트랙에서는 Gemini-3.1-Pro 에게 추월당합니다.

(iv) 서브 지표 분석이 병목 현상을 드러냄

어떤 단일 아키텍처도 모든 서브 지표를 지배하지 않습니다:

• 파이프라인 모델은 텍스트와 읽기 순서에서 우위를 점합니다.
• E2E 모델은 표 인식에서 우위를 점합니다.
• 범용 VLM은 수식 인식에서 우위를 점합니다.
• 공통 병목: 수식 인식이 여전히 지배적인 격차입니다. Qwen 계열의 30 배 파라미터 범위에서도 트랙 평균 Avg-Formula 지표에서 어떤 모델도 **67%**를 초과하지 못합니다. 이는 단순히 더 큰 백본이 아닌, LaTeX/STEM 중심의 사전 학습이 필요함을 시사합니다.

5. 의의 및 주장

본 논문은 PureDocBench가 문서 파싱 분야에 다음과 같은 필수적인 교정을 제공한다고 주장합니다:

• 평가 해상도 회복: 이전 벤치마크의 점수 포화를 깨뜨려 진정한 모델 능력과 격차를 드러냅니다.
• 추적성 보장: 소스 코드에서 직접 정답을 도출하여 주석 모호성을 제거하고 제 3 자 검증을 가능하게 합니다.
• 오염 완화: 모델 릴리스 주기가 단축됨에 따라 데이터 유출을 방지하기 위해 벤치마크를 필요에 따라 재생성할 수 있는 메커니즘을 제공합니다.
• 배포 현실 강조: 물리적 열화에 대한 범용 VLM 의 강건성이 클린 데이터 벤치마크가 제안하는 것보다 다른 최적 모델 선택을 이끈다는 점을 보여줌으로써, 클린 전용 평가가 실제 배포에는 오해의 소지가 있음을 입증합니다.

저자들은 PureDocBench 를 손글씨 메모와 같은 고유 모드를 유지하는 진정성 있는 문서 벤치마크를 대체하는 것이 아니라, 엄격하고 재현 가능한 평가를 위한 균형 잡힌 분류 체계, 통제된 열화, 그리고 더 높은 콘텐츠 밀도를 제공하는 보완적이며 소스 추적 가능한 기반으로 위치시킵니다.