기술 요약: OvisOCR2

문제 정의

문서 파싱(Document parsing)은 시각적으로 풍부한 문서 이미지를 구조화된 기계 판독 가능 형태(일반적으로 Markdown)로 변환하는 것을 목표로 하며, 텍스트뿐만 아니라 레이아웃, 읽기 순서, 표, 수식 및 시각적 영역을 보존해야 합니다. 현재의 접근 방식은 크게 두 가지 범주로 나뉩니다:

1. 파이프라인 방식(Pipeline Methods): 작업을 별도의 단계(레이아웃 분석, 영역별 인식, 병합)로 분해합니다. 이 방식은 현재 벤치마크에서 우수한 성능을 보이지만, 여러 모델을 사용해야 하므로 배포가 복잡하며, 단계 간에 오류가 누적되는 문제(예: 표 경계 인식 실패는 하위 인식기가 수정할 수 없음)가 있습니다.
2. 엔드 투 엔드 방식(End-to-End Methods): 단일 모델을 사용하여 한 번의 패스로 Markdown을 생성합니다. 이는 배포를 단순화하고 페이지 수준의 문맥을 활용할 수 있게 해줍니다. 그러나 기존의 엔드 투 엔드 방식은 역사적으로 주요 벤치마크에서 파이프라인 방식에 비해 성능이 뒤처져 왔습니다.

과제는 정확도를 높이면서도 작은 배포 규모를 유지하며 선도적인 파이프라인 방식을 능가하는 소형 엔드 투 엔드 모델을 개발하는 것입니다.

방법론

1. 데이터 엔진 (Data Engine)

강력한 엔드 투 엔드 파서를 훈련하기 위해 저자들은 두 가지 상호 보완적인 파이프라인을 결합한 데이터 엔진을 구축했습니다:

• 실제 데이터 파이프라인 (Real-World Data Pipeline): 전문 OCR 파서(PaddleOCR-VL-1.5 또는 MinerU2.5-Pro)를 사용하여 대규모 실제 문서 이미지를 훈련 데이터로 변환합니다. 과정은 다음과 같습니다:
  • 구조적 파싱 (Structured Parsing): 파서의 JSON 출력을 통일된 Markdown 스키마로 변환합니다.
  • 규칙 기반 정규화 (Rule-Based Normalization): 엄격한 카테고리 검증, 텍스트 블록 병합, 수식 정규화(LaTeX 스타일), 표 구조 검증, 시각적 영역 인코딩(이미지 태그로서의 바운딩 박스)을 강제합니다.
  • 수동 샘플 검사 (Manual Spot-Checking): 인간 검사자가 텍스트 일치성, 수식 정확도, 표 정렬, 읽기 순서를 검증하는 보수적인 부분 집합 필터링 단계입니다. 품질이 낮은 부분 집합은 폐기됩니다.
• 합성 데이터 파이프라인 (Synthetic Data Pipeline): 동일한 HTML 소스로부터 문서 이미지와 Markdown 그라운드 트루스를 모두 도출하여 제어 가능하고 노이즈가 없는 훈련 타겟을 생성합니다.
  • 하드 샘플 마이닝 (Hard Sample Mining): 재사용 가능한 합성 패턴을 만들기 위해 실패 사례(예: 복잡한 표, 손글씨 영역)를 식별합니다.
  • 에이전트 기반 다양화 (Agent-Based Diversification): 에이전트가 초기 HTML 템플릿을 유효성을 유지하면서 다양한 콘텐츠와 구조의 변형으로 확장합니다.
  • 그라운드 트루스 생성 (Ground Truth Generation): Markdown을 HTML 소스로부터 직접 직렬화하여 완벽한 정렬을 보장합니다.
  • 렌더링 (Rendering): 현실적인 타이포그래피와 레이아웃을 시뮬레이션하기 위해 Playwright를 사용하여 이미지를 렌더링합니다.

2. 훈련 레시피 (Training Recipe)

0.8B 모델(Qwen3.5-0.8B 기반)의 훈련 과정은 다단계 파이프라인을 포함합니다:

• 지도 미세 조정 (Supervised Fine-Tuning, SFT): 혼합된 실제 및 합성 데이터에 대해 0.8B와 4B 브랜치를 모두 훈련합니다. 4B 모델은 교사 역할을 수행하기 위해 더 짧은 기간 동안 훈련됩니다.
• 강화 학습 (Reinforcement Learning, RL): 4B 브랜치는 그룹 상대 정책 최적화(GRPO)를 사용하여 RL을 수행합니다.
  • 보상 설계 (Reward Design): 텍스트 충실도(정규화된 편집 거리), 수식 매칭(CDM), 표 구조(TEDS)를 평가하는 다중 구성 보상 시스템을 사용합니다. 보상은 단순한 토큰 모방이 아닌 검증 가능한 구조적 정확성에 기반하여 계산됩니다.
  • 하드 케이스 구축 (Hard Case Construction): RL 데이터는 모델이 가끔 더 우수한 출력을 낼 수 있는 "온-폴리시(on-policy)" 하드 샘플에 집중하여, 사소하거나 불가능한 케이스를 피합니다.
• 온-폴리시 증류 (On-Policy Distillation, OPD): 4B 교사의 보상 정렬된 행동을 0.8B 학생에게 전달합니다.
  • 직접적인 RL을 소형 모델에 적용하는 대신(이는 불안정성과 높은 KL 발산을 초래함), 학생 모델이 응답을 생성하면 교사 모델이 학생의 상위 k-토큰에 대해 토큰 수준의 분포 감독(역 KL)을 제공합니다. 이는 길고 구조화된 출력에 대한 학습을 안정화합니다.
• 모델 융합 (Model Fusion): 서로 다른 구성을 가진 여러 OvisOCR2 0.8B 변체들을 훈련하고, 가중치 매개변수 평균화를 통해 최종 OvisOCR2를 생성합니다.

주요 기여

• OvisOCR2 모델: 공공 벤치마크에서 선도적인 파이프라인 방식을 능가하는 SOTA 성능을 달성하는 컴팩트한 0.8B 파라미터 엔드 투 엔드 문서 파서입니다.
• 하이브리드 데이터 엔진: 필터링된 실제 주석과 소스 정렬된 합성 데이터를 결합하여 롱테일 시나리오(예: 조밀한 수식, 복잡한 표)를 커버하면서도 그라운드 트루스의 정확성을 보장하는 새로운 시스템입니다.
• 고급 훈련 전략: SFT, 다중 구성 보상을 사용하는 대규모 4B 브랜치의 RL, 그리고 소형 모델에서의 직접적인 RL의 불안정성 없이 복잡한 파싱 동작을 전달하는 온-폴리시 증류를 결합한 파이프라인입니다.

결과

OvisOCR2는 세 가지 벤치마크에서 평가되었습니다:

1. OmniDocBench v1.6: OvisOCR2는 종합 점수 96.58을 기록하며 새로운 SOTA를 달성했습니다. 이는 최고의 파이프라인 방식(예: PaddleOCR-VL-1.6의 96.33)과 이전의 엔드 투 엔드 방식을 능가했으며, 텍스트 편집 거리, 수식 CDM, 표 TEDS 지표에서 선두를 차지했습니다.
2. PureDocBench: 모델은 Avg3 점수 75.06을 달성하여 Clean 및 Digital 트랙 모두에서 1위를 차지했습니다. 다만, "Real" 트랙(저하된 이미지)에서의 강건성은 거대 일반 VLM에 비해 개선이 필요한 영역임을 언급했습니다.
3. 자체 벤치마크 (In-House Benchmark): 롱테일 시나리오(손글씨, 복잡한 표)를 포함하는 1,000페이지 이상의 데이터로 평가되었습니다. OvisOCR2는 가장 높은 종합 점수(85.54)를 기록했으며 모든 난이도 계층에서 선두를 달렸습니다. 특히, 복잡한 표의 누락률을 크게 줄였으며(파이프라인 방식의 13~17% 대비 7.96%), 손글씨 하위 집합에서 최고의 성능을 보였습니다.

의의

본 논문은 OvisOCR2가 컴팩트한 0.8B 파라미터 모델임에도 불구하고, 엔드 투 엔드 문서 파싱이 전통적인 파이프라인 방식을 능가할 수 있는 잠재력을 보여준다고 주장합니다. 정교한 데이터 엔진과 다단계 훈련 레시피(SFT + RL + 증류)를 성공적으로 통합함으로써, 저자들은 단일 모델이 텍스트, 수식, 표, 레이아웃이라는 문서 파싱의 전체 복잡성을 분해된 시스템보다 더 효과적으로 처리할 수 있음을 입증했습니다. 이 연구는 엔드 투 엔드 접근 방식이 정확도를 희생하지 않으면서도 배포 효율성을 달성할 수 있음을 강조하며, 문서 디지털화를 위해 필요한 인프라를 단순화할 수 있는 가능성을 제시합니다.