기술 요약: MonkeyOCRv2

문제 정의

주류 시각 기초 모델(예: CLIP, DINO, SAM)은 주로 자연 이미지에 대해 사전 학습되었으며, 고수준의 객체 의미론, 전역적 정렬 및 장면 문맥에 집중합니다. 이러한 모델들은 문서 이미지에 적용될 때 표현 불일치(representation mismatch) 현상을 보입니다. 문서 이미지는 조밀한 텍스트, 미세한 글자 획, 복잡한 레이아웃, 그리고 국소적인 시각적 세부 사항(예: 구두점, 첨자, 획의 변화)에 크게 의존하는 의미론적 특성을 가집니다. 기존 모델들은 이러한 미세한 세부 사항을 의미론적 추상화를 위해 버리는 경래가 있으며, 이로 인해 문서 파싱, 이해 및 관련 작업에 부적합해집니다. 또한, 기존의 문서 지향적 사전 학습 데이터셋은 규모, 언어 다양성, 주석의 정밀도 측면에서 제한적이며, 주로 중국어와 영어만을 다루거나 조밀한 감독(dense supervision)이 부족한 경우가 많습니다.

방법론

1. 데이터 엔진: MonkeyDoc v2

데이터 부족과 분포 차이를 해결하기 위해, 저자들은 MonkeyDoc v2를 구축하였으며, 이는 알려진 것 중 가장 큰 규모의 문서 지향적 시각-텍스트 사전 학습 코퍼스입니다.

• 규모: 1,130만 개의 이미지.
• 다양성: 17개 언어(간체/번체 중국어, 영어, 아랍어, 독일어 등 포함)와 다양한 문서 유형(과학 논문, 인보이스, 필기 노트, 고문서, 수식, 표 등)을 포괄합니다.
• 구성: 6,100만 개의 실제 샘样本(real-world samples)과 5,200만 개의 합성 샘플(synthetic samples).
• 주석 파이프라인: 여러 상호 보완적인 OCR 모델이 잘라낸 요소들을 전사하는 다중 전문가 합의 파이프라인을 활용하며, 모델 특유의 오류를 억제하기 위해 쌍별 합의(pairwise agreement)가 가장 높은 예측값을 유지합니다. 품질이 낮은 샘플은 레이아웃 검증 및 대규모 언어 모델(LLM)을 통한 논리적 일관성 체크를 통해 필터링됩니다.

2. 사전 학습 전략: 공동 생성 및 재구성

MonkeyOCRv2는 **문서 네이티브 시각 표현(document-native visual representations)**을 학습하기 위해 이중 목적 사전 학습 전략을 채택합니다.

• 이미지-텍스트 생성: 표준 자기회귀 교차 엔트로피 손실($L_{text}$)을 사용하여 시각적 표현을 텍스트 내용과 정렬합니다. 이는 의미론적 이해를 위한 조밀한 감독을 제공합니다.
• 픽셀 수준 문서 재구성: 인코더가 순수하게 텍스트 기반의 감독 하에서 버려질 수 있는 미세한 시각적 세부 사항(글자 획, 글리프 형태, 레이아웃 구조)을 보존하도록 유도합니다. 이는 평균 제곱 오차(MSE) 손실($L_{pix}$)과, 선택적으로 엣지 및 엣지 거리 맵을 매칭하는 구조 인식 손실($L_{struct}$)을 통해 달성됩니다.
• 결합된 목적 함수: $L_{pretrain} = L_{text} + \lambda L_{rec}$. 재구성 목적 함수는 정규화 도구로서 작용하여, 언어적 문맥이 약하거나 없는 경우에도 인코더가 시각적 증거를 유지하도록 보장합니다.

3. 아키텍처

모델 제품군은 MonkeyDoc v2에서 처음부터 학습된 세 가지 비전 인코더 변형을 포함합니다.

• MonkeyOCRv2-S: ViT-Small (2,800만 파라미터).
• MonkeyOCRv2-B: ViT-Base (1억 1,300만 파라미터).
• MonkeyOCRv2-AS: ViTAEv2-Small (2,100만 파라미터), 다중 스케일 유도 편향(multi-scale inductive bias)의 이점을 얻는 작업(예: 탐지, 세그멘테이션)에 최적화되었습니다.

주요 기여

1. MonkeyOCRv2: 문서 AI를 위해 특별히 사전 학습된 시각-텍스트 기초 모델로, 공동 텍스트 생성 및 픽셀 수준 재구성을 통해 자연 이미지 인코더와 문서 이미지 간의 표현 불일치 문제를 해결합니다.
2. MonkeyDoc v2: 기존 문서 데이터셋의 규모와 다양성을 크게 상회하는 거대하고 다국어(17개 언어)를 지원하는 다중 유형(1억 1,300만 이미지) 사전 학습 코퍼스입니다.
3. 이중 목적 사전 학습: 이미지-텍스트 생성과 픽셀 수준 재구성을 결합하는 것이 특히 언어적 문맥이 제거되거나 저하된 상황에서 강건성(robustness)을 향상시킨다는 것을 입증했습니다.

실험 결과

다운스트림 태스크 성능

기존 인코더를 MonkeyOCRv2로 교체했을 때, 다섯 가지 대표적인 문서 분석 작업에서 일관된 성능 향상이 나타났습니다.

• 텍스트 인식: 까다로운 벤치마크에서 CRNN 정확도를 58.7%에서 67.3%로 개선했습니다. PARSeq에 MonkeyOCRv2를 적용했을 때 Union14M 및 중국어 벤치마크에서 SOTA 성능을 달성했습니다.
• 수식 인식: 1억 1,000만 파라미터 모델(UniMERNet-T + MonkeyOCRv2)이 3억 2,500만 파라미터의 UniMERNet-B를 능가하여, 강력한 문서 지향적 인코더가 모델 용량의 감소를 보완할 수 있음을 보여주었습니다.
• 텍스트 탐지: ICDAR2015, ArT, Total-Text, CTW1500에서 일관된 F-measure 상승을 보였으며, ImageNet으로 사전 학습된 인코더와 oCLIP(텍스트 특화 인코더)을 모두 능가했습니다.
• 문서 위조 탐지: DocTamper-Test, DocTamper-FCD, DocTamper-SCD에서 SOTA F1 점수를 달성하여 도메인 변화에 대한 강력한 일반화 능력을 보여주었습니다.
• 중첩 텍스트 세그멘테이션: MOT 데이터셋에서 mIoU를 4.3%에서 6.3% 개선했습니다.

문서 파싱 및 이해

• 문서 파싱 (MDPBench): MonkeyOCRv2-B-Parsing (총 파라미터 0.7B, 비전 인코더 0.1B)은 MDPBench에서 **83.3%**를 달성하여, 이전 오픈 소스 SOTA(dots.mocr, 3B 파라미터)보다 약 11배 작은 비전 인코더를 사용했음에도 불구하고 절대 수치로 2.8% 앞섰습니다. 또한 OmniDocBench에서 Qwen3-VL-235B 및 GPT-5.2와 같은 더 큰 범용 VLM보다 우수한 성능을 보였습니다.
• 문서 이해: 통제된 환경(동일한 Qwen3-1.7B LLM과 결합된 고정된 인코더)에서 MonkeyOCRv2-B는 8개 벤치마크 전체에서 평균 점수 57.2를 기록하며 CLIP, DINO, SAM 및 기타 문서 지향적 인코더를 크게 압도했습니다.

강건성 분석

• 언어적 문맥 의존성: 텍스트를 뒤섞은 제어 연구를 통해, MonkeyOCRv2가 해상도 저하나 언어적 문맥 제거에 더 강건하다는 것을 보여주었습니다. 픽셀 재구성 목적 함수는 의미론적으로 일관된 텍스트와 뒤섞인 텍스트 간의 정확도 격차를 좁혔으며, 이는 모델이 언어적 사전 지식보다는 시각적 증거에 더 강력하게 의존함을 나타냅니다.
• 환각(Hallucination): CHAOS-Bench에서 MonkeyOCRv2-Parsing은 변형된 단어에 대해 가장 높은 페이지 평균 재현율(recall)을 달성하여, HunyuanOCR-1.5 및 PaddleOCR-VL-1.6과 같은 모델에 비해 시각적 증거에 대한 탁월한 충실도를 입증했습니다.

의의 및 주장

본 논문은 문서 지향적 시각 사전 학습이 일반적인 자연 영상용 인코더에 의존하는 대신, 그 자체로 문서 지능을 위한 기초가 될 수 있다고 주장합니다.

• 패러다임의 전환: 본 연구는 일반 목적의 비전 모델을 문서에 맞게 조정하는 패러다임에 도전하며, 문서 특유의 시각적 통계(조밀한 텍스트, 미세한 획)에는 전용 사전 학습 목적 함수가 필요하다고 주장합니다.
• 효율성: 컴팩트한 문서 네이티브 인코더(0.1B)가 시각적 표현이 해당 도메인에 최적화되었을 때, 문서 특정 작업에서 거대한 범용 VLM(수천억 개의 파라미터)보다 뛰어날 수 있음을 보여줍니다.
• 시각적 증거 보존: 픽셀 수준 재구성 목적 함수가 미세한 세부 사항을 보존하는 데 결정적이며, 언어적 문맥이 모호하거나 부재하는 시나리오에서 강건성을 향고시킨다는 것을 검증했습니다.

저자들은 MonkeyOCRv2와 MonkeyDoc v2가 다국어 OCR, 문서 이해 및 더 넓은 문서 지능 시스템을 위한 재사용 가능한 기초를 제공하며, 텍스트를 "제1급 시각 양식(first-class visual modality)"으로 확립한다고 결론짓습니다.