तकनीकी सारांश: MonkeyOCRv2

समस्या विवरण

मुख्यधारा के विज़ुअल फाउंडेशन मॉडल्स (जैसे, CLIP, DINO, SAM) मुख्य रूप से प्राकृतिक छवियों पर प्रीट्रेन किए गए हैं, जो उच्च-स्तरीय ऑब्जेक्ट सिमेंटिक्स, ग्लोबल अलाइनमेंट और सीन कॉन्टेक्स्ट पर ध्यान केंद्रित करते हैं। दस्तावेज़ छवियों (document images) पर लागू होने पर ये मॉडल एक रिप्रेजेंटेशन मिसमैच (representation mismatch) प्रदर्शित करते हैं। दस्तावेज़ छवियां घने टेक्स्ट, सूक्ष्म वर्ण स्ट्रोक्स (fine-grained character strokes), जटिल लेआउट और ऐसे सिमेंटिक्स से युक्त होती हैं जो स्थानीय दृश्य विवरणों (जैसे, विराम चिह्न, सुपरस्क्रिप्ट, स्ट्रोक भिन्नता) पर अत्यधिक निर्भर करते हैं। मौजूदा मॉडल अक्सर सिमेंटिक एब्स्ट्रैक्शन के पक्ष में इन सूक्ष्म विवरणों को त्याग देते हैं, जिससे वे दस्तावेज़ पार्सिंग, समझ और संबंधित कार्यों के लिए अनुपयुक्त हो जाते हैं। इसके अलावा, मौजूदा दस्तावेज़-उन्मुख प्रीट्रेनिंग डेटासेट स्केल, भाषाई विविधता और एनोटेशन ग्रैनुलैरिटी में सीमित हैं, जो अक्सर केवल चीनी और अंग्रेजी तक ही सीमित हैं या जिनमें सघन पर्यवेक्षण (dense supervision) का अभाव है।

कार्यप्रणाली (Methodology)

1. डेटा इंजन: MonkeyDoc v2

डेटा की कमी और वितरण अंतराल को संबोधित करने के लिए, लेखकों ने MonkeyDoc v2 का निर्माण किया, जो ज्ञात सबसे बड़ा दस्तावेज़-उन्मुख विज़ुअल-टेक्स्ट प्रीट्रेनिंग कॉर्पस है।

• स्केल: 113 मिलियन छवियां।
• विविधता: 17 भाषाओं को कवर करता है (सरलीकृत/पारंपरिक चीनी, अंग्रेजी, अरबी, जर्मन आदि सहित) और विविध दस्तावेज़ प्रकार (वैज्ञानिक शोध पत्र, चालान, हस्तलिखित नोट्स, प्राचीन ग्रंथ, सूत्र, तालिकाएं)।
• संरचना: 61M वास्तविक-विश्व नमूने और 52M सिंथेटिक नमूने।
• एनोटेशन पाइपलाइन: एक मल्टी-एक्सपर्ट एग्रीमेंट पाइपलाइन का उपयोग करता है जहाँ कई पूरक OCR मॉडल क्रॉप किए गए तत्वों को ट्रांसक्राइब करते हैं; जिस प्रेडिक्शन में उच्चतम पेयरवाइज एग्रीमेंट होता है उसे रिटेन किया जाता है ताकि मॉडल-विशिष्ट त्रुटियों को दबाया जा सके। लो-क्वालिटी सैंपल्स को लेआउट वेरिफिकेशन और लार्ज लैंग्वेज मॉडल्स के माध्यम से लॉजिकल कंसिस्टेंसी चेक का उपयोग करके फ़िल्टर किया जाता है।

2. प्रीट्रेनिंग रणनीति: जॉइंट जनरेशन और रिकंस्ट्रक्शन

MonkeyOCRv2 दस्तावेज़-नेटिव विज़ुअल रिप्रेजेंटेशन सीखने के लिए एक दोहरे उद्देश्य वाली प्रीट्रेनिंग रणनीति का उपयोग करता है:

• इमेज-टू-टेक्स्ट जनरेशन: मानक ऑटोरेग्रेसिव क्रॉस-एन्ट्रॉपी लॉस ($L_{text}$) का उपयोग करके विज़ुअल रिप्रेजेंटेशन को टेक्स्ट कंटेंट के साथ अलाइन करता है। यह सिमेंटिक अंडरस्टैंडिंग के लिए सघन पर्यवेक्षण प्रदान करता है।
• पिक्सेल-लेवल डॉक्यूमेंट रिकंस्ट्रक्शन: यह एनकोडर को उन सूक्ष्म विज़ुअल विवरणों (वर्ण स्ट्रोक्स, ग्लिफ शेप्स, लेआउट स्ट्रक्चर) को संरक्षित करने के लिए प्रोत्साहित करता है जिन्हें विशुद्ध रूप से टेक्स्टुअल पर्यवेक्षण के तहत त्याग दिया जा सकता है। यह एक मीन स्क्वेर्ड एरर (MSE) लॉस ($L_{pix}$) और वैकल्पिक रूप से, एज और डिस्टेंस-टू-एज मैप्स को मैच करने वाले एक स्ट्रक्चर-अवेयर लॉस ($L_{struct}$) के माध्यम से प्राप्त किया जाता है।
• संयुक्त उद्देश्य: $L_{pretrain} = L_{text} + \lambda L_{rec}$। रिकंस्ट्रक्शन ऑब्जेक्टिव एक रेगुलराइज़र के रूप में कार्य करता है, यह सुनिश्चित करता है कि एनकोडर विज़ुअल साक्ष्य को बनाए रखे, भले ही भाषाई संदर्भ कमजोर या अनुपलब्ध हो।

3. आर्किटेक्चर

मॉडल फैमिली में तीन विज़न एनकोडर वेरिएंट शामिल हैं जिन्हें MonkeyDoc v2 पर स्क्रैच से ट्रेन किया गया है:

• MonkeyOCRv2-S: ViT-Small (28M पैरामीटर्स)।
• MonkeyOCRv2-B: ViT-Base (113M पैरामीटर्स)।
• MonkeyOCRv2-AS: ViTAEv2-Small (21M पैरामीटर्स), जो उन कार्यों के लिए अनुकूलित है जिन्हें मल्टी-स्केल इंडक्टिव बायस (जैसे, डिटेक्शन, सेगमेंटेशन) से लाभ मिलता है।

मुख्य योगदान

1. MonkeyOCRv2: एक विज़ुअल-टेक्स्ट फाउंडेशन मॉडल जो विशेष रूप से डॉक्यूमेंट AI के लिए प्रीट्रेन किया गया है, जो जॉइंट टेक्स्ट जनरेशन और पिक्सेल-लेवल रिकंस्ट्रक्शन के माध्यम से नेचुरल-इमेज एनकोडर्स और डॉक्यूमेंट इमेजेस के बीच के रिप्रेजेंटेशन मिसमैच को संबोधित करता है।
2. MonkeyDoc v2: एक विशाल, बहुभाषी (17 भाषाएं), बहु-प्रकार (113M छवियां) वाला प्रीट्रेनिंग कॉर्पस जो मौजूदा डॉक्यूमेंट डेटासेट्स के स्केल और विविधता को काफी हद तक पीछे छोड़ देता है।
3. दोहरा उद्देश्य वाली प्रीट्रेनिंग: यह प्रदर्शित करता है कि इमेज-टू-टेक्स्ट जनरेशन को पिक्सेल-लेवल रिकंस्ट्रक्शन के साथ जोड़ने से मजबूती (robustness) में सुधार होता है, विशेष रूप से तब जब भाषाई संदर्भ हटा दिया जाता है या खराब हो जाता है।

प्रयोगात्मक परिणाम

डाउनस्ट्रीम टास्क परफॉर्मेंस

मूल एनकोडर्स को MonkeyOCRv2 से बदलने पर पांच प्रतिनिधि दस्तावेज़ विश्लेषण कार्यों में निरंतर सुधार देखा गया:

• टेक्स्ट रिकग्निशन: चुनौतीपूर्ण बेंचमार्क्स पर CRNN सटीकता को 58.7% से बढ़ाकर 67.3% किया। Union14M और चाइनीज़ बेंचमार्क्स पर PARSeq ने MonkeyOCRv2 के साथ स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन हासिल किया।
• फॉर्मूला रिकग्निशन: एक 110M पैरामीटर मॉडल (UniMERNet-T + MonkeyOCRv2) ने 325M UniMERNet-B को पछाड़ दिया, जो दर्शाता है कि एक मजबूत डॉक्यूमेंट-ओरिएंटेड एनकोडर कम मॉडल कैपेसिटी की भरपाई कर सकता है।
• टेक्स्ट डिटेक्शन: ICDAR2015, ArT, Total-Text, और CTW1500 में निरंतर F-मेजर गेन्स, जो इमेज-नेट प्रीट्रेन किए गए एनकोडर्स और oCLIP (एक टेक्स्ट-विशिष्ट एनकोडर) दोनों से बेहतर है।
• डॉक्यूमेंट टैम्परिंग डिटेक्शन: DocTamper-Test, DocTamper-FCD, और DocTamper-SCD पर SOTA F1-स्कोर प्राप्त किया, जो डोमेन शिफ्ट के दौरान मजबूत सामान्यीकरण (generalization) दिखाता है।
• ओवरलैपिंग टेक्स्ट सेगमेंटेशन: MOT डेटासेट पर mIoU में 4.3% से 6.3% का सुधार।

डॉक्यूमेंट पार्सिंग और अंडरस्टैंडिंग

• डॉक्यूमेंट पार्सिंग (MDPBench): MonkeyOCRv2-B-Parsing (0.7B कुल पैरामीटर्स, 0.1B विज़न एनकोडर) ने MDPBench पर 83.3% प्राप्त किया, जो पिछले ओपन-सोर्स SOTA (dots.mocr, 3B पैरामीटर्स) से 2.8% एब्सोल्यूट अधिक है, जबकि इसका विज़न एनकोडर लगभग 11 गुणा छोटा है। इसने OmniDocBench पर Qwen3-VL-235B और GPT-5.2 जैसे बड़े जनरल-पर्पस VLMs को भी पछाड़ दिया।
• डॉक्यूमेंट अंडरस्टैंडिंग: एक नियंत्रित सेटिंग (फ्रोजन एनकोडर्स जो समान Qwen3-1.7B LLM के साथ जुड़े हैं) में, MonkeyOCRv2-B ने आठ बेंचमार्क्स में औसतन 57.2 का स्कोर प्राप्त किया, जो CLIP, DINO, SAM और अन्य डॉक्यूमेंट-ओरिएंटेड एनकोडर्स की तुलना में काफी बेहतर है।

मजबूती (Robustness) का विश्लेषण

• भाषाई संदर्भ निर्भरता: स्कैम्बल किए गए टेक्स्ट का उपयोग करके एक नियंत्रित अध्ययन ने दिखाया कि MonkeyOCRv2 रेजोल्यूशन डिग्रेडेशन और भाषistic कॉन्टेक्स्ट हटाने के प्रति अधिक मजबूत है। पिक्सेल रिकंस्ट्रक्शन ऑब्जेक्टिव ने सिमेंटिक रूप से सुसंगत और स्कैम्बल किए गए टेक्स्ट के बीच सटीकता के अंतर को कम किया, जो भाषाई पूर्वग्रहों (language priors) के बजाय विज़ुअल साक्ष्य पर मजबूत निर्भरता को दर्शाता है।
• हैलुसिनेशन (Hallucination): CHAOS-Bench पर, MonkeyOCRv2-Parsing ने गड़बड़ किए गए शब्दों के लिए उच्चतम पेज-एवरेज रिकॉल प्राप्त किया, जो HunyuanOCR-1.5 और PaddleOCR-VL-1.6 जैसे मॉडल्स की तुलना में विज़ुअल साक्ष्यों के प्रति बेहतर निष्ठा (faithfulness) प्रदर्शित करता है।

महत्व और दावे

यह पेपर तर्क देता है कि डॉक्यूमेंट-ओरिएंटेड विज़ुअल प्रीट्रेनिंग अपने आप में डॉक्यूमेंट इंटेलिजेंस के लिए एक फाउंडेशन के रूप में कार्य कर सकती है, न कि नेचुरल सीन्स के लिए बने एनकोडर्स पर निर्भर रहना चाहिए।

• मौलिक बदलाव (Foundational Shift): यह कार्य जनरल-पर्पस विजन मॉडल्स को डॉक्यूमेंट्स के लिए अनुकूलित करने के प्रतिमान (paradigm) को चुनौती देता है, और तर्क देता है कि दस्तावेज़ों के अद्वितीय विज़ुअल स्टैटिस्टिक्स (घना टेक्स्ट, सूक्ष्म स्ट्रोक्स) के लिए समर्पित प्रीट्रेनिंग ऑब्जेक्टिव्स की आवश्यकता होती है।
• दक्षता (Efficiency): यह प्रदर्शित करता है कि एक कॉम्पैक्ट, डॉक्यूमेंट-नेटिव एनकोडर (0.1B) डॉक्यूमेंट-विशिष्ट कार्यों पर सैकड़ों अरबों पैरामीटर्स वाले विशाल जनरल-पर्पस VLMs को पछाड़ सकता है, जब विज़ुअल रिप्रेजेंटेशन डोमेन के लिए अनुकूलित हो।
• विज़ुअल साक्ष्य संरक्षण: अध्ययन यह पुष्टि करता है कि पिक्सेल-लेवल रिकंस्ट्रक्शन ऑब्जेक्टिव्स सूक्ष्म विवरणों को संरक्षित करने के लिए महत्वपूर्ण हैं, जो उन परिदृश्यों में मजबूती में सुधार करते हैं जहाँ भाषाई संदर्भ अस्पष्ट या अनुपस्थित होता है।

लेखक निष्कर्ष निकालते हैं कि MonkeyOCRv2 और MonkeyDoc v2 बहुभाषी OCR, दस्तावेज़ समझ और व्यापक दस्तावेज़-इंटेलिजेंस सिस्टम के लिए पुन: प्रयोज्य आधार प्रदान करते हैं, जो टेक्स्ट को एक "फर्स्ट-क्लास विज़ुअल मोडैलिटी" के रूप में स्थापित करते हैं।