Can OCR-VLMs Read Devanagari? A Stress-Test Benchmark and Post-Correction Study
यह शोध पत्र देवनागरी पाठ पर दस OCR प्रणालियों का बेंचमार्किंग करता है, जो यह प्रकट करता है कि सिंथेटिक मूल्यांकन प्रदर्शन को बढ़ा-चढ़ाकर दिखाते हैं, विशिष्ट OCR-VLMs क्षरण (degradation) के तहत विनाशकारी विफलताओं के प्रति संवेदनशील होते हैं, और मजबूत अंग्रेजी OCR क्षमताएं इंडिक लिपियों के साथ सफलता की गारंटी नहीं देती हैं, साथ ही एक पोस्ट-करेक्शन दृष्टिकोण भी प्रस्तावित करता है जो उन्हें व्यापक रूप से लागू किए बिना विशिष्ट इंजनों में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास दस अलग-अलग "पढ़ने वाले रोबोटों" की एक टीम है। कुछ प्रसिद्ध और महंगे सुपर-कंप्यूटर हैं (जैसे गूगल, OpenAI और Anthropic के), कुछ ओपन-सोर्स प्रोजेक्ट्स हैं जिन्हें कोई भी डाउनलोड कर सकता है, और कुछ विशेष रूप से दस्तावेज़ पढ़ने के लिए बनाए गए मशीनें हैं।
शोधकर्ताओं यह जानना चाहते थे: क्या ये रोबोट वास्तव में हिंदी (देवनागरी लिपि) पढ़ सकते हैं, या वे केवल स्मार्ट होने का ढोंग कर रहे हैं?
यहाँ उनकी खोज की कहानी है, जिसे सरल भाषा में समझाया गया है:
1. "परफेक्ट क्लासरूम" का जाल
सबसे पहले, शोधकर्ताओं ने सभी दस रोबोटों को साफ-सुथरे, कंप्यूटर-जनरेटेड टेक्स्ट का उपयोग करके एक टेस्ट दिया। यह बिल्कुल वैसा ही था जैसे किसी सफेद साफ कागज पर छपी हुई किताब को पढ़ना जिसमें कोई दाग-धब्बा न हो।
परिणाम: सभी ने टेस्ट में महारत हासिल की। सभी दस रोबोटों का स्कोर 91% से 98% सटीकता के बीच था। वे सभी समान रूप से बुद्धिमान लग रहे थे।
सबक: यह एक जाल था। सिर्फ इसलिए कि एक रोबोट एकदम साफ टेक्स्ट पढ़ सकता है, इसका मतलब यह नहीं है कि वह वास्तविक जीवन की स्थितियों को संभाल सकता है। यह ऐसा ही है जैसे यह कहना कि एक रेस कार सबसे अच्छा ड्राइवर है क्योंकि उसने एक चिकनी, खाली सड़क पर दौड़ लगाई, लेकिन कभी उबड़-खाबड़ या बरसाती सड़क पर उसका परीक्षण नहीं किया।
2. "उबड़-खाबड़ सड़क" का परीक्षण (डिग्रेडेशन)
इसके बाद, शोधकर्ताओं ने छवियों (images) के साथ छेड़छाड़ की। उन्होंने धुंधलापन (blur), शोर (पुराने टीवी जैसा स्टैटिक) जोड़ा, और टेक्स्ट को लो-रेज़ोल्यूशन का बना दिया। यह एक मुड़े हुए, धूल भरे या खराब तरीके से छपे हुए दस्तावेज़ की फोटो लेने जैसा है।
परिणाम: यहीं से चीजें गड़बड़ होने लगीं।
- क्लासिक और ओपन मॉडल्स: कुछ रोबोट (जैसे EasyOCR और Qwen मॉडल्स) स्थिर रहे। वे थोड़ा लड़खड़ाए लेकिन पढ़ते रहे।
- "विशेषज्ञ" रोबोट: वे मशीनें जो विशेष रूप से OCR के लिए बनाई गई थीं (DeepSeek-OCR और Unlimited-OCR), पूरी तरह बिखर गईं।
- गड़बड़ी: उनमें से एक, DeepSeek-OCR, की एक भयानक आदत थी। जब वह भ्रमित होता, तो वह केवल रुकता नहीं था; बल्कि वह खुद को दोहराने लगता था। कल्पना कीजिए कि एक रोबत एक वाक्य पढ़ रहा है और फिर उसी वाक्य को 70 बार चिल्ला रहा है। इस "रिपीटेशन लूप" ने उसके औसत स्कोर को बर्बाद कर दिया, भले ही वह सामान्य वाक्यों को पढ़ने में वास्तव में सबसे अच्छा था।
- सीख: यदि आप केवल "औसत" स्कोर देखते हैं, तो आप धोखा खा सकते हैं। आपको यह देखने के लिए कि क्या कोई रोबोट सुरक्षित है, "सबसे खराब स्थिति" (worst-case scenario) को देखना होगा।
3. "वास्तविक दुनिया" का झटका
अंत में, शोधकर्ताओं ने रोबोटों का परीक्षण 300 वास्तविक फोटो पर किया जो असली छपे हुए हिंदी पृष्ठों (पुरानी किताबों के स्कैन) के थे। यह अंतिम स्ट्रेस टेस्ट था।
परिणाम: पहले टेस्ट के परफेक्ट स्कोर गायब हो गए। रैंकिंग पूरी तरह से बदल गई।
- अंग्रेजी के सुपरस्टार्स: वे रोबोट जो अंग्रेजी दस्तावेज़ पढ़ने के लिए प्रसिद्ध हैं (जैसे GPT-5.5 और olmOCR-7B), हिंदी पर बहुत खराब प्रदर्शन करते हैं। GPT-5.5 एक टॉप-टियर रीडर से गिरकर मुश्किल से बेसिक, पुराने ज़माने के रोबोट (EasyOCR) को पछाड़ पाया।
- चौंकाने वाले विजेता:
- बंद मॉडल के दिग्गज (Closed Giants): गूगल के Gemini और Anthropic के Claude चैंपियन बने रहे, उन्होंने वास्तविक दुनिया की अस्त-व्यस्त तस्वीरों को आसानी से संभाला।
- ओपन हीरो: एक छोटा, ओपन-सोर्स रोबोट जिसे Qwen3-VL-8B कहा जाता है (जो एक साधारण कंप्यूटर पर चल सकता है), ने वास्तव में महंगे GPT-5.5 को पीछे छोड़ दिया और दिग्गजों के करीब पहुँच गया।
- बड़ा सबक: अंग्रेजी पढ़ने में महान होने का मतलब यह नहीं है कि आप हिंदी पढ़ने में भी महान हैं। कौशल का स्थानांतरण (transfer) नहीं होता।
4. उन्होंने किस तरह की गलतियाँ कीं?
शोधकर्ताओं ने गलतियों को वर्गीकृत किया जैसे एक डॉक्टर मरीज का निदान करता है:
- पुराने ज़माने के रोबोट (EasyOCR): वे ज्यादातर "सतही" चीजों में गलती करते थे। उन्होंने हिंदी अंकों को अंग्रेजी अंकों के साथ या विराम चिह्नों को गलत समझा।
- स्मार्ट AI रोबर्स (VLMs): वे "संरचना" (structure) में गलती करते थे। हिंदी में जटिल अक्षर होते हैं जो एक-दूसरे के ऊपर चढ़ते हैं या जिनमें छोटे निशान (बिंदु) जुड़े होते हैं। AI रोबोट अक्सर इन आकारों को गलत समझते थे, एक अक्षर को दूसरे के रूप में भ्रमित कर देते थे जो दिखने में समान हो (जैसे 'ब' और 'व' के बीच भ्रम)।
5. "पोस्ट-एडिटर" प्रयोग
शोधकर्ताओं ने सबसे सस्ते रोबोट (EasyOCR) की गलतियों को ठीक करने के लिए एक छोटा "सुधारक" (corrector) प्रोग्राम जोड़ने की कोशिश की।
- क्या यह काम आया? हाँ, लेकिन केवल उस विशिष्ट रोबोट के लिए। इसने EasyOCR के स्कोर में थोड़ा सुधार किया।
- क्या यह दूसरों के लिए काम आया? नहीं। यदि आप उस समान सुधारक को अन्य रोबोटों पर आज़माते, तो यह चीज़ों को बदतर बना देता या कुछ भी नहीं करता।
- सीख: आप "एक ही आकार के सभी के लिए उपयुक्त" (one-size-fits-all) समाधान का उपयोग नहीं कर सकते। सुधारक को विशेष रूप से उस प्रकार की गलतियों पर प्रशिक्षित किया जाना चाहिए जो वह विशेष रोबोट करता है।
अंतिम निर्णय
यह शोध पत्र एक कड़ी चेतावनी के साथ समाप्त होता है: ऐसे बेंचमार्क पर भरोसा न करें जो केवल पूर्ण, कंप्यूटर-जनरेटेड टेक्स्ट का उपयोग करते हैं। वे खामियों को छिपा देते हैं।
- यदि आपको अस्त-व्यस्त, वास्तविक दुनिया के हिंदी दस्तावेज़ पढ़ने की आवश्यकता है, तो इस उद्देश्य के लिए बनाए गए "विशेषज्ञ" OCR रोबोट वास्तव में सबसे जोखिम भरा विकल्प हैं क्योंकि वे क्रैश हो जाते हैं या खुद को दोहराने लगते हैं।
- वर्तमान में सबसे अच्छे विकल्प बड़े क्लोज्ड मॉडल्स (Gemini, Claude) या आश्चर्यजनक रूप से मजबूत ओपन-सोर्स मॉडल (Qwen3-VL-8B) हैं।
- महत्वपूर्ण बात: जो रोबोट अंग्रेजी पढ़ने में सर्वश्रेष्ठ है, वह जरूरी नहीं कि हिंदी पढ़ने में भी सर्वश्रेष्ठ हो। आपको उन्हें उस विशिष्ट भाषा पर टेस्ट करना होगा जिसकी आपको आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।