OmniHandwritingOCR: A Diagnostic Benchmark for Evaluating Multimodal LLMs in Handwritten OCR Scenarios
यह शोध पत्र OmniHandwritingOCR को प्रस्तुत करता है, जो विविध हस्तलिखित परिदृश्यों में 77.57K लेबल की गई छवियों वाला एक व्यापक नैदानिक बेंचमार्क है, ताकि जटिल, बहुभाषी और त्रुटिपूर्ण हस्तलिखित पाठ और गणितीय अभिव्यक्तियों को सटीक रूप से ट्रांसक्राइब करने में वर्तमान मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की महत्वपूर्ण सीमाओं का मूल्यांकन और अनावरण किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
हमारे डिजिटल जीवन के शांत कोनों में, मानव ज्ञान का एक विशाल हिस्सा कागज पर कैद है। एक जटिल समस्या को हल करने वाले छात्र के हस्तलिखित नोट्स से लेकर एक शिक्षक के व्हाइटबोर्ड पर की गई अव्यवस्थित गणनाओं तक, यह जानकारी अक्सर कंप्यूटरों के लिए अदृश्य रहती है। दशकों से, तकनीक मुद्रित पाठ (printed text) को पढ़ने में उल्लेखनीय रूप से सक्षम रही है, जिससे स्पष्ट, एकसमान अक्षरों को डिजिटल डेटा में लगभग पूर्ण सटीकता के साथ बदला जा सका है। हालाँकि, जैसे ही स्याही एक मानवीय हाथ का रूप लेती है, तकनीक अक्सर लड़खड़ा जाती है। वास्तविक हस्तलेखन अप्रत्याशित होता है; यह व्यक्ति दर व्यक्ति भिन्न होता है, इसमें काट-छाँट की गई गलतियाँ होती हैं, और अक्सर इसमें शब्दों के साथ जटिल द्वि-आयामी संरचनाएं जैसे कि भिन्न (fractions) या ज्यामितीय आरेख मिश्रित होते हैं। हालाँकि आधुनिक आर्टिफिशियल इंटेलिजेंस ने इन दस्तावेजों को बढ़ती प्रवाहपूर्णता के साथ पढ़ना सीख लिया है, लेकिन एक महत्वपूर्ण प्रश्न बना हुआ है: क्या यह वास्तव में वही पढ़ रहा है जो वहां मौजूद है, या यह केवल वही अनुमान लगा रहा है जो इसके अनुसार वहां होना चाहिए?
यह एक नया अध्ययन है जिसे ईस्ट चाइना नॉर्मल यूनिवर्सिटी के शोधकर्ताओं द्वारा किया गया है, जिन्होंने 'ओमनीहैंडराइटिंगओसीआर' (OmniHandwritingOCR) नामक एक कठोर परीक्षण आधार तैयार किया है। उनका लक्ष्य केवल यह देखना नहीं था कि कंप्यूटर हस्तलेखन को कितनी अच्छी तरह पढ़ सकते हैं, बल्कि यह निदान करना था कि वे वास्तव में कहाँ और क्यों विफल होते हैं। उन्होंने 77,000 से अधिक हस्तलिखित छवियों का एक विशाल संग्रह बनाया, जिसमें सरल अंग्रेजी और चीनी वाक्यों से लेकर वास्तविक छात्रों द्वारा लिखी गई जटिल, बहु-चरणीय गणितीय समस्याओं तक सब कुछ शामिल था। पिछले परीक्षणों के विपरीत, जो स्वच्छ, एकल-पंक्ति वाले उदाहरणों पर निर्भर थे, यह नया बेंचमार्क मानव लेखन की वास्तविक अव्यवस्था पर ध्यान केंद्रित करता है: लंबी व्युत्पन्नों (derivations), सुधारों और उस प्रकार की संरचनात्मक जटिलता पर जो वास्तव में कक्षाओं में दिखाई देती है। इन छवियों को तेरह विभिन्न उन्नत कंप्यूटर प्रणालियों में फीड करते हुए, शोधकर्ताओं ने पाया कि भले ही सबसे शक्तिशाली आर्टिफिशियल इंटेलिजेंस मॉडल भी पूर्णता से बहुत दूर हैं। उन्होंने पाया कि जैसे-जैसे लेखन अधिक जटिल होता जाता है और सूत्र लंबे होते जाते हैं, प्रणालियों की निष्ठापूर्वक पढ़ने की क्षमता तेजी से गिरती है। अधिक चिंताजनक बात यह है कि अध्ययन ने खुलासा किया कि ये मॉडल अक्सर "भ्रम" (hallucinate) पैदा करते हैं, यानी ऐसा पाठ उत्पन्न करते हैं जो दिखने में सही और तार्किक रूप से सुसंगत लगता है, लेकिन वास्तव में गलत होता है क्योंकि वह छवि में कभी लिखा ही नहीं गया था।
शोधकर्ताओं ने इस चुनौती का सामना करने के लिए विविध सामग्रियों को एकत्र किया। उन्होंने मौजूदा सार्वजनिक डेटासेट्स को एक विशाल, नए एकत्रित निजी छात्र कार्यों के संग्रह के साथ जोड़ा। इस निजी संग्रह में हजारों प्रामाणिक गणितीय उत्तर पुस्तिकाएं और चीनी रचनाएँ शामिल थीं, जो वास्तविक शैक्षिक वातावरण की स्वाभाविक अराजकता को दर्शाती हैं। टीम ने इन छवियों को एक संरचित परीक्षण में व्यवस्थित किया, उन्हें कठिनाई के आधार पर अलग किया। उन्होंने सरल एकल-पंक्ति सूत्रों के लिए श्रेणियां बनाईं और फिर मध्यम और कठिन स्तर के बहु-पंक्ति समस्याओं की ओर बढ़े, जहाँ दृश्य लेआउट तेजी से जटिल होता जाता है। यह सुनिश्चित करने के लिए कि परीक्षण निष्पक्ष और सटीक हो, उन्होंने 'ग्राउंड ट्रुथ' (ground truth) को सत्यापित करने के लिए पचास से अधिक मानव विशेषज्ञों को नियुक्त किया। महत्वपूर्ण रूप से, विशेषज्ञों को ठीक वही लिखने का निर्देश दिया गया था जो उन्होंने देखा, जिसमें लेखक की गलतियाँ, काटे गए शब्द और छूटे हुए प्रतीक भी शामिल थे। यह "तथ्य-आधारित" दृष्टिकोण सुनिश्चित करता था कि यदि किसी छात्र ने कोई संख्या गलत लिखी है, तो परीक्षण के लिए सही उत्तर वह गलत संख्या ही होगी, न कि गणितीय रूप से सही संख्या। इस डिजाइन ने कंप्यूटर प्रणालियों को एक सहायक ट्यूटर बनने के बजाय एक निष्ठावान लिपिक (scribe) के रूप में कार्य करने के लिए मजबूर किया, जो उपयोगकर्ता के लिए त्रुटियों को सुधारने की कोशिश कर सकता है।
जब शोधकर्ताओं ने अपने प्रयोग चलाए, तो उन्होंने तेरह प्रणालियों का मूल्यांकन किया, जो सामान्य-उद्देश्य वाले लार्ज लैंग्वेज मॉडल्स और विशिष्ट ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) टूल्स का मिश्रण थे। परिणाम वर्तमान तकनीक की स्थिति की एक स्पष्ट तस्वीर पेश करते हैं। जबकि कुछ मॉडल सरल पाठ पर अच्छा प्रदर्शन करते हैं, बेंचमार्क के कठिन उपसमुच्चयों में पाई जाने वाली जटिल, बहु-पंक्ति गणितीय अभिव्यक्तियों का सामना करने पर उनकी सटीकता काफी घट जाती है। सबसे अच्छे सिस्टम की रैंकिंग कार्य के आधार पर बदल जाती; एक मॉडल जो अंग्रेजी हस्तलेखन को पढ़ने में उत्कृष्ट है, वह चीनी भाषा में संघर्ष कर सकता है, और एक प्रणाली जो सरल सूत्रों में अच्छी है, वह अक्सर उन समीकरणों में विफल हो जाती है जो कई पंक्तियों तक फैले होते हैं। यह विसंगति बताती है कि अभी तक सभी हस्तलिखित OCR कार्यों के लिए कोई एक "सर्वश्रेष्ठ" प्रणाली नहीं है। इसके बजाय, प्रदर्शन सामग्री के विशिष्ट प्रकार और लेआउट की संरचनात्मक जटिलता पर अत्यधिक निर्भर है।
शायद सबसे महत्वपूर्ण निष्कर्ष 'भ्रमित सुधार' (hallucinated correction) नामक एक विशिष्ट प्रकार की त्रुटि की व्यापकता थी। शोधकर्ताओं ने देखा कि कई जेनेरेटिव मॉडल, एक अव्यवस्थित या अस्पष्ट गणितीय सूत्र का सामना करने पर, न केवल एक प्रतीक को गलत पढ़ते हैं, बल्कि वे सामग्री को सक्रिय रूप से सही दिखाने के लिए उसे फिर से लिखते हैं। उदाहरण के लिए, यदि किसी छात्र ने गणना में त्रुटि की या किसी संख्या को काट दिया, तो कंप्यूटर दृश्य साक्ष्य को अनदेखा कर सकता है और समस्या का एक गणितीय रूप से पूर्ण संस्करण आउटपुट कर सकता है। हालांकि यह ट्यूटरिंग के संदर्भ में सहायक लग सकता है, लेकिन यह रिकॉर्ड को डिजिटाइज़ करने के लिए डिज़ाइन किए गए सिस्टम के लिए एक विफलता है। शिक्षा विश्लेषण या कानूनी दस्तावेज़ प्रसंस्करण जैसे क्षेत्रों में, मूल स्वरूप को बनाए रखना आवश्यक है, भले ही वह त्रुटिपूर्ण हो। अध्ययन ने दिखाया कि ये मॉडल दृश्य वास्तविकता का निष्ठापूर्वक लिपिकीय करने के बजाय एक प्रशंसनीय उत्तर उत्पन्न करने को प्राथमिकता देते हैं, प्रभावी रूप से मूल जानकारी को विकृत करने के तरीकों से छवि को "सुधारते" हैं।
अध्ययन इस निष्कर्ष पर पहुँचता है कि विश्वसनीय हस्तलिखित OCR का मार्ग इन प्रणालियों के मूल्यांकन के तरीके में बदलाव की मांग करता है। वर्तमान विधियाँ अक्सर समग्र स्कोर (aggregate scores) पर निर्भर करती हैं जो इन विशिष्ट विफलताओं को छिपा सकते हैं, जिससे एक मॉडल सक्षम दिखता है जबकि वह वास्तव में महत्वपूर्ण विवरणों को मिस कर रहा होता है या सामग्री का आविष्कार कर रहा होता है। शोधकर्ता तर्क देते हैं कि भविष्य की प्रगति उन बेंचमार्क पर निर्भर करती है जो संरचनात्मक जटिलता के प्रति संवेदनशील हों और जो मॉडलों को बिना आधार वाले सुधारों के लिए दंडित करें। संरचनात्मक जटिलता, भाषा भ्रम, संरचनात्मक टूटन या दृश्य भ्रम के माध्यम से मॉडल कैसे विफल होते हैं—इस पर ध्यान केंद्रित करके, क्षेत्र ऐसे सिस्टम की ओर बढ़ सकता है जो न केवल प्रवाहपूर्ण हैं, बल्कि निष्ठावान भी हैं। तब तक, मानव हस्तलेखन की अव्यवस्थित, अपूर्ण वास्तविकता आर्टिफिशियल इंटेलिजेंस के लिए एक कठिन चुनौती बनी रहेगी, जो हमें याद दिलाती है कि जो वहां है उसे पढ़ना, उस अनुमान लगाने से कहीं अधिक कठिन है जो वहां होना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।