WildHandBench: A Benchmark for Handwritten Text Understanding that Challenges MLLMs and Humans
यह शोधपत्र WildHandBench प्रस्तुत करता है, जो हस्तलिखित पाठ बोध (handwritten text understanding) के लिए एक व्यापक बेंचमार्क है जो यह प्रकट करता है कि वर्तमान मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स मानव प्रदर्शन से काफी पीछे हैं और विजुअल साक्ष्यों के बजाय भाषाई पूर्वग्रहों (language priors) पर व्यवस्थित निर्भरता प्रदर्शित करते हैं, एक ऐसी खामी जिसे पारंपरिक सटीकता मेट्रिक्स द्वारा नहीं पहचाना जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
हमारी डिजिटल दुनिया के शांत कोनों में, एक उल्लेखनीय परिवर्तन हुआ है। कंप्यूटर मुद्रित पाठ (printed text) को पढ़ने में इतने कुशल हो गए हैं कि वे अब एक स्कैन किए गए समाचार पत्र या टाइप की गई रिपोर्ट को लगभग पूर्ण सटीकता के साथ समझ सकते हैं। यह क्षमता, जिसे ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) के रूप में जाना जाता है, उस बिंदु तक पहुँच गई है जहाँ मशीनें मानक दस्तावेजों को लगभग उतना ही अच्छा पढ़ सकती हैं जितना कि एक इंसान। लेकिन एक विशाल, अव्यवस्थित सीमा अभी भी है जो इस सफलता से काफी हद तक अछूती रही है: हस्तलिखित पृष्ठ। एक मुद्रित पुस्तक के समान एकसमान, अनुमानित अक्षरों के विपरीत, हस्तलेखन लूप, ढलान और धब्बों का एक अराजक परिदृश्य है। यह व्यक्ति दर व्यक्ति बहुत अधिक भिन्न होता है और अक्सर समय के प्रभाव और टूट-फूट से ग्रस्त होता है। दशकों से, शोधकर्ता यह सोचते आए हैं कि क्या वही कृत्रिम बुद्धिमत्ता (AI) जो मुद्रित पाठ को पढ़ती है, वास्तव में मानव हाथ को समझ सकती है, या क्या हस्तलिखित नोट की अव्यवस्थित वास्तविकता एक अलग तरह की चुनौती पेश करती है।
बाइडू इंक (Baidu Inc.) के शोधकर्ताओं की एक टीम ने अब एक नए परीक्षण के साथ इस अंतर को भरने का प्रयास किया है, जिसे यह मापने के लिए डिज़ाइन किया गया है कि ये मशीनें वास्तव में कितनी आगे बढ़ पाई हैं। उन्होंने पाँच सौ हस्तलिखित दस्तावेजों का एक संग्रह बनाया जो वास्तविक दुनिया की नकल करते हैं, जिसमें मेडिकल रिकॉर्ड और व्यावसायिक फॉर्म से लेकर कक्षा के नोट्स और ऐतिहासिक पत्रों तक सब कुछ शामिल है। ये दस्तावेज़ केवल साफ और सटीक स्कैन नहीं थे; इनमें वास्तविक जीवन की स्वाभाविक कमियाँ भी शामिल थीं, जैसे फीकी पड़ती स्याही, काटे गए शब्द और असमान रिक्ति (spacing)। यह संग्रह विविध था, जिसमें चीनी और अंग्रेजी दोनों भाषाओं का पाठ शामिल था, और इसमें लेखन के तीन अलग-अलग प्रकार शामिल थे: मुक्त-प्रवाह वाले पैराग्राफ, संरचित तालिकाएँ और जटिल गणितीय सूत्र। परीक्षण को निष्पक्ष और कठोर बनाने के लिए, शोधकर्ताओं ने केवल कंप्यूटरों पर ही उत्तरों को ग्रेड देने के लिए निर्भर नहीं रहे। वे उन्हीं दस्तावेजों को ट्रांसक्राइब करने के लिए मानव पाठकों को लेकर आए, जिससे एक ऐसा मानक स्तर (high-water mark) तैयार हुआ जिसे मशीनों को छूने की कोशिश करनी थी।
जब शोधकर्ताओं ने अठारह सबसे उन्नत कृत्रिम बुद्धिमत्ता मॉडलों को परीक्षण के घेरे में डाला, तो परिणाम निराशाजनक रहे। जबकि सर्वश्रेष्ठ कंप्यूटर मॉडल मुद्रित दस्तावेजों को नब्बे प्रतिशत से अधिक सटीकता के साथ पढ़ सकते थे, हस्तलेखन का सामना करते ही उनका प्रदर्शन काफी गिर गया। शीर्ष प्रदर्शन करने वाले मॉडल ने कुल सामग्री को केवल लगभग बहत्तर प्रतिशत बार सही पढ़ा। इस अंतर ने पुष्टि की कि मुद्रित पाठ को पढ़ने की क्षमता स्वचालित रूप से हस्तलेखन को समझने में परिवर्तित नहीं होती है। और भी महत्वपूर्ण बात मानव पाठकों के साथ तुलना थी। मनुष्यों ने लगभग सतहत्तर प्रतिशत का स्कोर प्राप्त किया, जो सर्वश्रेष्ठ मशीन को एक छोटे लेकिन सार्थक अंतर से पीछे छोड़ गया। यह सूक्ष्म अंतर बताता है कि हालांकि कंप्यूटर करीब आ रहे हैं, लेकिन उन्हें मानव आँख के स्वाभाविक सहज ज्ञान (intuition) के बराबर पहुँचने में अभी लंबा रास्ता तय करना है।
हालाँकि, सबसे आश्चर्यजनक खोज यह नहीं थी कि मशीनें गलत थीं, बल्कि यह थी कि वे कैसे गलत थीं। जब एक मानव पाठक किसी धुंधले या अपठनीय शब्द का सामना करता है, तो वह सतर्क रहता है। वे एक खाली स्थान छोड़ सकते हैं या केवल उन हिस्सों को लिख सकते हैं जिनके बारे में वे सुनिश्चित हैं, और अपनी अनिश्चितता को स्वीकार करते हैं। इसके विपरीत, कंप्यूटर एक अजीब और खतरनाक आत्मविश्वास के साथ व्यवहार करते हैं। जब दृश्य साक्ष्य अस्पष्ट थे, तो मशीनों ने अक्सर उन शब्दों से रिक्त स्थानों को भर दिया जो व्याकरण की दृष्टि से तो बिल्कुल सही थे, लेकिन वास्तव में पृष्ठ पर लिखे गए शब्दों से उनका कोई संबंध नहीं था। शोधकर्ताओं ने पाया कि इन मॉडलों द्वारा की गई गलतियों में से साठ से संतान प्रतिशत त्रुटियाँ भाषा के पैटर्न पर आधारित अनुमान लगाने के कारण हुई थीं, न कि दृश्य प्रमाण के आधार पर। दूसरे शब्दों में, कंप्यूटर इस आधार पर अनुमान लगा रहे थे कि वाक्य को क्या कहना चाहिए, बजाय इसके कि कागज पर स्याही वास्तव में क्या कह रही थी।
यह अंतर स्पष्ट करता है कि मनुष्य और मशीनें सूचना को कैसे संसाधित करते हैं। मनुष्य अस्पष्टता के सामने रूढ़िवादी होते हैं; वे अपनी आँखों पर भरोसा करते हैं और स्वीकार करते हैं जब वे देख नहीं पाते। मशीनें, जो शक्तिशाली भाषाई कौशल से लैस हैं, कमजोर दृश्य संकेतों के मामले में प्रवाहपूर्ण लेकिन गलत पाठ उत्पन्न करने (hallucinating) की ओर प्रवृत्त होती हैं। यह व्यवहार उन क्षेत्रों के लिए विशेष रूप से चिंताजनक है जहाँ सटीकता महत्वपूर्ण है, जैसे कि मेडिकल प्रिस्क्रिप्शन या कानूनी दस्तावेजों को पढ़ना, जहाँ एक आत्मविश्वासी लेकिन गलत अनुमान के गंभीर परिणाम हो सकते हैं। अध्ययन यह निष्कर्ष निकालता है कि हालांकि कृत्रिम बुद्धिमत्ता ने मुद्रित पाठ को पढ़ने में अविश्वसनीय प्रगति की है, लेकिन मानव हस्तलेखन की अव्यवस्थित और अप्रत्याशित प्रकृति एक अलग और अनसुलझी चुनौती बनी हुई है। मशीनें केवल अक्षरों को देखने में विफल नहीं हो रही हैं; वे यह जानने में विफल हो रही हैं कि अनुमान लगाना कब बंद करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।