Telugu Handwritten Word Recognition Using an Autoregressive Transformer Decoder with Joint CTC-Attention Training

कंप्यूटर की दुनिया में, मशीन को हस्तलिखित पाठ (handwritten text) पढ़ना सिखाना एक परिचित चुनौती है, लेकिन भाषा के आधार पर इसकी कठिनाई नाटकीय रूप से बदल जाती है। उन भाषाओं के लिए जो लैटिन वर्णमाला का उपयोग करती हैं, जैसे कि अंग्रेजी, यह कार्य अब एक नियमित प्रक्रिया बन चुका है; कंप्यूटर अब लगभग पूर्ण सटीकता के साथ बिखरे हुए हस्तलेखन को पढ़ सकते हैं। हालाँकि, कई अन्य लेखन प्रणालियों के लिए, यह तकनीक अभी भी संघर्ष कर रही है। समस्या केवल यह नहीं है कि व्यक्ति दर व्यक्ति लिखावट बदलती है, बल्कि यह भी है कि अक्षरों की अपनी संरचना जटिल हो सकती है। कुछ लिपियों में, एक एकल ध्वनि कई आकृतियों को जोड़कर बनाई जाती है, और ये आकृतियाँ एक-दूसरे के ऊपर या चारों ओर इस तरह से व्यवस्थित हो सकती हैं जो अपने व्यक्तिगत हिस्सों से बिल्कुल अलग दिखती हैं। जब एक कंप्यूटर इन्हें पढ़ने की कोशिश करता है, तो वह अक्सर भटक जाता है, यह पहचानने में असमर्थ होता है कि एक वर्ण कहाँ समाप्त होता है और अगला कहाँ शुरू होता है। यह विशेष रूप से तेलुगु के मामले में सच है, जो भारत में 8 करोड़ से अधिक लोगों द्वारा बोली जाने वाली एक शास्त्रीय भाषा है। इसकी लेखन प्रणाली व्यंजनों के आधार पर बनी है जो स्वर चिह्नों के साथ मिलकर संलयित (fuse) होते हैं, जिससे ऐसे संयुक्त आकार बनते हैं जो अपने घटकों से दृश्य रूप से भिन्न होते हैं। इन शब्दों को पहचानना डिजिटल साक्षरता के लिए एक बड़ी बाधा है, क्योंकि यह हस्तलिखित सरकारी दस्तावेजों, स्कूली नोट्स और ऐतिहासिक अभिलेखों को खोजने योग्य पाठ में स्वचालित रूप से बदलने से रोकता है।

भारत के बी.वी. राजू इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने इस विशिष्ट समस्या को हल करने के उद्देश्य से काम शुरू किया। वे यह देखना चाहते थे कि क्या कृत्रिम बुद्धिमत्ता (AI) का एक नया, अधिक उन्नत प्रकार तेलुगु के लिए वर्तमान में उपयोग की जाने वाली मानक विधियों से बेहतर प्रदर्शन कर सकता है। मानक दृष्टिकोण, जिसे CTC कहा जाता है, प्रत्येक अक्षर की स्वतंत्र रूप से, एक के बाद एक भविष्यवाणी करके कार्य करता है, बिना यह देखे कि उससे पहले क्या आया था या उसके बाद क्या आएगा। यह तेज़ और विश्वसनीय है, लेकिन यह उन सूक्ष्म नियमों को चूक जाता है कि अक्षर आपस में कैसे फिट होते हैं। शोधकर्ताओं ने एक अलग दृष्टिकोण का परीक्षण किया जिसमें एक 'ऑटोरिग्रेसिव ट्रांसफॉर्मर' (autoregressive Transformer) का उपयोग किया गया, जो एक शब्द को मनुष्य की तरह पढ़ता है: यानी पहले देखे गए अक्षरों के संपूर्ण इतिहास के आधार पर अगले अक्षर की भविष्यवाणी करना। यह कंप्यूटर को संदर्भ (context) समझने की अनुमति देता है, जैसे कि यह जानना कि एक निश्चित स्वर चिह्न किसी विशिष्ट व्यंजन समूह के बाद शायद ही कभी आता है। इस तुलना को निष्पक्ष बनाने के लिए, टीम ने दोनों प्रणालियों को एक ही विजुअल "आंखों" का उपयोग करके बनाया—एक साझा इमेज प्रोसेसर जो हस्तलिखित शब्द को विशेषताओं के एक अनुक्रम (sequence) में बदल देता है—ताकि प्रदर्शन में कोई भी अंतर पूरी तरह से इस बात पर आधारित हो कि कंप्यूटर अक्षरों को कैसे तय करता है, न कि इस पर कि वह उन्हें कैसे देखता है।

शोधकर्ताओं ने इन प्रणालियों को 80,000 से अधिक हस्तलिखित तेलुगु शब्दों के एक विशाल डेटासेट पर प्रशिक्षित किया। उन्होंने पाया कि नया ट्रांसफॉर्मर मॉडल वास्तव में बेहतर प्रदर्शन करता है, जिसने 3.66 प्रतिशत की 'कैरेक्टर एरर रेट' (character error rate) हासिल की, जो मानक पद्धति की 3.91 प्रतिशत त्रुटि दर की तुलना में एक उल्लेखनीय सुधार है। इसका अर्थ है कि नए मॉडल ने कुल मिलाकर कम गलतियाँ कीं। हालाँकि, इस सफलता का मार्ग सीधा नहीं था। शोधकर्ताओं ने पाया कि ट्रांसफॉर्मर मॉडल प्रभावी ढंग से सीखना तब तक नहीं सीख पाता जब तक कि वे दो विशिष्ट तकनीकी समायोजन लागू नहीं करते: अक्षरों के आंतरिक निरूपण (internal representations) को स्केल करना और मॉडल के अक्षरों को पढ़ने के तरीके को उनके पूर्वानुमान के तरीके से जोड़ना। इन बदलावों के बिना, मॉडल प्रशिक्षित तो होता लेकिन उच्च त्रुटि दर पर अटक जाता, और पुरानी, सरल विधि से भी खराब प्रदर्शन करता। एक बार जब ये समायोजन किए गए, तो ट्रांसफॉर्मर मॉडल ने तेलुकी लिपि के जटिल नियमों को सीखना शुरू कर दिया, विशेष रूप से उन शब्दों में जो भाषा के अद्वितीय, स्टैक्ड (stacked) और संयुक्त आकारों को दर्शाते हैं।

सुधार के बावजूद, अध्ययन ने यह भी उजागर किया कि दोनों मॉडल अपनी गलतियाँ करने के तरीके में एक दिलचस्प और कुछ हद तक परेशान करने वाला अंतर रखते हैं। पुराना, मानक मॉडल अपनी त्रुटियों को बिखेर देता है; यह एक अक्षर को दूसरे दृष्टिगत रूप से समान अक्षर से बदल सकता है, या एक छोटा सा चिह्न छोड़ सकता है, लेकिन ये गलतियाँ आमतौर पर छोटी और फैली हुई होती हैं। नया ट्रांसफॉर्मर मॉडल, औसत रूप से अधिक सटीक होने के बावजूद, विफल होने पर अलग व्यवहार करता है। यह कभी-कभी उस स्थिति का अनुभव करता है जिसे शोधकर्ता "ऑटोरिग्रेसिव कोलैप्स" (autoregressive collapse) कहते हैं। इन दुर्लभ मामलों में, मॉडल अपने स्वयं के पूर्वानुमानों में इतना आश्वस्त हो जाता है कि वह एक पूरी तरह से वैध तेलुगु शब्द उत्पन्न कर देता है जिसका उस चित्र से कोई लेना-देना नहीं होता जिसे वह देख रहा था। यह ऐसा है मानो कंप्यूटर, पहला अक्षर गलत अनुमान लगाने के बाद, उस गलती पर अड़ जाता है और आत्मविश्वास के साथ एक पूरी तरह से अलग शब्द लिख देता है जो भाषा में तो सार्थक है लेकिन चित्र के लिए गलत है। यह सुझाव देता है कि जबकि नया मॉडल अधिक शक्तिशाली है, इसमें आत्मविश्वासी और विनाशकारी गलतियाँ करने का जोखिम है जो पुराने सिस्टम की छोटी, बिखरी हुई गलतियों की तुलना में पहचानना कठिन है।

अध्ययन ने परिणामों को मापने के तरीके में एक सामान्य भ्रम को भी स्पष्ट किया। जब शोधकर्ताओं ने संयुक्त आकारों वाले शब्दों बनाम सरल शब्दों के लिए त्रुटि दर को देखा, तो शुरुआती आंकड़ों ने संकेत दिया कि मॉडल जटिल शब्दों के लिए बेहतर थे। हालाँकि, उन्हें एहसास हुआ कि यह एक भ्रम था जो शब्द की लंबाई के कारण उत्पन्न हुआ था। उनके परीक्षण सेट में जटिल शब्द सरल शब्दों की तुलना में लंबे थे, जिनमें अधिक अक्षर थे। चूंकि त्रुटि दर कुल अक्षरों के प्रतिशत के रूप में गिनी जाती है, इसलिए एक लंबे शब्द में एक गलती अधिक अक्षरों पर "तनु" (dilute) हो जाती है, जिससे त्रुटि दर कम दिखाई देती है। एक बार जब शोधकर्ताओं ने इस लंबाई के अंतर को ध्यान में रखा, तो उन्होंने पाया कि मॉडल वास्तव में सरल शब्दों पर समान प्रदर्शन कर रहे थे, और ट्रांसफॉर्मर का लाभ पूरी तरह से जटिल, स्टैक्ड आकारों को संभालने की उसकी क्षमता से आया था। यह अंतर्दृष्टि किसी भी ऐसे व्यक्ति के लिए महत्वपूर्ण है जो समान तकनीकों का मूल्यांकन कर रहा है, क्योंकि यह दिखाता है कि विभिन्न प्रकार के शब्दों के बीच त्रुटि दर की तुलना करना भ्रामक हो सकता है यदि शब्द स्वयं समान लंबाई के नहीं हैं।

अंततः, यह शोध हस्तलिखित तेलुगु पहचान की वर्तमान स्थिति की एक स्पष्ट तस्वीर पेश करता है। नया ट्रांसफॉर्मर दृष्टिकोण एक नया बेंचमार्क स्थापित करता है, जो शब्दों की प्रतिबंधित सूची का उपयोग किए बिना इस कार्य के लिए अब तक की सबसे कम त्रुटि दर प्राप्त करता है। यह सिद्ध करता है कि संदर्भ को समझने में सक्षम मॉडल जटिल लिपियों पर पुराने तरीकों से बेहतर प्रदर्शन कर सकते हैं, बशर्ते उन्हें सही ढंग से ट्यून किया गया हो। फिर भी, इसके निष्कर्ष एक चेतावनी भरे सबक के रूप में भी कार्य करते हैं। मॉडल का चुनाव लक्ष्य पर निर्भर करता है: यदि प्राथमिकता कुल छोटी गलतियों को कम करना है, तो ट्रांसफॉर्मर एक बेहतर विकल्प है। लेकिन यदि अनुप्रयोग के लिए पूर्ण विश्वसनीयता की आवश्यकता है, जैसे कि कानूनी या ऐतिहासिक अभिलेखों में जहाँ एक भी आत्मविश्वासी और गलत शब्द विनाशकारी हो सकता है, तो पुराना, अधिक अनुमानित मॉडल अभी भी अधिक सुरक्षित विकल्प हो सकता है। यह कार्य दर्शाता है कि इस क्षेत्र में प्रगति केवल बड़े मॉडल बनाने के बारे में नहीं है, बल्कि भाषा की विशिष्ट बारीकियों और मशीनों के विफल होने के अनूठे तरीकों को समझने के बारे में भी है।