TamilSynth: A Synthetic Line Corpus for Tamil OCR and the Three Defaults That Decide Whether It Helps
यह शोध पत्र तमिल OCR के लिए एक बड़े पैमाने के सिंथेटिक कॉर्पस, TamilSynth को प्रस्तुत करता है, और यह प्रदर्शित करता है कि वास्तविक दुनिया के दस्तावेज़ों पर त्रुटियों में महत्वपूर्ण कमी लाने के लिए कॉर्पस डिज़ाइन के बजाय मानक टेसेरैक्ट (Tesseract) प्रशिक्षण वर्कफ़्लो में तीन विशिष्ट, मौन डिफ़ॉल्ट्स को सुधारना महत्वपूर्ण है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को ऐसी भाषा पढ़ना सिखाने की कोशिश कर रहे हैं जहाँ अक्षर इस आधार पर अपना आकार बदल लेते हैं कि वे एक साथ कैसे जुड़े हुए हैं। कई लेखन प्रणालियों में, एक एकल ध्वनि एक व्यंजन को स्वर चिह्न के साथ जोड़कर बनाई जाती है जो उसके ऊपर, नीचे या बगल में स्थित होता है। एक मानवीय आँख के लिए, यह संयोजन एक एकल अक्षर जैसा दिखता है। हालाँकि, एक कंप्यूटर के लिए, यह अक्सर पास-पास बैठे अलग-अलग कोड पॉइंट्स की एक श्रृंखला मात्र होता है। यह ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) की चुनौती है, विशेष रूप से तमिल जैसी लिपियों के लिए। जब कोई मशीन एक पृष्ठ को स्कैन करती है, तो उसे न केवल स्याही को देखना होता है, बल्कि यह भी समझना होता है कि ये अलग-अलग हिस्से मिलकर एक शब्द कैसे बनाते हैं। उन भाषाओं के लिए जिनमें डिजिटल टेक्स्ट की विशाल मात्रा उपलब्ध है, यह एक हल की जा चुकी समस्या है। लेकिन कम-संसाधन वाली भाषाओं के लिए, जहाँ सॉफ्टवेयर को प्रशिक्षित करने के लिए पर्याप्त स्कैन की गई पुस्तकें नहीं हैं, शोधकर्ता अक्सर एक चतुर शॉर्टकट का उपयोग करते हैं: वे सिंथेटिक डेटा (कृत्रिम डेटा) बनाते हैं। वास्तविक पृष्ठों को स्कैन करने के बजाय, वे कंप्यूटर का उपयोग करके टेक्स्ट की हजारों सटीक छवियां उत्पन्न करते हैं, जिसमें प्रत्येक छवि क्या कहती है, उसका सटीक उत्तर कुंजी (answer key) भी शामिल होती है। यह क्षेत्र में एक मानक तकनीक है, लेकिन यह इस धारणा पर आधारित है कि यदि आप कंप्यूटर को पर्याप्त उदाहरण खिलाते हैं, तो वह पढ़ना सीख जाएगा।
स्वयंकलील जगीर (SyedKhaleel Jageer) नामक एक शोधकर्ता ने तमिल के लिए इसी धारणा का परीक्षण करने का निर्णय लिया। उन्होंने एक विशाल सिंथेटिक टेक्स्ट लाइब्रेरी बनाई, जिसमें 29 विभिन्न फोंटों में प्रिंट किए गए तमिल शब्दों की 218,000 से अधिक पंक्तियाँ तैयार की गईं। लक्ष्य इस लाइब्रेरी का उपयोग करके एक मानक रीडिंग इंजन, जिसे टेसेराक्ट (Tesseract) के रूप में जाना जाता है, को तमिल को अपने आप से बेहतर पहचानने के लिए प्रशिक्षित करना था। अपेक्षा यह थी कि अधिक डेटा का अर्थ बेहतर परिणाम होगा। हालाँकि, जब जगीर ने पहली बार अपनी नई लाइब्रेरी का उपयोग करने की कोशिश की, तो परिणाम विनाशकारी रहे। कंप्यूटर मूल, अप्रशिक्षित संस्करण की तुलना में भी खराब प्रदर्शन कर रहा था। यह एक भ्रमित करने वाली विफलता थी। डेटा एकदम सही दिख रहा था, छवियां स्पष्ट थीं, और उत्तर भी सही थे, फिर भी मशीन सीख नहीं सकी। समस्या डेटा में नहीं थी, बल्कि उस सॉफ्टवेयर की तीन शांत, छिपी हुई सेटिंग्स में थी जिसका उपयोग मशीन को प्रशिक्षित करने के लिए किया जाता था। ये सेटिंग्स, जिन्हें अधिकांश उपयोगकर्ता कभी नहीं बदलते, तमिल जैसी लेखन प्रणाली के लिए मौलिक रूप से त्रुटिपूर्ण थीं। जब जगीर ने इन तीन विशिष्ट डिफॉल्ट्स को ठीक किया, तो छवियों की वही लाइब्रेरी अचानक अविश्वसनीय रूप से शक्तिशाली हो गई, जिसने सॉफ्टवेयर को एक विफलता से बदलकर वास्तविक दुनिया के दस्तावेजों को काफी उच्च सटीकता के साथ पढ़ने वाले उपकरण में बदल दिया।
इस खोज की कहानी प्रशिक्षण लाइब्रेरी के निर्माण के साथ शुरू होती है। जगीर ने विकिपीडिया और समाचार साइटों सहित पांच खुले स्रोतों से टेक्स्ट एकत्र किया और उन्हें टेक्स्ट की पंक्तियों में व्यवस्थित किया। उन्होंने केवल कॉपी-पेस्ट नहीं किया; उन्होंने लेआउट को इस तरह से डिजाइन किया कि वह वास्तविक पैराग्राफ की नकल कर सके, जिससे यह सुनिश्चित हुआ कि पंक्तियाँ वास्तविक पृष्ठ की तरह छोटी या लंबी हो सकें। फिर उन्होंने इन पंक्तियों को 29 अलग-अलग टाइपफेस का उपयोग करके छवियों में बदला, जिससे 218,000 से अधिक अद्वितीय पंक्तियों का एक डेटासेट तैयार हुआ। यह एक बहुत बड़ा संसाधन था, जो किसी भी एकल भारतीय भाषा के लिए पिछले अधिकांश प्रयासों से कहीं अधिक बड़ा था। योजना यह थी कि इस लाइब्रेरी का उपयोग करके टेसेराक्ट इंजन को फाइन-ट्यून किया जाए, ताकि वह तमिल में विशेषज्ञता हासिल कर सके। इस प्रक्रिया में इंजन को सिंथेटिक छवियां दिखाना और उन्हें बताना शामिल है कि वे क्या कहती हैं, जिससे इसे अपने आंतरिक गणित को समायोजित करने और कार्य में बेहतर होने की अनुमति मिलती है।
जब जगीर ने मानक प्रशिक्षण प्रक्रिया चलाई, तो परिणाम चौंकाने वाले थे। नया मॉडल, जो उनकी विशाल लाइब्रेरी पर प्रशिक्षित था, टेसेराक्ट के उस स्टॉक संस्करण से भी खराब स्कोर करता था जो सॉफ्टवेयर के साथ आता है। वास्तव में, यह इतना खराब था कि लंबे समय तक चलाने के बाद भी इसमें कोई सुधार नहीं हुआ। शोधकर्ता को शुरू में संदेह हुआ कि लाइब्रेरी ही समस्या है। उन्हें लगा कि शायद फोंट बहुत अजीब हैं या टेक्स्ट पर्याप्त विविध नहीं है। उन्होंने लाइब्रेरी को फिर से डिजाइन करने में समय बिताया, लेकिन परिणामों में बहुत कम बदलाव आया। मॉडल वहीं अटका रहा। सफलता तब मिली जब उन्हें एहसास हुआ कि समस्या डेटा नहीं, बल्कि प्रशिक्षण सॉफ्टवेयर को दिए गए निर्देश थे। टेसेराक्ट को प्रशिक्षित करने के लिए मानक सेटअप में तीन डिफॉल्ट व्यवहार होते हैं जो सरल वर्णमालाओं के लिए तो ठीक काम करते हैं, लेकिन तमिल जैसी शब्दात्मक (syllabic) लिपियों के लिए पूरी तरह विफल हो जाते हैं।
पहला छिपा हुआ सेटिंग यह है कि सॉफ्टवेयर लर्निंग के लिए टेक्स्ट की एक पंक्ति को छोटे टुकड़ों में कैसे तोड़ता है। तमिल में, एक व्यंजन और उससे जुड़ा स्वर चिह्न मिलकर अर्थ की एक एकल इकाई, यानी 'ग्राफिम' (grapheme) बनाते हैं। हालाँकि, मानक सॉफ्टवेयर इन इकाइयों को अलग-अलग टुकड़ों में विभाजित कर रहा था, जिससे व्यंजन और स्वर चिह्न दो अलग-अलग आइटम बन रहे थे। इसने कंप्यूटर को भाषा के एक टूटे हुए संस्करण को सीखने के लिए मजबूर कर दिया। दूसरा सेटिंग उस आंतरिक कोड से संबंधित था जिसका उपयोग सॉफ्टवेयर अपने ज्ञान को संग्रहीत करने के लिए करता है। जब प्रशिक्षण शुरू हुआ, तो सॉफ्टवेयर नए डेटा के आधार पर इस कोड को शून्य से बना रहा था, जिससे प्रभावी रूप से उस ज्ञान को हटा दिया गया जो उसने पहले से ही तमिल के बारे में सीखा था। यह पहली भाषा की याददाश्त मिटाकर दूसरी भाषा सीखने की कोशिश करने जैसा था। तीसरा सेटिंग एक टाइमिंग एर (समय संबंधी त्रुटि) था। सॉफ्टवेयर को तब प्रशिक्षण रोकने के लिए प्रोग्राम किया गया था जब वह अभ्यास डेटा पर सबसे कम गलतियाँ करता था। लेकिन चूंकि अभ्यास डेटा सिंथेटिक और पूर्ण था, इसलिए सॉफ्टवेयर तब तक प्रशिक्षण देता रहा जब तक कि उसने अभ्यास सेट को रट नहीं लिया, इस बात को नजरअंदाज करते हुए कि वह वास्तविक, अव्यवस्थित दस्तावेजों को पढ़ने में खराब होता जा रहा है।
जैसे ही जगीर ने इन तीन डिफॉल्ट्स को सुधारा, परिणाम तुरंत बदल गए। उन्होंने सॉफ्टवेयर को निर्देश दिया कि वह व्यंजन-स्वर इकाइयों को एक साथ रखे, मौजूदा ज्ञान आधार को नष्ट करने के बजाय उसे सुरक्षित रखे, और अभ्यास पृष्ठों के बजाय वास्तविक दुनिया के परीक्षण पृष्ठों पर अपने प्रदर्शन के आधार पर प्रशिक्षण को रोके। इन समायोजनों के साथ, वही 218,000 छवियां जो पहले विफल हो गई थीं, एक खजाना बन गईं। नए मॉडल ने मानक संस्करण की तुलना में वास्तविक दस्तावेजों पर होने वाली गलतियों की संख्या को 24 प्रतिशत तक कम कर दिया। यह समाचार पत्रों, पुस्तकों और फॉर्मों को बहुत अधिक विश्वसनीयता के साथ पढ़ने में सक्षम था। सुधार इतना सुसंगत था कि 10,000 अलग-अलग परिदृश्यों के परीक्षण में, नया मॉडल हर बार बेहतर प्रदर्शन करता रहा।
इस अध्ययन ने यह भी खुलासा किया कि तमिल पढ़ने में त्रुटियों के कारणों के बारे में सामान्य धारणा गलत थी। कई विशेषज्ञों का मानना था कि सबसे बड़ी समस्या समान दिखने वाले व्यंजनों को पहचानना है। हालाँकि, विश्लेषण से पता चला कि असली समस्या स्वर चिह्नों (vowel signs) के साथ थी, जो छोटे निशान होते हैं जो एक अक्षर की ध्वनि को बदलते हैं। सॉफ्टवेयर के इन छोटे निशानों को मिस करने या उनकी लंबाई को गलत पहचानने की संभावना सबसे अधिक थी। यह निष्कर्ष सुझाव देता है कि भविष्य के सुधारों को समान दिखने वाले व्यंजनों के बीच अंतर करने के बजाय इन विशिष्ट विवरणों को संभालने पर ध्यान केंद्रित करना चाहिए।
यह कार्य एक शक्तिशाली अनुस्मारक के रूप में कार्य करता है कि आर्टिफिशियल इंटेलिजेंस की दुनिया में, अधिक डेटा होना हमेशा समाधान नहीं होता है। प्रक्रिया की गुणवत्ता सामग्री की मात्रा जितनी ही महत्वपूर्ण है। जगीर का शोध दर्शाता है कि जटिल लेखन प्रणालियों के लिए, कंप्यूटर को प्रशिक्षित करने के लिए उपयोग किए जाने वाले मानक उपकरणों में अक्सर ऐसे छिपे हुए जाल होते हैं जो परिणामों को खराब कर सकते हैं। केवल तीन सेटिंग्स को बदलकर, जिन्हें अधिकांश लोग अनदेखा कर देते हैं, उन्होंने एक विफल प्रयोग को एक महत्वपूर्ण सफलता में बदल दिया। उनके द्वारा बनाई गई सिंथेटिक टेक्स्ट लाइब्रेरी अब दूसरों के उपयोग के लिए उपलब्ध है, लेकिन उनके कार्य का वास्तविक मूल्य इन तीन शांत डिफॉल्ट्स की खोज में निहित है। जो कोई भी ऐसी भाषा को कंप्यूटर को पढ़ाना चाहता है जहाँ अक्षर कई भागों से बने होते हैं, उसके लिए सबक स्पष्ट है: डेटा को दोष देने से पहले सेटिंग्स की जांच करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।