grapheme-kit: Grapheme-Level Metrics and Text Processing for Multilingual NLP
यह शोध पत्र grapheme-kit का परिचय देता है, जो एक ओपन-सोर्स पायथन लाइब्रेरी है जो यूनिकोड कोड पॉइंट्स के बजाय ग्रैफीम क्लस्टर्स पर कार्य करके बहुभाषी एनएलपी (NLP) मूल्यांकन को बेहतर बनाती है, जो तमिल और सिंहल जैसी जटिल लिपियों के लिए उन्नत प्रसंस्करण प्रदान करती है और जटिल लेखन प्रणालियों के लिए अधिक सटीक त्रुटि मेट्रिक्स प्रदान करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को किताब पढ़ना सिखाने की कोशिश कर रहे हैं। रोबोट के लिए, एक किताब केवल "कोड पॉइंट्स" (code points) नामक नन्हे, अदृश्य निर्माण खंडों (building blocks) की एक लंबी श्रृंखला है। अंग्रेजी जैसी सरल भाषाओं के लिए, यह बहुत अच्छा काम करता है: एक अक्षर, एक ब्लॉक। लेकिन दुनिया की कई अन्य भाषाओं के लिए, जो अक्षर आप अपनी आँखों से देखते हैं, वह वास्तव में कई अदृश्य ब्लॉकों से मिलकर बना होता है जिन्हें आपस में चिपकाया गया है। यह ऐसा ही है जैसे यदि अक्षर "é" केवल एक ब्लॉक नहीं होता, बल्कि एक "e" ब्लॉक और एक छोटा सा निशान (accent mark) वाला ब्लॉक होता जो आपस में जुड़ा हुआ हो।
जब कंप्यूटर इन जटिल भाषाओं को पढ़ने या लिखने की क्षमता को मापने की कोशिश करते हैं, तो वे अक्सर दृश्य अक्षरों के बजाय अदृश्य ब्लॉकों को गिनते हैं। यह किसी छात्र की वर्तनी (spelling) के टेस्ट को इस आधार पर ग्रेड देने जैसा है कि उन्होंने एक अक्षर बनाने के लिए कितने छोटे पेंट स्ट्रोक का उपयोग किया, बजाय इसके कि क्या वह अक्षर स्वयं सही दिख रहा है। यदि कोई छात्र "e" को पूरी तरह से चित्रित करता है लेकिन उस पर लगा निशान थोड़ा सा गलत है, तो कंप्यूटर सोच सकता है कि छात्र ने बहुत बड़ी गलती की है, भले ही एक मानव पाठक के लिए वह अक्षर अभी भी सही हो। यह एआई (AI) को तमिल, सिंहल या हिंदी जैसी भाषाओं को समझने में कितना कुशल है, इसका निष्पक्ष निर्णय लेना बहुत कठिन बना देता है।
यही वह समस्या है जिसे grapheme-kit नामक एक नया टूल हल करने का लक्ष्य रखता है। इस टूल के पीछे के शोधकर्ताओं ने—जो श्रीलंका, अमेरिका और नीदरलैंड के विश्वविद्यालयों की एक टीम है—महसूस किया कि रोबोट की पढ़ने की क्षमता को ठीक करने के लिए, हमें अदृश्य ब्लॉकों को गिनना बंद करना होगा और वास्तव में "उपयोगकर्ता-अनुभूत पात्रों" (user-perceived characters) को गिनना शुरू करना होगा—यानी वे चीजें जिन्हें मनुष्य वास्तव में एक एकल अक्षर के रूप में देखते और पहचानते हैं। उन्होंने एक ओपन-सोर्स लाइब्रेरी (प्रोग्रामर के लिए एक टूलकिट) बनाई जो बिल्कुल यही करती है। कोड पॉइंट्स के एक अव्यवस्थित ढेर के रूप में जटिल अक्षर के साथ व्यवहार करने के बजाय, grapheme-kit उन्हें एक "ग्राफिम क्लस्टर" (grapheme cluster) नामक एक एकल, सुव्यवस्थित इकाई में समूहित करता है।
शोध पत्र सुझाव देता है कि इन ग्राफिम क्लस्टर्स का उपयोग करके, हम त्रुटियों को बहुत अधिक निष्पक्ष तरीके से माप सकते हैं। ऑप्टिकल कैरेक्टर रिकग्निशन (OCR)—जहाँ कंप्यूटर छवियों से टेक्स्ट पढ़ने की कोशिश करते हैं—से संबंधित एक परीक्षण में, इस नए तरीके ने एक विशाल अंतर दिखाया। उदाहरण के लिए, तमिल पर परीक्षण करते समय, मानक पद्धति ने कहा कि कंप्यूटर की त्रुटि दर 5.48% थी, लेकिन नई ग्राफिम-जागरूक पद्धति ने कहा कि त्रुटि केवल 0.62% थी। यह सटीकता में एक बहुत बड़ी छलांग है! शोधकर्ताओं ने पाया कि जिन भाषाओं में अक्षर कई कोड पॉइंट्स से बने होते हैं, वहां पुरानी पद्धति कंप्यूटर को उन सूक्ष्म, अदृश्य गड़बड़ियों के लिए अनुचित रूप से दंडित कर रही थी जिन्होंने वास्तव में शब्द के अर्थ को नहीं बदला था।
हालाँकि, लेखक यह ध्यान दिलाते हुए सावधान हैं कि यह हर चीज़ के लिए कोई जादुई समाधान नहीं है। उनका टूल वर्तमान में तमिल और सिंहल के लिए सबसे अच्छा काम करता है, जहाँ उन्होंने इन विशिष्ट भाषाओं द्वारा अदृश्य "गोंद" (glue) वाले पात्रों को संभालने के जटिल बग्स को ठीक किया है। वे यह भी स्वीकार करते हैं कि उनके परिणाम विशिष्ट परीक्षणों, जैसे प्रिंटेड टेक्स्ट को पढ़ने पर आधारित हैं, और भविष्य में अधिक भाषाओं का समर्थन करने के लिए इस टूल का विस्तार करने की आवश्यकता है। लेकिन मूल विचार ठोस है: यदि हम चाहते हैं कि कंप्यूटर दुनिया की भाषाओं को वास्तव में समझें, तो हमें अदृश्य कोड को देखना बंद करना होगा और दृश्य अक्षरों को देखना शुरू करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।