SuTRA : Structurally-Unified Tokenization with Root Awareness
यह शोध पत्र SuTRA को प्रस्तुत करता है, जो एक आकृति विज्ञान-जागरूक (morphology-aware) टोकनाइजेशन एल्गोरिदम है जिसे भारतीय भाषाओं के लिए डिज़ाइन किया गया है जो मौजूदा विधियों की "रूपात्मक विखंडन" (Morphological Shattering) की समस्या को दूर करने के लिए मूल-प्रत्यय संरचनाओं और अक्षर अविभाज्यता को संरक्षित करता है, जिसके परिणामस्वरूप रूपात्मक संरेखण, अर्थपूर्ण पुनर्प्राप्ति और मशीन अनुवाद प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कंप्यूटर जो मानव भाषा को समझते हैं, वे शब्दों को वैसे नहीं पढ़ते जैसे हम पढ़ते हैं। वे एक वाक्य को अर्थ के बहते हुए प्रवाह के रूप में नहीं देखते; इसके बजाय, वे इसे छोटे, अलग-अलग टुकड़ों की एक लंबी सूची के रूप में देखते हैं। इसे काम करने योग्य बनाने के लिए, इंजीनियरों को पहले हर वाक्य को इन सूक्ष्म अंशों में तोड़ना पड़ता है, जिसे टोकनाइज़ेशन (tokenization) कहा जाता है। दशकों से, इसे करने का मानक तरीका पूरी तरह से सांख्यिकीय रहा है। कंप्यूटर पाठ के एक विशाल पुस्तकालय को देखता है और गिनता है कि कुछ अक्षरों के संयोजन कितनी बार एक साथ दिखाई देते हैं। यदि दो अक्षर या अक्षरों के छोटे समूह बहुत बार एक साथ दिखाई देते हैं, तो कंप्यूटर उन्हें एक एकल इकाई में जोड़ने का निर्णय लेता है। यह दृष्टिकोण डेटा को संपीड़ित (compress) करने में उत्कृष्ट है, जिससे कंप्यूटर बड़ी मात्रा में पाठ को तेज़ी से संसाधित कर पाता है। हालाँकि, यह भाषा को अर्थ की एक संरचित प्रणाली के बजाय यादृच्छिक अक्षरों के एक थैले की तरह मानता है। यह इस बात के गहरे नियमों की अनदेखी करता है कि शब्द कैसे बनते हैं, जैसे कि जब आप एक उपसर्ग (prefix) या प्रत्यय (suffix) जोड़ते हैं तो मूल शब्द कैसे बदल जाता है। यह कमी उन भाषाओं के लिए एक बड़ी समस्या बन जाती है जो इन संरचनात्मक नियमों में समृद्ध हैं, विशेष रूप से भारत की कई भाषाओं के लिए, जहाँ शब्द जटिल अक्षरों और व्याकरणिक चिह्नों को मिलाने के तरीकों से बनते हैं, जिन्हें मानक कंप्यूटर विधियाँ अक्सर सम्मान देने में विफल रहती हैं।
मोतीलाल ओसवाल फाइनेंशियल सर्विसेज और भारतीय प्रौद्योगिकी संस्थान बॉम्बे के शोधकर्ताओं ने इस समस्या को ठीक करने के लिए एक नया दृष्टिकोण विकसित किया है, जिसे वे SuTRA कहते हैं। उन्होंने देखा कि मानक सांख्यिकीय विधि अक्सर शब्दों को इस तरह से तोड़ देती है जिससे उनका अर्थ नष्ट हो जाता है। उन्होंने इस विनाशकारी घटना को "मॉर्फोलॉजिकल शैटरिंग" (morphological shattering) नाम दिया। एक ऐसे शब्द की कल्पना करें जिसमें एक मूल अर्थ और एक व्याकरणिक अंत होता है। एक मानक कंप्यूटर शब्द को उसके मूल के ठीक बीच में से विभाजित कर सकता है, जिससे मूल अर्थ को उसके आरंभ या अंत से अलग कर दिया जाता है, या वह एक उपसर्ग को मूल के साथ इस तरह जोड़ सकता है जो उनकी विशिष्ट भूमिकाओं को अस्पष्ट कर देता है। यह विशेष रूप से भारतीय भाषाओं के लिए हानिकारक है, जो ऐसी लिपियों का उपयोग करती हैं जहाँ एक व्यंजन और एक आश्रित स्वर मिलकर एक एकल, अविभाज्य दृश्य इकाई बनाते हैं जिसे 'अक्षर' कहा जाता है। मानक टोकनाइज़र अक्सर इन इकाइयों को अलग कर देते हैं, स्वर को उस व्यंजन से अलग कर देते हैं जिससे वह संबंधित है, और वे शब्द के मूल और उसके व्याकरणिक जुड़ावों के बीच की सीमाओं को भी अक्सर अनदेखा कर देते हैं। इसका परिणाम एक खंडित प्रतिनिधित्व होता है जहाँ कंप्यूटर शब्द के वास्तविक अर्थ संबंधी मूल (semantic core) को समझने में संघर्ष करता है, जिससे मशीन के लिए सीखना या अनुवाद करना कठिन हो जाता है।
इसे हल करने के लिए, टीम ने एक नया एल्गोरिदम बनाया जो इन भाषाओं की प्राकृतिक संरचना का सम्मान करता है। यह देखने के बजाय कि कंप्यूटर केवल अक्षरों के दिखने की आवृत्ति के आधार पर शब्दों को कैसे विभाजित करता है, उन्होंने सिस्टम को भाषा के निर्माण खंडों (building blocks) को पहले पहचानने के लिए सिखाया। उन्होंने हिंदी, मराठी और गुजराती के लिए एक नया, सत्यापित डेटासेट बनाना शुरू किया। यह केवल शब्दों की एक सूची नहीं थी; यह एक विस्तृत मानचित्र था जो सटीक रूप से दिखाता था कि शब्दों के मूल कहाँ शुरू और समाप्त होते हैं, और व्याकरणिक चिह्न कहाँ जुड़ते हैं। क्योंकि मौजूदा संसाधन अधूरे थे या अपूर्ण नियमों पर आधारित थे, शोधकर्ताओं ने प्रत्येक शब्द को उसके वास्तविक भाषाई मूल के अनुसार तोड़ने को सुनिश्चित करने के लिए एक लार्ज लैंग्वेज मॉडल का उपयोग करके विभाजन को सत्यापित और संशोधित किया। यह गोल्ड-स्टैंडर्ड डेटासेट उनके नए टोकनाइज़र के प्रशिक्षण का आधार बना।
नया तरीका, SuTRA, दो चरणों में कार्य करता है। सबसे पहले, यह पाठ को देखता है और अक्षरों को उनकी प्राकृतिक, अविभाज्य शब्दांश इकाइयों (syllable units) में समूहित करता है, यह सुनिश्चित करते हुए कि एक स्वर कभी भी उस व्यंजन से अलग न हो जाए जिसे वह संशोधित करता है। यह यह भी चिह्नित करता है कि एक मूल शब्द कहाँ समाप्त होता है और एक व्याकरणिक प्रत्यय कहाँ शुरू होता है, जो सत्यापित डेटासेट पर आधारित है। दूसरे चरण में, यह इन इकाइयों को एक साथ जोड़कर अपनी शब्दावली बनाता है, लेकिन एक महत्वपूर्ण अंतर के साथ: इसे अभी-डि हमने पहचाने गए सीमाओं के पार जुड़ने से वर्जित किया गया है। यदि कंप्यूटर भाषाई संरचना का उल्लंघन करते हुए एक उपसर्ग को मूल के साथ जोड़ने का प्रयास करता है, तो सिस्टम उस चाल को दंडित करता है। यह कंप्यूटर को पहले वैध मूलों को सीखने के लिए मजबूर करता है, उन्हें ठोस, अटूट ब्लॉकों के रूप में मानता है, इससे पहले कि उसे अन्य भागों के साथ संयोजन करने की अनुमति दी जाए। यह सुनिश्चित करता है कि कंप्यूटर द्वारा भाषा को समझने के लिए उपयोग किए जाने वाले अंतिम टुकड़े हमेशा एक पूर्ण, अर्थपूर्ण मूल को समाहित करते हैं।
इस संरचनात्मक दृष्टिकोण के परिणाम महत्वपूर्ण थे। मानक विधियों के विरुद्ध परीक्षण करने पर, नए टोकनाइज़र ने शब्दों को बरकरार रखने की बेहतर क्षमता दिखाई। हिंदी में, इसने कंप्यूटर के शब्द-खंडों और वास्तविक भाषाई मूलों के बीच संरेखण में लगभग पंद्रह प्रतिशत का सुधार किया। मराठी में, सुधार और भी स्पष्ट था, जो कि कंप्यूटर द्वारा अपने अंशों से मूल अर्थ को पुनः प्राप्त करने की क्षमता के मामले में तैंतीस प्रतिशत से अधिक तक पहुँच गया। यह संरचनात्मक स्पष्टता वास्तविक दुनिया के कार्यों पर सीधे बेहतर प्रदर्शन में परिवर्तित हुई। जब शोधकर्ताओं ने हिंदी और मराठी के बीच अनुवाद करने के लिए एक मशीन अनुवाद प्रणाली को प्रशिक्षित करने के लिए नए टोकनाइज़र का उपयोग किया, तो अनुवाद की गुणवत्ता में उल्लेखनीय सुधार हुआ। पुराने, पूरी तरह से सांख्यिकीय विधियों का उपयोग करने वाले सिस्टम की तुलना में इस सिस्टम ने कम त्रुटियां उत्पन्न कीं और भाषा की बारीकियों को अधिक सटीक रूप से पकड़ा। इसके अलावा, नया टोकनाइज़र अधिक सुदृढ़ (robust) साबित हुआ; जब इनपुट टेक्स्ट में छोटी गलतियाँ या मामूली वर्तनी भिन्नताएं थीं, तो नया सिस्टम शब्द के मूल की अखंडता बनाए रखता था, जबकि पुराने सिस्टम अक्सर विफल हो जाते थे, और टाइपो को शब्द को पूरी तरह से पुन: खंडित करने के संकेत के रूप में देखते थे।
शोधकर्ताओं ने यह भी प्रदर्शित किया कि यह दृष्टिकोण दक्षता की कीमत पर नहीं आया। हालांकि नए तरीके ने कुछ शब्दों के लिए कुछ अधिक टुकड़े बनाए ताकि वे भाषically सही रहें, लेकिन इसने अत्यधिक संख्या में अंश नहीं बनाए जिससे कंप्यूटर धीमा हो जाए। सिस्टम ने शब्दावली के आकार को प्रबंधनीय रखते हुए भाषा की संरचना की गहरी समझ प्राप्त करने में सफलता पाई। सरल आवृत्ति गणनाओं के बजाय भाषा की प्राकृतिक सीमाओं को प्राथमिकता देकर, टीम ने दिखाया कि यह संभव है कि कृत्रिम बुद्धिमत्ता को मानव भाषण के तर्क का सम्मान करने के लिए निर्देशित किया जाए। यह कार्य सुझाव देता है कि जटिल संरचना वाली भाषाओं के लिए, बेहतर कृत्रिम बुद्धिमत्ता का मार्ग केवल कंप्यूटर को अधिक डेटा खिलाने में नहीं है, बल्कि उसे भाषा को वैसे देखने के लिए सिखाने में है जैसे उसके बोलने वाले देखते हैं: मूल और जुड़ावों की एक सुसंगत प्रणाली के रूप में, न कि अक्षरों की एक अराजक धारा के रूप में। ये निष्कर्ष इस बात का व्यावहारिक ब्लूप्रिंट प्रदान करते हैं कि मशीनों द्वारा दुनिया की सबसे भाषाई रूप से विविध भाषाओं को संभालने के तरीके में सुधार कैसे किया जाए, यह सुनिश्चित करते हुए कि तकनीक भाषा की संरचना की सेवा करे न कि उसे तोड़ दे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।