Arthasetu - Neural Machine Translation for Classical Jain Philosophical Text with Cross-System Evaluation
यह शोध पत्र अर्थसेतु (Arthasetu) को प्रस्तुत करता है, जो शास्त्रीय जैन दार्शनिक संस्कृत का हिंदी में अनुवाद करने के लिए एक विशिष्ट द्विदिश एलएसटीएम (Bidirectional LSTM) आधारित न्यूरल मशीन ट्रांसलेशन मॉडल है, जो यह प्रदर्शित करता है कि डोमेन-सुसंगत डेटा संवर्धन और कठोर मूल्यांकन प्रोटोकॉल, NLLB-200 जैसे बड़े पैमाने के बहुभाषी प्रणालियों की तुलना में बेहतर प्रदर्शन प्रदान करते हैं, साथ ही कम-संसाधन वाले अनुसंधान में डेटा लीकेज के महत्वपूर्ण जोखिमों पर प्रकाश डालते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा को अक्सर लोगों के बीच एक सेतु के रूप में देखा जाता है, लेकिन दुनिया की सबसे पुरानी निरंतर साहित्यिक परंपरा के लिए, उस सेतु का एक महत्वपूर्ण हिस्सा गायब रहा है। संस्कृत, जो प्राचीन भारतीय दर्शन की पवित्र भाषा है, ग्रंथों का एक विशाल पुस्तकालय समेटे हुए है जो लाखों लोगों की आध्यात्मिक और बौद्धिक विरासत को परिभाषित करते हैं। फिर भी, आधुनिक डिजिटल युग में, यह भाषा उन उपकरणों के लिए काफी हद तक अदृश्य बनी हुई है जो हमारे लिए दुनिया की भाषाओं का अनुवाद करते हैं। जबकि कंप्यूटर अब सामान्य बातचीत या समाचारों की सुर्खियों का अनुवाद बढ़ती सहजता के साथ कर सकते हैं, वे शास्त्रीय दार्शनिक लेखन में पाए जाने वाले सघन, अत्यधिक संरचित और जटिल यौगिक वाक्यों के साथ गहराई से संघर्ष करते हैं। यह अंतर विशेष रूप से जैन दर्शन के लिए गंभीर है, जो भारतीय परंपरा के भीतर एक प्रमुख विचारधारा है, जहाँ एक एकल शब्द का सटीक अर्थ आध्यात्मिक अंतर्दृष्टि और गलतफहमी के बीच का अंतर निर्धारित कर सकता है। चुनौती केवल शब्दों का अनुवाद करने के बारे में नहीं है; यह मशीन को सोचने के एक विशिष्ट, जटिल तरीके को समझने के बारे में है जिसे एक ऐसी भाषा में संरक्षित किया गया है जिसे बहुत कम आधुनिक वक्ता धाराप्रवाह पढ़ सकते हैं।
इस समस्या के समाधान के लिए, शोधकर्ताओं तमन्ना जैन और नीरज रहेजा ने 'अर्थसेतु' नामक एक विशेष प्रणाली विकसित की, जिसे शास्त्रीय जैन दार्शनिक ग्रंथों का संस्कृत से हिंदी में अनुवाद करने के लिए डिज़ाइन किया गया है। उनका कार्य एक विशिष्ट प्रकार के कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) पर केंद्रित है जिसे न्यूरल मशीन ट्रांसलेशन सिस्टम कहा जाता है। सरल शब्दों में, यह एक कंप्यूटर प्रोग्राम है जो एक भाषा में वाक्यों के हजारों उदाहरणों को दूसरी भाषा के उनके सही अनुवादों के साथ अध्ययन करके अनुवाद करना सीखता है। शोधकर्ताओं ने अपने सिस्टम को शास्त्रीय संस्कृत की अनूठी कठिनाइयों को संभालने के लिए बनाया, जो लंबे, संयुक्त शब्दों और तकनीकी शब्दों से भरी हुई है जो रोजमर्रा की बोलचाल में नहीं मिलते। उन्होंने अपने सिस्टम का परीक्षण तत्त्वार्थ सूत्र (एक आधारभूत जैन ग्रंथ) और उसके सहायक भाष्यों सहित ग्रंथों के एक संग्रह पर किया। लक्ष्य एक ऐसा उपकरण बनाना था जो अंततः जैन दर्शन के छात्रों और विद्वानों के लिए एक संवादात्मक सहायक के रूप में कार्य कर सके, जिससे उन्हें इन प्राचीन ग्रंथों को अधिक सहजता से समझने में मदद मिल सके।
शोधकर्ताओं ने वाक्यों के विशाल संग्रह को इकट्ठा करने और उसे व्यवस्थित करने से शुरुआत की। उन्होंने सीधे जैन दार्शनिक स्रोतों से लिए गए लगभग 10,000 वाक्यों के एक मुख्य सेट से शुरुआत की। यह देखने के लिए कि क्या कंप्यूटर को अधिक डेटा देने से मदद मिलेगी, उन्होंने दो अलग-अलग विस्तार रणनीतियों का प्रयास किया। पहले में, उन्होंने अपने दार्शनिक ग्रंथों को लगभग 80,000 सामान्य विश्वकोश और समकालीन स्रोतों के वाक्यों के साथ मिलाया, जिससे लगभग 90,000 वाक्यों का एक विशाल डेटासेट तैयार हुआ। दूसरे में, उन्होंने केवल लगभग 5,000 और वाक्य जोड़े, लेकिन ये सावधानीपूर्वक अन्य जैन दार्शनिक और भक्ति ग्रंथों से चुने गए थे, जिससे पूरा संग्रह उसी विषय पर केंद्रित रहा। इस प्रयोग के परिणाम आश्चर्यजनक थे। बड़े, मिश्रित डेटासेट ने वास्तव में सिस्टम को उन विशिष्ट दार्शनिक ग्रंथों के अनुवाद में बदतर बना दिया जिन्हें संभालने के लिए इसे बनाया गया था। जब जैन-विशिष्ट वाक्यों पर परीक्षण किया गया, तो मिश्रित डेटा पर प्रशिक्षित सिस्टम का प्रदर्शन खराब रहा। इसके विपरीत, विशुद्ध रूप से दार्शनिक डेटासेट पर प्रशिक्षित सिस्टम का प्रदर्शन काफी बेहतर रहा। यह निष्कर्ष बताता है कि अत्यधिक विशिष्ट क्षेत्रों के लिए, सामान्य डेटा के विशाल भंडार की तुलना में सटीक और प्रासंगिक डेटा की कम मात्रा अधिक मूल्यवान होती है।
टीम ने यह भी जांचा कि कंप्यूटर को वाक्यों को कैसे तोड़ना चाहिए ताकि वह उन्हें सीख सके। आधुनिक अनुवाद प्रणालियों में एक सामान्य तकनीक शब्दों को छोटे टुकड़ों में तोड़ना है, जिन्हें 'सबवर्ड्स' (subwords) कहा जाता है, ताकि कंप्यूटर दुर्लभ या जटिल शब्दों को संभाल सके। हालाँकि, जब शोधकर्ताओं ने अपने विशिष्ट डेटासेट पर इस पद्धति को लागू किया, तो इससे परिणामों में सुधार नहीं हुआ। वास्तव में, सिस्टम तब बेहतर प्रदर्शन करता था जब इसने पूरे शब्दों को वैसे ही अनुवाद करना सीखा जैसा वे दिखाई देते थे। यह इंग lिकाता है कि टेक्स्ट के छोटे संग्रहों के लिए, बड़े, सामान्य-उद्देश्य वाले अनुवाद सिस्टम में उपयोग किए जाने वाले मानक तरीके हमेशा आवश्यक नहीं होते और वे बाधा भी बन सकते हैं। शोधकर्ताओं ने अपने कस्टम-निर्मित सिस्टम की तुलना सार्वजनिक रूप से उपलब्ध दो प्रमुख, पूर्व-मौजूदा अनुवाद इंजनों से भी की। एक व्यापक रूप से उपयोग की जाने वाली व्यावसायिक सेवा थी, और दूसरा एक बड़ा, ओपन-सोर्स मॉडल था जिसे सैकड़ों भाषाओं पर प्रशिक्षित किया गया था। जबकि व्यावसायिक सेवा का समग्र प्रदर्शन सबसे अच्छा था, शोधकर्ताओं के कस्टम सिस्टम ने इन दार्शनिक ग्रंथों के अनुवाद के विशिष्ट कार्य पर बड़े ओपन-सोर्स मॉडल को काफी पीछे छोड़ दिया। यह सुझाव देता है कि एक विशिष्ट डोमेन के लिए अनुकूलित सिस्टम एक विशाल, सामान्य-उद्देश्य वाले मॉडल से बेहतर प्रदर्शन कर सकता है जो एक साथ सब कुछ करने की कोशिश करता है।
अपने कार्य के दौरान, शोधकर्ताओं ने अनुवाद प्रणालियों के परीक्षण के तरीके में एक गंभीर खामी भी उजागर की। उनके परीक्षण प्रक्रिया के एक प्रारंभिक संस्करण में, सिस्टम के पास एक शॉर्टकट था जिसने इसे परीक्षण के दौरान वास्तविक अनुवाद करने के बजाय सीधे प्रशिक्षण डेटा से उत्तर खोजने की अनुमति दी। इस गलती के कारण सिस्टम लगभग पूर्ण दिखाई देने लगा, जिसका स्कोर यह सुझाव दे रहा था कि यह लगभग हर बार सही होता है। एक बार जब इस शॉर्टकट को हटा दिया गया, तो स्कोर बहुत अधिक यथार्थवादी स्तर पर आ गया, जिससे सिस्टम की वास्तविक क्षमताओं का पता चला। यह खोज छोटे डेटासेट से जुड़े शोध में एक महत्वपूर्ण जोखिम को उजागर करती है: यदि परीक्षण पद्धति को सावधानीपूर्वक नियंत्रित नहीं किया जाता है, तो यह भ्रामक रूप से उच्च परिणाम दे सकती है जो वास्तविक दुनिया के प्रदर्शन को प्रतिबिंबित नहीं करते हैं। भविष्य में तैनाती सुनिश्चित करने के लिए, शोधकर्ता एक हाइब्रिड दृष्टिकोण का प्रस्ताव करते हैं। यह डिज़ाइन पहले यह जांचेगा कि क्या उपयोगकर्ता का प्रश्न उनके डेटाबेस में मौजूद किसी ज्ञात वाक्य से मेल खाता है, और यदि हाँ, तो तुरंत एक सत्यापित अनुवाद वापस करेगा। यदि प्रश्न नया है, तो सिस्टम उत्तर बनाने के लिए अपने जेनेरेटिव अनुवाद कौशल का उपयोग करेगा। ज्ञात तथ्यों को खोजने और नए अनुवाद उत्पन्न करने का यह संयोजन उपयोगकर्ताओं को इन प्राचीन ग्रंथों का अध्ययन करने के लिए गति और सटीकता दोनों प्रदान करने के उद्देश्य से बनाया गया है।
यह कार्य निष्कर्ष निकालता है कि हालांकि संस्कृत के लिए मशीन अनुवाद का क्षेत्र अभी भी अपने शुरुआती चरणों में है, लेकिन जैन दर्शन जैसे उप-डोमेन की विशिष्ट आवश्यकताओं पर ध्यान केंद्रित करना व्यापक, सामान्य समाधानों को लागू करने की तुलना में बेहतर परिणाम देता है। शोधकर्ताओं ने प्रदर्शित किया है कि एक बड़े, मिश्रित डेटा की तुलना में एक छोटा, अत्यधिक केंद्रित डेटासेट अधिक प्रभावी है, और कि शब्दों को तोड़ने के मानक तरीके हमेशा छोटे, विशिष्ट प्रोजेक्ट्स पर लागू नहीं हो सकते हैं। उन्होंने इन प्रणालियों के परीक्षण के लिए एक स्पष्ट, पुनरुत्पादनीय ढांचा भी प्रदान किया है, जिससे यह सुनिश्चित होता है कि भविष्य की प्रगति का सटीक रूप से मापन किया जा सके। अपने डेटा और विधियों को पारदर्शी बनाकर, वे इस उम्मीद में आगे बढ़ रहे हैं कि इससे दुनिया की शास्त्रीय भाषाओं के अनुवाद पर और अधिक शोध को प्रोत्साहन मिलेगा, जिससे यह सुनिश्चित होगा कि इन प्राचीन आवाजों को आधुनिक दुनिया में स्पष्ट रूप से सुना जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।