Comparative Analysis of Rule Based Symbolic Logic and a Large Language Model in Sanskrit Morphological Analysis
यह अन्वेषणात्मक अध्ययन भगवद गीता के डेटा का उपयोग करते हुए संस्कृत रूपात्मक विश्लेषण (morphological analysis) पर एक नियम-आधारित प्रतीकात्मक क्लासिफायर (rule-based symbolic classifier) और एक लार्ज लैंग्वेज मॉडल (LLM) की तुलना करता है, जिसमें यह पाया गया कि दोनों दृष्टिकोण शब्द-क्रम विस्कटता (word-order scrambling) के तहत स्थिर अनुकूलता बनाए रखते हैं, जहाँ LLM ने प्रतीकात्मक प्रणाली (81.43%) की तुलना में थोड़ी अधिक सटीकता (86.43%) प्राप्त की।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा को अक्सर शब्दों की एक ऐसी धारा के रूप में देखा जाता है जो एक विशिष्ट क्रम में बहती है, जहाँ एक शब्द की स्थिति उसके अर्थ को निर्धारित करती है। कई भाषाओं में, शब्दों का क्रम बदलने से वाक्य पूरी तरह बदल जाता है। हालाँकि, संस्कृत, जो भारत की एक प्राचीन भाषा है, अलग तरह से कार्य करती है। यह शब्दों से जुड़े 'अंत' (endings) की एक प्रणाली पर आधारित है, जो बिल्कुल उन टैग्स की तरह हैं जो आपको बताते हैं कि कौन क्या कर रहा है, चाहे वह शब्द वाक्य में कहीं भी स्थित हो। यह लचीलापन बोलने वालों को व्याकरणिक तर्क खोए बिना, जोर देने या काव्य प्रभाव के लिए शब्दों को पुनर्व्यवस्थित करने की अनुमति देता है। सदियों से, विद्वान इन अंतों को समझने के लिए सख्त, लिखित नियमों पर निर्भर रहे हैं, जिसे 'नियम-आधारित तर्क' (rule-based logic) कहा जाता है। आज, एक नए प्रकार के उपकरण का उदय हुआ है: लार्ज लैंग्वेज मॉडल्स (LLMs)। ये कंप्यूटर सिस्टम हैं जिन्हें टेक्स्ट की विशाल मात्रा पर प्रशिक्षित किया गया है ताकि वे अगले शब्द या किसी शब्द के अर्थ की भविष्यवाणी कर सकें, जो कि निश्चित निर्देशों का पालन करने के बजाय सीखे गए पैटर्न पर आधारित होता है। शोधकर्ता यह सवाल पूछ रहे हैं कि ये दो बहुत अलग दृष्टिकोण संस्कृत की इस अनूठी चुनौती को कैसे संभालते हैं जब शब्दों का क्रम बदल दिया जाता है।
एक हालिया अध्ययन ने एक पारंपरिक नियम-आधारित कंप्यूटर प्रोग्राम और एक आधुनिक कृत्रिम बुद्धिमत्ता (AI) प्रणाली के बीच मुकाबला कराकर इसे परखने का निर्णय लिया। शोधकर्ताओं ने भगवद गीता, जो एक पवित्र हिंदू ग्रंथ है, के सौ श्लोकों का एक संग्रह उपयोग किया। उन्होंने इन श्लोकों से शब्दों को लिया और प्रत्येक श्लोक के लिए दो संस्करण बनाए। पहले संस्करण में, शब्द अपने प्राकृतिक, मूल क्रम में दिखाई दिए। दूसरे संस्करण में, उन्हीं शब्दों को मिला दिया गया या अस्त-व्यस्त कर दिया गया, जिससे उनका क्रम पूरी तरह बदल गया, हालांकि शब्दों का संग्रह बिल्कुल वही रहा। लक्ष्य यह देखना था कि क्या कंप्यूटर सिस्टम अभी भी प्रत्येक शब्द की व्याकरणिक भूमिका (जैसे कि कोई शब्द कर्ता है, कर्म है, या क्रिया है) को सही ढंग से पहचान सकता है, जब उसके स्थान के संदर्भ को हटा दिया गया हो।
अध्ययन ने एक विशिष्ट कार्य पर ध्यान केंद्रित किया: पहले से ही वाक्यों से अलग किए जा चुके व्यक्तिगत शब्दों को देखना और सिस्टम से उन्हें लेबल करने के लिए कहना। शोधकर्ताओं ने एक पायथन (Python) प्रोग्राम का उपयोग किया जो शब्दों के अंत की जांच करने के लिए स्पष्ट, चरण-दर-चरण नियमों का पालन करता था। यदि किसी शब्द का अंत एक विशिष्ट तरीके से होता था, तो प्रोग्राम उसे संभावनाओं की एक पूर्व-लिखित सूची के आधार पर एक लेबल प्रदान करता था। यह प्रणाली आसपास के शब्दों या वाक्य की संरचना को नहीं देखती है; यह केवल स्वयं शब्द को देखती है। दूसरी ओर, शोधकर्ताओं ने जेमिनी (Gemini), जो एक लार्ज लैंग्वेज मॉडल है, द्वारा उत्पन्न प्रेडिक्शन फाइल्स का उपयोग किया। इन फाइलों में मॉडल के उन अनुमानों को शामिल किया गया था जो ऐसे प्रॉम्प्ट्स पर आधारित थे जिनमें उसे अनुवाद या संदर्भ के बजाय शब्दों के अंत पर ध्यान केंद्रित करने के लिए कहा गया था।
जब शोधकर्ताओं ने परिणामों की तुलना की, तो उन्हें कुछ चौंकाने वाला पता चला। नियम-आधारित प्रोग्राम ने प्राकृतिक क्रम और अस्त-व्यस्त क्रम दोनों में बिल्कुल समान प्रदर्शन किया। यह अपेक्षित था, क्योंकि प्रोग्राम को शब्द क्रम को पूरी तरह से अनदेखा करने के लिए डिज़ाइन किया गया था; यह केवल दिए गए शब्द की उसके नियमों की सूची के विरुद्ध जांच करता था। हालाँकि, लार्ज लैंग्वेज मॉडल ने भी उल्लेखनीय स्थिरता दिखाई। यहाँ तक कि जब शब्दों को अस्त-व्यस्त कर दिया गया, तब भी मॉडल के व्याकरणिक लेबल के लिए अनुमान सार्थक रूप से नहीं बदले। 280 विशिष्ट शब्दों में से, जिन्हें एक संदर्भ मार्गदर्शिका के विरुद्ध जांचा गया था, मॉडल ने मूल क्रम या मिश्रित क्रम दोनों में 86.43 प्रतिशत मामलों में व्याकरणिक श्रेणी को सही ढंग से पहचाना। नियम-आधारित प्रणाली थोड़ी कम सटीक थी, जिसने 81.43 प्रतिशत सही पहचान की, लेकिन वह दोनों संस्करणों में समान रूप से सुसंगत थी।
शोधकर्ताओं ने सावधानीपूर्वक यह नोट किया कि यह स्थिरता यह नहीं दर्शाती कि लार्ज लैंग्वेज मॉडल शब्द क्रम को अनदेखा कर रहा है या उसने संस्कृत व्याकरण के नियमों को उसी तरह सीखा है जैसे एक मानव विद्वान करता है। अध्ययन ने यह सिद्ध नहीं किया कि मॉडल संदर्भ के बिना काम करता है, न ही इसने यह दिखाया कि यह उन शब्दों के पूर्णतः नए सेट को संभाल सकता है जिन्हें इसने पहले कभी नहीं देखा। परिणाम केवल यह दर्शाते हैं कि इस विशिष्ट शब्दों के समूह के लिए, मॉडल का आउटपुट स्थिर रहा भले ही इनपुट को इधर-उधर कर दिया गया हो। यह संभव है कि मॉडल ने अपने प्रशिक्षण डेटा से शब्दों को पहचाना हो या विशिष्ट प्रॉम्प्ट्स ने उसे संदर्भ का उपयोग करने से रोका हो। अध्ययन ने यह भी रेखांकित किया कि उत्तरों की जांच करने के लिए उपयोग की गई संदर्भ मार्गदर्शिका (reference guide) त्रुटिहीन नहीं थी; इसमें कुछ अस्पष्टताएं थीं और इसकी कई विशेषज्ञों द्वारा समीक्षा नहीं की गई थी, जिसका अर्थ है कि स्कोर उपलब्ध गाइड के साथ अनुकूलता का माप है न कि पूर्ण सत्य।
यह शोध अंततः यह प्रकट करता है कि ये दो अलग-अलग प्रौद्योगिकियां एक विशिष्ट परीक्षण के तहत कैसा व्यवहार करती हैं। नियम-आधारित प्रणाली ठीक वैसे ही व्यवहार करती है जैसा कि इसके डिजाइन का उद्देश्य था, क्योंकि यह शब्द क्रम के प्रति अंधा रहने के लिए बनाई गई थी। लार्ज लैंग्वेज मॉडल, जिसे अक्सर अर्थ समझने के लिए शब्दों के अनुक्रम पर बहुत अधिक निर्भर माना जाता है, ने भी समान परिणाम दिए जब अनुक्रम को तोड़ दिया गया था। यह सुझाव देता है कि इस विशेष कार्य के लिए, मॉडल के अनुमान इनपुट के बिखराव के प्रति सुदृढ़ (robust) थे। हालाँकि, लेखक आगाह करते हैं कि इसका मतलब यह नहीं है कि मॉडल ने संस्कृत में महारत हासिल कर ली है या यह सभी स्थितियों में ऐसा ही व्यवहार करेगा। यह अध्ययन इस बात का एक स्पष्ट रिकॉर्ड है कि उन विशिष्ट फाइलों और विशिष्ट प्रॉम्प्ट्स के साथ क्या हुआ, जो यह दिखाता है कि इस रिकॉर्ड किए गए तुलना में, शब्दों का क्रम परिणाम को नहीं बदल सका। यह प्रश्न खुला छोड़ देता है कि क्या यह स्थिरता अधिक जटिल वाक्यों, विभिन्न मॉडलों या उन ग्रंथों के लिए भी बनी रहती है जो इसके प्रशिक्षण डेटा का हिस्सा नहीं थे, जो अधिक कठोर मानकों के साथ और अधिक परीक्षण की आवश्यकता की ओर संकेत करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।