Sense-Augmented Corpus for Sanskrit-English Machine Translation: Corpus Construction, Model Fine-Tuning, and Evaluation
यह शोध पत्र LLMs और एक कस्टम सेंस इन्वेंट्री का उपयोग करके एक सेंस-ऑगमेंटेड समानांतर कॉर्पस (sense-augmented parallel corpus) का निर्माण करके संस्कृत-अंग्रेजी मशीन अनुवाद में लेक्सिकल अस्पष्टता (lexical ambiguity) की चुनौती को संबोधित करता है, जो यह प्रदर्शित करता है कि शब्द अर्थ (word sense) की जानकारी को स्पष्ट रूप से शामिल करना विभिन्न मॉडल आर्किटेक्चर में अनुवाद की गुणवत्ता में महत्वपूर्ण रूप से सुधार करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा केवल शब्दों का एक संग्रह मात्र नहीं है; यह एक जीवित प्रणाली है जहाँ अर्थ इस बात पर निर्भर करता है कि शब्द का साथ कौन सा शब्द दे रहा है। भाषा के अध्ययन में, एक अकेला शब्द कई अलग-अलग भूमिकाएँ निभा सकता है, जिसे 'पॉलीसेमी' (बहुअर्थकता) के रूप में जाना जाता है। एक मानव पाठक के लिए, संदर्भ एक मार्गदर्शक के रूप में कार्य करता है, जो तुरंत स्पष्ट कर देता है कि कोई शब्द किसी भौतिक वस्तु, एक अमूर्त विचार या एक क्रिया को संदर्भित करता है। हालाँकि, कंप्यूटरों के लिए, यह कार्य अत्यंत कठिन है। मशीनें अक्सर इन विभिन्न अर्थों के बीच अंतर करने में संघर्ष करती हैं, जिससे अनुवाद व्याकरणिक रूप से तो सही होते हैं लेकिन अर्थ के स्तर पर भ्रमित हो जाते हैं। यह समस्या संस्कृत जैसी प्राचीन भाषाओं के लिए विशेष रूप से गंभीर है, जहाँ एक एकल शब्द सदियों के सूक्ष्म अर्थों को समेटे हुए हो सकता है, और जिनके लिए डिजिटल संसाधन दुर्लभ हैं। जब एक मशीन शब्द के इच्छित अर्थ को समझने में विफल रहती है, तो परिणामी अनुवाद मूल पाठ के वास्तविक सार को खो देता है, जिससे एक गहन दार्शनिक कथन एक निरर्थक शब्दों की शृंखला में बदल जाता है।
IIIT हैदराबाद और केंद्रीय संस्कृत विश्वविद्यालय के शोधकर्ताओं ने मशीनों को अनुवाद करने का प्रयास करने से पहले शब्दों के विशिष्ट अर्थ पर अधिक ध्यान देने के लिए प्रशिक्षित करके इस चुनौती का समाधान किया है। उनका कार्य संस्कृत-से-अंग्रेजी अनुवाद के लिए एक नए प्रकार के प्रशिक्षण डेटा को बनाने पर केंद्रित है। केवल कंप्यूटर को संस्कृत वाक्यों और उनके अंग्रेजी समकक्षों के जोड़े खिलाने के बजाय, टीम ने इन जोड़ों को स्पष्ट लेबल के साथ समृद्ध किया जो वाक्य के प्रत्येक शब्द के सटीक अर्थ की पहचान करते हैं। उन्होंने एक शक्तिशाली कृत्रिम बुद्धिमत्ता उपकरण का उपयोग एक डिजिटल कोशकार (लेक्सिकोग्राफर) के रूप में किया, जिसने प्रत्येक संस्कृत वाक्य को पढ़ा और एक विशाल शब्दकोश से प्रत्येक शब्द के लिए सही परिभाषा चुनी, ठीक वैसे ही जैसे एक मानव विद्वान करता है। इस प्रक्रिया के परिणामस्वरूप एक "सेंस-ऑगमेंटेड" (अर्थ-संवर्धित) कॉर्पस प्राप्त हुआ, जो एक ऐसा डेटासेट है जहाँ कंप्यूटर को न केवल शब्द दिखाए जाते हैं, बल्कि उसे यह भी बताया जाता है कि उस विशिष्ट संदर्भ में उन शब्दों का क्या अर्थ है।
टीम ने कई अलग-अलग अनुवाद मॉडलों का उपयोग करके इस दृष्टिकोण का परीक्षण किया, जिसमें विशेष अनुवाद इंजन और सामान्य-उद्देश्य वाले लार्ज लैंग्वेज मॉडल शामिल थे। उन्होंने यह देखना शुरू किया कि ये मॉडल बिना किसी अतिरिक्त प्रशिक्षण के कैसा प्रदर्शन करते हैं, जिसे 'ज़ीरो-शॉट इन्फरेंस' की स्थिति कहा जाता है। जैसा कि अपेक्षित था, मॉडल संघर्ष करते दिखे, और अक्सर ऐसे अनुवाद प्रस्तुत करते थे जो खंडित थे या मूल पाठ के मुख्य बिंदु को पूरी तरह से चूक गए थे। उदाहरण के लिए, भयभीत होकर भागते हुए योद्धाओं के बारे में एक वाक्य का अनुवाद करते समय, एक बुनियादी मॉडल "पर्वतीय किले" (mountain fortress) के लिए शब्द को केवल "वन" (forest) के रूप में अनुवादित कर सकता है, जिससे मूल महाकाव्य की महत्वपूर्ण कल्पना लुप्त हो जाती है। जब शोधकर्ताओं ने इन मॉडलों को मानक समानांतर वाक्यों का उपयोग करके फाइन-ट्यून किया, तो अनुवादों में काफी सुधार हुआ, जिससे वे अधिक सुसंगत और प्रवाहपूर्ण हो गए। हालाँकि, गुणवत्ता में सबसे नाटकीय उछाल तब आया जब मॉडलों को नए, अर्थ-संवर्धित डेटा पर प्रशिक्षित किया गया।
परिणामों ने दिखाया कि स्पष्ट अर्थ संबंधी जानकारी प्रदान करने से परीक्षण किए गए सभी मॉडलों में अनुवाद की गुणवत्ता में निरंतर सुधार हुआ। मशीनें सही स्थिति के लिए सही शब्द चुनने में बहुत बेहतर हो गईं। एक विशिष्ट मामले में, अर्थ-संवर्धित डेटा पर प्रशिक्षित एक मॉडल ने "एक बड़ी सेना" (large army) का वर्णन करने वाले वाक्यांश को 'सेना' के रूप में सही ढंग से अनुवादित किया, जबकि मानक डेटा पर प्रशिक्षित उसी मॉडल ने इसे गलत तरीके से "कपड़ा" (cloth) के रूप में अनुवादित किया, जिससे दृश्य का अर्थ पूरी तरह से बदल गया। एक अन्य उदाहरण में एक ऐसा शब्द शामिल था जिसका अर्थ "पार्टी" (समूह) या "कारण" (cause) हो सकता था; उन्नत मॉडल ने लोगों के समूह को संदर्भित करने के लिए "पार्टी" को सही ढंग से चुना, जबकि मानक मॉडल ने "कारण" को चुना, जो संदर्भ में फिट नहीं बैठता था। ये सुधार केवल मामूली बदलाव नहीं थे; ये मॉडलों के पाठ को समझने के तरीके में एक मौलिक परिवर्तन का प्रतिनिधित्व करते थे, जिससे उन्हें उन अस्पष्टताओं को हल करने में मदद मिली जो पहले उन्हें विफल कर देती थीं।
अध्ययन ने यह भी रेखांकित किया कि यह पद्धति उन सामान्य-उद्देश्य वाले कृत्रिम बुद्धिमत्ता मॉडलों के लिए भी अच्छी तरह से काम करती है जो मूल रूप से अनुवाद के लिए नहीं बनाए गए थे। एक सामान्य मॉडल, जो आमतौर पर विशिष्ट भाषा युग्मों के साथ संघर्ष करता है, अर्थ-संवर्धित डेटा पर प्रशिक्षित होने के बाद समर्पित अनुवाद इंजनों के तुलनीय प्रदर्शन स्तर तक पहुँचने में सक्षम रहा। यह सुझाव देता है कि बेहतर अनुवाद की कुंजी केवल अधिक डेटा होने में नहीं है, बल्कि ऐसे डेटा में है जो अर्थपूर्ण रूप से समृद्ध हो। शोधकर्ताओं ने पाया कि मॉडलों ने अधिक संदर्भ-उपयुक्त विकल्प बनाना सीखा, जिससे प्रभावी रूप से उन बारों की संख्या कम हो गई जहाँ वे वाक्यांशों को दोहराते थे या निरर्थक बातें उत्पन्न करते थे, जो मशीन अनुवाद में एक सामान्य त्रुटि है। हालाँकि इस समृद्ध डेटासेट को बनाने की प्रक्रिया के लिए महत्वपूर्ण कम्प्यूटेशनल शक्ति और समय की आवश्यकता थी, लेकिन इसका प्रतिफल एक स्पष्ट प्रदर्शन था कि मशीनों को शब्दों को स्पष्ट रूप से स्पष्ट करने (disambiguate) के लिए सिखाना न केवल अधिक सटीक अनुवाद की ओर ले जाता है, बल्कि मूल भाषा के भाव के प्रति अधिक निष्ठावान भी बनाता है।
यह कार्य यह दावा नहीं करता है कि इसने मशीन अनुवाद की हर समस्या को हल कर लिया है, न ही यह सुझाव देता है कि वर्तमान विधियाँ पूर्ण हैं। शोधकर्ताओं ने उल्लेख किया कि उनका 'सेंस इन्वेंटरी' (अर्थ सूची) अत्यंत विस्तृत थी, जिसने कभी-कभी मॉडलों के लिए बहुत समान अर्थों के बीच चयन करना कठिन बना दिया। उन्होंने यह भी स्वीकार किया कि यह प्रक्रिया कम्प्यूटेशनल रूप से महंगी है और प्रारंभिक अर्थ निर्धारण में त्रुटियां संभावित रूप से अंतिम अनुवाद को प्रभावित कर सकती हैं। हालाँकि, निष्कर्ष एक आशाजनक मार्ग प्रदान करते हैं, विशेष रूप से उन कम-संसाधन वाली भाषाओं के लिए जहाँ डेटा दुर्लभ है। यह दिखाकर कि स्पष्ट अर्थ संबंधी जानकारी मानव समझ और मशीन प्रसंस्करण के बीच की खाई को पाट सकती है, यह अध्ययन यह सुधारने का एक खाका प्रदान करता है कि कंप्यूटर मानव भाषा के जटिल और बहुस्तरीय अर्थों के साथ कैसे अंतःक्रिया करते हैं। अंतिम लक्ष्य केवल शब्दों का अनुवाद करना नहीं है, बल्कि वक्ता के सटीक इरादे और सूक्ष्मता को संप्रेषित करना है, जो एक ऐसा कार्य है जिसके लिए समझ के उस स्तर की आवश्यकता होती है जो केवल सावधानीपूर्वक, अर्थ-जागरूक प्रशिक्षण द्वारा ही प्रदान की जा सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।