English-to-Prakrit Machine Translation via Multilingual Transfer Learning
यह शोध पत्र यह प्रदर्शित करता है कि इंडिकट्रांस2 (IndicTrans2) मॉडल को प्राकृत को हिंदी भाषा टैग के माध्यम से रूट करने के लिए अनुकूलित करके, डेटा की कमी और बोलियों के बेमेल होने जैसी चुनौतियों के बावजूद बेहतर BLEU स्कोर प्राप्त करते हुए, कम-संसाधन वाले परिवेश में अंग्रेजी-से-प्राकृत मशीन अनुवाद संभव है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक मास्टर अनुवादक है जो 22 आधुनिक भारतीय भाषाओं में बोलने में विशेषज्ञ है, लेकिन उसने कभी प्राकृत के बारे में नहीं सुना है, जो शास्त्रीय साहित्य और धार्मिक ग्रंथों में उपयोग की जाने वाली एक प्राचीन भाषा परिवार है। आप इस अनुवादक को अंग्रेजी से प्राकृत में अनुवाद करना सिखाना चाहते हैं, लेकिन आपके पास केवल एक बहुत छोटी डिक्शनरी (लगभग 1,500 वाक्य) है जिससे आप उसे सिखा सकें।
यह शोध पत्र इस प्रयोग का वर्णन करता है जहाँ शोधकर्ताओं ने इस "मास्टर अनुवादक" (IndicTrans2 नामक एक मॉडल) को प्राकृत बोलना सिखाया, बिना वास्तव में उसके मस्तिष्क में एक नई भाषा जोड़े।
उन्होंने इसे कैसे किया, इसके लिए यहाँ सरल उपमाओं का उपयोग किया गया है:
समस्या: "गायब मेनू आइटम"
अनुवादक का सॉफ़्टवेयर आधुनिक भारतीय व्यंजनों (जैसे हिंदी, मराठी, गुजराती) के एक विशाल मेनू वाले रेस्तरां की तरह है। प्राकृत इस मेनू में नहीं है। रसोई (कंप्यूटर मॉडल) नहीं जानती कि इसे कैसे बनाना है, और स्टाफ (टोकेनाइज़र/शब्दावली) के पास सही सामग्री की सूची भी नहीं है।
आमतौर पर, इस नए व्यंजन को जोड़ने के लिए, आपको रसोई को फिर से बनाना होगा, नए कर्मचारी रखने होंगे और रेसिपी बुक को फिर से लिखना होगा। लेकिन शोधकर्ता यह देखना चाहते थे कि क्या वे बिना इस भारी काम के इस काम को पूरा कर सकते हैं।
समाधान: "हिंदी का भेष"
शोधकर्ताओं ने एक चतुर तरकीब का उपयोग किया: स्क्रिप्ट स्वैप (लिपि बदलना)।
दोनों हिंदी और प्राकृत एक ही लिपि (देवनागरी) में लिखी जाती हैं, जो एक साझा वर्णमाला की तरह दिखती है। शोधकर्ताओं ने अनुवादक को बताया: "जब आप 'प्राकृत' का अनुरोध देखें, तो व्यवहार करें जैसे कि वह 'हिंदी' हो।"
- उपमा: कल्पना कीजिए कि आप एक शेफ हैं जो केवल इतालवी पास्ता बनाना जानते हैं। आप एक विशिष्ट प्रकार का प्राचीन रोमन पास्ता बनाना चाहते हैं, लेकिन आपके पास उसकी रेसिपी नहीं है। हालाँकि, आप जानते हैं कि इतालवी और रोमन पास्ता दोनों में एक ही प्रकार के आटे और नूडल्स का उपयोग होता है। इसलिए, आप अपनी रसोई से कहते हैं, "इस ऑर्डर को इतालवी पास्ता के रूप में लें," और आप उन्हीं उपकरणों और सामग्रियों का उपयोग करते हैं जो आपके पास पहले से मौजूद हैं।
- परिणाम: मॉडल ने पारंपरिक अर्थों में एक नया "भाषा" नहीं सीखा। इसके बजाय, इसने हिंदी (जो प्राकृत के साथ एक ही परिवार से संबंधित है) के अपने मौजूदा ज्ञान और साझा लेखन प्रणाली का उपयोग करके प्राचीन वाक्यों का निर्माण करने का अनुमान लगाया।
प्रशिक्षण: एक छोटी लाइब्रेरी
शोधकर्ताओं के पास मॉडल को सिखाने के लिए कोई विशाल पुस्तकालय नहीं था। उनके पास केवल था:
- सिखाने के लिए 1,326 वाक्य (ट्रेनिंग सेट)।
- होमवर्क चेक करने के लिए 148 वाक्य (वैलिडेशन सेट)।
- अंतिम परीक्षा के लिए 20 वाक्य (टेस्ट सेट)।
इसे और कठिन बनाने के लिए, प्रशिक्षण प्राकृत के एक बोली (महाराष्ट्री) में दिया गया था, लेकिन अंतिम परीक्षा एक अलग बोली (अर्धमागधी) में थी। यह किसी को एक छोटे, शांत शहर में गाड़ी चलाना सिखाने और फिर तुरंत उसे दूसरे शहर के व्यस्त हाईवे पर टेस्ट करने जैसा है।
परिणाम: एक बड़ी छलांग, लेकिन पूर्ण नहीं
इस प्रयोग से पहले, मॉडल इस कार्य में बहुत खराब था, जिसका स्कोर एक ऐसे पैमाने पर 1.57 था जहाँ अधिक स्कोर बेहतर होता है (इसे एक ग्रेड 'F' की तरह समझें)।
"हिंदी के भेष" वाले प्रशिक्षण के बाद, स्कोर उछलकर 14.3 हो गया।
- इसका क्या अर्थ है: मॉडल इस असाइनमेंट को समझने में लगभग असमर्थ होने से लेकर ऐसे वाक्य बनाने तक पहुँच गया जो वास्तव में लक्षित भाषा की तरह दिखते और सुनाई देते थे। यह पूर्ण नहीं था, लेकिन यह एक बहुत बड़ा सुधार था।
शोधकर्ताओं ने एक अनुवाद के नमूने को देखा और पाया कि मॉडल सही उत्तर के संरचनात्मक रूप से समान शब्द उत्पन्न कर सकता था, भले ही वह कभी-कभी गलत शब्दावली या व्याकरण चुन लेता था, जो संभवतः दो अलग-अलग बोलियों के बीच के अंतर को बहुत कम डेटा के साथ पाटने की कोशिश के कारण था।
निचोड़ (The Bottom Line)
शोध पत्र यह निष्कर्ष निकालता है कि आपको प्राचीन या असमर्थ भाषाओं को संभालने के लिए हमेशा शून्य से नया AI बनाने की आवश्यकता नहीं होती है। यदि भाषाएँ एक ही लेखन प्रणाली और एक ही पारिवारिक इतिहास साझा करती हैं, तो आप अनुरोध को एक संबंधित, समर्थित भाषा (जैसे हिंदी) के माध्यम से "रूट" कर सकते हैं ताकि आश्चर्यजनक रूप से अच्छा परिणाम प्राप्त किया जा सके।
शोध पत्र क्या दावा नहीं करता है:
- यह नहीं कहता कि यह विधि व्यावसायिक उपयोग के लिए तैयार है या इसके अनुवाद ऐतिहासिक विश्लेषण के लिए पर्याप्त सटीक हैं।
- यह दावा नहीं करता कि इसने सभी प्राचीन भाषाओं के लिए इस समस्या को हल कर दिया है, केवल यह कि इस विशिष्ट "स्क्रिप्ट-संगत" तरकीब ने इस विशिष्ट प्रयोग के लिए काम किया।
- यह स्वीकार करता है कि परिणाम डेटा की कमी और बोली के अंतर के कारण सीमित हैं, और उन्होंने यह देखने के लिए मानव विशेषज्ञों का परीक्षण नहीं किया कि अनुवाद वास्तव में किसी विद्वान के लिए सार्थक थे या नहीं।
संक्षेप में, उन्होंने साबित किया कि थोड़े रचनात्मक रूटिंग और एक साझा वर्णमाला के साथ, एक AI उस प्राचीन भाषा को "बोलना" सीख सकता है जिसे उसे स्पष्ट रूप से नहीं सिखाया गया था, और वह भी केवल कुछ उदाहरणों का उपयोग करके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।