One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography
यह शोध पत्र यह प्रदर्शित करता है कि बहुभाषी भाषा मॉडलों को मूल लिपि या IPA के बजाय रोमनकृत पाठ पर प्रीट्रेनिंग करना, विविध लेखन प्रणालियों के बीच क्रॉस-लिंगुअल ज्ञान हस्तांतरण को महत्वपूर्ण रूप से बढ़ाता है, जो यह सुझाव देता है कि रोमनकरण को एक पोस्ट-हॉक अनुकूलन के बजाय एक मुख्य प्रीट्रेनिंग डिज़ाइन विकल्प होना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ एक एकल कंप्यूटर प्रोग्राम दुनिया की हर भाषा को समान दक्षता के साथ पढ़, लिख और समझ सके। यह बहुभाषी आर्टिफिशियल इंटेलिजेंस (AI) का वादा है, एक ऐसा क्षेत्र जिसने हाल के वर्षों में अविश्वसनीय प्रगति की है। ये प्रोग्राम पाठ की विशाल मात्रा को पढ़कर, व्याकरण और अर्थ के पैटर्न को आत्मसात करके सीखते हैं। इनके काम करने का एक प्रमुख हिस्सा शब्द खंडों या 'सबवर्ड्स' का एक साझा शब्दकोश है, जो उन्हें विभिन्न भाषाओं के बीच समानताएं पहचानने की अनुमति देता है। यदि दो भाषाएँ एक ही वर्णमाला का उपयोग करती हैं, जैसे अंग्रेजी और स्पेनिश, तो वे स्वाभाविक रूप से इन खंडों के कई हिस्से साझा करती हैं, जिससे कंप्यूटर के लिए एक भाषा से दूसरी भाषा में ज्ञान स्थानांतरित करना आसान हो जाता है। हालाँकि, दुनिया उन भाषाओं से भरी है जो पूरी तरह से अलग लेखन प्रणालियों का उपयोग करती हैं, जैसे रूसी की सिरिलिक लिपि, हिंदी की देवनागरी लिपि, या उर्दू की अरबी लिपि। जब ये लिपियाँ आपस में मेल नहीं खातीं, तो कंप्यूटर का साझा शब्दकोश टूट जाता है, और एक भाषा को दूसरी भाषा में मदद करने के लिए सीखने की क्षमता लुप्त हो जाती है। यह बाधा लंबे समय से वास्तव में सार्वभौमिक भाषा मॉडल बनाने के मार्ग में एक बड़ी रुकावट रही है।
इसे हल करने के लिए, शोधकर्ताओं ने विभिन्न लेखन प्रणालियों को एक सामान्य रूप में बदलने का प्रयास किया है। एक दृष्टिकोण पाठ को अंतर्राष्ट्रीय ध्वन्यात्मक वर्णमाला (International Phonetic Alphabet) में परिवर्तित करना है, जो मानव ध्वनियों का प्रतिनिधित्व करने वाले प्रतीकों का एक सार्वभौमिक सेट है। दूसरा तरीका पाठ को लैटिन वर्णमाला (Latin alphabet) में लिप्यंतरित करना है, जो अंग्रेजी के लिए उपयोग की जाने वाली लिपि है, जो प्रभावी रूप से प्रत्येक भाषा को एक एकल, साझा लिपि में फिर से लिख देता है। हालाँकि इन तरीकों ने छोटे प्रयोगों में आशाजनक परिणाम दिखाए हैं, लेकिन यह स्पष्ट नहीं था कि शून्य से बड़े, शक्तिशाली मॉडल बनाते समय कौन सा दृष्टिकोण वास्तव में श्रेष्ठ है, या क्या मॉडल को प्रशिक्षित करने के बाद केवल पाठ को परिवर्तित करना भी उतना ही प्रभावी होगा। ओहियो स्टेट यूनिवर्सिटी और यूनिवर्सिटी ऑफ वॉशिंगटन के शोधकर्ताओं की एक टीम ने चार अलग-अलग भाषा परिवारों के आठ विशिष्ट भाषाओं को संभालने के लिए डिज़ाइन किए गए भाषा मॉडलों की एक श्रृंखला बनाकर इन प्रश्नों का उत्तर देने का लक्ष्य रखा।
शोधकर्ताओं ने आठ भाषाओं का उपयोग करके एक नियंत्रित प्रयोग तैयार किया: अंग्रेजी और स्पेनिश, रूसी और पोलिश, हिंदी और उर्दू, तथा तमिल और मलयालम। इन जोड़ों को इसलिए चुना गया क्योंकि वे विविध संबंध प्रदान करते थे; कुछ ने लिपियाँ साझा कीं, जबकि अन्य ने ध्वनियाँ साझा कीं लेकिन पूरी तरह से अलग लेखन प्रणालियों का उपयोग किया। उन्होंने तीन अलग-अलग आकारों के लिए प्रत्येक के लिए एक भाषा मॉडल बनाया, जो लगभग 467 मिलियन से लेकर एक बिलियन से अधिक पैरामीटर्स तक विस्तृत था। प्रत्येक आकार के लिए, उन्होंने मूल देशी लिपियों पर एक मॉडल, आईपीए (IPA) में परिवर्तित पाठ पर दूसरा, और लैटिन वर्णमाला में परिवर्तित पाठ पर तीसरा मॉडल प्रशिक्षित किया। महत्वपूर्ण रूप से, उन्होंने बाकी सब कुछ समान रखा: डेटा की मात्रा, कंप्यूटर आर्किटेक्चर और प्रशिक्षण का समय। इससे उन्हें एक भाषा से दूसरी भाषा में ज्ञान स्थानांतरित करने की क्षमता पर स्वयं लेखन प्रणाली के प्रभाव को अलग करने में मदद मिली।
परिणाम चौंकाने वाले और स्पष्ट थे। लैटिन वर्णमाला में परिवर्तित पाठ, या रोमनकृत (romanized) पाठ पर प्रशिक्षित मॉडल, हर परीक्षण में लगातार अन्य मॉडलों से बेहतर रहे। चाहे कार्य प्रश्नों के उत्तर देना हो, वाक्यों के अर्थ को समझना हो, या समाचार लेखों का सारांश निकालना हो, रोमनकृत मॉडलों ने एक भाषा से दूसरी भाषा में ज्ञान स्थानांतरित करने की सबसे मजबूत क्षमता दिखाई। यह लाभ तब और बढ़ गया जब मॉडल बड़े होते गए। ध्वन्यात्मक वर्णमाला (phonetic alphabet) पर प्रशिक्षित मॉडल भी अधिकांश मामलों में मूल लिपियों पर प्रशिक्षित मॉडलों की तुलना में बेहतर प्रदर्शन करते थे, लेकिन वे आम तौर पर रोमनकृत मॉडलों से पीछे रह गए। एकमात्र अपवाद हिंदी और उर्दू का जोड़ा था; क्योंकि ये दोनों भाषाएँ सुनने में लगभग एक जैसी हैं लेकिन उपयोग में पूरी तरह से अलग लिपियों का उपयोग करती हैं, ध्वन्यात्मक दृष्टिकोण उनके लिए असाधारण रूप से प्रभावी रहा, जिसने रोमनकृत मॉडलों के प्रदर्शन की बराबरी की। हालाँकि, जब मॉडलों का परीक्षण उन भाषाओं पर किया गया जिन्हें उन्होंने पहले कभी नहीं देखा था, तो रोमनकृत दृष्टिकोण सबसे अधिक सुदृढ़ बना रहा।
शायद सबसे आश्चर्यजनक निष्कर्ष इस क्षेत्र में उपयोग की जाने वाली एक सामान्य रणनीति से संबंधित था: एक ऐसा मॉडल लेना जो पहले से ही देशी लिपियों पर प्रशिक्षित है और बाद में उसे रोमनकृत डेटा पर फाइन-ट्यून (fine-tuning) करना। कई शोधकर्ताओं ने माना था कि यह एक कुशल शॉर्टकट होगा, जिससे उन्हें पूरे मॉडल को फिर से प्रशिक्षित करने की लागत के बिना रोमनकरण के लाभ प्राप्त करने में मदद मिलेगी। अध्ययन ने पाया कि इसके विपरीत ही हुआ। जब शोधकर्ताओं ने अपने मॉडलों पर यह शॉर्टकट लागू किया, तो उन भाषाओं पर प्रदर्शन काफी गिर गया जिन्हें मॉडल पहले से जानता था। यह हस्तक्षेप केवल तभी सहायक हुआ जब मॉडल को उस भाषा को संभालने के लिए कहा गया जिसे उसने पहले कभी नहीं देखा था, और तब भी, रोमनकृत पाठ पर मॉडल को शुरू से प्रशिक्षित करने की तुलना में सुधार मामूली था। यह सुझाव देता है कि रोमनकरण का लाभ केवल अंतिम आउटपुट प्रारूप के बारे में नहीं है, बल्कि इस बारे में है कि मॉडल प्रारंभिक प्रशिक्षण चरण के दौरान भाषा की मौलिक संरचना को कैसे सीखता है।
अध्ययन ने इन विभिन्न लेखन प्रणालियों की दक्षता पर भी विचार किया। तमिल और मलयालम जैसी जटिल लिपियों का उपयोग करने वाली भाषाओं को लैटिन वर्णमाला की तुलना में समान मात्रा में पाठ का प्रतिनिधित्व करने के लिए काफी अधिक कंप्यूटर टोकन की आवश्यकता होती है। इसका अर्थ था कि मूल लिपियों पर प्रशिक्षण न केवल विभिन्न भाषाओं में सीखना कठिन था, बल्कि यह अधिक महंगा और धीमा भी था। ध्वन्यात्मक और रोमनकृत दोनों दृष्टिकोणों ने इस पाठ को संकुचित कर दिया, जिससे इन भाषाओं की लागत और गति अन्य भाषाओं के समान हो गई। इस संपीड़न (compression) ने, विभिन्न लिपियों के बीच ज्ञान साझा करने की बेहतर क्षमता के साथ मिलकर, विविध लेखन प्रणालियों वाले बहुभाषी मॉडल बनाने के लिए रोमनकृत दृष्टिकोण को सबसे प्रभावी डिज़ाइन विकल्प बना दिया।
अंततः, अनुसंधान इंगित करता है कि कृत्रिम बुद्धिमत्ता के लिए दुनिया की कई भाषाओं के बीच की खाई को पाटने के लिए, पाठ का प्रतिनिधित्व कैसे किया जाए, यह एक मौलिक डिज़ाइन निर्णय है, न कि एक मामूली तकनीकी विवरण। साक्ष्य बताते हैं कि प्रशिक्षण से पहले विविध लिपियों को एक साझा लैटिन रूप में परिवर्तित करने से सर्वोत्तम परिणाम मिलते हैं, जिससे सिस्टम एक एकीकृत संरचना को आत्मसात कर पाता है जो भाषाई सीमाओं के पार काम करती है। हालांकि ध्वन्यात्मक प्रतीकों में परिवर्तित करना कुछ लाभ प्रदान करता है, विशेष रूपकर उन भाषाओं के लिए जो सुनने में समान हैं लेकिन दिखने में भिन्न, लेकिन यह एक एकीकृत लिपि के लाभों की जगह नहीं ले सकता। निष्कर्ष इस विचार को चुनौती देते हैं कि मॉडल बनने के बाद केवल समायोजन करना पर्याप्त है; इसके बजाय, वे यह संकेत देते हैं कि डिजिटल मस्तिष्क को दुनिया को पढ़ने के लिए सिखाने के लिए एक विचारशील, अग्रिम रणनीति की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।