MoganBert-TR: A Turkish Encoder Foundation Model Trained from Scratch with a CLM-to-MLM Curriculum
यह शोध पत्र MoganBert-TR को प्रस्तुत करता है, जो एक 149M-पैरामीटर वाला तुर्की एनकोडर फाउंडेशन मॉडल है जिसे एक नवीन CLM-to-MLM करिकुलम और विशेष लॉन्ग-कॉन्टेक्स्ट शेड्यूलिंग का उपयोग करके स्क्रैच से प्रशिक्षित किया गया है, जो तुर्की NLP बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है और एक अत्यधिक कुशल एम्बेडिंग मॉडल प्रदान करता है जो अपने 7.57B-पैरामीटर वाले शिक्षक के स्कोर का 99.5% तक पहुँच जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, कंप्यूटर द्वारा मानव भाषा को समझने के दो मुख्य तरीके हैं। एक दृष्टिकोण, जो अक्सर समाचारों में रहता है, उन मॉडलों से संबंधित है जो टेक्स्ट उत्पन्न करते हैं, यानी शून्य से कहानियाँ लिखते हैं या प्रश्नों के उत्तर देते हैं। दूसरा, शांत लेकिन समान रूप से महत्वपूर्ण दृष्टिकोण, उन मॉडलों का उपयोग करता है जो शक्तिशाली खोज इंजनों और क्लासिफायर (वर्गीकरण करने वाले) के रूप में कार्य करते हैं। ये "एन्कोडर" मॉडल एक वाक्य को पढ़ते हैं और उसे एक संक्षिप्त गणितीय सारांश में बदल देते हैं, जिससे कंप्यूटर विचारों की तुलना करने, प्रासंगिक दस्तावेज़ खोजने या जानकारी को अविश्वसनीय गति से छाँटने में सक्षम होता है। वर्षों से, इन मॉडलों को सिखाने का मानक तरीका एक विशिष्ट प्रकार का अनुमान लगाने वाला खेल रहा है: कंप्यूटर एक वाक्य देखता है जिसमें कुछ शब्द छिपे होते हैं और उसे लुप्त भागों की भविष्यवाणी करनी होती है। इस पद्धति को 'मास्क्ड लैंग्वेज मॉडलिंग' के रूप में जाना जाता है, इसने अच्छा काम किया है, लेकिन शोधकर्ता लंबे समय से यह सोच रहे थे कि क्या मशीन को भाषा की संरचना सिखाने का कोई बेहतर तरीका है, विशेष रूप से उन भाषाओं के लिए जो जटिल और शब्द रूपों में समृद्ध हैं, जैसे कि तुर्की।
शोधकर्ताओं की एक टीम ने अब तुर्की भाषा की समझ के लिए एक नया आधार तैयार किया है, यह प्रदर्शित करते हुए कि मॉडल को सिखाने का तरीका उतना ही महत्वपूर्ण है जितना कि वह ढांचा जिस पर इसे बनाया गया है। उन्होंने 'मोगनबर्ट-टीआर' (MoganBert-TR) नामक एक मॉडल बनाया, जिसे तुर्की टेक्स्ट के एक विशाल संग्रह पर शुरू से प्रशिक्षित किया गया है। पारंपरिक अनुमान लगाने वाले खेल पर टिके रहने के बजाय, उन्होंने एक दो-चरणीय शिक्षण पाठ्यक्रम (curriculum) पेश किया। पहले, मॉडल ने बाएं से दाएं टेक्स्ट को पढ़ना सीखा, जिसमें अनुक्रम में अगले शब्द की भविष्यवाणी की गई, बिल्कुल वैसे ही जैसे एक इंसान किताब पढ़ता है। इस प्रारंभिक चरण के बाद ही उन्होंने पारंपरिक पद्धति को अपनाया, जिसमें शब्दों को छिपाकर उन्हें भरने के लिए मॉडल से कहा जाता है। शिक्षण रणनीति में इस बदलाव ने, एक सावधानीपूर्वक साफ किए गए डेटासेट और लंबे वाक्यों को संभालने के एक नए तरीके के साथ मिलकर, एक ऐसा मॉडल तैयार किया जो पिछले संस्करणों की तुलना में तुर्की को बेहतर समझता है, विशेष रूप से बड़े डेटाबेस में प्रासंगिक जानकारी खोजने के मामले में।
शोधकर्ताओं ने इंटरनेट से हाल के वेब पेजों और पुराने अभिलेखागारों सहित टेक्स्ट की एक विशाल मात्रा एकत्र करके शुरुआत की, लेकिन उन्होंने इस डेटा को सीधे प्रशिक्षण प्रणाली में नहीं डाला। उन्होंने निम्न-गुणवत्ता वाली सामग्री, जैसे स्पैम या दोहराव वाले विज्ञापनों को बाहर निकालने और यह सुनिश्चित करने के लिए कि टेक्स्ट वास्तव में उपयोगी है, एक परिष्कृत पाइपलाइन बनाई। चूंकि तुर्की टेक्स्ट की गुणवत्ता को स्वचालित रूप से आंकने के लिए कोई मौजूदा उपकरण नहीं था, इसलिए उन्होंने एक छोटे, विशेष मॉडल को एक शिक्षक के रूप में प्रशिक्षित किया, जिसने फिर एक तेज़ सिस्टम को यह सिखाया कि समान गुणवत्ता संबंधी निर्णय कैसे बनाए जाएं। इसने उन्हें लाखों दस्तावेजों को कुशलतापूर्वक संसाधित करने की अनुमति दी, जिससे केवल उच्च-गुणवत्ता वाली सामग्री ही बची। उन्होंने मॉडल के लिए एक नया शब्दकोश भी बनाया, जो तुर्की शब्दों को पिछले प्रयासों की तुलना में अधिक कुशलता से छोटे टुकड़ों में तोड़ता है, जो कि अत्यंत महत्वपूर्ण है क्योंकि तुर्की शब्द वाक्य में उनकी भूमिका के आधार पर अपना रूप काफी बदल सकते हैं।
उनकी खोज का मूल संचालन के क्रम (order of operations) में निहित है। उन्होंने परीक्षण किया कि क्या शब्द-छिपाने वाली पद्धति पर स्विच करने से पहले बाएं-से-दाएं भविष्यवाणी पद्धति से शुरू करने से कोई अंतर पड़ता है। समान कंप्यूटिंग शक्ति और समान डेटा का उपयोग करते हुए एक नियंत्रित प्रयोग में, नया दो-चरणीय दृष्टिकोण सूचना प्राप्त करने के मामले में पारंपरिक पद्धति से कहीं बेहतर रहा। जबकि दोनों पद्धतियां सरल वर्गीकरण कार्यों पर समान प्रदर्शन करती थीं, नया दृष्टिकोण एक खोज परीक्षण में प्रासंगिक दस्तावेज़ खोजने में लगभग चार गुना बेहतर था। शोधकर्ताओं ने पाया कि पारंपरिक पद्धति ने मॉडल के आंतरिक प्रतिनिधित्व को एक संकीर्ण, अनुपयोगी आकार में ढहा दिया, जहाँ सभी अर्थ बहुत समान दिखने लगे। नए पाठ्यक्रम ने इस पतन को रोका, जिससे मॉडल को भाषा के अर्थ का एक व्यापक और अधिक विशिष्ट दृश्य बनाए रखने में मदद मिली।
मॉडल को और अधिक परिष्कृत करने के लिए, शोधकर्ताओं ने प्रयोग किया कि प्रशिक्षण के अंतिम चरणों के दौरान कंप्यूटर कैसे सीखता है। उन्होंने प्रक्रिया को दो पथों में विभाजित किया: एक जहाँ मॉडल छोटे वाक्यों के साथ सीखना जारी रखता है, और दूसरा जहाँ वह बहुत लंबे वाक्यों के साथ सीखता है। इन दो पथों के परिणामों की तुलना करके, उन्होंने पाया कि प्रशिक्षण को छोटे वाक्यों के साथ समाप्त करने से लंबे वाक्यों के साथ समाप्त करने की तुलना में मॉडल के समग्र प्रदर्शन में वास्तव में सुधार हुआ। यह खोज आश्चर्यजनक थी, क्योंकि अक्सर यह माना जाता है कि लंबा संदर्भ बेहतर होता है। उन्होंने "मॉडल सूप" नामक एक तकनीक का भी परीक्षण किया, जहाँ उन्होंने विभिन्न प्रशिक्षित मॉडलों के भार (weights) को आपस में मिलाकर औसत निकाला, इस उम्मीद में कि इससे दोनों तरफ का सर्वश्रेष्ठ परिणाम मिलेगा। हालाँकि, उनके सरल ब्रांचिंग पद्धति ने, जिसमें चलाने के लिए बहुत कम अतिरिक्त लागत आई, जटिल औसत तकनीक की तुलना में बेहतर परिणाम दिया।
अंतिम उत्पाद, मोगनबर्ट-टीआर (MoganBert-TR) ने इस अध्ययन में उपयोग किए गए आधुनिक आर्किटेक्चर पर आधारित तुर्की मॉडलों में उच्चतम स्कोर प्राप्त किया। इसने कोड पुनर्प्राप्ति (code retrieval) से जुड़े कार्यों में असाधारण प्रदर्शन किया, यानी प्राकृतिक भाषा विवरणों से प्रोग्रामिंग कोड के सही अंश खोजना, एक ऐसा कार्य जहाँ इसने पुराने मॉडलों को काफी पीछे छोड़ दिया। इस सफलता का श्रेय उनके नए शब्दकोश को दिया गया, जो कोड के स्पेसिंग और संरचना को सुरक्षित रखता है, और प्रशिक्षण डेटा में प्रोग्रामिंग टेक्स्ट की उच्च मात्रा को जानबूझकर शामिल करने को मिला। टीम ने एक साथी मॉडल भी बनाया जिसे विशेष रूप से टेक्स्ट के खोज-अनुकूल सारांश बनाने के लिए डिज़ाइन किया गया है। इस छोटे मॉडल को एक बहुत बड़े, अधिक शक्तिशाली शिक्षक की नकल करने के लिए सिखाकर, उन्होंने एक ऐसा परिणाम प्राप्त किया जो विशाल शिक्षक के लगभग उतना ही अच्छा था, लेकिन इसे चलाने के लिए इक्यावन गुना कम कंप्यूटिंग शक्ति की आवश्यकता थी।
यह कार्य इस बात को रेखांकित करता है कि तुर्की जैसी भाषाओं के लिए, केवल मॉडल की संरचना को अपडेट करना पर्याप्त नहीं है; प्रशिक्षण पद्धति को स्वयं पुनर्कल्पित किया जाना चाहिए। शोधकर्ताओं ने दिखाया कि एक दो-चरणीय पाठ्यक्रम, जो क्रमिक भविष्यवाणी से शुरू होकर शब्द मास्किंग की ओर बढ़ता है, भाषा की अधिक मजबूत समझ बनाता है। उन्होंने यह भी प्रदर्शित किया कि प्रशिक्षण के अंतिम चरण एक महत्वपूर्ण डिज़ाइन स्पेस हैं जहाँ छोटे बदलाव, जैसे कि संसाधित किए जा रहे टेक्स्ट की लंबाई, प्रदर्शन पर मापने योग्य प्रभाव डाल सकते हैं। हालाँकि मॉडल में कुछ विशिष्ट क्षेत्रों में कुछ कमजोरियाँ अभी भी हैं, जैसे कि कुछ व्याकरणिक परीक्षणों में वाक्य संरचना को समझना, लेकिन यह एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। टीम ने अपने मॉडल, शब्दकोश और इसे बनाने के लिए उपयोग किए गए कोड को जनता के लिए उपलब्ध कराया है, जिससे अन्य लोग तुर्की भाषा प्रौद्योगिकी के लिए इस आधार पर निर्माण कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।