Marco-MoE: Open Multilingual Mixture-of-Expert Language Models with Efficient Upcycling
मार्को-MoE एक पूर्णतः खुला, अत्यधिक स्पार्स बहुभाषी मिक्चर-ऑफ-एक्सपर्ट्स मॉडल सुइट है जो डेंसर प्रतिस्पर्धियों की तुलना में अत्याधुनिक प्रदर्शन-से-कंप्यूट अनुपात और विभिन्न भाषाओं में बेहतर स्केलेबिलिटी प्राप्त करने के लिए कुशल अपसाइक्लिंग का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल पुस्तकालय बनाने की कोशिश कर रहे हैं जिसमें 64 अलग-अलग भाषाओं की पुस्तकें शामिल हैं। इस पुस्तकालय को बनाने का पुराना तरीका यह था कि एक बहुत ही बुद्धिमान, विशाल पुस्तकालयाध्यक्ष (लाइब्रेरियन) को काम पर रखा जाए जिसे हर एक भाषा में सब कुछ याद करना हो। समस्या यह थी कि वह पुस्तकालयाध्यक्ष अभिभूत (overwhelmed) हो जाता था। जब वे कोई नई भाषा सीखने की कोशिश करते, तो वे पुरानी भाषाएं भूलने लगते, या वे "सब कुछ थोड़ा-बहुत जानने वाले, लेकिन किसी में भी माहिर नहीं" (jack of all trades, master of none) बन जाते। शोधकर्ता इसे "बहुभाषावाद का अभिशाप" (curse of multilinguality) कहते हैं।
Marco-MoE इस पुस्तकालय को बनाने का एक नया, अधिक स्मार्ट तरीका है। एक अकेले विशाल पुस्तकालयाध्यक्ष के बजाय, इसके रचनाकारों ने विशेषज्ञों की एक विशेष टीम बनाई है जो मिलकर काम करती है, लेकिन किसी भी विशिष्ट कार्य के लिए उनमें से केवल कुछ ही उपस्थित होते हैं।
यहाँ बताया गया है कि उन्होंने इसे सरल अवधारणाओं में कैसे विभाजित किया है:
1. "विशेषज्ञ टीम" (Mixture-of-Experts)
Marco-MoE मॉडल को एक एकल मस्तिष्क के रूप में नहीं, बल्कि 200 अलग-अलग व्यक्तिगत प्रशिक्षकों (personal trainers) वाले एक जिम के रूप में सोचें।
- पुराना तरीका (Dense Models): हर बार जब आप कोई प्रश्न पूछते हैं, तो सभी 200 प्रशिक्षक एक साथ उत्तर देने की कोशिश करते हैं। यह शोर भरा, महंगा और अक्षम है।
- Marco का तरीका (Sparse MoE): जब आप स्पेनिश में कोई प्रश्न पूछते हैं, तो सिस्टम केवल 8 विशिष्ट प्रशिक्षकों को जगाता है जो स्पेनिश के विशेषज्ञ हैं। जब आप जापानी में पूछते हैं, तो 8 प्रशिक्षकों का एक अलग समूह जागता है।
- परिणाम: पुस्तकालय विशाल है (इसमें बहुत सारा कुल ज्ञान है), लेकिन किसी भी एक प्रश्न के लिए, यह अपनी मस्तिष्क शक्ति का केवल एक छोटा सा हिस्सा (लगभग 5%) उपयोग करता है। यह इसे अविश्वसनीय रूप से तेज़ और सस्ता बनाता है, भले ही यह बहुत कुछ जानता हो।
2. "नवीनीकरण" (Efficient Upcycling)
आमतौर पर, शून्य से 200 प्रशिक्षकों की टीम बनाने में वर्षों और लाखों डॉलर लगते हैं। Marco-MoE ने "अपसाइक्लिंग" (Upcycling) नामक एक चतुर तकनीक का उपयोग किया।
- कल्पना कीजिए कि उन्होंने एक मौजूदा, अच्छी तरह से प्रशिक्षित "सामान्यज्ञ" (generalist) पुस्तकालयाध्यक्ष (एक डेंस मॉडल जिसे Qwen3 कहा जाता है) को लिया जो कई चीजों में अच्छा था।
- उन्हें निकालने के बजाय, उन्होंने कार्यालय का नवीनीकरण किया। उन्होंने सामान्यज्ञ के ज्ञान को लिया और उसे छोटे, विशिष्ट टुकड़ों में काट दिया।
- फिर उन्होंने इन टुकड़ों को थोड़ा "हिलाया-डुलाया" (random noise जोड़ा) ताकि वे सभी एक जैसा न सोचें। इसने उन्हें एक बड़े, धीमे पुस्तकालयाध्यक्ष को एक तेज़, विशेष टीम में बदलने की अनुमति दी, बिना सब कुछ शून्य से फिर से प्रशिक्षित किए।
3. "पाठ्यक्रम" (सीखने का तरीका)
इस टीम ने केवल रैंडम किताबें नहीं पढ़ीं। उन्होंने एक सख्त, चार-चरणीय अध्ययन योजना का पालन किया:
- चरण 1: उन्होंने एक मजबूत नींव बनाने के लिए उच्च गुणवत्ता वाली अंग्रेजी और तर्क (reasoning) की किताबों से शुरुआत की।
- चरण 2: उन्होंने अपने तर्क को तेज करने के लिए अधिक गणित और विज्ञान की समस्याओं को जोड़ा।
- चरण 3: उन्होंने 9 नई भाषाएँ (जैसे उर्दू और कज़ाख) पेश कीं जो सीखने में कठिन थीं, यह सुनिश्चित करते हुए कि टीम "लॉन्ग-टेल" (कम प्रचलित) भाषाओं को अनदेखा न करे।
- चरण 4: उन्होंने संस्कृति पर भारी ध्यान केंद्रित किया। उन्होंने केवल शब्द नहीं सीखे; उन्होंने संदर्भ (context) सीखा। उन्होंने स्थानीय समाचार, सांस्कृतिक कहानियाँ और क्षेत्रीय इतिहास का अध्ययन किया ताकि मॉडल समझ सके कि लोग चीजें क्यों कहते हैं, न कि केवल क्या कहते हैं।
4. "अभ्यास सत्र" (Post-Training)
किताबें सीखने के बाद, टीम को इंसानों से बात करना सीखना था।
- चरण 1 (SFT): उन्होंने विशिष्ट प्रश्नों के उत्तर देने और निर्देशों का पालन करने का अभ्यास किया।
- चरण 2 (On-Policy Distillation): यह एक छात्र द्वारा गुरु से सीखने जैसा है। मॉडल ने अपने स्वयं के उत्तर उत्पन्न किए, और एक "सुपर-टीचर" (एक बहुत बड़ा AI) ने उन्हें सुधारा। मॉडल ने अपनी गलतियों से सीखा, जिससे उसकी शैली अधिक सहायक और सटीक हो गई।
परिणाम: छोटा लेकिन शक्तिशाली
पेपर का दावा है कि इस दृष्टिकोण ने दो मुख्य मॉडल बनाए:
- Marco-Nano: एक छोटा मॉडल जो केवल 0.6 बिलियन पैरामीटर्स को सक्रिय करता है। यह अपने वजन के मुकाबले कहीं बेहतर प्रदर्शन करता है, और उन बड़े मॉडलों से बेहतर प्रदर्शन करता है जो 3 से 14 गुना अधिक मस्तिष्क शक्ति का उपयोग करते हैं।
- Marco-Mini: एक थोड़ा बड़ा मॉडल (0.86 बिलियन सक्रिय पैरामीटर्स) जो अपने से 3 से 14 गुना अधिक सक्रिय पैरामीटर्स वाले प्रतिस्पर्धियों को पछाड़ देता है।
मुख्य निष्कर्ष:
Marco-MoE सिद्ध करता है कि 64 भाषाओं को अच्छी तरह से बोलने के लिए आपको एक विशाल, महंगे मस्तिष्क की आवश्यकता नहीं है। एक "विशेषज्ञ टीम" दृष्टिकोण और एक स्मार्ट नवीनीकरण रणनीति का उपयोग करके, उन्होंने ऐसे मॉडल बनाए जो वर्तमान दिग्गजों की तुलना में तेज़, सस्ते और विविध संस्कृतियों को संभालने में बेहतर हैं, और साथ ही पूरी तरह से उपयोग और अध्ययन के लिए खुले हैं।
उन्होंने यह भी पाया कि मॉडल ने स्वाभाविक रूप से भाषाओं को एक साथ समूहबद्ध करना सीख लिया (जैसे स्पेनिश, फ्रेंच और इतालवी को एक साथ रखना) ठीक वैसे ही जैसे एक मानव भाषाविद् करता है, जो यह दर्शाता है कि यह केवल रटने के बजाय भाषाओं के बीच के संबंधों को वास्तव में समझता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।