Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models
यह शोध पत्र एक्सपर्ट टायिंग (Expert Tying) को प्रस्तुत करता है, जो मिक्सचर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts) मॉडलों में लगातार ट्रांसफॉर्मर परतों के बीच एक्सपर्ट पैरामीटर्स को साझा करने की एक विधि है, जिससे प्रदर्शन पर नगण्य प्रभाव के साथ मेमोरी आवश्यकताओं को लगभग आधा कर दिया जाता है, जिससे बड़े भाषा मॉडलों के प्रशिक्षण और स्केलिंग के लिए कंप्यूट-टू-मेमोरी ट्रेड-ऑफ में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Tying the Loop" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी समस्या: "विशाल पुस्तकालय" बनाम "छोटा पाठक"
कल्पना कीजिए कि आप एक विशाल, सुपर-स्मार्ट रोबोट लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल) बना रहे हैं जो लोगों को कहानियाँ लिखने या समस्याओं को हल करने में मदद करता है।
इस लाइब्रेरियन को अविश्वसनीय रूप से स्मार्ट बनाने के लिए, आप उन्हें अरबों किताबों (ये "पैरामीटर्स" या "एक्सपर्ट्स" हैं) वाली एक विशाल लाइब्रेरी तक पहुँच देते हैं। हालाँकि, लाइब्रेरियन को तेज़ और कुशल बनाए रखने के लिए, आप यह तय करते हैं कि हर एक वाक्य पढ़ने के लिए, वे उत्तर खोजने हेतु केवल एक या दो विशिष्ट किताबें ही खोलेंगे। इसे Mixture-of-Experts (MoE) मॉडल कहा जाता है।
चुनौती: भले ही लाइब्रेरियन एक समय में केवल किताबों के एक बहुत छोटे हिस्से को पढ़ता है, फिर भी आपको पूरी लाइब्रेरी भौतिक रूप से कमरे में मौजूद रखनी पड़ती है (कंप्यूटर की मेमोरी में)। यदि लाइब्रेरी में 1,000 किताबें हैं लेकिन लाइब्रेरियन एक बार में केवल 10 ही खोलता है, तो भी आपको इतना बड़ा कमरा चाहिए जिसमें उन सभी 1,000 किताबों को रखा जा सके। इससे सिस्टम बहुत महंगा और धीमा हो जाता है क्योंकि "कमरा" (मेमोरी) बहुत बड़ा है, भले ही "पढ़ना" (कंप्यूटेशन) छोटा हो।
समाधान: "टायिंग द लूप" (Tying the Loop)
लेखक Expert Tying नामक एक चतुर तकनीक का प्रस्ताव देते हैं।
कल्पना कीजिए कि लाइब्रेरियन 32 कमरों (लेयर्स) वाले एक लंबे गलियारे में काम करता है। एक मानक सेटअप में, हर कमरे में अपनी अनूठी 1,000 किताबों का सेट होता है।
- पुराना तरीका: कमरे 1 में किताबें A–Z हैं। कमरे 2 में भी किताबें A–Z हैं (लेकिन एक अलग कॉपी)। कमरे 3 में भी किताबें A–Z हैं (एक और कॉपी)। आपको 32 किताबों के सेट की आवश्यकता है।
- नया तरीका (Expert Tying): आप महसूस करते हैं कि कमरे 1, कमरे 2 और कमरे 3 की किताबें वास्तव में बहुत समान काम कर रही हैं। इसलिए, आप उन्हें आपस में बांध (tie) देते हैं। आप किताबों का एक ही सेट रखते हैं जो एक रोलिंग कार्ट (पहियों वाली मेज) पर होता है और कमरे 1 से कमरे 2 और फिर कमरे 3 तक जाता है। लाइब्रेरियन सभी तीन कमरों में उसी भौतिक किताबों का उपयोग करता है।
परिणाम: अब आपको 32 किताबों के सेट की आवश्यकता नहीं है; आपको हर 3 कमरों के लिए केवल 1 सेट की आवश्यकता है। इससे "लाइब्रेरी" (मेमोरी) का आकार लगभग आधा हो जाता है, लेकिन लाइब्रेरियन अभी भी उतनी ही तेज़ी से पढ़ पाता है क्योंकि वह अभी भी एक समय में केवल एक ही किताब खोलता है।
गुप्त नुस्खा: क्या बांधें और क्या अलग रखें
शोधकर्ताओं ने केवल अंधाधुंध सब कुछ नहीं बांधा। उन्होंने यह पता लगाने के लिए प्रयोग किए कि वास्तव में क्या साझा किया जा सकता है बिना लाइब्रेरियन को मूर्ख बनाए।
सोचिए कि लाइब्रेरी के एक कमरे में चार भाग होते हैं:
- किताबें (Experts): वास्तविक ज्ञान।
- लाइब्रेरियन का चश्मा (Attention): वे शब्दों को कैसे देखते हैं।
- इंडेक्स कार्ड (Router): कौन सी किताब चुननी है।
- डेस्क (Normalization): वे नोट्स को कैसे व्यवस्थित करते हैं।
खोज:
- किताबों को साझा करना ठीक है: आप कई कमरों में एक ही किताबें साझा कर सकते हैं। लाइब्रेरियन अभी भी बेहतरीन काम कर सकता है क्योंकि हर कमरे में चश्मा (Attention) अलग होता है। चश्मा यह बदल देता है कि लाइब्रेरियन शब्दों को कैसे देखता है, जिससे हर कमरा अद्वितीय महसूस होता है, भले ही किताबें वही हों।
- चश्मा साझा न करें: यदि आप चश्मा भी साझा करते हैं, तो लाइब्रेरियन भ्रमित हो जाता है और गुणवत्ता गिर जाती है।
- "प्रेल्यूड और कोडा" नियम: सबसे पहला कमरा (जहाँ लाइब्रेरियन किताब लेता है) और सबसे आखिरी कमरा (जहाँ वे उत्तर लिखते हैं) को अपनी अनूठी किताबें चाहिए। यदि आप लाइब्रेरियन को शुरुआत और अंत के लिए साझा कार्ट का उपयोग करने के लिए मजबूर करते हैं, तो गुणवत्ता प्रभावित होती है। इसलिए, पहले दो और आखिरी दो कमरों को अनूठा रखें, और बीच के कमरों को आपस में बांध दें।
परिणाम: तेज़, छोटा और उतना ही स्मार्ट
पेपर ने तीन प्रसिद्ध AI मॉडलों (OLMoE, Qwen3, और DeepSeek) पर इसका परीक्षण किया। यहाँ हुआ:
- मेमोरी की बचत: विशेषज्ञों को 4 के समूहों में बांधकर, उन्होंने आवश्यक कुल मेमोरी को 40% से 50% तक कम कर दिया। यह लाइब्रेरी के आकार को आधा करने जैसा है।
- कोई मानसिक क्षति नहीं: "समझदारी" (परप्लेक्सिटी और सटीकता) में बहुत कम गिरावट आई। यह मूल, विशाल मॉडल के लगभग बराबर था।
- गति में वृद्धि: क्योंकि कंप्यूटर को मेमोरी में कम किताबें लोड करनी पड़ीं, इसलिए प्रशिक्षण प्रक्रिया 23% तेज़ हो गई।
- "पुनर्निवेश" (Reinvestment) का तरीका: चूंकि उन्होंने किताबें साझा करके इतनी जगह बचाई थी, इसलिए उन्होंने उस बची हुई जगह का उपयोग साझा कार्ट में अधिक किताबें जोड़ने के लिए किया। इसने एक ऐसा मॉडल बनाया जो मूल मॉडल से भी बेहतर था, भले ही उसने कुल मेमोरी का समान उपयोग किया।
सारांश उपमा
एक निर्माण दल (construction crew) की कल्पना करें जो एक गगनचुंबी इमारत बना रहा है।
- पुराना तरीका: हर मंजिल पर अपना अनूठा, पूरी तरह से सुसज्जित टूलबॉक्स (औजारों का डिब्बा) होता है। सभी टूलबॉक्स ले जाने वाला ट्रक बहुत बड़ा और महंगा होता है।
- नया तरीका (Tying the Loop): मंजिल 3 से 28 तक सभी एक ही टूलबॉक्स साझा करते हैं जो लिफ्ट के माध्यम से ऊपर भेजा जाता है। मंजिल 1, 2, 29 और 30 अपने स्वयं के विशेष टूलबॉक्स रखते हैं।
- परिणाम: ट्रक अब आधा आकार का है (पैसा और जगह बचा रहा है), टीम तेज़ी से काम करती है क्योंकि वे अतिरिक्त वजन नहीं ढो रहे हैं, और इमारत उतनी ही मज़बूत है। वास्तव में, क्योंकि उन्होंने ट्रक पर पैसा बचाया, उन्होंने साझा टूलबॉक्स के लिए बेहतर औज़ार खरीदे, जिससे इमारत और भी मज़बूत हो गई।
मुख्य बात: आप AI मॉडलों को बहुत छोटा और तेज़ बना सकते हैं यदि आप मॉडल की कई लेयर्स में एक ही "ज्ञान" का पुन: उपयोग करते हैं, जब तक कि आप प्रत्येक लेयर के लिए "चश्मे" (attention) को अनूठा रखते हैं और शुरुआती और अंतिम लेयर्स को अकेला छोड़ देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।