MMOE: Modernizing Diffusion Transformers with Efficient Expert Design
यह शोध पत्र ModernMOE (MMOE) का परिचय देता है, जो एक आधुनिक डिफ्यूजन ट्रांसफॉर्मर आर्किटेक्चर है जो कुशल LLM स्केलिंग सिद्धांतों—जैसे कि रूटेड एक्सपर्ट्स, शेयर्ड लाइटवेट एक्सपर्ट्स और रेसिडुअल रूटिंग—को अनुकूलित करता है ताकि एक सुलभ सिंगल-मशीन ट्रेनिंग बजट के भीतर, डेंस और पारंपरिक स्पार्स बेसलाइन्स की तुलना में तेज़ कन्वर्जेंस और बेहतर गुणवत्ता-लागत संतुलन प्राप्त किया जा सके, जो AIGC जनरेशन में उपयोग किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर पेंट करना, सपने देखना और शून्य से कला बनाना सीख रहे हैं। यह आर्टिफिशियल इंटेलिजेंस का क्षेत्र है, विशेष रूप से "जेनरेटिव एआई" (Generative AI) नामक एक शाखा, जहाँ मशीनें नई छवियाँ, वीडियो और कहानियाँ बनाती हैं। ऐसा करने के लिए, वे "फाउंडेशन मॉडल्स" (Foundation Models) नामक विशाल डिजिटल मस्तिष्कों का उपयोग करती हैं। इन मॉडल्स को पैटर्न के विशाल पुस्तकालयों के रूप में सोचें; वे जितने अधिक किताबें (डेटा) पढ़ेंगे और उनकी अलमारियाँ (पैरामीटर्स) जितनी बड़ी होंगी, वे रचना करने में उतने ही बेहतर होते जाएंगे। हालाँकि, इसमें एक पेंच है: इन पुस्तकालयों को बड़ा बनाने का मतलब आमतौर पर यह है कि उन्हें पढ़ने में बहुत लंबा समय लगेगा और उन्हें चलाने के लिए एक सुपरकंप्यूटर की आवश्यकता होगी, जो महंगा और धीमा है।
हाल ही में, वैज्ञानिकों ने इस समस्या को हल करने के लिए भाषा मॉडलों (जो टेक्स्ट लिखते हैं) द्वारा उपयोग की जाने वाली एक चतुर तकनीक की खोज की। हर सवाल के लिए लाइब्रेरी की हर एक किताब को पढ़ने के बजाय, उन्होंने कई अलग-अलग "विशेषज्ञों" (experts) वाला एक सिस्टम बनाया। जब कोई सवाल आता है, तो एक स्मार्ट गेटकीपर तय करता है कि किन कुछ विशेषज्ञों की आवश्यकता है, जबकि बाकी विशेषज्ञ कॉफी ब्रेक ले सकते हैं। इसे "मिक्सचर ऑफ एक्सपर्ट्स" (Mixture of Experts - MoE) कहा जाता है। यह विशेषज्ञों की एक टीम की तरह है जहाँ आप प्लंबर को केवल तभी बुलाते हैं जब कोई रिसाव हो, न कि डॉक्टरों, शेफ और मैकेनिकों की पूरी टीम को जगाने के लिए। बड़ा सवाल इमेज क्रिएटर्स (छवि बनाने वालों) के लिए था: क्या हम इस "केवल आवश्यक विशेषज्ञों को बुलाने" वाले ट्रिक का उपयोग इमेज जनरेटर्स को कम रचनात्मक बनाए बिना, उन्हें तेज़ और सस्ता बनाने के लिए कर सकते हैं?
यह शोध पत्र इस प्रश्न का उत्तर देने के लिए MMOE (ModernMOE) नामक एक नई प्रणाली पेश करता है। शोधकर्ताओं ने एक मानक इमेज जनरेटर लिया, जो आमतौर पर इसके मस्तिष्क के हर हिस्से को हर एक पिक्सेल पर काम करने के लिए मजबूर करता है, और उसे एक आधुनिक अपग्रेड दिया। केवल अधिक विशेषज्ञ जोड़कर और बेहतर होने की उम्मीद करने के बजाय, उन्होंने टीम के वर्कफ़्लो को फिर से डिज़ाइन किया। उन्होंने कुछ विशेष "आलसी" (lazy) विशेषज्ञ भी जोड़े जो सरल चीजें कर सकते हैं जैसे किसी छवि को कॉपी करना या कुछ भी न करना, जिससे ऊर्जा बचती है। उन्होंने एक "गेट-रेसिडुअल" (gate-residual) सिस्टम भी जोड़ा, जो गेटकीपर को यह याद रखने में मदद करता है कि उसने पिछले चरण में क्या निर्णय लिया था, ताकि उसे सब कुछ शुरू से दोबारा न सोचना पड़े। अंत में, उन्होंने विशेषज्ञों को मस्तिष्क की विभिन्न परतों (layers) में एक-दूसरे के साथ नोट्स साझा करने की अनुमति दी, ताकि जानकारी अधिक सुचारू रूप से प्रवाहित हो सके।
टीम ने आठ ग्राफिक्स कार्ड वाले एक शक्तिशाली कंप्यूटर पर इस नए MMOE सिस्टम का परीक्षण किया, जिसे 400,000 स्टेप्स तक प्रशिक्षित किया गया। उन्होंने इसकी तुलना पुराने, "डेंस" (dense) मॉडलों से की जहाँ सब कुछ हमेशा काम करता है, और अन्य "स्पार्स" (sparse) मॉडलों से भी की जिनमें केवल अधिक विशेषज्ञ हैं लेकिन कोई स्मार्ट शॉर्टकट नहीं है। परिणाम बताते हैं कि दक्षता की दौड़ में MMOE विजेता है। इसने अन्य मॉडलों की तुलना में तेजी से उच्च-गुणवत्ता वाली छवियां बनाना सीखा, और हर चेकपॉइंट पर एक कम त्रुटि स्कोर (जिसे FID कहा जाता है) प्राप्त किया। यह केवल बेहतर नहीं हुआ; यह बेहतर सस्ते में हुआ। विश्लेषण से पता चला कि सिस्टम ने अपनी "आलसी" विशेषज्ञों का उपयोग अक्सर करना सीखा, विशेष रूप से छवि बनाने के शुरुआती चरणों में, और विशेषज्ञों ने बिना भ्रमित हुए विभिन्न कार्यों में विशेषज्ञता हासिल की।
यह शोध पत्र तर्क देता है कि केवल मॉडलों को बड़ा और अधिक जटिल बनाना ही उन्हें बेहतर बनाने का एकमात्र तरीका नहीं है। इसके बजाय, भाषा मॉडलों से स्मार्ट दक्षता युक्तियों को उधार लेकर—जैसे कि हल्के वजन वाले विशेषज्ञों और सूचना साझा करने का उपयोग करके—टीम का सुझाव है कि हम ऐसे इमेज जनरेटर बना सकते हैं जो उच्च-गुणवत्ता वाले और चलाने के लिए व्यावहारिक भी हों। हालाँकि यह अध्ययन विशिष्ट प्रकार की छवियों तक सीमित था और इसने हर संभव परिदृश्य का परीक्षण नहीं किया, फिर भी इसके परिणाम दृढ़ता से संकेत देते हैं कि यह "आधुनिक दृष्टिकोण" एक आशाजनक मार्ग है, जो छवियों की गुणवत्ता और उन्हें बनाने की लागत के बीच एक बेहतर संतुलन प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।