MoE-Prism: Disentangling Monolithic Experts for Elastic MoE Services via Model-System Co-Designs
MoE-Prism एक मॉडल-सिस्टम सह-डिज़ाइन किया गया फ्रेमवर्क है जो मोनोलिथिक विशेषज्ञों को सूक्ष्म-विशेषकों (fine-grained sub-experts) में विभाजित करके और एक -जागरूक रनटाइम को लागू करके, मिक्सचर-ऑफ़-एक्सपर्ट्स (MoE) सर्विंग में अनुरोध-स्तर की कंप्यूट इलास्टिसिटी को सक्षम बनाता है, जिससे विषम वर्कलोड के लिए थ्रूपुट में उल्लेखनीय सुधार होता है और लेटेंसी कम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अत्यंत बुद्धिमान पुस्तकालय चला रहे हैं जहाँ किताबें मनुष्यों द्वारा नहीं, बल्कि एक विशाल डिजिटल मस्तिष्क द्वारा लिखी जाती हैं जिसे 'लार्ज लैंग्वेज मॉडल' (LLM) कहा जाता है। ये मस्तिष्क हर दिन बड़े और अधिक स्मार्ट होते जा रहे हैं, लेकिन वे बिजली और कंप्यूटर शक्ति के लिए अविश्वसनीय रूप से भूखे भी हैं। इन्हें चलाने के लिए तेज़ और सस्ता बनाने के लिए, वैज्ञानिकों ने एक चतुर तरकीब निकाली जिसे "मिक्सचर-ऑफ-एक्सपर्ट्स" (MoE) कहा जाता है। एक MoE मॉडल को एक विशाल मस्तिष्क के बजाय, कई छोटे विशेषज्ञों की एक टीम के रूप में सोचें जो मिलकर काम करते हैं। जब आप कोई प्रश्न पूछते हैं, तो सिस्टम पूरी टीम को नहीं जगाता; यह केवल उन विशिष्ट विशेषज्ञों को बुलाता है जो उस विषय के लिए सबसे अच्छे हैं। यह बिल्कुल वैसा ही है जैसे किसी लाइब्रेरियन से केवल "साइंस फिक्शन" अनुभाग से किताबें लाने के लिए कहना, बजाय इसके कि वह पूरी लाइब्रेरी को आपके डेस्क तक खींच कर ले आए।
लेकिन, इसमें एक पेंच है। वर्तमान में, ये सिस्टम थोड़े कठोर हैं। चाहे आप "मौसम कैसा है?" जैसा सरल प्रश्न पूछ रहे हों या "इस 50-पृष्ठ के कानूनी अनुबंध का विश्लेषण करें" जैसा जटिल प्रश्न, सिस्टम अक्सर ठीक समान संख्या में विशेषज्ञों को जगा देता है। यह एक निर्माण दल को केवल एक फोटो फ्रेम टांगने के लिए काम पर रखने जैसा है, या एक इमारत बनाने के लिए एक अकेले इंटर्न को भेजने जैसा है। यह आसान कार्यों पर ऊर्जा बर्बाद करता है और कठिन कार्यों के लिए पर्याप्त शक्ति देने में भी विफल हो सकता है। बड़ा सवाल यह है कि क्या हम इन AI टीमों को अधिक लचीला बना सकते हैं, जिससे हम काम की कठिनाई के आधार पर विशेषज्ञों की संख्या को कम या ज्यादा कर सकें, और यह सब करते हुए सिस्टम को तेज़ और कुशल बनाए रखें?
यही वह समस्या है जिसे MOE-PRISM के पीछे के शोधकर्ताओं ने हल करने का प्रयास किया। उन्होंने महसूस किया कि जबकि विशेषज्ञों को "कम या ज्यादा करने" का विचार शानदार लगता है, वर्तमान तकनीक इसे सुचारू रूप से करने के लिए बहुत बोझिल है। उन्होंने पाया कि मौजूदा सिस्टम प्रत्येक विशेषज्ञ के साथ एक विशाल, अविभाज्य ईंट की तरह व्यवहार करता है—आप आधी ईंट का उपयोग नहीं कर सकते। यदि आपको थोड़ी कम शक्ति की आवश्यकता है, तो आपको एक पूरा विशेषज्ञ हटाना होगा, जो एक बहुत बड़ा उछाल है जो अक्सर उत्तर की गुणवत्ता को खराब कर देता है। इसके अलावा, जब सिस्टम एक साथ कई अनुरोधों को संभालने की कोशिश करता है (जैसे एक व्यस्त पुस्तकालय), तो यह उन सभी को एक साथ समूहबद्ध कर देता है और सभी के लिए "सबसे बड़ी" सेटिंग का उपयोग करता है, जिससे बैच आकार को बनाए रखने के लिए आसान अनुरोधों पर भी ऊर्जा बर्बाद होती है।
इसे ठीक करने के लिए, टीम ने MOE-PRISM नामक एक नया ढांचा बनाया। उन्होंने इस समस्या को दो कोणों से देखा: "मॉडल" (स्वयं मस्तिष्क) और "सिस्टम" (लाइब्रेरी मैनेजर)।
सबसे पहले, मॉडल पक्ष पर, उन्होंने उन विशाल "विशेषज्ञ ईंटों" को छोटे, महीन टुकड़ों में तोड़ने का तरीका निकाला। कल्पना कीजिए कि आप पनीर के एक बड़े, भारी ब्लॉक को लेकर उसे कई छोटे क्यूब्स में काट रहे हैं। उन्होंने ऐसा विशेषज्ञों के भीतर के न्यूरॉन्स (एक विशेषज्ञ के भीतर स्थित सूक्ष्म प्रसंस्करण इकाइयाँ) के सक्रिय होने के तरीके को देखकर किया। उन्होंने देखा कि किसी भी कार्य के लिए, उनके न्यूरॉन्स का एक विशिष्ट उपसमूह वास्तव में महत्वपूर्ण होता है। इसलिए, उन्होंने विशेषज्ञों को छोटे "सब-एक्सपर्ट्स" (उप-विशेषज्ञों) में विभाजित किया जो इन महत्वपूर्ण न्यूरॉन्स को एक साथ रखते हैं। यह सिस्टम को यह चुनने की अनुमति देता है कि, उदाहरण के लिए, 12 या 13 पूरे विशेषज्ञों के बीच चुनने के बजाय 12.5 सब-एक्सपर्ट्स का उपयोग किया जाए। यह उन्हें पूरे AI को फिर से प्रशिक्षित किए बिना, उपयोग की जाने वाली कंप्यूटिंग शक्ति को नियंत्रित करने के लिए एक बहुत ही सुचारू "डायल" प्रदान करता है।
दूसरे, सिस्टम पक्ष पर, उन्होंने लाइब्रेरी के लिए एक स्मार्ट "मैनेजर" बनाया। सभी अनुरोधों को एक बड़े ढेर में फेंकने और सभी के लिए उच्चतम सेटिंग का उपयोग करने के बजाय, यह नया मैनेजर उन अनुरोधों को समूहबद्ध करता है जिन्हें समान मात्रा में शक्ति की आवश्यकता होती है। यदि कई आसान प्रश्न आते हैं, तो उन्हें कम-शक्ति सेटिंग के साथ एक साथ संसाधित किया जाता है। यदि कई कठिन प्रश्न आते हैं, तो उन्हें अपना स्वयं का उच्च-शक्ति समूह मिलता है। यह सिस्टम को बैच को भरा रखने के लिए आसान कार्यों पर अत्यधिक सेवा देकर ऊर्जा बर्बाद करने से रोकता है। उन्होंने एक विशेष "ट्रैफिक कंट्रोलर" भी बनाया जो कंप्यूटर ग्राफिक्स (CUDA ग्राफ्स) को कुशलतापूर्वक संभालता है, यह सुनिश्चित करता है कि इन विभिन्न सेटिंग्स के साथ भी, सिस्टम मेमोरी संबंधी समस्याओं के कारण धीमा न पड़े।
जब उन्होंने तीन अलग-अलग लोकप्रिय AI मॉडलों पर MOE-PRISM का परीक्षण किया, तो परिणाम उत्साहजनक थे। उन्होंने पाया कि इन महीन-दानेदार विशेषज्ञों और स्मार्ट शेड्यूलिंग का उपयोग करके, वे उपलब्ध "पावर सेटिंग्स" की संख्या को 4 गुना बढ़ा सकते हैं। ऑफलाइन कार्यों के लिए उनके परीक्षणों में, इससे उनके "थ्रूपुट" (एक साथ कितने अनुरोधों को संभालने की क्षमता) में 33.9% का सुधार हुआ। ऑनलाइन कार्यों के लिए, जहाँ गति महत्वपूर्ण है, इसने मिश्रित वर्कलोड के दौरान उत्तर का पहला शब्द मिलने के समय (Time-to-First-Token) को कम कर दिया।
यह शोध पत्र सुझाव देता है कि यह दृष्टिकोण न केवल बिजली के पैसे बचाता है; यह AI को अधिक अनुकूलन योग्य बनाता है। यह साबित करता है कि आप एक एकल AI मॉडल रख सकते हैं जो "इलास्टिक" (लचीला) हो सकता है, जो कठिन कार्यों के लिए अपनी कंप्यूटिंग शक्ति को बढ़ा सकता है और आसान कार्यों के लिए इसे कम कर सकता है, और यह सब बिना बजट बिगाड़े या धीमा हुए किया जा सकता है। हालांकि वर्तमान परीक्षण दो ग्राफिक्स कार्ड वाले विशिष्ट सेटअप पर किए गए थे, परिणाम संकेत देते हैं कि AI की आंतरिक संरचना का यह "पुनर्गठन" (refactoring) और उसके काम को शेड्यूल करने के तरीके का यह "पुनर्विचार" वास्तविक दुनिया में अधिक कुशल और लचीले AI की दिशा में एक बड़ा कदम हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।