Predatory MoE: Serving Mixture-of-Experts with a Sequence-Local Expert Roster
यह शोध पत्र एक सीक्वेंस-लोकल एक्सपर्ट रोस्टर रणनीति प्रस्तावित करता है जो MoE मॉडल सर्विंग के दौरान मेमोरी फुटप्रिंट और एक्सपर्ट ट्रांसफर्स को नाटकीय रूप से कम करने के लिए प्रति सीक्वेंस विशेषज्ञों के एक छोटे सेट को फिक्स करता है, जो प्रशिक्षण और अनुमान दोनों के दौरान इस बाधा को निरंतर लागू करके काफी कम रेजिडेंट वेट्स के साथ लगभग फुल-रेसिडेंस थ्रूपुट प्राप्त करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम जो टेक्स्ट जनरेट करते हैं, अक्सर 'मिक्सचर ऑफ एक्सपर्ट्स' (विशेषज्ञों का मिश्रण) नामक एक डिज़ाइन पर आधारित होते हैं। एक विशाल पुस्तकालय के विशेषज्ञ ज्ञान श्रमिकों की कल्पना करें, जहाँ प्रत्येक कार्यकर्ता एक विशिष्ट, संकीर्ण विषय का विशेषज्ञ है। जब सिस्टम को किसी प्रश्न का उत्तर देने की आवश्यकता होती है, तो यह सभी विशेषज्ञों को एक साथ सक्रिय नहीं करता है। इसके बजाय, यह उस विशिष्ट क्षण के लिए सबसे प्रासंगिक विशेषज्ञों के एक बहुत छोटे समूह को चुनता है। यह दृष्टिकोण सिस्टम को अविश्वसनीय रूप से बड़ा और सक्षम बनाता है, जबकि प्रत्येक शब्द बनाने के लिए बहुत कम कंप्यूटिंग शक्ति का उपयोग करता है। हालाँकि, इन सिस्टमों को मानक कंप्यूटरों पर चलाने में एक महत्वपूर्ण बाधा है। भले ही किसी दिए गए क्षण में केवल कुछ ही विशेषज्ञों का उपयोग किया जाता है, लेकिन कंप्यूटर की मेमोरी को पूरे विशेषज्ञों के पुस्तकालय को तैयार रखने के लिए होल्ड करना चाहिए, क्योंकि सिस्टम को पहले से पता नहीं होता कि आगे किसकी आवश्यकता होगी। यह आवश्यकता मेमोरी के कुल आकार को पूरे पुस्तकालय के आकार के बराबर होने के लिए मजबूर करती है, जिससे सीमित मेमोरी वाले उपकरणों पर इन शक्तिशाली मॉडलों को चलाना कठिन हो जाता है।
शोधकर्ताओं ने इसे हल करने के लिए विशेषज्ञों को हार्ड ड्राइव पर स्टोर करने और आवश्यकता पड़ने पर उन्हें मेमोरी में लोड करने का प्रयास किया है। लेकिन इससे एक नई समस्या पैदा होती है: क्योंकि सिस्टम बिखरे हुए और अप्रत्याशित तरीके से विशेषज्ञों को चुनता है, इसलिए यह लगातार नए विशेषज्ञों को लाने (fetching) लगता है, जिससे प्रक्रिया धीमी हो जाती है। स्वतंत्र शोधकर्ता चैवेउ सोन (Chae-Woo Son) के नेतृत्व वाली एक टीम ने एक अलग सवाल पूछा: विशेषज्ञों को तेजी से लाने के बजाय, क्या वे सिस्टम को इस तरह बदल सकते हैं कि वह स्वाभाविक रूप से एक ही बातचीत के दौरान विशेषज्ञों के एक छोटे, सुसंगत समूह तक ही सीमित रहे? वे यह देखना चाहते थे कि क्या वे सिस्टम को "सीक्वेंस-लोकल" (अनुक्रम-स्थानीय) बनने के लिए प्रशिक्षित कर सकते हैं, जिसका अर्थ है कि एक बार बातचीत शुरू होने के बाद, विशेषज्ञों की वही छोटी टीम पूरी चर्चा को संभालती है, जिससे कंप्यूटर उस टीम को ही अपनी मेमोरी में रख सकता है।
शोधकर्ताओं ने पहले इस व्यवहार को सीधे तौर पर सिखाने का प्रयास किया। उन्होंने मॉडल को वर्तमान बातचीत में उपयोग किए गए विशेषज्ञों को प्राथमिकता देने के लिए प्रशिक्षित करने की कोशिश की, इस उम्मीद में कि यह आदत सिस्टम की स्थायी बुद्धिमत्ता का हिस्सा बन जाएगी। उन्होंने पाया कि हालांकि यह ट्रिक प्रशिक्षण के दौरान काम करती थी, लेकिन यह व्यवहार टिक नहीं सका। जैसे ही प्रशिक्षण का दबाव हटाया गया, सिस्टम अपने पुराने, बिखरे हुए व्यवहार पर वापस आ गया। यहाँ तक कि जब उन्होंने सिस्टम को उसके अपने पक्षपाती विकल्पों से सीखने के माध्यम से इस व्यवहार को सुदृढ़ करने की कोशिश की, तो प्रक्रिया अस्थिर हो गई और टेक्स्ट की गुणवत्ता गिर गई। अध्ययन ने निष्कर्ष निकाला कि सिस्टम एक नया कौशल नहीं सीख रहा था, बल्कि केवल एक अस्थायी नियम के प्रति प्रतिक्रिया दे रहा था। शोधकर्ताओं को एहसास हुआ कि इस व्यवहार को आंतरिक रूप से विकसित करने के लिए मजबूर करना गलत दृष्टिकोण था।
सिस्टम के मस्तिष्क को बदलने के बजाय, शोधकर्ताओं ने खेल के नियम बदलने का निर्णय लिया। उन्होंने एक सख्त, स्थायी नियम लागू किया जो प्रशिक्षण के दौरान और वास्तविक उपयोग के दौरान भी लागू होता है। इस नए नियम के तहत, टेक्स्ट के पहले कुछ शब्दों के आधार पर प्रत्येक बातचीत को विशेषज्ञों की एक छोटी, निश्चित टीम सौंपी जाती है। एक बार यह टीम चुनी जाने के बाद, सिस्टम को उस बातचीत के शेष भाग के लिए किसी और को बदलने की अनुमति नहीं है। यह नियम एक बजट की तरह कार्य करता है: कंप्यूटर को केवल उस विशिष्ट छोटी टीम को अपनी तेज़ मेमोरी में रखने की आवश्यकता है, जबकि पुस्तकालय का बाकी हिस्सा धीमे स्टोरेज ड्राइव पर रह सकता है। चूंकि पूरी बातचीत के लिए टीम निश्चित है, इसलिए कंप्यूटर को विशेषज्ञों को बार-बार बदलने की आवश्यकता नहीं होती है।
इस दृष्टिकोण के परिणाम आश्चर्यजनक थे। जब शोधकर्ताओं ने इस नियम को एक परीक्षण मॉडल पर लागू किया और इसे नए प्रतिबंधों के अनुकूल होने के लिए पुन: प्रशिक्षण का एक छोटा अवधि दी, तो सिस्टम ने नियम के बिना किए गए प्रदर्शन के लगभग बराबर प्रदर्शन किया, लेकिन मेमोरी के उपयोग में भारी कमी आई। अपने परीक्षणों में, वे केवल एक-चौथाई कुल विशेषज्ञों को मेमोरी में रख सके और फिर भी उन्होंने उस गति के लगभग बराबर प्रदर्शन प्राप्त किया जो उन्होंने सभी विशेषज्ञों को रखने पर प्राप्त किया होता। उन्होंने पुराने तरीके की तुलना में धीमे स्टोरेज ड्राइव से डेटा लाने की संख्या को तीस-बार (32 गुना) कम कर दिया। हालांकि टेक्स्ट की गुणवत्ता थोड़ी गिर गई—सबसे चरम मेमोरी-बचत परिदृश्य में लगभग पांच प्रतिशत—लेकिन इस समझौते (trade-off) ने मॉडल को बहुत छोटे, अधिक सुलभ हार्डवेयर पर चलाने की अनुमति दी।
अध्ययन ने यह भी खुलासा किया कि ये सिस्टम कैसे सीखते हैं, इसके बारे में एक अप्रत्याशित अंतर्दृष्टि मिली। शोधकर्ताओं ने पाया कि यदि किसी मॉडल को इन मेमोरी प्रतिबंधों के बिना लंबे समय तक प्रशिक्षित किया जाता है, तो बाद में इसे इस कुशल पैटर्न में बदलना कठिन हो जाता है। सिस्टम का ध्यान बिखेरने का स्वाभाविक रुझान समय के साथ मजबूत होता जाता है, जिससे बाद में मेमोरी सीमाओं के अनुकूल ढलना अधिक महंगा हो जाता है। यह सुझाव देता है कि यदि हम चाहते हैं कि ये मॉडल रोजमर्रा के उपकरणों पर कुशल हों, तो हमें उन्हें शुरुआत से ही कुशल बनाना होगा, न कि बाद में बिखराव की समस्या को ठीक करने की कोशिश करनी होगी।
यह कार्य यह दावा नहीं करता है कि इसने हर संभव स्थिति के लिए समस्या को हल कर दिया है, और शोधकर्ता सावधान रहे कि उनके परीक्षण सिंथेटिक डेटा और छोटे मॉडलों पर किए गए थे। उन्होंने देखा कि यदि बातचीत के बीच में अचानक विषय बदल जाता है, तो निश्चित टीम संघर्ष कर सकती है, हालांकि उनके परीक्षणों ने दिखाया कि विषय परिवर्तन के साथ भी, सिस्टम गुणवत्ता में मामूली गिरावट के साथ अनुकूलित हो सकता है। यह अध्ययन एक 'प्रूफ ऑफ कॉन्सेप्ट' के रूप में कार्य करता है कि मेमोरी प्रतिबंध को एक सीखने के लक्ष्य के बजाय एक नियम के रूप में मानकर, हम इन विशाल मॉडलों को बहुत अधिक व्यावहारिक बना सकते हैं। यह ध्यान हार्डवेयर को तेज़ बनाने के बजाय, इस बात पर केंद्रित करता है कि सिस्टम अपने संसाधनों का उपयोग कैसे करता है, इसके लिए स्मार्ट नियम डिजाइन करना, जो उन उपकरणों पर शक्तिशाली आर्टिफिशियल इंटेलिजेंस चलाने का मार्ग प्रशस्त करता है जो वर्तमान में उन्हें रखने के लिए बहुत छोटे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।