Accelerating Offloading-Based MoE Inference by Interleaving Concurrent Requests
यह शोध पत्र Bevy को प्रस्तुत करता है, जो एक MoE इन्फरेंस सिस्टम है जो पारंपरिक प्रीफेचिंग विधियों से बेहतर प्रदर्शन करता है, क्योंकि यह समवर्ती अनुरोधों (concurrent requests) को इंटरलीव करने के लिए एक स्व-संतुलित शेड्यूलर का उपयोग करता है, जिससे वह सटीक भविष्यवाणियों पर निर्भर रहने के बजाय विशेषज्ञ फेचिंग (expert fetching) को गणना के साथ ओवरलैप कर पाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक व्यक्तिगत कंप्यूटर की शांत गूँज में, एक नए प्रकार की बुद्धिमत्ता जड़ें जमा रही है। लार्ज लैंग्वेज मॉडल्स (Large language models), जो आधुनिक चैटबॉट्स और लेखन सहायकों के पीछे के इंजन हैं, तेजी से विशाल डेटा केंद्रों से हटकर डेस्कटॉप और वर्कस्टेशन जैसे स्थानीय मशीनों की ओर बढ़ रहे हैं। यह बदलाव उपयोगकर्ताओं को इंटरनेट पर निर्भर हुए बिना इन शक्तिशाली उपकरणों को चलाने की अनुमति देता है, लेकिन यह एक भौतिक बाधा भी पेश करता है: कंप्यूटर की मेमोरी सीमित है। इन मॉडल्स को फिट करने के लिए, शोधकर्ता "मिक्सचर ऑफ एक्सपर्ट्स" (mixture of experts) नामक तकनीक का उपयोग करते हैं। एक विशाल ज्ञान पुस्तकालय की कल्पना करें जहाँ, पूछे गए प्रत्येक प्रश्न के लिए, केवल कुछ विशिष्ट पुस्तकों को पढ़ने के लिए शेल्फ से निकाला जाता है, जबकि बाकी अछूती रहती हैं। यह काम को तेज़ और कुशल बनाए रखता है। हालाँकि, एक व्यक्तिगत उपकरण पर, एक ही क्षण के लिए आवश्यक "कुछ पुस्तकें" भी एक साथ कंप्यूटर की सक्रिय मेमोरी में नहीं आ सकतीं। जब कंप्यूटर को किसी ऐसी पुस्तक की आवश्यकता होती है जो वहाँ नहीं है, तो उसे इसे एक धीमी स्टोरेज ड्राइव से लाने के लिए अपनी सोच को रोकना पड़ता है, जिससे प्रोसेसर खाली बैठा रहता है और प्रतीक्षा करता है।
वर्षों से, इस प्रतीक्षा के खेल का मानक समाधान भविष्यवाणी (prediction) रहा है। सिस्टम अनुमान लगाने की कोशिश करता है कि अगली कौन सी पुस्तकों की आवश्यकता होगी और प्रोसेसर द्वारा वर्तमान कार्य पर काम किए जाने के दौरान उन्हें पहले से ही प्राप्त कर लेता है। यह एक ऐसे लाइब्रेरियन की तरह है जो, जब आप एक अध्याय पढ़ रहे होते हैं, तो चुपचाप अगले संभावित अध्यायों को शेल्फ से निकाल लेता है ताकि जब आप पन्ना पलटें तो वे तैयार रहें। लेकिन सियोल नेशनल यूनिवर्सिटी और येल यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने पाया है कि यह रणनीति अक्सर विफल हो जाती है जब कंप्यूटर पहले से ही अपनी सक्रिय मेमोरी में पुस्तकों का एक छोटा कैश (cache) रखता है। जैसे-जैसे वह कैश सबसे उपयोगी पुस्तकों से भर जाता है, लाइब्रेरियन के अनुमान कम सटीक होते जाते हैं, जिससे उन पुस्तकों को लाने में समय और बैंडविड्थ बर्बाद होती है जिन्हें कभी खोला ही नहीं जाएगा। भविष्य का अनुमान लगाने के बजाय, शोधकर्ताओं ने एक बेहतर तरीका खोजा: बस काम को एक अलग क्रम में होने दें। विभिन्न अनुरोधों (requests) को अपनी गति से आगे बढ़ने की अनुमति देकर, सिस्टम बिना किसी अनुमान के ठीक वही प्रकट कर सकता है जिसकी आवश्यकता है, जिससे प्रतीक्षा के खाली समय को उत्पादक कार्य में बदला जा सके।
शोधकर्ताओं ने, जिनका नेतृत्व होंगसेंग यू और क्यूनघन ली ने किया, इस विचार का परीक्षण करने के लिए 'बेवी' (Bevy) नामक एक नया सिस्टम बनाया। उन्होंने देखा कि जब एक ही समय में मॉडल को कई अनुरोध भेजे जाते हैं—जैसे कि एक उपयोगकर्ता कोड समीक्षा के लिए कह रहा है जबकि सॉफ्टवेयर का दूसरा हिस्सा ईमेल की जाँच कर रहा है—तो सभी अनुरोधों को एक ही समय में एक ही पुस्तकों की आवश्यकता नहीं होती है। पारंपरिक प्रणालियों में, कंप्यूटर तब तक प्रतीक्षा करता है जब तक कि प्रत्येक अनुरोध ने अपनी आवश्यक पुस्तकें एकत्र न कर ली हों, इससे पहले कि वह उनमें से किसी के लिए भी अगला कदम शुरू कर सके। यह एक बाधा उत्पन्न करता है जहाँ प्रोसेसर तब स्थिर रहता है जब स्टोरेज ड्राइव काम कर रही होती है। बेवी इस लय को बदल देता है। यह एक ऐसे अनुरोध को अगला कदम उठाने की अनुमति देता है जिसके पास अपनी सभी पुस्तकें तैयार हैं, जबकि अन्य अनुरोध अपनी लापता पुस्तकों के आने की प्रतीक्षा करते हैं। जैसे ही तैयार अनुरोध आगे बढ़ता है, वह अगले चरण के लिए उसे किन पुस्तकों की आवश्यकता होगी, इसे स्पष्ट रूप से प्रकट कर देता है। सिस्टम फिर उन विशिष्ट पुस्तकों को प्राप्त करता है जब प्रोसेसर तैयार अनुरोध के साथ व्यस्त होता है। यह एक निर्बाध ओवरलैप बनाता है जहाँ स्टोरेज ड्राइव और प्रोसेसर दोनों एक ही समय में काम कर रहे होते हैं, लेकिन बिना किसी भविष्यवाणी की आवश्यकता के।
इसे सुचारू रूप से चलाने की कुंजी एक स्व-संतुलित शेड्यूलर (self-balancing scheduler) है जो अनुरोधों को समूहित करने का निर्णय लेता है। यदि सिस्टम केवल हर अनुरोध को अकेले चलने देता, तो प्रोसेसर को प्रत्येक अनुरोध के लिए मेमोरी से एक ही साझा पुस्तकों को बार-बार पढ़ना पड़ता, जिससे सब कुछ धीमा हो जाता। यदि यह उन सभी को बहुत कड़ाई से एक साथ समूहित करता, तो यह अनुरोधों को आगे बढ़ने का लाभ खो देता। बेवी इसे परत-दर-परत, गतिशील रूप से अनुरोधों को समूहित करके हल करता है। यदि एक ही समय में कई अनुरोध तैयार हैं, तो यह दक्षता को अधिकतम करने के लिए उन्हें एक साथ बैच करता है। यदि केवल कुछ ही तैयार हैं क्योंकि अन्य पुस्तकों की प्रतीक्षा कर रहे हैं, तो यह उन्हें छोटे समूहों में आगे बढ़ने देता है। यह लचीलापन सुनिश्चित करता है कि प्रोसेसर समूह बनने की प्रतीक्षा में कभी खाली न बैठे, और स्टोरेज ड्राइव किसी अनुरोध के पूरा होने की प्रतीक्षा में कभी खाली न रहे। सिस्टम अनुरोधों की बदलती जरूरतों के अनुसार वास्तविक समय में अनुकूलित होता है, जिससे एक ऐसा प्रवाह बनता है जहाँ गणना (computation) और फेचिंग (fetching) स्वाभाविक रूप से समानांतर चलते हैं।
इस दृष्टिकोण के परिणामों को दो अलग-अलग स्थानीय कंप्यूटिंग प्लेटफार्मों पर मापा गया, एक एप्पल चिप का उपयोग करने वाला और दूसरा 128 GB की यूनिफाइड मेमोरी और सैमसंग 9100 PRO 2 TB SSD के साथ NVIDIA Jetson AGX Thor डेवलपर किट, जो दो अलग-अलग लार्ज लैंग्वेज मॉडल्स चला रहा था। शोधकर्ताओं ने बेवी की तुलना llama.cpp जैसे लोकप्रिय सॉफ़्टवेयर में उपयोग किए जाने वाले मानक तरीके के साथ, और उपलब्ध सबसे उन्नत भविष्यवाणी-आधारित प्रणालियों के साथ की। उन्होंने पाया कि बेवी लगातार दूसरों से बेहतर प्रदर्शन करता है। विभिन्न समवर्ती अनुरोधों के परीक्षणों में, बेवी ने मानक विधि की तुलना में 3.46 गुना अधिक कार्य प्रति सेकंड और सबसे तेज़ भविष्यवाणी-आधारित प्रणाली की तुलना में 1.55 गुना अधिक कार्य प्रदान किया। सुधार सबसे महत्वपूर्ण तब था जब कंप्यूटर को एक साथ कई अनुरोधों को संभालना पड़ता था। यहाँ तक कि जब शोधकर्ताओं ने सिस्टम का परीक्षण मेमोरी में पहले से मौजूद पुस्तकों के बड़े कैश के साथ किया, जहाँ भविष्यवाणी प्रणालियाँ खराब सटीकता के कारण संघर्ष करती हैं, बेवी ने अपनी गति बनाए रखी। ऐसा इसलिए है क्योंकि बेवी ने उन पुस्तकों को लाने में समय बर्बाद नहीं किया जिनकी उसे आवश्यकता नहीं थी; उसने केवल वही फेच किया जो अनुरोधों के माध्यम से चल रहे सिस्टम द्वारा स्पष्ट रूप से आवश्यक था।
अध्ययन ने यह भी पता लगाया कि क्या बेवी के ऊपर भविष्यवाणी जोड़ने से और मदद मिलेगी। शोधकर्ताओं ने नए शेड्यूलिंग पद्धति को एक भविष्यवाणी प्रणाली के साथ मिलाने की कोशिश की, यह उम्मीद करते हुए कि दोनों मिलकर काम करेंगे। हालाँकि, उन्होंने पाया कि भविष्यवाणी कोई मूल्य नहीं जोड़ती और कभी-कभी चीजों को धीमा भी कर देती है। क्योंकि बेवी तैयार अनुरोधों के लिए आवश्यक सटीक पुस्तकों को लाने के लिए स्टोरेज लिंक को इतना व्यस्त रखता है, इसलिए अनुमानित पुस्तकों को लाने के लिए कोई अतिरिक्त समय शेष नहीं रहता है। इसके अलावा, जब सिस्टम भविष्यवाणी करने की कोशिश करता है, तो वह अक्सर गलत अनुमान लगाता है, जिससे उन पुस्तकों को लाने में बैंडविड्थ बर्बाद होती है जिनका उपयोग कभी नहीं किया जाएगा। शोधकर्ताओं ने निष्कर्ष निकाला कि इस विशिष्ट वातावरण में, जहाँ एक स्थानीय कैश पहले से ही कई आवश्यक वस्तुओं को रखता है, भविष्यवाणी करना न केवल अनावश्यक बल्कि हानिकारक है। सबसे कुशल मार्ग यह है कि अनुरोधों को उनके काम के साथ उनकी आवश्यकताओं को प्रकट करने दिया जाए और कार्य को इस तरह शेड्यूल किया जाए कि सिस्टम हमेशा कुछ उपयोगी कर रहा हो, चाहे वह गणना हो या फेचिंग।
यह कार्य यह सुझाव देता है कि स्थानीय कृत्रिम बुद्धिमत्ता (AI) को कैसे प्रबंधित किया जा सकता है, इसमें एक मौलिक बदलाव की आवश्यकता है। यह दिखाता है कि दक्षता हमेशा भविष्य के बारे में अधिक स्मार्ट होने से नहीं आती, बल्कि वर्तमान के प्रति अधिक उत्तरदायी होने से आती है। कार्यों को उनकी अपनी गति से आगे बढ़ने की अनुमति देकर और केवल तभी समूहित करके जब यह तर्कसंगत हो, सिस्टम उस खाली समय को समाप्त कर देता है जो लंबे समय से स्थानीय AI को परेशान कर रहा था। निष्कर्ष कई हार्डवेयर सेटअपों में थ्रूपुट और टाइमिंग के ठोस मापों पर आधारित हैं, जो इस नए शेड्यूलिंग पद्धति के वास्तविक दुनिया की स्थितियों में प्रदर्शन की एक स्पष्ट तस्वीर प्रदान करते हैं। शोधकर्ताओं ने यह दावा नहीं किया कि यह स्थानीय इन्फरेंस (inference) की हर समस्या को हल करता है, लेकिन उन्होंने प्रदर्शित किया कि व्यक्तिगत उपकरणों पर बड़े, मेमोरी-गहन मॉडल्स को चलाने की विशिष्ट चुनौती के लिए, संचालन के क्रम में एक सरल परिवर्तन नाटकीय सुधार ला सकता है। बेवी नामक सिस्टम इस बात का व्यावहारिक उदाहरण है कि कैसे काम के प्रवाह पर पुनर्विचार करने से मौजूदा हार्डवेयर की पूरी क्षमता को अनलॉक किया जा सकता है, जिससे शक्तिशाली बुद्धिमत्ता उपयोगकर्ता के डेस्क पर अधिक तेज़ और अधिक उत्तरदायी बन सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।