Astrolabe: Balancing Load in LLM Serving with Randomized Prediction-Guided Scheduling
एस्ट्रोलेब (Astrolabe) मल्टी-इंस्टेंस एलएलएम (LLM) सर्विंग के लिए एक रैंडमाइज्ड प्रेडिक्शन-गाइडेड शेड्यूलर है जो रिस्पॉन्स-लेंथ एस्टीमेशन, सिमुलेशन-आधारित लेटेंसी प्रेडिक्शन और पावर-ऑफ-टू-चॉइसेस डिस्पैच पॉलिसी को संयोजित करके बेहतर लोड बैलेंसिंग और कम लेटेंसी प्राप्त करता है, जिससे लागतपूर्ण माइग्रेशन-आधारित रीबैलेंसिंग की आवश्यकता समाप्त हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-टेक बेकरी चला रहे हैं जो लाखों ग्राहकों के लिए "थॉट-केक्स" (विचार-केक) बनाने में माहिर है। इस बेकरी में ओवन अविश्वसनीय रूप से शक्तिशाली हैं, लेकिन रेसिपी बहुत पेचीदा हैं। कभी-कभी कोई ग्राहक एक साधारण कुकी (एक छोटा उत्तर) मांगता है, और कभी-कभी वे दस परतों वाला वेडिंग केक (एक लंबा, जटिल उत्तर) मांगते हैं। समस्या यह है कि बेकर्स (कंप्यूटरों) को यह नहीं पता होता कि केक कितना बड़ा होगा जब तक कि वे उसे बनाना शुरू नहीं कर देते। यदि किसी बेकर को एक बहुत बड़ा ऑर्डर मिल जाता है जबकि बाकी सब खाली बैठे हैं, तो लाइन लग जाती है और ग्राहक नाराज हो जाते हैं।
इसे ठीक करने के लिए, कई बेकरियों में एक "रनर" (दौड़ने वाला व्यक्ति) होता था जो ओवन के बीच दौड़ता था, आधा पका हुआ केक पकड़ता था और उसे दूसरे खाली ओवन में ले जाता था यदि एक ओवन बहुत व्यस्त हो जाता था। इसे "माइग्रेशन" (प्रवासन) कहा जाता है। लेकिन आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन आधे पके हुए केक्स को हिलाना-डुलाना अव्यवset और धीमा काम है। यह एक विशाल, नाजुक, आधे जमे हुए केक को भीड़भाड़ वाले कमरे में ले जाने की तरह है; इसमें बहुत ऊर्जा लगती है, गलियारे जाम हो जाते हैं, और अक्सर यह पूरी बेकरी को और धीमा कर देता है। यह पेपर, जिसका शीर्षक "एस्ट्रोलेब" (Astrolabe) है, एक साहसी सवाल पूछता है: क्या होगा अगर हमें केक्स को हिलाने की ज़रूरत ही न पड़े? क्या होगा अगर हम ओवन में पहुँचने से पहले ही ऑर्डर के आकार का अनुमान लगा सकें और उसे तुरंत सही बेकर के पास भेज सकें?
इस पेपर के लेखक, कैम्ब्रिज विश्वविद्यालय के वेई डा और इवेंजेलिया कैलवियानाकी ने इस सटीक समस्या को हल करने के लिए "एस्ट्रोलेब" नामक एक नई प्रणाली बनाई है। उन्होंने पाया कि पागलों की तरह काम को इधर-उधर घुमाने के बजाय, आप एक चतुर "अनुमान लगाने वाले खेल" का उपयोग कर सकते हैं ताकि ऑर्डर्स को तुरंत सही जगह भेजा जा सके।
एस्ट्रोलेब कैसे काम करता है, इसे एक सरल संयोग के खेल का उपयोग करके समझते हैं। कल्पना कीजिए कि आपके पास एक दर्जन बेकर्स हैं। जब एक नया ऑर्डर आता है, तो हर एक बेकर से यह पूछने के बजाय कि वे कितने व्यस्त हैं (जिसमें बहुत समय लगता है) या बस किसी एक को रैंडमली चुनने के बजाय (जो जोखिम भरा हो सकता है), सिस्टम दो बेकर्स को रैंडमली चुनता है। यह जल्दी से उनसे पूछता है, "यदि आप यह ऑर्डर अभी लेते हैं, तो इसमें कितना समय लगेगा?" उनमें से एक कह सकता है, "लगभग 10 सेकंड," और दूसरा कह सकता है, "लगभग 50 सेकंड।" सिस्टम तुरंत 10-सेकंड वाले बेकर को चुन लेता है और ऑर्डर वहां भेज देता है।
यह ट्रिक "पावर-ऑफ-टू चॉइसेस" (दो विकल्पों की शक्ति) कहलाती है। यह एक भीड़भाड़ वाले कैफेटेरिया में जाने और पूरी जगह को स्कैन करने के बजाय केवल दो लाइनों की जांच करके सबसे छोटी लाइन चुनने जैसा है। पेपर दिखाता है कि यह सरल रैंडम चेक आश्चर्यजनक रूप से शक्तिशाली है। इस "क्रिस्टल बॉल" (भविष्यवाणी मॉडल) के साथ मिलकर, जो यह अनुमान लगाता है कि AI का उत्तर कितना लंबा होगा, एस्ट्रोलेब अनुरोधों को लाइन बनने से पहले ही सबसे अच्छे बेकर के पास भेजने के लिए रूट कर सकता है।
इसके परिणाम काफी प्रभावशाली हैं। अपने परीक्षणों में, एस्ट्रोलेब ने पुराने "रनर" तरीके (माइग्रेशन) जितना ही कई अनुरोधों को संभाला, लेकिन डेटा को इधर-उधर ले जाने के भारी खर्च के बिना। वास्तव में, जब बेकरी बहुत व्यस्त हो गई, तो पुराना तरीका चरमरा गया, जिससे प्रतीक्षा समय सेकंड से बढ़कर मिनटों में पहुँच गया। हालांकि, एस्ट्रोलेब ने चीजों को सुचारू बनाए रखा। इसने जवाब का पहला शब्द मिलने में लगने वाले समय को कुछ मामलों में 72% तक कम कर दिया और प्रतिस्पर्धा की तुलना में ऑर्डर्स के बाधित होने और फिर से शुरू होने की संख्या को लगभग 6 गुना कम कर दिया।
पेपर में यह भी परीक्षण किया गया है कि क्या होगा यदि "क्रिस्टल बॉल" एकदम सही न हो। भले ही भविष्यवाणियां थोड़ी गलत थीं (जो असल जिंदगी में होता है), फिर भी सिस्टम पुराने तरीकों से बेहतर काम करता रहा। ऐसा करने का कारण यह है कि चूंकि सिस्टम एक बार में केवल दो बेकर्स की तुलना करता है, इसलिए अनुमान में छोटी गलतियां उतनी मायने नहीं रखतीं जितना कि आप सोच सकते हैं। यदि दोनों बेकर्स को धीमा अनुमानित किया जाता है, तो सिस्टम बस "कम धीमे" वाले को चुन लेता है, और गणित अभी भी काम करता है।
लेखकों ने यह भी जांचा कि क्या यह काम करेगा यदि वे ओवन का प्रकार या केक का प्रकार बदल दें। उन्होंने विभिन्न मॉडल और विभिन्न सेटिंग्स का परीक्षण किया, और एस्ट्रोलेब जीतता रहा। ऐसा लगता है कि यह "अनुमान और जांच" वाला दृष्टिकोण AI सिस्टम को तेज़ और अधिक कुशल बनाए रखने का एक मजबूत तरीका है।
संक्षेप में, पेपर सुझाव देता है कि हमें लोड को संतुलित करने के लिए जटिल, भारी-भरकम सिस्टम बनाने की आवश्यकता नहीं है। इसके बजाय, थोड़ा सा रैंडमनेस और भविष्य के बारे में एक अच्छा अनुमान काम को बहुत तेज़ी से और अधिक कुशलता से कर सकता है। यह एक याद दिलाता है कि कभी-कभी, भीड़ को प्रबंधित करने का सबसे स्मार्ट तरीका हर एक व्यक्ति को नियंत्रित करना नहीं है, बल्कि उन्हें कुछ अच्छे विकल्प देना और उन्हें सबसे अच्छा रास्ता चुनने देना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।