Beyond Binary Priorities: Multi-Tier SLA Scheduling for Large Language Model Serving

आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स (LLMs) शक्तिशाली इंजनों के रूप में कार्य करते हैं जो टेक्स्ट, कोड और विचार उत्पन्न करते हैं। हालाँकि, इन इंजनों को चलाना केवल एक स्विच को चालू या बंद करने जैसा सरल कार्य नहीं है। जब कोई उपयोगकर्ता कोई अनुरोध भेजता है, तो सिस्टम को पहले इनपुट को प्रोसेस करना होता है और फिर एक बार में एक शब्द करके प्रतिक्रिया उत्पन्न करनी होती है। यह प्रक्रिया अप्रत्याशित है; एक छोटा सा प्रश्न एक सेकंड के अंश में पूरा हो सकता है, जबकि एक जटिल विश्लेषण मिनटों तक खिंच सकता है, जिससे रास्ते में कंप्यूटर मेमोरी की विशाल मात्रा खर्च होती है। क्योंकि ये अनुरोध अचानक आने वाले उछालों (bursts) में आते हैं और इनकी लंबाई में बहुत अधिक भिन्नता होती है, इसलिए इन्हें सहारा देने वाला बुनियादी ढांचा अक्सर तालमेल बिठाने में संघर्ष करता है। यदि सिस्टम प्रत्येक अनुरोध के साथ बिल्कुल एक जैसा व्यवहार करता है, तो एक विशाल, धीमा कार्य लाइन को जाम कर सकता है, जिससे तत्काल और सरल प्रश्नों को बहुत लंबे समय तक प्रतीक्षा करनी पड़ सकती है। आर्टिफिशियल इंटेलिजेंस को सर्व करने (serving) की यही केंद्रीय चुनौती है: काम के एक अराजक प्रवाह को इस तरह प्रबंधित करना कि महत्वपूर्ण कार्यों को तत्काल ध्यान मिले बिना महंगे कंप्यूटिंग पावर को बर्बाद किए बिना।

यूसी बर्कले (UC Berkeley) के शोधकर्ताओं ने इन एआई सिस्टमों के काम को प्राथमिकता देने के तरीके को फिर से कल्पित करके इस समस्या का समाधान निकाला है। उन्होंने 'ल्युम्निक्स' (Llumnix) नामक एक पिछले सिस्टम पर काम किया, जिसे लोड को संतुलित करने और बाधाओं (bottlenecks) को रोकने के लिए विभिन्न कंप्यूटर सर्वरों के बीच कार्यों को स्थानांतरित करने के लिए डिज़ाइन किया गया था। इस सिस्टम का मूल संस्करण प्रभावी तो था लेकिन सीमित था, जो केवल दो स्तर की महत्ता प्रदान करता था: तत्काल मामलों के लिए उच्च प्राथमिकता और बाकी सब के लिए सामान्य प्राथमिकता। वास्तविक व्यवसायों के लिए यह द्विआधारी (binary) विकल्प बहुत ही सरल था, जिन्हें अक्सर सेवा के पांच या अधिक स्तरों, जैसे कि प्लैटिनम, गोल्ड, सिल्वर और फ्री यूजर्स के बीच अंतर करने की आवश्यकता होती है, जिनमें से प्रत्येक के लिए गति की अलग गारंटी होती है। शोधकर्ताओं ने एक मौलिक प्रश्न पूछा: एक ऐसा सिस्टम बनाने के लिए सही संख्या में प्राथमिकता स्तर क्या हैं जो सभी उपयोगकर्ताओं के लिए निष्पक्ष हो और मशीन के लिए कुशल भी हो?

इसका उत्तर खोजने के लिए, टीम ने एक बड़े पैमाने के एआई डेटा सेंटर का एक परिष्कृत सिमुलेशन बनाया। उन्होंने इसे भौतिक हार्डवेयर पर नहीं चलाया, क्योंकि इसे टेस्ट करना अत्यधिक महंगा और धीमा होता, बल्कि इसके बजाय एक हाई-फिडेलिटी डिजिटल मॉडल का उपयोग किया जो वास्तविक कंप्यूटर चिप्स के व्यवहार की नकल करता है। इस आभासी वातावरण के भीतर, उन्होंने प्राथमिकता प्रणाली का विस्तार किया ताकि महत्व के एक से दस अलग-अलग स्तरों का समर्थन किया जा सके। उन्होंने मेमोरी प्रबंधन का एक नया तरीका भी पेश किया, जहाँ प्रत्येक प्राथमिकता स्तर को एक विशिष्ट मात्रा में "साँस लेने की जगह" (breathing room) दी जाती है ताकि यह सुनिश्चित हो सके कि वह भीड़ से दबने के बिना अपना काम पूरा कर सके। यह साँस लेने की जगह समान रूप से साझा नहीं की जाती है; इसके बजाय, जैसे-जैसे प्राथमिकता कम होती जाती है, यह तेजी से (exponentially) घटती जाती है, यह सुनिश्चित करते हुए कि सबसे महत्वपूर्ण कार्यों के पास हमेशा आवश्यक स्थान हो जबकि कम जरूरी कार्य खाली जगहों को भरते रहें।

टीम ने मौजूदा कई तरीकों के विरुद्ध इस नए सिस्टम का परीक्षण किया, जिसमें विभिन्न परिस्थितियों में हजारों सिम्युलेटेड अनुरोध चलाए गए। उन्होंने उपयोगकर्ताओं के मिश्रण को बदला, ऐसे परिदृश्य बनाए जहाँ उच्च-प्राथमिकता वाले अनुरोध दुर्लभ, सामान्य या समान रूप से वितरित थे, और उन्होंने काम के कुल वॉल्यूम को भी समायोजित किया ताकि यह देखा जा सके कि सिस्टम हल्के लोड बनाम भारी लोड के दौरान कैसा व्यवहार करता है। परिणामों ने एक स्पष्ट 'स्वीट स्पॉट' (sweet spot) का खुलासा किया। हालांकि सिस्टम तकनीकी रूप से दस प्राथमिकता स्तरों तक बिना विफल हुए संभाल सकता था, लेकिन चार से अधिक स्तर जोड़ने से प्रदर्शन में सुधार नहीं हुआ। वास्तव में, चार स्तरों के बाद, सिस्टम दक्षता खोने लगा। इतने सारे अलग-अलग श्रेणियों को प्रबंधित करने की अतिरिक्त जटिलता उस संसाधन से अधिक खपत करने लगी जो उसने बचाया था, और कार्यों को अलग करने के लाभ कम होने लगे।

इष्टतम कॉन्फ़िगरेशन चार प्राथमिकता स्तर निकला। उनके सिमुलेशन में, इस सेटअप ने सिस्टम को समग्र प्रदर्शन के लिए महत्वपूर्ण गति सुधार प्राप्त करने की अनुमति दी। सिस्टम का एंड-टू-एंड P99 लेटेंसी (latency) मानक तरीकों की तुलना में 3.13 गुना तक सुधर गया, और समग्र लागत-प्रति-लेटेंसी (cost-per-latency) 68 प्रतिशत तक गिर गई। सिस्टम ने सबसे महत्वपूर्ण उपयोगकर्ताओं को एक समर्पित लेन देकर उन्हें खुश रखने का काम किया, जबकि कम जरूरी बैकग्राउंड कार्यों को शेष स्थान में कुशलतापूर्वक आगे बढ़ने की अनुमति दी। इस संतुलन ने "कन्वे ऑफ इफेक्ट" (convoy effect) को रोका, जहाँ एक एकल धीमा कार्य तेज़ कार्यों की पूरी लाइन को रोक देता था, और कार्यों को सर्वरों के बीच गतिशील रूप से स्थानांतरित करके सभी को चलते रहने में मदद की।

शोधकर्ताओं ने यह भी पाया कि सूक्ष्म-स्तरीय प्राथमिकता (fine-grained prioritization) के लाभ इस बात पर बहुत अधिक निर्भर करते हैं कि सिस्टम कितना व्यस्त है। जब डेटा सेंटर मध्यम लोड पर होता है, तो कार्यों को अलग-अलग लेन में विभाजित करने की क्षमता शानदार काम करती है, जिससे उच्च-प्राथमिकता वाले अनुरोध तेजी से निकल जाते हैं जबकि निचले स्तर वाले प्रतीक्षा करते हैं। हालाँकि, जब सिस्टम पूरी तरह से संतृप्त (saturated) हो जाता है, यानी जब हर सर्वर अपनी अधिकतम क्षमता पर चल रहा होता है, तो कई प्राथमिकता स्तरों का लाभ कम हो जाता है। उन चरम स्थितियों में, सिस्टम इतना भरा हुआ होता है कि कार्यों को इधर-उधर ले जाने के लिए अतिरिक्त स्थान नहीं बचता, और स्तरों के बीच का अंतर कम प्रभावी हो जाता है। यह सुझाव देता है कि जबकि चार-स्तरीय मॉडल अधिकांश स्थितियों के लिए आदर्श डिज़ाइन है, यह तब सबसे अच्छा काम करता है जब इसे एक ऐसे सिस्टम के साथ जोड़ा जाए जो भार बहुत अधिक होने से पहले स्वचालित रूप से अधिक सर्वर जोड़ सके।

अंततः, यह कार्य एआई इंफ्रास्ट्रक्चर के भविष्य के लिए एक व्यावहारिक ब्लूप्रिंट प्रदान करता है। यह प्रदर्शित करता है कि एक सरल, चार-स्तरीय पदानुक्रम (hierarchy) उपयोगकर्ता की जरूरतों की पूरी श्रृंखला को कैप्चर करने के लिए पर्याप्त है, चाहे वह महत्वपूर्ण रियल-टाइम इंटरैक्शन हो या बैकग्राउंड बैच प्रोसेसिंग। एक कठोर दो-स्तरीय प्रणाली से हटकर और बहुत अधिक स्तरों के साथ डिज़ाइन को अत्यधिक जटिल बनाने के जाल से बचकर, इंजीनियर ऐसी एआई सेवाएं बना सकते हैं जो तेज़ और अधिक लागत प्रभावी दोनों हैं। अध्ययन पुष्टि करता है कि आर्टिफिशियल इंटेलिजेंस की अप्रत्याशित प्रकृति को संभालने की कुंजी सिस्टम को अधिक जटिल बनाने में नहीं, बल्कि संगठन के सटीक स्तर को खोजने में है जो इसे सांस लेने की अनुमति दे सके।