How Portable Are LLM-Serving Scheduler Rankings Across Workloads, Operating Regions, and Metrics?

आधुनिक डिजिटल परिदृश्य में, लार्ज लैंग्वेज मॉडल्स (LLMs) लेखन सहायकों से लेकर जटिल कोडिंग टूल्स तक, बुद्धिमान अनुप्रयोगों की एक विस्तृत श्रृंखला के पीछे के इंजन बन गए हैं। इन प्रणालियों को लाखों उपयोगकर्ताओं के लिए सुचारू रूप से कार्य करने के लिए, वे परिष्कृत सर्वर फार्मों पर निर्भर करते हैं जहाँ शक्तिशाली ग्राफिक्स प्रोसेसर मस्तिष्क के रूप में कार्य करते हैं। हालाँकि, ये प्रोसेसर महंगे और सीमित संसाधन हैं। जब हजारों लोग एक साथ अनुरोध भेजते हैं, तो सर्वर को यह निर्णय लेना पड़ता है कि किस अनुरोध को पहले प्रोसेस किया जाए, उन्हें एक साथ कैसे समूहबद्ध किया जाए, और मेमोरी का प्रबंधन कैसे किया जाए ताकि कोई एक उपयोगकर्ता सिस्टम को जाम न कर दे जबकि अन्य प्रतीक्षा कर रहे हों। यह निर्णय लेने की प्रक्रिया एक "शेड्यूलर" (scheduler) द्वारा संचालित होती है, जो एक सॉफ्टवेयर का टुकड़ा है जो एक ट्रैफिक कंट्रोलर की तरह कार्य करता है, जो सब कुछ कुशलतापूर्वक चलता रहे इसके लिए डेटा के प्रवाह को लगातार पुनर्गठित करता रहता है।

वर्षों से, शोधकर्ताओं ने इन शेड्यूलरों को बेहतर बनाने के नए तरीके प्रस्तावित किए हैं, यह दावा करते हुए कि उनकी विधियाँ मौजूदा तरीकों की तुलना में तेज़ या अधिक निष्पक्ष हैं। लेकिन ये दावे लगभग हमेशा बहुत विशिष्ट स्थितियों के तहत परीक्षण किए गए हैं: उपयोगकर्ता ट्रैफ़िक के एक ही प्रकार का उपयोग करके, सर्वर लोड के एक विशिष्ट स्तर पर, और सफलता को केवल एक मीट्रिक (metric) के साथ मापकर। यह एक अंध बिंदु (blind spot) पैदा करता है। एक शेड्यूलर जो अनुरोधों की एक शांत, अनुमानित धारा पर परीक्षण किए जाने पर उत्तम दिखता है, वह गतिविधि के अचानक, अराजक उछाल का सामना करने पर बुरी तरह विफल हो सकता है। मौलिक प्रश्न अनसुलझा ही रहा है: यदि किसी शेड्यूलर को डेटा के एक सेट पर सर्वश्रेष्ठ घोषित किया जाता है, तो क्या वह रैंकिंग तब भी बनी रहती है जब ट्रैफ़िक बदलता है, लोड बदलता है, या सफलता की परिभाषा बदल जाती है?

इसका उत्तर देने के लिए, न्यू जर्सी इंस्टीट्यूट ऑफ टेक्नोलॉजी के एक शोधकर्ता ने 'एलएलएम-सर्विंग शेड्यूलर पोर्टेबिलिटी बेंचमार्क' (LLM-Serving Scheduler Portability Benchmark) नामक एक कठोर परीक्षण डिजाइन किया। इन शेड्यूलरों की रैंकिंग कितनी पोर्टेबल (portable) है, यह पूछने के बजाय कि कौन सा एकल शेड्यूलर पूर्णतः सर्वश्रेष्ठ है, अध्ययन ने एक अधिक सूक्ष्म प्रश्न पूछा: इन शेड्यूलरों की रैंकिंग कितनी पोर्टेबल है? दूसरे शब्दों में, यदि आप उपयोगकर्ता ट्रैफ़िक के स्रोत को बदलते हैं, लोड की तीव्रता को बदलते हैं, या प्रदर्शन को मापने के तरीके को बदलते हैं, तो क्या सर्वश्रेष्ठ और सबसे खराब शेड्यूलरों का क्रम वही रहता है, या क्या वह बदल जाता है? शोधकर्ता ने तेरह अलग-अलग शेड्यूलिंग रणनीतियों को वास्तविक दुनिया के डेटा के 120 विशिष्ट वर्कलोड विंडोज़ के एक विशाल, जमी हुई (frozen) संग्रह के विरुद्ध चलाने के लिए एक सिमुलेशन बनाया। ये विंडोज़ तीन स्वतंत्र स्रोतों से ली गई थीं: माइक्रोसॉफ्ट के अज़्योर (Azure) क्लाउड ट्रैफ़िक, अलीबाबा के बैलियन/क्वेन (Bailian/Qwen) प्लेटफॉर्म, और माइक्रोसॉफ्ट अज़्योर ट्रेसेस का एक बड़ा डेटासेट जिसे 'बर्स्ट जीपीटी' (BurstGPT) कहा जाता है। सिस्टम का परीक्षण छह अलग-अलग ऑपरेटिंग क्षेत्रों में किया गया था, जो हल्के ट्रैफ़िक से लेकर गंभीर ओवरलोड तक फैला हुआ था, और इसका मूल्यांकन कई प्रदर्शन मीट्रिक्स का उपयोग करके किया गया था।

परिणामों ने खुलासा किया कि उत्तर एक सरल हाँ या ना नहीं है। रैंकिंग सार्वभौमिक रूप से स्थिर नहीं है, न ही यह पूरी तरह से अराजक है; यह इस बात पर बहुत अधिक निर्भर करती है कि आप किन विशिष्ट कारकों को देख रहे हैं। विभिन्न डेटा स्रोतों के बीच तुलना करने पर, अध्ययन ने पाया कि माइक्रोसॉफ्ट अज़्योर और अलीबाबा के बैलियन/क्वेन के बीच का ट्रैफ़िक लगभग पूरी तरह से एक जैसा था। यदि कोई शेड्यूलर अज़्योर पर सर्वश्रेष्ठ था, तो वह लगभग निश्चित रूप से बैलियन/क्वेन पर भी सर्वश्रेष्ठ था। हालाँकि, तीसरे स्रोत, बर्स्ट जीपीटी (BurstGPT) ने एक अलग कहानी सुनाई। जब बर्स्ट जीपीटी को तुलना में शामिल किया गया, तो सहमति काफी कम हो गई, और सहसंबंध गुणांक (correlation coefficients) 0.55 तक गिर गया। यह सुझाव देता है कि केवल अज़्योर जैसे ट्रैफ़िक पर मान्य किया गया शेड्यूलर बर्स्ट जीपीटी जैसे ट्रैफ़िक पर अपेक्षित प्रदर्शन नहीं कर पाएगा, और इसके विपरीत भी।

अध्ययन ने इस बात पर भी नज़र डाली कि रैंकिंग वास्तव में कितनी बार उलट जाती है, जिसका अर्थ है कि एक शेड्यूलर जो एक परिदृश्य में बेहतर था, वह दूसरे में बदतर हो गया। लगभग एक हजार तुलनाओं में से, केवल लगभग 3.6 प्रतिशत ने ऐसा रिवर्सल दिखाया जो सांख्यिकीय रूप से महत्वपूर्ण था और व्यवहार में इतना बड़ा था कि मायने रखे। ये रिवर्सल सभी स्थितियों में समान रूप से वितरित नहीं थे; वे विशिष्ट क्षेत्रों में केंद्रित थे, विशेष रूप से जब सिस्टम भारी लोड के तहत था। इसके अलावा, इनमें से प्रत्येक महत्वपूर्ण रिवर्सल में एक ही जोड़ी शेड्यूलिंग रणनीतियों शामिल थी और इसमें हमेशा एक तरफ बर्स्ट जीपीटी डेटा शामिल था। यह इंग दर्शाता है कि अस्थिरता सिस्टम की कोई सामान्य खामी नहीं है, बल्कि उस विशेष ट्रैफ़िक स्रोत की विशिष्ट विशेषताओं और कुछ शेड्यूलिंग तंत्रों के बीच एक विशिष्ट अंतःक्रिया (interaction) है।

सबसे आश्चर्यजनक निष्कर्ष प्रदर्शन को मापने के लिए उपयोग किए जाने वाले मीट्रिक्स से संबंधित था। शोधकर्ताओं ने परीक्षण किया कि क्या एक शेड्यूलर जो एक मीट्रिक पर उच्चतम रैंक प्राप्त करता है, जैसे कि पूर्ण अनुरोधों की संख्या, अन्य मीट्रिक्स, जैसे कि गति या निष्पक्षता पर भी उच्चतम रैंक प्राप्त करेगा। उन्होंने पाया कि जब मीट्रिक बदलता है, तो रैंकिंग आश्चर्यजनक रूप से नाजुक हो जाती है। औसतन, विभिन्न मीट्रिक्स के बीच सहमति केवल मध्यम थी, और 68.1% परीक्षण स्थितियों में, उपयोग किए जाने वाले मीट्रिक के आधार पर एकल सर्वश्रेष्ठ प्रदर्शन करने वाला शेड्यूलर बदल गया। इसका मतलब है कि "सर्वश्रेष्ठ शेड्यूलर" का दावा अक्सर इस बात पर मौन रहता है कि कौन सा विशिष्ट लक्ष्य प्राप्त किया जा रहा है; गति के लिए अनुकूलित शेड्यूलर निष्पक्षता के लिए सबसे खराब विकल्प हो सकता है, और रैंकिंग पूरी तरह से इस बात पर निर्भर करती है कि ऑपरेटर सबसे अधिक क्या महत्व देता है।

यह सुनिश्चित करने के लिए कि ये सिमुलेशन परिणाम केवल एक कंप्यूटर मॉडल के आर्टिफैक्ट्स (artifacts) नहीं हैं, शोधकर्ता ने सिमुलेशन में पाए गए सबसे नाटकीय रिवर्सल को चुना और एक मानक ग्राफिक्स प्रोसेसर का उपयोग करके वास्तविक भौतिक हार्डवेयर पर इसका परीक्षण किया। सिमुलेशन ने भविष्यवाणी की थी कि एक शेड्यूलर एक प्रकार के ट्रैफ़िक पर जीतेगा और दूसरे पर हारेगा, यानी रैंकिंग में एक बदलाव। वास्तविक हार्डवेयर पर, यह विशिष्ट बदलाव नहीं हुआ; एक शेड्यूलर दोनों बार जीता। हालाँकि, एक स्थिर रैंकिंग का एक अलग परीक्षण, जहाँ सिमुलेशन ने कोई परिवर्तन नहीं होने की भविष्यवाणी की थी, वास्तविक हार्डवेयर पर सही साबित हुआ। यह सुझाव देता है कि जबकि सिमुलेशन स्थिर रुझानों को पहचानने में अच्छा है, यह वास्तविक दुनिया में प्रत्येक विशिष्ट रिवर्सल की सटीक भविष्यवाणी नहीं कर सकता है, जो उस सीमा को रेखांकित करता है जहाँ मॉडल की निष्ठा (fidelity) समाप्त होती है।

अंततः, अध्ययन यह निष्कर्ष निकालता है कि हर स्थिति के लिए काम करने वाला कोई एक, सार्वभौमिक "सर्वश्रेष्ठ" शेड्यूलर नहीं है। एक शेड्यूलिंग रणनीति का प्रदर्शन सशर्त (conditional) होता है। यह उपयोगकर्ता ट्रैफ़िक के विशिष्ट स्रोत, सिस्टम पर वर्तमान लोड, सफलता को मापने के लिए उपयोग किए जाने वाले मीट्रिक और सेवा लक्ष्य की विशिष्ट परिभाषा पर निर्भर करता है। एक रैंकिंग जो डेटा के एक सेट पर ठोस दिखती है, उसे बिना सत्यापन के दूसरे सेट पर भी सत्य माना नहीं जा सकता है। इंजीनियरों और शोधकर्ताओं के लिए, इसका अर्थ है कि शेड्यूलरों की तुलना करने के लिए केवल एक एकल डेटासेट पर परीक्षण करने के बजाय बहुत व्यापक और अधिक सावधानीपूर्ण दृष्टिकोण की आवश्यकता है। निष्कर्ष विजेता की घोषणा नहीं करते हैं, बल्कि वे एक मानचित्र प्रदान करते हैं कि कहाँ रैंकिंग विश्वसनीय है और कहाँ उनके बदलने की संभावना है, जिससे यह सुनिश्चित होता है कि भविष्य के मूल्यांकन आवश्यक संदर्भ और सावधानी के साथ पढ़े जाएँ।