How Portable Are LLM-Serving Scheduler Rankings Across Workloads, Operating Regions, and Metrics?
यह शोध पत्र एलएलएम-सर्विंग शेड्यूलर पोर्टेबिलिटी बेंचमार्क (LSSP) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि जबकि शेड्यूलिंग पॉलिसी रैंकिंग कुछ वर्कलोड स्रोतों में मजबूत सहमति दिखाती है, वे विभिन्न ऑपरेटिंग क्षेत्रों और मूल्यांकन मेट्रिक्स के बीच महत्वपूर्ण परिवर्तनशीलता और सीमित पोर्टेबिलिटी प्रदर्शित करती हैं, जिससे यह आवश्यक हो जाता है कि शेड्यूलर तुलनाओं की व्याख्या उनके विशिष्ट प्रयोगात्मक संदर्भ के अधीन की जाए।