💻 computer science

DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference

यह शोध पत्र DriftSched प्रस्तुत करता है, जो मल्टी-टेनेंट LLM इन्फरेंस के लिए एक QoS-जागरूक शेड्यूलिंग फ्रेमवर्क है जो रनटाइम टोकन अनुमान त्रुटियों को सुधारने के लिए एक ऑनलाइन फीडबैक तंत्र का उपयोग करता है, यह प्रदर्शित करते हुए कि जबकि एडेप्टिव कैलिब्रेशन अनुमान सटीकता में महत्वपूर्ण सुधार करता है, शॉर्टेस्ट-जॉब-फर्स्ट (SJF) शेड्यूलिंग पॉलिसी एंड-टू-एंड और टेल लेटेंसी में सबसे अधिक कमी लाती है।

मूल लेखक: Kathiravan Palaniappan

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kathiravan Palaniappan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही लोकप्रिय रेस्टोरेंट चला रहे हैं जिसमें केवल एक किचन (GPU) और एक शेफ है। आपके पास तीन प्रकार के ग्राहक हैं:

वीआईपी (प्रीमियम): जो अपना खाना जल्दी चाहते हैं और इसके लिए अतिरिक्त भुगतान करने को तैयार हैं।
रेगुलर (स्टैंडर्ड): जो बस एक सामान्य भोजन चाहते हैं।
बल्क बायर्स (बैच): जो बड़े कैटरिंग ट्रे का ऑर्डर दे रहे हैं और उन्हें इंतज़ार करने में कोई आपत्ति नहीं है।

समस्या क्या है? किचन काम के बोझ से दब जाता है। ऑर्डर जमा होने लगते हैं और कुछ लोग बहुत लंबा इंतज़ार करते हैं जबकि अन्यों को जल्दी परोसा जाता है। शेफ को यह तय करना होता है कि अगला खाना किसके लिए बनाना है। इसे "शेड्यूलिंग" कहा जाता है।

मुख्य समस्या: कार्यभार का अनुमान लगाना

अगला ऑर्डर किसे देना है, यह तय करने के लिए, शेड्यूलर को यह जानने की आवश्यकता है कि प्रत्येक ऑर्डर का काम कितना है।

क्या यह एक साधारण सलाद है (छोटा जॉब)?
या यह एक जटिल 5-कोर्स मील है (लंबा जॉब)?

यदि शेड्यूलर गलत अनुमान लगाता है, तो अराजकता फैल जाती है। यदि वह सोचता है कि एक बड़ा कैटरिंग ऑर्डर छोटा है, तो वह वीआईपी के त्वरित ऐपेटाइज़र से पहले उसे परोस सकता है, जिससे वीआईपी को बहुत लंबा इंतज़ार करना पड़ सकता है। इसे "वर्कलोड मिसक्लासिफिकेशन" (कार्यभार का गलत वर्गीकरण) कहा जाता है।

अनुमान लगाने के दो तरीके

पेपर, DriftSched, इस बात का परीक्षण करता है कि ऑर्डर कितना बड़ा है, इसका अनुमान लगाने के दो तरीके क्या हैं:

"लेजी गेस" (व्हाइटस्पेस प्रॉक्सी): कल्पना कीजिए कि आप ऑर्डर टिकट में शब्दों को गिन रहे हैं। यदि इसमें 10 शब्द हैं, तो यह छोटा है। यदि इसमें 100 शब्द हैं, तो यह बड़ा है। यह तेज़ और आसान है, लेकिन यह सटीक नहीं है। एक छोटा वाक्य जटिल हो सकता है और एक लंबा वाक्य सरल हो सकता है।
"एक्सपर्ट गेस" (टोकनाइज़र-अवेयर): कल्पना कीजिए कि होस्ट वास्तव में रेसिपी को पढ़ रहा है और जानता है कि इसमें कितने सामग्रियां और चरण शामिल हैं। यह सटीक है, लेकिन होस्ट को इसे गणना करने में थोड़ा अधिक समय और प्रयास लगेगा।

समाधान: DriftSched

DriftSched एक स्मार्ट सिस्टम है जो इस रेस्टोरेंट को प्रबंधित करता है। इसमें एक विशेष विशेषता है जिसे "एडेप्टिव कैलिब्रेशन" (या EMA) कहा जाता है।

इसे इस तरह समझें: यदि होस्ट "लेजी गेस" का उपयोग करता है और उसे एहसास होता है कि वह लगातार एक "टेक्निकल रिपोर्ट" मील के समय को कम आंक रहा है, तो DriftSched अपनी गलतियों से सीखता है। यह कहता है, "आह, हर बार जब हम अनुमान लगाते हैं कि एक टेक्निकल रिपोर्ट छोटी है, तो वास्तव में इसमें 20% अधिक समय लगता है। अगली बार, मैं अनुमान में 20% जोड़ दूँगा।"

समय के साथ, "लेजी गेस" लगभग "एक्सपर्ट गेस" जितना सटीक हो जाता है क्योंकि सिस्टम वास्तविक घटना के आधार पर अपनी गलतियों को सुधारता है।

पाँच शेड्यूलिंग रणनीतियाँ

पेपर ने अगला खाना किसे देना है, इसके लिए पाँच अलग-अलग नियमों का परीक्षण किया:

FIFO (फर्स्ट-इन, फर्स्ट-आउट): एक मानक टिकट लाइन की तरह। जो पहले आया, उसे पहले परोसा जाएगा। यह निष्पक्ष है, लेकिन यदि आपसे पहले किसी बल्क बायर का बड़ा ऑर्डर है, तो आप अनंत काल तक प्रतीक्षा करेंगे।
प्रायोरिटी (प्राथमिकता): वीआईपी हमेशा लाइन में सबसे आगे आ जाते हैं। रेगुलर और बल्क बायर्स इंतज़ार करते हैं। वीआईपी के लिए बेहतरीन है, लेकिन बाकी सभी के लिए बुरा है।
वेटेड (भारित): एक समझौता। वीआईपी को 50% समय, रेगुलर्स को 30% और बल्क बायर्स को 20% सेवा दी जाती है। सभी को मौका मिलता है, लेकिन वीआईपी को अधिक मिलता है।
SJF (शॉर्टेस्ट-जॉब-फर्स्ट): शेफ हमेशा सबसे छोटा, सबसे तेज़ ऑर्डर चुनता है, चाहे वह किसी का भी हो। यदि किसी बल्क बायर के पास एक छोटा साइड डिश है, तो उसे वीआईपी के मेन कोर्स से पहले पकाया जाएगा।
एजिंग प्रायोरिटी (एजिंग प्राथमिकता): प्रायोरिटी की तरह, लेकिन यदि कोई बल्क बायर बहुत लंबे समय तक इंतज़ार करता है, तो उनके टिकट को उनकी प्राथमिकता बढ़ाने के लिए एक "स्टैम्प" मिलता है ताकि वे भूखे न मरें।

उन्होंने क्या पाया?

1. सटीकता मायने रखती है, लेकिन रणनीति अधिक महत्वपूर्ण है
"एक्सपर्ट गेस" (टोकनाइज़र) का उपयोग करना "लेजी गेस" (व्हाइटस्पेस) से बेहतर है। हालाँकि, अगला ग्राहक चुनने के लिए आप जिस नियम (शेड्यूलिंग पॉलिसी) का उपयोग करते हैं, उसका प्रतीक्षा समय पर अनुमान की सटीकता से कहीं अधिक प्रभाव पड़ता है।

2. SJF गति का राजा है
शॉर्टेस्ट-जॉब-फर्स्ट (SJF) नियम सबसे तेज़ था। इसने औसत प्रतीक्षा समय को मानक लाइन (FIFO) की तुलना में लगभग 42% कम कर दिया। क्यों? क्योंकि सभी छोटे, त्वरित ऑर्डर्स को पहले निपटाकर, किचन व्यस्त और कुशल रहता है, और कम लोग एक विशाल ऑर्डर के पीछे फंसे रहते हैं।

3. प्रायोरिटी वीआईपी का राजा है
यदि आप वीआईपी को खुश रखना चाहते हैं, तो प्रायोरिटी शेड्यूलिंग सबसे अच्छी है। वीआईपी केवल ~77 सेकंड इंतज़ार करते थे, जबकि बल्क बायर्स को ~427 सेकंड इंतज़ार करना पड़ा। SJF, दूसरी ओर, इस बात की परवाह नहीं करता था कि आप कौन हैं; उसे बस इस बात से मतलब था कि आपका ऑर्डर कितना छोटा है। वास्तव में, SJF के तहत, बल्क बायर्स को कभी-कभी वीआईपी से भी तेज़ी से परोसा गया क्योंकि उनके ऑर्डर छोटे थे।

4. "लेजी गेस" को ठीक किया जा सकता है
सिस्टम का स्व-सुधार (EMA) फीचर अच्छा काम करता है। जब सिस्टम "लेजी गेस" का उपयोग करता है, तो यह अपने अनुमानों को समायोजित करना सीख जाता है, जिससे त्रुटियाँ लगभग 40% कम हो जाती हैं। हालाँकि, यदि आप पहले से ही "एक्सपर्ट गेस" (टोकनाइज़र) का उपयोग कर रहे हैं, तो स्व-सुधार से अधिक मदद नहीं मिलती क्योंकि अनुमान पहले से ही सटीक थे।

निष्कर्ष

यदि आप सबसे तेज़ समग्र सेवा चाहते हैं: SJF (शॉर्टेस्ट-जॉब-फर्स्ट) का उपयोग करें। यह कतार को सबसे तेज़ी से साफ़ करता है।
यदि आप अपने सबसे महत्वपूर्ण ग्राहकों की रक्षा करना चाहते हैं: प्रायोरिटी शेड्यूलिंग का उपयोग करें। यह गारंटी देता है कि वीआईपी को पहले परोसा जाए, भले ही इससे दूसरों को अधिक इंतज़ार करना पड़े।
परफेक्ट अनुमान लगाने की चिंता न करें: भले ही आप एक मोटा अनुमान लगाएं कि किसी ऑर्डर में कितना समय लगेगा, आपके द्वारा चुने गए शेड्यूलिंग नियम (SJF बनाम प्रायोरिटी) का अंतिम प्रतीक्षा समय पर बहुत अधिक प्रभाव पड़ता है। लेकिन यदि आप सटीक अनुमान लगा सकते हैं (टोकनाइज़र का उपयोग करके), तो सिस्टम अधिक सुचारू रूप से चलता है।

संक्षेप में: आप ग्राहकों को कैसे लाइन में लगाते हैं, यह इस बात से अधिक महत्वपूर्ण है कि आप उनके ऑर्डर के आकार का कितनी सटीकता से अनुमान लगाते हैं।