BlendServe: Optimizing Offline Inference for Auto-regressive Large Models with Resource-aware Batching
BlendServe एक ऐसा सिस्टम है जो एक रिसोर्स-अवेयर प्रीफिक्स ट्री (resource-aware prefix tree) को पेश करके ऑफलाइन ऑटो-रिग्रेसिव लार्ज मॉडल इन्फरेंस को ऑप्टिमाइज़ करता है ताकि रिसोर्स ओवरलैपिंग और प्रीफिक्स शेयरिंग को प्रभावी ढंग से संयोजित किया जा सके, जिससे vLLM और SGLang जैसे इंडस्ट्री स्टैंडर्ड्स की तुलना में 1.44x तक थ्रूपुट सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उच्च-गति वाली फैक्ट्री चलाते हैं जो कस्टम रोबोट (ये AI मॉडल हैं) बनाती है। आपका काम हजारों ऑर्डर (अनुरोधों) को प्रोसेस करना है ताकि रोबोट बनाए जा सकें।
अतीत में, यदि आप तेजी से रोबोट बनाना चाहते थे, तो आपको दो प्रकार के ऑर्डरों में से एक को चुनना पड़ता था:
- "हैवी लिफ्टिंग" (भारी वजन उठाने वाले) ऑर्डर्स: इनके लिए बहुत अधिक मांसपेशियों (कंप्यूट) की आवश्यकता होती है लेकिन स्टोरेज स्पेस बहुत कम चाहिए होता है। इसे एक ऐसे रोबोट को बनाने के ऑर्डर के रूप में सोचें जिसमें एक सुपर-स्ट्रॉन्ग हाथ तो है लेकिन कोई स्टोरेज कंपार्टमेंट नहीं है।
- "हैवी स्टोरेज" (भारी भंडारण वाले) ऑर्डर्स: इनके लिए बहुत कम मांसपेशियों की आवश्यकता होती है लेकिन बहुत अधिक स्टोरेज स्पेस की आवश्यकता होती है। इसे एक ऐसे रोबोट को बनाने के ऑर्डर के रूप में सोचें जिसके अंदर एक छोटा हाथ है लेकिन एक विशाल गोदाम है।
समस्या: फैक्ट्री फ्लोर का बॉटलनेक (रुकावट)
आपकी फैक्ट्री के पास दो मुख्य संसाधन हैं:
- मसल मशीन्स (कंप्यूट): ये तेज़ हैं लेकिन अगर इन्हें इंतज़ार करना पड़े तो ये थक जाती हैं।
- स्टोरेज शेल्व्स (मेमोरी): ये विशाल हैं लेकिन अगर इनका कुशलतापूर्वक उपयोग न किया जाए तो ये जाम हो सकती हैं।
पुराना तरीका (नेइव बैचिंग - Naive Batching):
पहले, फैक्ट्रियां बस ऑर्डरों को उनके आने के क्रम में लेती थीं। यदि आपके पास 10 "हैवी लिफ्टिंग" ऑर्डरों की लाइन होती, तो आपकी मसल मशीन्सें ओवरटाइम काम करतीं, लेकिन आपके स्टोरेज शेल्व्स खाली और बेकार बैठे रहते। फिर, यदि अगले 10 ऑर्डर "हैवी स्टोरेज" वाले होते, तो आपके स्टोरेज शेल्व्स भरे होते, लेकिन आपकी मसल मशीन्सें खाली बैठी रहतीं, हाथ पर हाथ धरे इंतज़ार करती रहतीं।
यह ईंटों से भरा ट्रक, फिर केवल पंखों (feathers) से भरने जैसा है। यदि आप उन्हें एक साथ मिला देते, तो आप जितना फिट कर सकते थे, उतना नहीं कर पाते। आपका ट्रक अक्सर आधा खाली आधा भरा रहता है।
नई समस्या:
एक और ट्रिक थी जिसका उपयोग फैक्ट्रियां करती थीं जिसे "प्रिफिक्स शेयरिंग" (Prefix Sharing) कहा जाता था। कल्पना करें कि कई ऑर्डरों के शुरुआती चरण बिल्कुल एक जैसे होते हैं (जैसे "रोबोट को नीला रंग देना")। यदि आप इन ऑर्डरों को एक के बाद एक करते हैं, तो आप केवल एक बार नीला रंग लगाते हैं और उस परिणाम का पुन: उपयोग करते हैं। यह बहुत सारा समय बचाता है।
हालाँकि, साझा करने (शेयरिंग) के लिए "सर्वश्रेष्ठ" ऑर्डर (सभी "नीला रंग देने" वाले ऑर्डरों को एक साथ करना) अक्सर सभी "हैवी लिफ्टिंग" ऑर्डरों को एक साथ और सभी "हैवी स्टोरेज" ऑर्डरों को एक साथ समूहबद्ध करने की ओर ले जाता था। इसने "मिक्सिंग" (मिश्रण) की रणनीति को बर्बाद कर दिया, जिससे आपकी मशीनें फिर से आधी खाली रह गईं।
समाधान: ब्लेंडसर्व (BlendServe)
लेखकों ने BlendServe नामक एक सिस्टम बनाया है। इसे एक सुपर-स्मार्ट फैक्ट्री मैनेजर के रूप में सोचें जो काम के क्रम को दोनों तरफ से बेहतर बनाने के लिए पुनर्गठित कर सकता है।
1. "रिसोर्स-अवेयर" ट्री (संसाधन-जागरूक वृक्ष):
एक साधारण रेखा के बजाय, BlendServe सभी ऑर्डरों को एक विशाल फैमिली ट्री (वंशवृक्ष) में व्यवस्थित करता है।
- ब्रांचेस (शाखाएं): वे ऑर्डर जो एक ही शुरुआती चरणों को साझा करते हैं (प्रिफिक्स शेयरिंग)।
- लेबल्स (लेबल): प्रत्येक शाखा को इस बात का लेबल दिया जाता है कि उसे कितने "मसल" बनाम "स्टोरेज" की आवश्यकता है।
2. "डुअल स्कैनर" एल्गोरिदम:
यही वह जादू है। मैनेजर केवल एक तरफ से नहीं चलता। वे एक ही समय में पेड़ के दोनों सिरों पर खड़े होते हैं:
- वे बाईं ओर से एक "हैवी लिफ्टिंग" ऑर्डर लेते हैं।
- वे दाईं ओर से एक "हैवी स्टोरेज" ऑर्डर लेते हैं।
- वे उन्हें एक ही बैच में एक साथ रखते हैं।
परिणाम:
अब, जब फैक्ट्री चलती है, तो आपकी मसल मशीन्सें कड़ी मेहनत कर रही होती हैं जबकि स्टोरेज शेल्व्स भरे जा रहे होते हैं। वे एक-दूसरे की मदद कर रहे होते हैं। ट्रक पूरी तरह से ईंटों और पंखों के एक आदर्श मिश्रण के साथ भरा हुआ है।
यह क्यों मायने रखता है
पेपर का दावा है कि इस चतुर मिश्रण को करने के साथ-साथ "साझा चरणों" को एक साथ रखने से, BlendServe क्या कर सकता है:
- यह वर्तमान शीर्ष प्रणालियों (जैसे vLLM और SGLang) की तुलना में फैक्ट्री की गति को 44% तक बढ़ा सकता है।
- यह सैद्धांतिक "परफेक्ट" गति का 90% हिस्सा प्राप्त कर लेता है। कल्पना कीजिए कि परफेक्ट स्पीड 100 मील प्रति घंटा है; BlendServe आपको 90 मील प्रति घंटा तक ले जाता है, जबकि अन्य सिस्टम शायद केवल 60 या 70 मील प्रति घंटा तक ही पहुँच पाते हैं।
पेच (और उन्होंने इसे कैसे हल किया)
पेपर स्वीकार करता है कि यह अनुमान लगाना कठिन है कि एक "हैवी स्टोरेज" ऑर्डर में कितना समय लगेगा क्योंकि AI एक बार में एक शब्द करके टेक्स्ट जेनरेट करता है। इसे ठीक करने के लिए, BlendServe ऑर्डरों के एक छोटे नमूने पर एक त्वरित "टेस्ट रन" करता है ताकि यह अनुमान लगाया जा सके कि उन्हें कितना समय लगेगा, फिर उन अनुमानों का उपयोग करके आदर्श मिश्रण बनाया जाता है। भले ही अनुमान थोड़ा गलत हो, सिस्टम इतना मजबूत है कि वह चलते समय खुद को ढाल सके।
संक्षेप में, BlendServe एक स्मार्ट शेड्यूलर है जो आपकी कंप्यूटर को खाली बैठने से रोकता है। यह विभिन्न प्रकार के AI कार्यों को एक साथ मिलाता है ताकि आपके कंप्यूटर का दिमाग और मेमोरी एक पूर्ण सामंजस्य में काम कर सकें, जिससे ऑफलाइन AI प्रोसेसिंग बहुत तेज़ और सस्ती हो जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।