Compass: SLO-aware Query Planner for Compound AI Serving at Scale
कम्पास (Compass) एक नवीन एसएलओ-जागरूक (SLO-aware) क्वेरी प्लानर है जो जटिल नियोजन समस्याओं को विघटित करके, लागत प्रभावी प्रदर्शन अनुमान के लिए चयनात्मक प्रोफाइलिंग का उपयोग करके, और सर्विस गुडथ्रूप (goodput) को अधिकतम करने तथा लागत और नियोजन विलंबता को महत्वपूर्ण रूप से कम करने के लिए द्विपक्षीय मिलान (bipartite matching) को नियोजित करके विविध परिनियोजन वातावरणों में कुशल, बड़े पैमाने पर कंपाउंड एआई सर्विंग को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-टेक रेस्टोरेंट किचन चला रहे हैं। अतीत में, शेफ (AI मॉडल्स) एक बड़े किचन (क्लाउड) में अकेले काम करते थे। लेकिन अब, "कंपाउंड AI" एक जटिल भोजन की तरह है जिसके लिए एक पूरी टीम की आवश्यकता होती है: जैसे सब्जियां काटने के लिए एक 'सॉस-शेफ', मांस पकाने के लिए एक 'ग्रिल मास्टर', एक 'सॉस एक्सपर्ट', और एक 'डिलीवरी ड्राइवर', जो एक ही व्यंजन परोसने के लिए मिलकर काम करते हैं।
समस्या क्या है? एक साथ हजारों ऑर्डर आ रहे हैं। कुछ ग्राहक चाहते हैं कि उन्हें खाना 30 सेकंड में मिल जाए (लाइव वीडियो चैट), जबकि कुछ अन्य लोग थोड़ा इंतजार करने को तैयार हैं लेकिन वे इसे सबसे सस्ता विकल्प बनाना चाहते हैं (बैच कोड जनरेशन)। इसके अलावा, आपका किचन सिर्फ एक कमरा नहीं है; आपके पास एक शानदार मुख्य किचन (क्लाउड) है, पास में एक छोटा उपग्रह किचन (एज) है, और यहाँ तक कि मदद करने के लिए घर पर खाना बनाने वाले (एज डिवाइसेस) भी हैं।
Compass एक नया, सुपर-स्मार्ट हेड शेफ (क्वेरी प्लानर) है जिसे इस अराजकता को प्रबंधित करने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:
1. समस्या: बहुत सारे विकल्प, समय की कमी
पुराने दिनों में, यदि कोई नया ऑर्डर आता था, तो हेड शेफ एक आदर्श रेसिपी खोजने की कोशिश करता था। लेकिन कंपाउंड AI के साथ, व्यंजन बनाने के लाखों तरीके हैं:
- प्लेसमेंट (स्थान): क्या कटाई मुख्य किचन में होनी चाहिए या उपग्रह किचन में?
- कॉन्फ़िगरेशन (विन्यास): क्या हमें एक विशाल, महंगे चाकू (एक बड़ा AI मॉडल) का उपयोग करना चाहिए या एक छोटे, तेज़ चाकू का?
- संसाधन (रिसोर्सेज): हमें कितने रसोइये नियुक्त करने चाहिए?
हर एक ऑर्डर के लिए एक परफेक्ट योजना खोजने में घंटों लग जाते हैं। जब तक शेफ योजना बना लेता है, तब तक ग्राहक जा चुका होता है, या खाना ठंडा हो चुका होता है। मौजूदा सिस्टम या तो बहुत धीमे थे या केवल साधारण, एकल-व्यंजन ऑर्डर्स के लिए काम करते थे।
2. समाधान: Compass की "स्मार्ट शॉर्टकट" तकनीक
Compass हर संभव रेसिपी को चखने की कोशिश नहीं करता है। इसके बजाय, यह सेकंडों में एक बेहतरीन रेसिपी खोजने के लिए तीन चतुर तरीकों का उपयोग करता है:
A. "समानता" का शॉर्टकट (सर्च ऑप्टिमाइज़र)
कल्पना कीजिए कि आपने पहले एक ग्राहक के लिए "स्पाइसी टोफू" बनाया है। अब, एक नया ग्राहक "थोड़े कम नमक के साथ स्पाइसी टोफू" का ऑर्डर देता है।
शून्य से शुरुआत करने के बजाय, Compass अपने इतिहास को देखता है। वह कहता है, "अरे, मुझे पता है कि पिछला स्पाइसी टोफू कैसा था। मैं इस ज्ञान का उपयोग यह अनुमान लगाने के लिए कर सकता हूँ कि नया वाला कैसा लगेगा।"
- रूपक (Metaphor): यह एक ऐसे शेफ की तरह है जिसे याद है कि "रेसिपी A" और "रेसिपी B" 90% समान हैं। उन्हें पूरी चीज़ को फिर से टेस्ट करने की ज़रूरत नहीं है; वे बस नमक को थोड़ा बदल देते हैं। इससे बहुत सारा समय और पैसा (GPU लागत) बचता है।
B. "टेस्ट-टेस्ट" ट्राइएज (SLO प्रोफाइलर)
यह जानने के लिए कि रेसिपी कैसी है, आपको आमतौर पर उसे पूरा बनाना पड़ता है और चखना पड़ता है। लेकिन एक विशाल AI मॉडल को बनाना महंगा है (शक्तिशाली कंप्यूटरों पर इसे चलाने में वास्तविक पैसा खर्च होता है)।
Compass एक स्मार्ट सैंपलिंग तकनीक का उपयोग करता है।
- रूपक: पूरी पिज्जा खाने के बजाय कि यह देखने के लिए कि यह कितना नमकीन है, Compass एक छोटा सा निवाला लेता है। यदि पहला निवाला स्पष्ट रूप से बहुत नमकीन है, तो वह तुरंत रुक जाता है और कहता है, "नहीं, इस रेसिपी को फेंक दो।" यदि पहला निबाला स्पष्ट रूप रूप से एकदम सही है, तो वह रुक जाता है और कहता है, "बहुत बढ़िया, इसे जारी रखें।" वह पूरा पिज्जा तभी पकाता है जब वह दुविधा में हो। यह बहुत सारा पैसा और समय बचाता है।
C. "ग्लोबल सीटिंग चार्ट" (मल्टी-क्वेरी प्लानर)
यदि आप हर ऑर्डर की अलग-अलग योजना बनाते हैं, तो आप अनजाने में सभी "ग्रिल मास्टर्स" को एक ही टेबल पर असाइन कर सकते हैं, जिससे अन्य टेबल खाली और भूखी रह जाएंगी।
Compass सभी ऑर्डर्स को एक साथ देखता है। यह लोड को संतुलित करने के लिए एक सीटिंग चार्ट बनाता है।
- रूपक: यह एक क्लब के बाउंसर की तरह है जो लोगों को एक-एक करके अंदर नहीं आने देता। वे पूरी भीड़ को देखते हैं और कहते हैं, "ठीक है, हमारे पास टेबल A पर बड़े समूह के लिए जगह है, और टेबल B पर छोटे समूह के लिए जगह है, ताकि हर किसी को बिना ज़्यादा इंतज़ार किए परोसा जा सके।" यह सुनिश्चित करता है कि पूरा किचन कुशलता से चले, न कि केवल एक व्यंजन।
3. परिणाम: तेज़, सस्ता, बेहतर
पेपर में वास्तविक दुनिया के परिदृश्यों जैसे AI एजेंटों के साथ लाइव वीडियो चैट, स्पीच-टू-टेक्स्ट और कोड जनरेशन पर Compass का परीक्षण किया गया। यहाँ क्या हुआ:
- गति (Speed): Compass ने पहले की तुलना में सेकंडों (2.4 से 5.1 गुना तेज़) में एक अच्छा प्लान खोज लिया। इसका मतलब है कि उपयोगकर्ताओं को शुरू करने के बारे में सोचने के लिए अपने AI का इंतज़ार नहीं करना पड़ेगा।
- लागत (Cost): इसने इन सेवाओं को चलाने की लागत को 3.8 से 4.5 गुना कम कर दिया। यह सही सामग्री और सही किचन का उपयोग करके उसी भोजन को बहुत कम कीमत पर पाने जैसा है।
- गुणवत्ता (Quality): इसने नियमों (SLOs) को तोड़े बिना 2.4 से 5.1 गुना अधिक ग्राहकों को सफलतापूर्वक सेवा दी।
सारांश
Compass को AI रोबोट्स के शहर के लिए परम ट्रैफिक कंट्रोलर के रूप में सोचें। हर रोबोट को जहाँ चाहे वहाँ जाने देने के बजाय (जिससे ट्रैफिक जाम और देरी होती है), Compass पूरे मानचित्र को देखता है, याद रखता है कि वह पहले कहाँ रहा है, और ट्रैफिक को निर्देशित करता है ताकि हर कोई जल्दी, सस्ते में और सुरक्षित रूप से अपने गंतव्य तक पहुँच सके। यह एक अराजक, महंगे मेश को एक सुचारू, कुशल ऑपरेशन में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।