🤖 AI

Coral: Cost-Efficient Multi-LLM Serving over Heterogeneous Cloud GPUs

कोरल (Coral) एक अनुकूलनशील, विषमता-जागरूक (heterogeneity-aware) मल्टी-एलएलएम (multi-LLM) सर्विंग सिस्टम है जो विविध क्लाउड जीपीयू (cloud GPUs) में संसाधन आवंटन और सर्विंग रणनीतियों को संयुक्त रूप से अनुकूलित करता है, जिससे तेज़, निकट-इष्टतम निर्णय लेने में सक्षम बनाने के लिए एक हानिरहित दो-चरणीय अपघटन (lossless two-stage decomposition) का उपयोग करके 2.79 $\times$ लागत कमी और 2.39 $\times$ उच्च गुडथ्रूप (goodput) प्राप्त होता है।

मूल लेखक: Yixuan Mei, Zikun Li, Zixuan Chen, Shiqi Pan, Mengdi Wu, Xupeng Miao, Zhihao Jia, K. V. Rashmi

प्रकाशित 2026-05-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yixuan Mei, Zikun Li, Zixuan Chen, Shiqi Pan, Mengdi Wu, Xupeng Miao, Zhihao Jia, K. V. Rashmi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, उच्च श्रेणी का रेस्टोरेंट किचन चला रहे हैं। अतीत में, सभी का मानना था कि हर एक व्यंजन तैयार करने के लिए आपको सबसे महंगे, अत्याधुनिक हेड शेफ और सबसे बड़े, सबसे तेज़ स्टोव की आवश्यकता होती है। हालाँकि, लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया में - जो चैटबॉट्स और कोड जनरेटर के पीछे के AI दिमाग हैं - यह बदल गया है। कुछ कोडिंग करने में माहिर हैं, कुछ बातचीत करने में, और कुछ केवल सरल कार्यों के लिए उपयुक्त हैं।

इसके अलावा, "किचन" (क्लाउड सर्वर) विभिन्न उपकरणों का एक अराजक मिश्रण है। आपके पास सुपर-फास्ट, महंगे "H100" स्टोव हैं, फिर भी वे अक्सर बिक जाते हैं। आपके पास पुराने, सस्ते "L4" या "A100" स्टोव भी हैं जो उपलब्ध हैं और आश्चर्यजनक रूप से प्रति डॉलर समान रूप से बहुत अधिक कुकिंग पावर प्रदान करते हैं।

समस्या यह है: आप 46 अलग-अलग व्यंजनों (मॉडल्स) को महंगे और सस्ते स्टोव्स के मिश्रण के साथ बिना पैसा बर्बाद किए या ग्राहकों को इंतज़ार कराए कैसे चला सकते हैं?

यही वह समस्या है जिसे कोरल (Coral) हल करता है।

पुराना तरीका: "एक ही आकार सबके लिए" वाली गलती

पिछले सिस्टमों ने इसे हर व्यंजन को एक 'ब्लैक बॉक्स' मानकर हल करने की कोशिश की। उन्होंने कहा: "कोड लिखने वाले व्यंजन के लिए, हमें एक पूरे H100 स्टोव की आवश्यकता है। चैट वाले व्यंजन के लिए, हमें एक A100 चाहिए।" उन्होंने यह नहीं देखा कि क्या वे स्टोव के हिस्सों को मिला सकते हैं और अनुकूलित कर सकते हैं।

इससे दो प्रमुख समस्याएं हुईं:

पैसा बर्बाद हुआ: उन्होंने अक्सर सबसे महंगे उपकरण खरीदे, भले ही एक सस्ता मिश्रण भी उतना ही अच्छा काम कर सकता था।
अवरोध (Bottlenecks): जब महंगे स्टोव खत्म हो गए, तो पूरा किचन रुक गया, भले ही उनके पास कई सस्ते स्टोव खाली बैठे थे।

कोरल समाधान: "इंटेलिजेंट मिक्स-एंड-मैच" हेड शेफ

कोरल एक बुद्धिमान हेड शेफ की तरह है जो यह समझता है कि एक अकेले व्यंजन को केवल एक ही प्रकार के स्टोव पर तैयार करने की आवश्यकता नहीं है। इसके बजाय, कोरल खाना पकाने की प्रक्रिया को चरणों में विभाजित करता है और प्रत्येक चरण के लिए परफेक्ट स्टोव असाइन करता है।

यह कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए देखें:

1. दो-चरण की रणनीति (ऑफलाइन बनाम ऑनलाइन)

कोरल खुद को अभिभूत होने से बचाने के लिए अपनी सोच को दो भागों में विभाजित करता है:

चरण 1: रेसिपी बुक (ऑफलाइन)
रेस्टोरेंट खुलने से पहले, कोरल एक विशाल "रेसिसी बुक" बनाने में समय बिताता है। हर संभावित व्यंजन (मॉडल) और स्टोव्स (GPUs) के हर संभावित संयोजन के लिए, यह गणना करता है कि उसे तैयार करने का सबसे अच्छा तरीका क्या है।
- उदाहरण: यह निर्धारित करता है कि "Qwen-3 235B" व्यंजन के लिए, पहले हिस्से (प्रिफिल/Prefill) को पकाने का सबसे अच्छा तरीका तीन सस्ते L40S स्टोव और दो महंगे H100 स्टोव का एक विशिष्ट क्रम में उपयोग करना है।
- यह इन परफेक्ट "रेसिपीज़" को सर्विंग टेम्पलेट्स (Serving Templates) के रूप में लिखता है। इसमें समय लगता है लेकिन इसे केवल एक बार करने की आवश्यकता होती है।
चरण 2: दैनिक शिफ्ट (ऑनलाइन)
जब रेस्टोरेंट खुलता है और ऑर्डर आने लगते हैं, तो कोरल खाना पकाने के लिए फिर से शून्य से सोचने के लिए नहीं रुकता। यह बस अपनी रेसि रेसिपी बुक को देखता है।
- यह जाँचता है: "हमारे पास वर्तमान में 5 L40s और 2 H100 उपलब्ध हैं। हमें 100 Qwen-3 व्यंजन तैयार करने की आवश्यकता है।"
- यह तुरंत उस पूर्व-निर्धारित रेसिपी को चुन लेता है जो इन विशिष्ट स्टोवर्स के अनुकूल है और ग्राहक की गति की आवश्यकताओं को पूरा करती है।
- चूंकि कठिन गणित पहले ही किया जा चुका था, कोरल ये निर्णय सेकंडों में ले सकता है, घंटों में नहीं। यह कोरल को तुरंत अनुकूलित होने की अनुमति देता है यदि कोई स्टोव विफल हो जाता है या नए ऑर्डर की बाढ़ आ जाती है।

2. "टीम वर्क" की उपमा

कल्पना कीजिए कि आपके पास श्रमिकों की दो टीमें (दो अलग-अलग AI मॉडल) और उपकरणों (GPUs) की एक सीमित मात्रा है।

पुराना तरीका: टीम A सभी बेहतरीन टूल्स पर कब्जा कर लेती है क्योंकि वे "सबसे अच्छी" टीम हैं। टीम B के पास केवल टूल्स बचते हैं और वे अपना काम पूरा नहीं कर पातीं।
कोरल का तरीका: कोरल बड़े चित्र को देखता है। वह महसूस करता है कि टीम A वास्तव में अपने वर्कफ़्लो को पुनर्गठित करके अच्छे और औसत दर्जे के टूल्स के मिश्रण के साथ भी अपना काम उतना ही अच्छा कर सकती है। यह बेहतरीन टूल्स को टीम B के लिए खाली छोड़ देता है। दोनों टीमें अपना काम समय पर पूरा करती हैं, और कोई भी टूल बर्बाद नहीं होता।

यह क्यों महत्वपूर्ण है

अध्ययन ने कोरल का परीक्षण 6 अलग-अलग AI मॉडल्स और 20 अलग-अलग प्रकार के कंप्यूटर चिप्स (GPUs) के साथ किया। परिणाम प्रभावशाली थे:

सस्ता: कोरल ने मौजूदा सर्वोत्तम तरीकों की तुलना में इन AI मॉडल्स को चलाने की लागत को 2.79 गुना तक कम कर दिया। यह $100 का भोजन खरीदने और उसी गुणवत्ता के लिए केवल$ 36 देने जैसा है।
तेज़ (दुर्लभ संसाधनों के साथ): जब "किचन" में भीड़ होती है और टूल्स मिलना मुश्किल होता है, तो कोरल ने बिना धीमे हुए प्रतिस्पर्धा की तुलना में 2.39 गुना अधिक ग्राहकों को सेवा दी।

निष्कर्ष

कोरल एक ऐसा सिस्टम है जो AI मॉडल्स को कठोर, अखंड मशीनों के रूप में मानना बंद कर देता है। इसके बजाय, यह उन्हें लचीली रेसिपी की तरह मानता है जिन्हें पुराने और नए उपकरणों के मिश्रण पर तैयार किया जा सकता है। पहले से ही "परफेक्ट मिक्स" की योजना बनाकर और फिर इसे वास्तविक समय में तेजी से लागू करके, यह भारी मात्रा में पैसा बचाता है और हार्डवेयर आपूर्ति अस्थिर होने पर भी AI को सुचारू रूप से चलाता है।

संक्षेप में: कोरल वह बुद्धिमान प्रबंधक है जो जानता है कि काम को किसी और की तुलना में तेज़ी से और सस्ते में करने के लिए महंगे और सस्ते उपकरणों के मिश्रण का उपयोग कैसे किया जाए।

तकनीकी सारांश: कोरल (Coral) – हेट्रोजेनियस क्लाउड GPUs पर लागत-कुशल मल्टी-LLM सर्विंग

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) परिनियोजन (deployment) का परिदृश्य तेजी से खंडित हो रहा है, जहाँ कोई एक मॉडल प्रभुत्व नहीं जमा रहा है; इसके बजाय, प्रदाताओं को कई मॉडलों को एक साथ सर्व करना पड़ता है, जिनमें से प्रत्येक की अपनी विशिष्ट वास्तुकला (architecture) और लागत-गुणवत्ता ट्रेड-ऑफ होते हैं। साथ ही, क्लाउड प्रदाता हेट्रोजेनियस (विषम) GPU पीढ़ियों का मिश्रण (उच्च-स्तरीय H100 से लेकर मध्यम-श्रेणी के A100 और पुराने L4 तक) प्रदान करते हैं। जबकि उच्च-स्तरीय हार्डवेयर शिखर प्रदर्शन (peak performance) प्रदान करता है, मध्यम-श्रेणी और पुराने GPUs अक्सर प्रति डॉलर तुलनीय या बेहतर प्रदर्शन के साथ-साथ बेहतर उपलब्धता भी प्रदान करते हैं।

कोरल (Coral) द्वारा संबोधित केंद्रीय चुनौती विषम क्लाउड संसाधनों पर कई LLMs की लागत-कुशल, अनुकूलन योग्य (adaptive) सर्विंग है। इसके लिए दो मजबूती से जुड़े निर्णयों के संयुक्त अनुकूलन (joint optimization) की आवश्यकता है:

संसाधन आवंटन (Resource Allocation): यह निर्धारित करना कि विभिन्न क्लाउड क्षेत्रों में किन नोड्स को तैनात किया जाए।
मॉडल प्लेसमेंट (Model-Placement): इन हेट्रोजेनियस नोड्स पर प्रत्येक मॉडल को विभाजित करने का निर्णय लेना (जैसे, पाइपलाइन पैरेललिज्म और डेटा पैरेललिज्म के माध्यम से)।

मौजूदा सिस्टम इस एंड-टू-एंड प्रक्रिया को संबोधित नहीं करते हैं। पिछला कार्य या तो होमोजेनियस रेप्लिकस (homogeneous replicas) मानकर संसाधन आवंटन को अनुकूलित करता है (प्लेसमेंट अनुकूलन को अनदेखा करते हुए) या एक निश्चित नोड्स के सेट पर एकल मॉडल के लिए प्लेसमेंट को अनुकूलित करता है (ग्लोबल आवंटन को अनदेखा करते हुए)। ब्रूट-फोर्स संयुक्त अनुकूलन अव्यवहारिक है क्योंकि इसमें दोनों आयामों का घातीय खोज स्थान (exponential search space) है और मांग एवं संसाधन कीमतों में उतार-चढ़ाव के अनुकूल होने के लिए तीव्र पुनर्गणना (मिनटों में, घंटों में नहीं) की आवश्यकता होती है।

2. कार्यप्रणाली (Methodology)

कोरल एक अनुकूलन योग्य, हेट्रोजेनिटी-संरक्षण प्रणाली पेश करता है जो संयुक्त अनुकूलन समस्या को एक लॉसलेस टू-फेज डिकंपोजिशन (lossless two-phase decomposition) में विभाजित करता है।

मुख्य विचार: सर्विंग टेम्पलेट्स (Serving Templates)

कोरल यह देखता है कि एक निश्चित मॉडल और लेटेंसी SLO (Service-Level Objective) के लिए, नोड्स के एक विशिष्ट सेट पर थ्रूपुट-इष्टतम मॉडल प्लेसमेंट केवल उस नोड संयोजन पर निर्भर करता है, चाहे शेष क्लस्टर को कैसे भी आवंटित किया गया हो। यह प्लेसमेंट खोज को ऑफलाइन डोमेन में स्थानांतरित करने में सक्षम बनाता है।

चरण 1: सर्विंग टेम्पलेट्स का ऑफलाइन जनरेशन

प्रक्रिया: प्रत्येक (मॉडल, SLO) जोड़ी के लिए, कोरल नोड संयोजनों के एक सिद्धांत-आधारित उपसमुच्चय (subset) को सूचीबद्ध करता है। प्रत्येक संयोजन के लिए, यह लेटेंसी SLO को पूरा करने वाले थ्रूपुट-इष्टतम मॉडल प्लेसमेंट (लेयर पार्टीशनिंग और नोड असाइनमेंट) की गणना करने के लिए एक इंटीजर लीनियर प्रोग्राम (ILP) का उपयोग करता है।
आउटपुट: एक सर्विंग टेम्पलेट लाइब्रेरी। प्रत्येक टेम्पलेट एक पुन: प्रयोज्य आर्टिफैक्ट है जो एक नोड संयोजन और उसकी इष्टतम प्लेसमेंट रणनीति को निर्दिष्ट करता है।
अनुकूलन: ILP लेटेंसी बाधाओं का पालन करते हुए थ्रूपुट को अधिकतम करता है। कॉम्बिनेटोरियल जटिलता को प्रबंधित करने के लिए, कोरल प्रति टेम्पलेट अधिकतम नोड्स की संख्या ( $N_{max}$ ) और मॉडल आकार के सापेक्ष कुल मेमोरी अनुपात ( $\rho$ ) को सीमित करके खोज स्थान को कम करता है, क्योंकि बड़े संयोजन अक्सर अत्यधिक संचार ओवरहेड (communication overhead) का कारण बनते हैं।

चरण 2: ऑनलाइन संसाधन आवंटन

प्रक्रिया: ऑनलाइन रिसोर्स एलोकेटर समय-समय पर पूर्व-परिकलित सर्विंग टेम्पलेट लाइब्रेरी को क्वेरी करता है। यह वर्तमान थ्रूपुट मांगों को न्यूनतम लागत पर पूरा करने के लिए विभिन्न क्षेत्रों में किन टेम्पलेट्स को स्थापित किया जाना चाहिए, यह निर्धारित करने के लिए एक दूसरा, हल्का ILP हल करता है।
इनपुट: वास्तविक समय की थ्रूपुट मांग, GPU उपलब्धता और विभिन्न क्षेत्रों में कीमतें।
लक्ष्य: कुल परिनियोजन लागत और एक इनिशियलाइजेशन पेनल्टी (अत्यधिक परिवर्तनों से बचने के लिए) को कम करना, जबकि थ्रूपुट और उपलब्धता बाधाओं को पूरा करना।
दक्षता: क्रिटिकल पाथ से जटिल मॉडल प्लेसमेंट खोज को बाहर निकालकर, ऑनलाइन सॉल्वर घंटों के बजाय सेकंडों में पूरा हो जाता है, जिससे क्लस्टर को मांग और आपूर्ति के गतिशील बदलावों के अनुकूल होने में मदद मिलती है।

सिस्टम कार्यान्वयन (System Implementation)

कोरल को कंट्रोल के लिए ZeroMQ, इंट्रा-इंस्टेंस कम्युनिकेशन के लिए NCCL, और निष्पादन इंजन (execution engine) के रूप में vLLM का उपयोग करते हुए एक रनटाइम सिस्टम के रूप में लागू किया गया है। यह विलगित (disaggregated) और एकत्रित (aggregated) प्रीफिल-डिकोड (PD) सर्विंग दोनों का समर्थन करता है। बड़े पैमाने पर मूल्यांकन के लिए, जहाँ भौतिक परिनियोजन लागत-प्रतिकूल हो सकता है, एक उच्च-सटीकता वाला इवेंट-आधारित सिम्युलेटर, जिसे हार्डवेयर के विरुद्ध मान्य किया गया है, का उपयोग किया गया है।

3. प्रमुख योगदान (Key Contributions)

यह कार्य निम्नलिखित योगदानों का दावा करता है:

समस्या का औपचारिककरण (Problem Formulation): मॉडल-विशिष्ट लेटेंसी SLO के तहत संसाधन आवंटन और मॉडल प्लेसमेंट पर संयुक्त अनुकूलन के रूप में हेट्रोजेनिटी-अवेयर मल्टी-LLM सर्विंग का औपचारिक रूप।
लॉसलेस डिकंपोजिशन: एक नया दो-चरणीय दृष्टिकोण जो पुन: प्रयोज्य सर्विंग टेम्पलेट्स का उपयोग करके जटिल प्लेसमेंट खोज को ऑफलाइन डोमेन में स्थानांतरित करता है, जिससे समाधान का समय घंटों से घटकर सेकंडों में आ जाता है बिना इष्टतमता (optimality) से समझौता किए।
स्केलेबल सॉल्वर: दोनों ऑफलाइन प्लेसमेंट और ऑनलाइन आवंटन के लिए ILP-आधारित सॉल्वर, जो हजारों नोड्स वाले क्लस्टर्स तक स्केल करते हैं।
एंड-टू-एंड सिस्टम: कोरल का एक पूर्ण कार्यान्वयन और बड़े पैमाने पर मूल्यांकन के लिए एक मान्य सिम्युलेटर।
अनुभवजन्य सत्यापन (Empirical Validation): 6 मॉडलों और 20 GPU कॉन्फ़िगरेशन में मूल्यांकन, जो महत्वपूर्ण लागत कटौती और बेहतर गुडपुट (goodput) प्रदर्शित करता है।

4. परिणाम (Results)

मूल्यांकन विविध मॉडलों (14B से 235B पैरामीटर्स तक) और विभिन्न GPU कॉन्फ़िगरेशन (H100, A100, L40S, L4, A10G सहित) के तहत संसाधन उपलब्धता के विभिन्न स्तरों पर किया गया था।

लागत दक्षता: कोरल सबसे अच्छे बेसलाइन सिस्टम (Homo, जो होमोजेनियस रेप्लिकस का उपयोग करता है) की तुलना में लागत को 2.79× तक कम करता है और उन्नत सेटअप में Cauchy (एक PD-डिसेग्रेटेड बेसलाइन सिस्टम) की तुलना में 2.66× कम करता है। कोर सेटअप में, क्रमशः 1.62× और 1.60× की कमी देखी गई।
कमी के तहत गुडपुट (Goodput under Scarcity): दुर्लभ संसाधन उपलब्धता के तहत, कोरल बेसलाइन की तुलना में 2.39× अधिक गुडपुट (SLO को पूरा करने वाले टोकन प्रति सेकंड) प्रदान करता है। यह मॉडलों के बीच संसाधनों के संयुक्त समन्वय के माध्यम से प्राप्त किया जाता है, जबकि बेसलाइन विशिष्ट मॉडलों के लिए मांग को पूरा करने में विफल रहते हैं।
समाधान समय (Solution Time): ऑनलाइन रिसोर्स एलोकेशन ILP औसतन 0.24 सेकंड (कोर सेटअप) और 9.68 सेकंड (एडवांस्ड सेटअप) में हल होता है, जो आवश्यक अनुकूलन विंडो के भीतर है।
Helix के साथ तुलना: एक निश्चित हेट्रोजेनियस क्लस्टर पर सिंगल-मॉडल रिजीम में, कोरल ने लेटेंसी SLO का सख्ती से पालन करते हुए Helix की तुलना में लागत को 21% कम किया और थ्रूपुट में 26% सुधार किया।
संवेदनशीलता (Sensitivity): विश्लेषण से पता चलता है कि जब $N_{max}$ को 6 और $\rho$ को 12 पर सेट किया जाता है, तो जनरेट किए गए टेम्पलेट्स की लागत दक्षता स्थिर (plateau) हो जाती है, जो रिडक्शन रणनीति को न्यायसंगत बनाती है।

5. महत्व (Significance)

यह कार्य तर्क देता है कि संसाधन आवंटन और मॉडल प्लेसमेंट का संयुक्त अनुकूलन मल्टी-LLM सर्विंग के लिए लागत-कुशल होना आवश्यक है। मॉडल रेप्लिकस को होमोजेनियस हार्डवेयर पर ब्लैक बॉक्स के रूप में मानकर, मौजूदा सिस्टम महत्वपूर्ण लागत बचत को अनछुआ छोड़ देते हैं और संसाधन बाधाओं के तहत संघर्ष करते हैं। कोरल यह प्रदर्शित करता है कि रेप्लिकस के भीतर हेट्रोजेनिटी – हाइब्रिड पाइपलाइन और डेटा पैरेललिज्म के माध्यम से एक ही मॉडल रेप्लिकेशन के भीतर विभिन्न GPU प्रकारों को मिलाना – सिस्टम को विशिष्ट वर्कलोड विशेषताओं और SLOs के अनुरूप ढालने में सक्षम बनाती है।

कोरल का महत्व इसकी इस क्षमता में निहित है कि यह इस संयुक्त अनुकूलन को व्यावहारिक और अनुकूलन योग्य (adaptive) बनाता है। अनुकूलित प्लेसमेंट को पुन: प्रयोज्य टेम्पलेट्स के रूप में पूर्व-गणना करके, यह संयुक्त खोज की सैद्धांतिक इष्टतमता और तीव्र, ऑनलाइन पुनर्गठन की व्यावहारिक आवश्यकता के बीच के अंतर को पाटता है। यह क्लाउड प्रदाताओं को विविध, समानांतर LLM वर्कलोड के लिए सख्त लेटेंसी गारंटी बनाए रखते हुए, उनके व्यापक और अधिक लागत प्रभावी GPU इन्वेंट्री का लाभ उठाने में सक्षम बनाता है।