🤖 machine learning

ParetoBandit: Budget-Paced Adaptive Routing for Non-Stationary LLM Serving

ParetoBandit एक ओपन-सोर्स, अडैप्टिव रूटिंग सिस्टम है जो नॉन-स्टेशनरी LLM सर्विंग के लिए डिज़ाइन किया गया है, जो डॉलर-निर्धारित बजट को गतिशील रूप से लागू करने के लिए ऑनलाइन प्रिमल-डुअल पेसिंग और ज्योमेट्रिक फॉरगेटिंग के साथ कॉस्ट-अवेयर कॉन्टेक्स्टुअल बैंडिट्स का उपयोग करता है, ताकि मॉडल की कीमत और गुणवत्ता में बदलाव या रनटाइम पर नए मॉडल्स को न्यूनतम लेटेंसी के साथ तेजी से अनुकूलित किया जा सके।

मूल लेखक: Annette Taberner-Miller

प्रकाशित 2026-04-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Annette Taberner-Miller

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त रेस्टोरेंट की रसोई चला रहे हैं। आपके पास तीन शेफ हैं:

शेफ चीप (Chef Cheap): तेज़ और सस्ता, लेकिन कभी-कभी छोटी गलतियाँ कर देता है।
शेफ मिड (Chef Mid): थोड़ा महंगा, लेकिन बहुत भरोसेमंद।
शेफ फैंसी (Chef Fancy): सबसे महंगा, एक जीनियस, लेकिन बहुत भारी पड़ता है।

AI की दुनिया में, ये "लार्ज लैंग्वेज मॉडल्स" (LLMs) हैं। कंपनियाँ इनका उपयोग सवाल पूछने के लिए करना चाहती हैं, लेकिन उनका एक सख्त दैनिक बजट होता है। वे हर ऑर्डर के लिए "शेफ फैंसी" को नहीं रख सकते, वरना वे दिवालिया हो जाएंगे। लेकिन वे सब कुछ करने के लिए केवल "शेफ चीप" का उपयोग भी नहीं कर सकते, अन्यथा खाना (जवाब) खराब होगा।

समस्या यह है कि रसोई में अफरा-तफरी मची है। कभी शेफ फैंसी अपनी कीमत कम कर देते हैं। कभी शेफ चीप अचानक टोस्ट जलाना शुरू कर देते हैं (क्वालिटी गिर जाती है) बिना किसी को बताए। और कभी-कभी टीम में एक नया शेफ शामिल हो जाता है।

पारेटो बैंडिट (ParetoBandit) एक नया, सुपर-स्मार्ट हेड वेटर है जिसे इस अराजकता को हल करने के लिए डिज़ाइन किया गया है।

समस्या: "सेट एंड फॉरगेट" (सेट करके भूल जाने वाली) गलती

पुराने सिस्टम ऐसे वेटरों की तरह थे जिन्होंने एक बार महीने में मेनू याद किया और फिर उसे कभी नहीं देखा।

यदि शेफ फैंसी ने अपनी कीमतें कम कर दीं, तो पुराना वेटर अभी भी वही उच्च कीमत वसूलता रहा।
यदि शेफ चीप ने जला हुआ टोस्ट परोसना शुरू कर दिया, तो पुराना वेटर अभी भी वहां ऑर्डर भेजता रहा क्योंकि उसे लगा कि वह अभी भी अच्छा है।
यदि कोई नया शेफ शामिल हुआ, तो पुराने वेटर को पता ही नहीं चला कि उन्हें कैसे संभालना है।

समाधान: पारेटो बैंडिट (अनुकूलनशील वेटर)

पारेटो बैंडिट एक ऐसा वेटर है जो रियल-टाइम में सीखता है और कभी भी बजट से बाहर नहीं जाता। यह तीन चालाक तरीकों का उपयोग करता है:

1. "स्मार्ट वॉलेट" (बजट पेसर)

कल्पना कीजिए कि आपके वॉलेट में एक जादुई अलार्म है।

पुराना तरीका: आप अनुमान लगाने की कोशिश करते हैं कि आप पूरे दिन में कितना खर्च कर सकते हैं। यदि आप सुबह बहुत अधिक खर्च कर देते हैं, तो दोपहर तक आप कंगाल हो सकते हैं।
पारेटो बैंडिट: यह हर एक ऑर्डर के बाद आपके वॉलेट की जांच करता है।
- यदि आपने अभी-अभी शेफ फैंसी पर बहुत खर्च किया है, तो वेटर तुरंत कमर कस लेता है और कहता है, "ठीक है, अगले कुछ ऑर्डर्स के लिए, हम केवल शेफ चीप को ही अफोर्ड कर सकते हैं।"
- यदि शेफ फैंसी अचानक अपनी कीमत कम कर देते हैं, तो वेटर तुरंत नोटिस करता है, "अरे, हमारे पास अब अतिरिक्त कैश है! चलिए इस ऑर्डर के लिए फैंसी शेफ के साथ खुद को ट्रीट देते हैं।"
- जादू: यह सुनिश्चित करता है कि आप कभी भी अपने दैनिक बजट से ऊपर न जाएं, चाहे कीमतें कितनी भी बदल जाएं।

2. "छोटी याददाश्त" (जियोमेट्रिक फॉरगेटिंग)

कल्पना कीजिए कि आप एक नया डांस सीखने की कोशिश कर रहे हैं।

पुराना तरीका: आप अपने द्वारा किए गए हर कदम को याद रखते हैं, यहाँ तक कि 10 साल पहले के कदमों को भी। यदि संगीत बदल जाता है, तो आप पुराने गाने पर नाचने की कोशिश करते रहते हैं क्योंकि आपकी याददाश्त बहुत भरी हुई है।
पारेटो बैंडित: इसकी "छोटी याददाश्त" होती है। यह पिछले कुछ सौ ऑर्डर्स को बहुत स्पष्ट रूप से याद रखता है, लेकिन यह 1,000 ऑर्डर्स पहले क्या हुआ था, उसे धीरे-धीरे भूल जाता है।
- क्यों? यदि शेफ चीप अचानक टोस्ट जलाना शुरू कर देते हैं (क्वालिटी गिर जाती है), तो वेटर यह समझने के लिए एक महीने का इंतज़ार नहीं करता कि क्या हुआ। क्योंकि यह पुराने अच्छे डेटा को "भूल" जाता है, यह तुरंत समझ जाता है, "रुको, शेफ चीप अभी खराब हैं," और वहां ऑर्डर भेजना बंद कर देता है। यह तुरंत अनुकूलित हो जाता है।

3. "ट्रायल रन" (हॉट-स्वैपिंग)

कल्पना कीजिए कि एक नया शेफ आता है।

पुराना तरीका: या तो आप उन्हें अनदेखा करते हैं या बिना परीक्षण किए तुरंत काम पर रख लेते हैं।
पारेटो बैंडित: यह नए शेफ को एक सख्त, छोटा ट्रायल देता है। "आपको 20 ऑर्डर्स मिलते हैं। यदि आप अच्छे हैं, तो आप बने रहेंगे। यदि आप बुरे हैं या बहुत महंगे हैं, तो आप बाहर हैं।"
- यह उन्हें बजट को बिगाड़े बिना सावधानी से टेस्ट करता है। यदि नया शेफ वास्तव में बुरा है, तो सिस्टम उन्हें स्वचालित रूप से बाहर निकाल देता है। यदि वे शानदार हैं, तो यह उन्हें अधिक उपयोग करना शुरू कर देता है।

यह कितना तेज़ है?

यह सिस्टम अविश्वसनीय रूप से तेज़ है।

निर्णय लेना (किस शेफ को चुनना है) 22 माइक्रोसेकंड लेता है। यह पलक झपकने से भी तेज़ है।
पूरी प्रक्रिया (ऑर्डर पढ़ने सहित) 10 मिलीसेकंड से कम समय लेती है।
संदर्भ के लिए: AI मॉडल स्वयं भोजन पकाने में लगभग 1,000 मिलीसेकंड (1 सेकंड) लेता है। वेटर का निर्णय कुल समय के 1% से भी कम लेता है। आपको पता भी नहीं चलेगा कि वेटर वहां है।

परिणाम

इस पेपर ने चार डरावनी स्थितियों में इस वेटर का परीक्षण किया:

बजट पर टिके रहना: जब कीमतें बेतहाशा बदलीं, तब भी यह कभी भी खर्च की सीमा से ऊपर नहीं गया।
कीमतों में गिरावट: जब महंगे शेफ सस्ते हुए, तो वेटर ने तुरंत उन्हें अधिक उपयोग करना शुरू कर दिया, जिससे उसी पैसे में बेहतर खाना मिला।
साइलेंट फेलियर्स (खामोश विफलताएं): जब किसी शेफ की क्वालिटी चुपचाप खराब हुई, तो वेटर ने खराब खाने को नोटिस किया, उन्हें ऑर्डर भेजना बंद किया, और बजट के भीतर रहते हुए अन्य शेफ पर स्विच कर दिया।
नए कर्मचारी: इसने बिना सिस्टम क्रैश किए या बजट तोड़े, सफलतापूर्वक एक नए शेफ का परीक्षण और ऑनबोर्डिंग किया।

निचोड़

पारेटो बैंडिट आपके AI बजट के लिए एक सेल्फ-ड्राइविंग कार की तरह है। यह केवल मैप का पालन नहीं करता; यह सड़क पर नज़र रखता है, ट्रैफिक जाम (कीमत परिवर्तन) से बचता है, गड्ढों (खराब गुणवत्ता) से बचता है, और यह सुनिश्चित करता है कि आपके पास कभी भी ईंधन (पैसा) खत्म न हो, और यह सब तब भी करता है जब वह आपकी पलक झपकने से भी तेज़ चलता है।

यहाँ शोध पत्र "PARETOBANDIT: BUDGET-PACED ADAPTIVE ROUTING FOR NON-STATIONARY LLM SERVING" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

प्रोडक्शन लेवल पर लार्ज लैंग्वेज मॉडल (LLM) सर्विंग तेजी से गुणवत्ता और लागत के बीच संतुलन बनाने के लिए मल्टी-मॉडल पोर्टफोलियो पर निर्भर हो रही है, जहाँ मॉडल्स की कीमत में ~530× तक का अंतर हो सकता है। हालाँकि, मौजूदा रूटिंग समाधान वास्तविक दुनिया के डिप्लॉयमेंट में तीन महत्वपूर्ण परिचालन अंतराल (operational gaps) का सामना करते हैं:

नॉन-स्टेशनैरिटी (Non-Stationarity): मॉडल की गुणवत्ता चुपचाप गिर सकती है (API अपडेट के कारण), और कीमतें बार-बार बदलती हैं (जैसे, OpenAI की कीमतों में कटौती)। अधिकांश राउटर एक निश्चित पॉलिसी को ऑफलाइन सीखते हैं और इन बदलावों के अनुकूल होने में विफल रहते हैं।
बजट प्रवर्तन (Budget Enforcement): मौजूदा तरीके अक्सर एक निश्चित प्रॉम्प्ट सेट या ज्ञात समय सीमा (time horizon) पर अनुकूलन करते हैं। उनमें एक खुले-अंत वाले, अज्ञात ट्रैफिक स्ट्रीम पर प्रति-अनुरोध लागत सीमा (डॉलर प्रति अनुरोध) लागू करने के लिए तंत्र की कमी है।
डायनेमिक पोर्टफोलियो (Dynamic Portfolios): बिना डाउनटाइम या पुन: प्रशिक्षण (retraining) के रनटाइम पर मॉडल्स को जोड़ना या हटाना (hot-swapping) कठिन है, विशेषकर उन सिस्टमों के लिए जो स्टैटिक ऑफलाइन पॉलिसी पर निर्भर हैं।

मूल चुनौती एक ऐसा राउटर डिजाइन करने की है जो गुणवत्ता को अधिकतम करने, डॉलर-आधारित बजट का सख्ती से पालन करने और मूल्य/गुणवत्ता के उतार-चढ़ाव तथा मॉडल ऑनबोर्डिंग के प्रति स्वायत्त रूप से अनुकूल होने की क्षमता को एक साथ जोड़ सके।

2. कार्यप्रणाली: ParetoBandit

ParetoBandit एक ओपन-सोर्स, एडैप्टिव रूटिंग सिस्टम है जो कॉस्ट-अवेयर कॉन्टेक्स्टुअल बैंडिट्स (cost-aware contextual bandits) पर आधारित है। यह उपरोक्त चुनौतियोंों को हल करने के लिए चार प्रमुख घटकों को एकीकृत करता है:

A. सिस्टम आर्किटेक्चर (System Architecture)

कॉन्टेक्स्टुअल बैंडिट कोर (Contextual Bandit Core): यह रिवॉर्ड सरफेस को सीखने के लिए LinUCB (लीनियर अपर कॉन्फिडेंस बाउंड) का उपयोग करता है। राउटर एक कॉन्टेक्स्ट वेक्टर $x_t$ (प्रॉम्प्ट से प्राप्त, PCA-रिड्यूस्ड एम्बेडिंग्स के माध्यम से) को देखता है, एक मॉडल $a_t$ चुनता है, और एक रिवॉर्ड $r_t$ (क्वालिटी स्कोर) और लागत $c_t$ प्राप्त करता है।
क्लोज्ड-लूप बजट पेसर (Closed-Loop Budget Pacer): यह ऑफलाइन पेनल्टी ट्यूनिंग के स्थान पर एक ऑनलाइन प्राइमल-ड्यूलल बजट पेसर (online primal–dual budget pacer) का उपयोग करता है।
- यह एक ड्यूल वेरिएबल $\lambda_t$ बनाए रखता है जो एक लैग्रेंज मल्टीप्लायर के रूप में कार्य करता है।
- यदि हालिया खर्च बजट $B$ से अधिक हो जाता है, तो $\lambda_t$ बढ़ता है और यदि खर्च कम होता है, तो यह घटता है।
- दो-स्तरीय प्रवर्तन (Two-Layer Enforcement):
  1. हार्ड सीलिंग (Hard Ceiling): यदि $\lambda_t > 0$ है, तो गतिशील लागत सीमा को पार करने वाले मॉडल्स को कैंडिडेट सेट से बाहर कर दिया जाता है (सर्किट ब्रेकर)।
  2. सॉफ्ट पेनल्टी (Soft Penalty): एक लागत पेनल्टी टर्म $(\lambda_c + \lambda_t)\tilde{c}_a$ को UCB स्कोर से घटाया जाता है, जिससे चयन प्रक्रिया फेज़िबल सेट के भीतर सस्ते मॉडल्स की ओर झुक जाती है।
जियोमेट्रिक फॉरगेटिंग (Geometric Forgetting): नॉन-स्टेशनैरिटी को संभालने के लिए, सिस्टम LinUCB एल्गोरिदम के पर्याप्त सांख्यिकी (sufficient statistics) ( $A_a, b_a$ $A_{a}, b_{a}$ ) पर एक फॉरगेटिंग फैक्टर $\gamma \in (0, 1]$ लागू करता है।
- यह पुराने डेटा को एक्सपोनेंशियल रूप से कम (discount) करता है, जिससे सिस्टम की एक सीमित "प्रभावी मेमोरी" सुनिश्चित होती है।
- यह राउटर को पुराने गुणवत्ता अनुमानों या आउटडेटेड मूल्य धारणाओं को तेजी से भूलने में मदद करता है।
- स्टेलनेस इन्फ्लेशन (Staleness Inflation): सिस्टम उन 'आर्म्स' (arms) के लिए एक्सप्लोरेशन बोनस को स्पष्ट रूप से बढ़ाता है जिन्हें हाल ही में नहीं चुना गया है, जिससे संभावित रूप से सुधरे हुए मॉडल्स के पुनः अन्वेषण (re-exploration) को सुनिश्चित किया जा सके।
ऑफलाइन-टू-ऑनलाइन वॉर्मअप (Offline-to-Online Warmup): कोल्ड-स्टार्ट रिग्रेट (regret) से बचने के लिए, सिस्टम ऐतिहासिक डेटा पर फिट किए गए ऑफलाइन पर्याप्त सांख्यिकी को 'प्रायर्स' (priors) के रूप में लोड करता है। ये प्रायर्स जियोमेट्रिक फॉरगेटिंग के माध्यम से स्वाभाविक रूप से कम होते हैं, जिससे यह सुनिश्चित होता है कि सिस्टम अंततः लाइव ट्रैफिक पर निर्भर हो जाए।
रनटाइम पोर्टफोलियो मैनेजमेंट (Runtime Portfolio Management): यह रनटाइम पर add_arm() और delete_arm() का समर्थन करता है। नए मॉडल्स को उनके पोस्टीरियर को बूटस्ट्रैप करने के लिए एक संक्षिप्त फोर्स्ड-एक्सप्लोरेशन फेज (20 पल्स) से गुजरना पड़ता है, जिसके बाद मानक UCB चयन शुरू होता है।

B. एल्गोरिथम विवरण (Algorithmic Details)

उद्देश्य (Objective): $\limsup \frac{1}{T} \sum c_t \le B$ के अधीन संचयी गुणवत्ता (cumulative quality) को अधिकतम करना।
सिलेक्शन रूल (Selection Rule): राउटर उस मॉडल को चुनता है जो अधिकतम करता है:
$\text{Score} = \underbrace{\hat{\theta}_a^\top x_t}_{\text{Exploit}} + \underbrace{\alpha \sqrt{x_t^\top A_a^{-1} x_t}}_{\text{Explore}} - \underbrace{(\lambda_c + \lambda_t)\tilde{c}_a}_{\text{Cost Penalty}}$
हाइपरपैरामीटर ट्यूनिंग (Hyperparameter Tuning): यह एक एकल प्रैक्टिशनर-निर्दिष्ट "एडैप्टेशन होराइजन" (सिस्टम कितनी जल्दी बदलाव के प्रति प्रतिक्रिया करता है) के आधार पर फॉरगेटिंग रेट ( $\gamma$ ) और एक्सप्लोरेशन कोएफिशिएंट ( $\alpha$ ) को संयुक्त रूप से कैलिब्रेट करने के लिए Pareto knee-point procedure का उपयोग करता है।

3. मुख्य योगदान (Key Contributions)

क्लोज्ड-लूप बजट पेसिंग के लिए प्रथम सिस्टम: पूर्ववर्ती कार्यों के विपरीत, जो निश्चित क्षितिज (fixed horizons) या ऑफलाइन अनुकूलन मानते हैं, ParetoBandit एक स्मूथड ड्यूल-असेंट अपडेट का उपयोग करके एक खुले-अंत वाले स्ट्रीम पर प्रति-अनुरोध लागत सीमा को लागू करता है।
सिद्धांतिक नॉन-स्टेशनैरिटी हैंडलिंग: यह पहला LLM राउटर है जो स्पष्ट रूप से जियोमेट्रिक डिस्काउंटिंग का उपयोग करता है और साइलेंट क्वालिटी डिग्रेडेशन और प्राइस शिफ्ट्स के तहत प्रदर्शन का मूल्यांकन करता है, जो बिना किसी मैनुअल हस्तक्षेप के तीव्र अनुकूलन प्रदर्शित करता है।
रनटाइम हॉट-स्वैपिंग (Runtime Hot-Swapping): यह रनटाइम पर नए मॉडल्स को सीमित एक्सप्लोरेशन के साथ ऑनबोर्ड करने के लिए एक तंत्र पेश करता है, जिससे यह सुनिश्चित होता है कि राउटर ब्लाइंडली नए एंडपॉइंट्स को अपनाने के बजाय लाइव डेटा के आधार पर भेदभाव करे।
दक्षता (Efficiency): रूटिंग निर्णय लेने में केवल 22.5 µs (CPU पर) का समय लगता है, और एंड-टू-एंड लेटेंसी (एम्बेडिंग सहित) 9.8 ms है, जो विशिष्ट LLM इन्फरेंस समय के 0.4% से भी कम है।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिस्टम का मूल्यांकन 3-मॉडल पोर्टफोलियो (जो 530× लागत रेंज तक फैला हुआ है) और विभिन्न बजट बाधाओं के साथ 1,824 बेंचमार्क प्रॉम्प्ट्स पर किया गया।

बजट अनुपालन (Budget Compliance): सभी परिदृश्यों में, औसत प्रति-अनुरोध लागत लक्ष्य बजट से कभी भी 0.4% से अधिक नहीं बढ़ी। तनाव परीक्षणों (stress tests) के तहत भी, यह सीलिंग के ~4% के भीतर रहा।
प्राइस ड्रिफ्ट के प्रति अनुकूलन (Adaptation to Price Drift): जब सबसे महंगे मॉडल की कीमत बीच में 50% कम हो गई, तो ParetoBandit ने इस बदलाव का पता लगाया और ट्रैफिक को शिफ्ट किया, जिससे बजट अनुपालन बनाए रखते हुए +0.071 क्वालिटी लिफ्ट प्राप्त हुआ।
साइलेंट क्वालिटी डिग्रेडेशन (Silent Quality Degradation): जब एक मॉडल की गुणवत्ता चुपचाप ~18% गिर गई, तो राउटर ने रिवॉर्ड सिग्नल के माध्यम से इस गिरावट का पता लगाया, इसके आवंटन को कम किया, और बजट अनुपालन बनाए रखा। क्लोज्ड-लूप कंट्रोल के बिना बेसलाइन मॉडल 6.9× तक ओवरस्पेंड कर गए।
कोल्ड-स्टार्ट ऑनबोर्डिंग (Cold-Start Onboarding): रनटाइम पर जोड़ा गया एक नया मॉडल, बिना लागत सीलिंग को तोड़े, ~142 स्टेप्स के भीतर सार्थक एडॉप्शन तक पहुँच गया। सिस्टम ने एक बाउंडेड एक्सप्लोरेशन फेज के बाद निम्न-गुणवत्ता वाले मॉडल्स को सही ढंग से खारिज कर दिया।
मजबूती (Robustness): सिस्टम के निष्कर्ष तीन अलग-अलग LLM जजों (DeepSeek-R1, GPT-4.1-mini, Claude-3.7-Sonnet) में भी स्थिर रहे, जो पुष्टि करता है कि रूटिंग लॉजिक इवैल्यूएटर वेरिएंस के प्रति मजबूत है।

5. महत्व और प्रभाव (Significance and Impact)

परिचालन विश्वसनीयता (Operational Reliability): ParetoBandit प्रोडक्शन LLM सर्विंग की "ओपन-एंडेड" समस्या को हल करता है, जहाँ ट्रैफिक वॉल्यूम और मॉडल की स्थितियाँ अज्ञात और गतिशील होती हैं। यह लागत वृद्धि के खिलाफ सुरक्षा कवच प्रदान करते हुए गुणवत्ता को अधिकतम करता है।
लागत दक्षता (Cost Efficiency): वास्तविक समय के बजट दबाव और गुणवत्ता के आधार पर मॉडल्स को गतिशील रूप से मिक्स करके, यह एक निरंतर पारेटो फ्रंटियर (Pareto frontier) प्राप्त करता है, जिससे ऑपरेटरों को डॉलर बजट सेट करने और अनुकूलतम गुणवत्ता मिश्रण खोजने की अनुमति मिलती है।
स्केलेबिलिटी (Scalability): इसका कम लेटेंसी (sub-10ms) और CPU-ओनली निष्पादन इसे उच्च-थ्रूपुट प्रोडक्शन वातावरण में बिना किसी समर्पित GPU संसाधनों के एक मिडलवेयर लेयर के रूप में तैनात करने के लिए व्यवहार्य बनाता है।
भविष्य के लिए तैयार (Future-Proofing): रनटाइम पर मॉडल्स को हॉट-स्वैप करने और साइलेंट रिग्रेशन के अनुकूल होने की क्षमता इसे तेजी से विकसित होते LLM API के युग में सर्विस लेवल एग्रीमेंट्स (SLAs) को बनाए रखने के लिए एक महत्वपूर्ण घटक बनाती है।

संक्षेप में, ParetoBandit स्टैटिक, ऑफलाइन-ऑप्टिमाइज्ड रूटिंग से एडैप्टिव, क्लोज्ड-लूप कंट्रोल की ओर एक बदलाव का प्रतिनिधित्व करता है, जो यह सुनिश्चित करता है कि LLM सर्विंग उत्पादन वातावरण की अंतर्निहित नॉन-स्टेशनैरिटी के बावजूद लागत-प्रभावी और उच्च-गुणवत्तापूर्ण बनी रहे।