तकनीकी सारांश: KV-कैश मेमोरी बाधाओं के साथ LLM इन्फरेंस के स्थिरता विश्लेषण के लिए एक क्यूइंग-थ्योरेटिक फ्रेमवर्क

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के तीव्र प्रसार ने कुशल बड़े पैमाने के इन्फरेंस के लिए महत्वपूर्ण चुनौतियां पैदा कर दी हैं। पारंपरिक वर्कलोड के विपरीत, LLM इन्फरेंस एक दोहरी बाधा द्वारा सीमित है: कंप्यूटेशनल शक्ति और की-वैल्यू (KV) कैशिंग द्वारा संचालित मेमोरी आवश्यकताएं। जबकि KV कैशिंग पिछले जेनरेट किए गए टोकन के निरूपण (representations) को पुन: उपयोग करके डिकोडिंग को तेज करती है, यह पर्याप्त GPU मेमोरी का उपभोग करती है और अक्सर प्राथमिक क्षमता बाधा बन जाती है।

LLM इन्फरेंस के लिए मौजूदा क्यूइंग मॉडल आमतौर पर कंप्यूटेशनल सीमाओं पर ध्यान केंद्रित करते हैं या मेमोरी को एक स्थिर बाधा के रूप में मानते हैं, जिससे वे इन्फरेंस प्रक्रिया के दौरान कंप्यूटेशन और मेमोरी विकास के बीच गतिशील अंतर्संबंध को पकड़ने में विफल रहते हैं। विशेष रूप से, एक अनुरोध की मेमोरी आवश्यकता प्रॉम्प्ट चरण (प्रिफिल) और टोकन जनरेशन चरण (डिकोड) के माध्यम से आगे बढ़ने के साथ रैखिक रूप से विकसित होती है। जब अनुरोधों की आगमन दर (arrival rate) सिस्टम की प्रभावी सेवा दर—जो GPU कंप्यूटेशनल शक्ति और उपलब्ध KV-कैश मेमोरी द्वारा संयुक्त रूप से निर्धारित होती है—से अधिक हो जाती है, तो कतारें (queues) अनियंत होकर बढ़ती हैं, जिससे सिस्टम अस्थिरता, अस्वीकार्य विलंबता (latency), और खराब उपयोगकर्ता अनुभव होता है। ऐसे कठोर सैद्धांतिक ढांचे की कमी है जो इन गतिशील मेमोरी बाधाओं को स्पष्ट रूप से शामिल करके स्थिरता की स्थिति निर्धारित करने और GPU प्रावधान (provisioning) के मार्गदर्शन के लिए उपयोग किया जा सके।

कार्यप्रणाली

लेखक एक नवीन क्यूइंग-थ्योरेटिक फ्रेमवर्क प्रस्तावित करते हैं जो LLM इन्फरेंस को एक डिस्क्रीट-टाइम, वर्क-कर्विंग क्यूइंग सिस्टम के रूप में मॉडल करता है जो एक हार्ड KV-कैश मेमोरी बाधा ($M$) के अधीन है।

1. सिस्टम मॉडल

• अनुरोध संरचना (Request Structure): प्रत्येक अनुरोध $i$ में आकार $s_i$ का एक प्रॉम्प्ट और लंबाई $o_i$ का एक आउटपुट होता है, जो एक संयुक्त वितरण $F_{in-out}$ से लिया गया है।
• प्रोसेसिंग चरण:
  • प्रॉम्प्ट चरण (Prompt Phase): प्रॉम्प्ट्स को निश्चित-आकार के ब्लॉकों ($\hat{s}$) में प्रोसेस किया जाता है। एक प्रॉम्प्ट के $j$-वें ब्लॉक के लिए मेमोरी आवश्यकता रैखिक रूप से ($j \times \hat{s}$) बढ़ती है।
  • डिकोड चरण (Decode Phase): जैसे-जैसे टोकन क्रमिक रूप से जेनरेट होते हैं, मेमोरी आवश्यकता एक टोकन के KV-कैश से बढ़ जाती है। एक अनुरोध की कुल मेमोरी आवश्यकता पूर्ण होने पर $s_i + o_i$ तक पहुँच जाती है।
• मेमोरी बाधा (Memory Constraint): सिस्टम को सभी समय $t$ पर $\sum_{i \in S(t)} (c_i^{(t)}\hat{s} + d_i^{(t)}) \le M$ की स्थिति को संतुष्ट करना चाहिए, जहाँ $S(t)$ सक्रिय अनुरोधों का सेट है, $c_i^{(t)}$ प्रोसेस्ड प्रॉम्प्ट ब्लॉक का इंडेक्स है, और $d_i^{(t)}$ प्रोसेस्ड आउटपुट टोकन का इंडेक्स है।
• शेड्यूलिंग (Scheduling): फ्रेमवर्क कंटीन्यूअस बैचिंग और वर्क-कर्विंग रणनीतियों (जैसे, फर्स्ट-कम-फर्स्ट-सर्वेड) को मानता है, जहाँ सर्वर उपलब्ध क्षमता बनते ही अगले प्राथमिकता वाले प्रॉम्प्ट को प्रोसेस करता है।

2. सैद्धांतिक व्युत्पत्ति (Theoretical Derivation)

लेखक एक एकल अनुरोध के लिए जीवनकाल के दौरान संचयी मेमोरी आवश्यकता $g(s, o)$ को परिभाषित करते हैं, जो एक अनुरोध के पूर्ण सर्विस टाइम के दौरान उपभोग की गई पूरी मेमोरी "क्षेत्रफल" का प्रतिनिधित्व करता है।
$$g(s, o) := \sum_{k=1}^{s/\hat{s}} k\hat{s} + \sum_{j=1}^{o} (s+j)$$
इसके आधार पर, वे अधिकतम स्थिर सेवा दर $\mu$ को व्युत्पन्न करते हैं:
$$\mu = \frac{M}{\bar{b} \mathbb{E}_{s,o \sim p(s,o)}[g(s, o)]}$$
जहाँ $\bar{b}$ सामान्यीकृत बैच प्रोसेसिंग समय है।

3. स्थिरता विश्लेषण (Stability Analysis)

LLMs के पीसवाइज लीनियर मेमोरी डायनेमिक्स के अनुकूल लाइपुनोव ड्रिफ्ट तर्क (Lyapunov drift argument) का उपयोग करते हुए, कार्य दो केंद्रीय प्रमेय स्थापित करता है:

• अस्थिरता (Instability): यदि आगमन दर $\lambda > \mu$ है, तो सिस्टम ओवरलोडेड है, और अनुरोधों की संख्या अनंत तक बढ़ती है।
• स्थिरता (Stability): यदि $\lambda < \mu(1 - \delta)$, जहाँ $\delta = \frac{\text{ess sup}(s+o)}{M} \ll 1$ सबसे बड़े एकल अनुरोध को समायोजित करने के लिए आवश्यक मेमोरी बफर का प्रतिनिधित्व करता है, तो सिस्टम स्थिर (पॉजिटिव रिकरेंट मार्कोव चेन) है।

मुख्य योगदान

1. नवीन मॉडलिंग: यह कार्य पहला क्यूइंग मॉडल प्रस्तुत करता है जो KV कैशिंग द्वारा नियंत्रित गतिशील GPU मेमोरी बाधाओं और कंप्यूटेशनल आवश्यकताओं दोनों को स्पष्ट रूप से एकीकृत करता है। यह मेमोरी जागरूकता को शामिल करके और चंक्ड प्रिफिल चरणों के साथ शेड्यूलिंग सेटअप को परिष्कृत करके पिछले मॉडलों का सामान्यीकरण करता है।
2. कठोर स्थिरता स्थितियाँ: लेखक क्लोज्ड-फॉर्म स्थिरता और अस्थिरता की स्थितियाँ व्युत्पन्न करते हैं। ये परिणाम स्टोकैस्टिक वर्कलोड के तहत एक LLM सर्विस सिस्टम के अधिकतम टिकाऊ थ्रूपुट को निर्धारित करने के लिए एक सिद्धांत आधारित आधार प्रदान करते हैं।
3. अनुभवजन्य सत्यापन (Empirical Validation): सैद्धांतिक भविष्यवाणियों को वास्तविक दुनिया के GPU प्रोडक्शन वातावरण (NVIDIA A100) में व्यापक प्रयोगों के माध्यम से सत्यापित किया गया, जिसमें सिंगल-GPU और मल्टी-GPU कॉन्फ़िगरेशन (डेटा पैरेलल) दोनों शामिल हैं।

प्रायोगिक परिणाम

लेखकों ने vLLM इन्फरेंस इंजन के साथ Meta-Llama-3-8B मॉडल का उपयोग करके 8-GPU टेस्टबेड पर प्रयोग किए।

• सटीकता (Accuracy): सैद्धांतिक सेवा दर $\mu_{theory}$ अनुभवजन्य रूप से मापी गई दर $\mu_{gpu}$ के बहुत करीब है। विभिन्न प्रॉम्प्ट-टू-डिकोड रेश्यो (P/D) (1:1, 2:1, 1:2) और एक वास्तविक दुनिया के डेटासेट (LongBench v2) में, भविष्यवाणी त्रुटि (गैप एब्सोल्यूट परसेंटेज) 10% के भीतर रही (विशेष रूप से 2.25% से 8.38% के बीच)।
• मल्टी-जीपीयू स्केलेबिलिटी: एक 8-GPU क्लस्टर सेटअप में, सैद्धांतिक मॉडल रैखिक रूप से स्केल हुआ, जिसने अनुमानित और देखे गए दरों के बीच केवल 3.38% का विचलन प्राप्त किया।
• स्थिरता गतिशीलता (Stability Dynamics): प्रयोगों ने पुष्टि की कि जब $\lambda < \mu$ होता है, तो कतार की लंबाई सीमित रहती है (जैसे, सिंगल GPU के लिए $\le 5$), जबकि $\lambda > \mu$ होने पर कतार की लंबाई रैखिक रूप से, अनियंत रूप से बढ़ती है।

महत्व और दावे

यह कार्य दावा करता है कि यह सिस्टम परिनियोजन और संसाधन प्रावधान (resource provisioning) के लिए एक शक्तिशाली उपकरण प्रदान करता है। अनुमानित अनुरोध आगमन दर को व्युत्पन्न स्थिर सेवा दर के साथ जोड़कर, ऑपरेटरों को आवश्यक क्लस्टर आकार की गणना करने के लिए आवश्यक है ताकि:

• महंगी ओवर-प्रोविजनिंग (खाली पड़े GPUs) से बचा जा सके।
• प्रदर्शन-उल्लंघनकारी अंडर-प्रोविजनिंग (अनियंत कतारें और विलंबता स्पाइक्स) को रोका जा सके।

लेखक इस बात पर जोर देते हैं कि उनका फ्रेमवर्क क्षमता नियोजन (capacity planning) के लिए एक "सिद्धांत आधारित आधार" प्रदान करता है, जिससे अभ्यासकर्ताओं को मात्रात्मक रूप से क्षमता और मांग को संतुलित करने में सक्षम बनाया जा सकता है। वे उल्लेख करते हैं कि जबकि उनका वर्तमान ध्यान डेटा-पैरलल परिनियोजन पर है, फ्रेमवर्क को प्रभावी मेमोरी और बैच टाइम पैरामीटर को समायोजित करके टेंसर पैरललिज्म के लिए विस्तारित किया जा सकता है, जबकि पाइपलाइन पैरललिज्म और डिसएग्रिगेशन के लिए आगे के अन्वेषण की आवश्यकता है। परिणाम पुष्टि करते हैं कि आधुनिक LLM सर्विस सिस्टम में सटीक स्थिरता विश्लेषण के लिए क्यूइंग मॉडल में मेमोरी डायनेमिक्स को शामिल करना आवश्यक है।