SLO-Aware Compute Resource Allocation for Prefill-Decode Disaggregated LLM Inference

यहाँ शोध पत्र "SLO-Aware Compute Resource Allocation for Prefill-Decode Disaggregated LLM Inference" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) इन्फरेंस पारंपरिक रूप से गैर-विभाजित (non-disaggregated) हार्डवेयर पर तैनात किया जाता है जहाँ प्रिफिल (Prefill) (कंप्यूट-बाउंड) और डिकोड (Decode) (मेमोरी-बैंडविड्थ-बाउंड) चरण एक ही GPU संसाधनों को साझा करते हैं। यह जुड़ाव हस्तक्षेप (interference) पैदा करता है, जिससे टाइम-टू-फर्स्ट-टोकन (TTFT) और टाइम-पर-आउटपुट-टोकन (TPOT) को एक साथ अनुकूलित करना कठिन हो जाता है, और यह प्रत्येक चरण के लिए स्वतंत्र हार्डवेयर अनुकूलन में भी बाधा डालता है।

जबकि प्रिफिल-डिकोड (P/D) विपृथकीकरण (disaggregation) इन चरणों को अलग करने के समाधान के रूप में उभरा है, एक महत्वपूर्ण परिचालन अंतराल बना हुआ है: विशिष्ट वर्कलोड के लिए प्रिफिल बनाम डिकोड हार्डवेयर संसाधनों के इष्टतम अनुपात और संख्या को निर्धारित करने की कोई स्थापित पद्धति उपलब्ध नहीं है (जैसे कि P बनाम D के लिए कितने GPU आवंटित करने हैं)।

• वर्तमान सीमाएँ: मौजूदा उपकरण (जैसे NVIDIA का AIConfigurator) अक्सर खोज-आधारित (search-based) दृष्टिकोणों पर निर्भर करते हैं या उपयोगकर्ता द्वारा परिभाषित थ्रूपुट आवश्यकताओं और सख्त सर्विस लेवल ऑब्जेक्टिव्स (SLOs) को एक साथ व्यापक रूप से शामिल करने में विफल रहते हैं। अनुचित आवंटन से या तो संसाधनों का कम उपयोग (उच्च लागत) होता है या SLO उल्लंघन (खराब उपयोगकर्ता अनुभव) होता है।

2. कार्यप्रणाली (Methodology)

लेखक एक हाइब्रिड दृष्टिकोण प्रस्तावित करते हैं जो प्रिफिल और डिकोड इंस्टेंस ($N_{prefill}$ और $N_{decode}$) की संख्या की गणना करने के लिए सैद्धांतिक मॉडलिंग को अनुभवजन्य बेंचमार्किंग (empirical benchmarking) के साथ जोड़ता है।

A. सैद्धांतिक संसाधन गणना मॉडल (Theoretical Resource Calculation Model)

मुख्य उद्देश्य दोनों चरणों के कुल कंप्यूटेशन समय को संतुलित करना है ताकि आइडलिंग (idling) से बचा जा सके।

1. कुल थ्रूपुट परिभाषा: इसे प्रति सेकंड संसाधित कुल टोकन ($TP_{total}$) के रूप में परिभाषित किया गया है, जो अनुरोधों की संख्या ($N_{req}$), औसत इनपुट लंबाई ($L_{in}$), और आउटपुट लंबाई ($L_{out}$) से प्राप्त होता है।
2. संतुलन समीकरण (Balancing Equations): एक पाइपलाइन्ड P/D सिस्टम में, कुल समय धीमे चरण द्वारा निर्धारित होता है। दक्षता को अधिकतम करने के लिए, $T_{prefill}$ को $T_{decode}$ के बराबर होना चाहिए।
3. संसाधन सूत्र: शोध पत्र आवश्यक इंस्टेंस की संख्या की गणना करने के लिए सूत्रों (Eq. 5 & 6) को व्युत्पन्न करता है:
   $$N_{prefill} = \frac{TP_{total} \times L_{in}}{(L_{in} + L_{out}) \times TP_{prefill}}$$
   $$N_{decode} = \frac{TP_{total} \times L_{out}}{(L_{in} + L_{out}) \times TP_{decode}}$$
   महत्वपूर्ण रूप से, अनुपात $R_{P/D}$ इनपुट/आउटपुट लंबाई और प्रत्येक चरण के प्रभावी थ्रूपुट (effective throughput) पर निर्भर करता है, न कि केवल कच्चे हार्डवेयर स्पेसिफिकेशन पर।

B. प्रभावी प्रिफिल थ्रूपुट का निर्धारण (TTFT बाधाओं के तहत)

चूंकि सख्त SLOs के तहत अधिकतम सैद्धांतिक प्रिफिल थ्रूपुट शायद ही कभी प्राप्त किया जा सकता है, लेखक प्रिफिल चरण को M/M/1 क्यूइंग थ्योरी (queuing theory) का उपयोग करके मॉडल करते हैं:

• TTFT संरचना: $TTFT = T_{queuing} + T_{computation} + T_{overhead}$ (जहाँ ओवरहेड में KV कैश ट्रांसफर और नेटवर्क लेटेंसी शामिल है)।
• क्यूइंग मॉडल: सिस्टम को एक M/M/1 क्यू के रूप में मॉडल किया गया है जहाँ सर्विस रेट $\mu$ अधिकतम बेंचमार्क्ड थ्रूपुट को इनपुट लंबाई से विभाजित करने पर प्राप्त होता है।
• व्युत्पत्ति: लक्षित TTFT को सेट करके, लेखक वास्तविक प्राप्त करने योग्य प्रिफिल थ्रूपुट ($TP_{prefill}$) की गणना करने के लिए एक सूत्र (Eq. 13) व्युत्पन्न करते हैं जो TTFT बाधा को पूरा करता है। यह इस तथ्य को ध्यान में रखता है कि सख्त TTFT आवश्यकताएं क्यूइंग समय को कम करने के लिए सिस्टम उपयोगिता को कम करने के लिए मजबूर करती हैं।

C. प्रभावी डिकोड थ्रूपुट का निर्धारण (TPOT बाधाओं के तहत)

डिकोड चरण के लिए, बैच साइज, थ्रूपुट और TPOT के बीच संबंध गैर-रैखिक (non-linear) है।

• अनुभवजन्य बेंचमार्किंग: लेखक देखते हैं कि डिकोड बैच साइज बढ़ाने से थ्रूपुट बढ़ता है लेकिन TPOT भी बढ़ जाता है।
• विधि: वे TPOT बनाम बैच साइज और थ्रूपुट बनाम बैच साइज के वक्र (curve) का बेंचमार्किंग करते हैं।
• चयन: वे उस अधिकतम बैच साइज की पहचान करते हैं जो लक्षित TPOT बाधा को संतुष्ट करता है और संबंधित थ्रूपुट मान को प्रभावी $TP_{decode}$ के रूप में उपयोग करते हैं।

3. मुख्य योगदान (Key Contributions)

1. सैद्धांतिक संसाधन मॉडल: कुल थ्रूपुट, अनुरोध विशेषताओं ($L_{in}, L_{out}$), और SLOs के आधार पर P/D इंस्टेंस की सटीक संख्या की गणना करने के लिए एक गणितीय ढांचा स्थापित किया।
2. प्रिफिल के लिए M/M/1 क्यूइंग: लक्षित TTFT और अधिकतम बेंचमार्क्ड प्रदर्शन से प्रभावी प्रिफिल थ्रूपुट प्राप्त करने के लिए क्यूइंग-थ्योरी-आधारित विधि पेश की, जो सरल पीक थ्रूपुट धारणाओं से आगे जाती है।
3. अनुभवजन्य डिकोड अनुकूलन: TPOT सीमाओं का सख्ती से पालन करते हुए थ्रूपुट को अधिकतम करने के लिए बेंचमार्क-संचालित दृष्टिकोण प्रस्तावित किया।
4. सत्यापन: यह प्रदर्शित किया कि यह हाइब्रिड विधि वास्तविक दुनिया के परिदृश्यों में संसाधन आवंटन की सटीक भविष्यवाणी करती है, जिससे लागत-दक्षता और SLO अनुपालन के बीच संतुलन बनता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस विधि को NVIDIA H200 GPUs पर DeepSeek-V3.1-Terminus का उपयोग करके निम्नलिखित बाधाओं के साथ सत्यापित किया गया:

• लक्षित SLOs: TTFT $\le$ 2s, TPOT $\le$ 20ms।
• वर्कलोड: औसत इनपुट 6144 टोकन, आउटपुट 512 टोकन, कुल थ्रूपुट 5 मिलियन टोकन प्रति मिनट (M TPM)।

निष्कर्ष:

• गणना किया गया आवंटन: विधि ने 3 प्रिफिल : 4 डिकोड (3P4D) इंस्टेंस अनुपात की भविष्यवाणी की।
• प्रदर्शन सत्यापन:
  • 3P4D परिनियोजन ने लक्षित 5 M TPM थ्रूपुट प्राप्त किया और दोनों TTFT और TPOT SLOs को पूरा किया (विशेष रूप से पूर्ण SLO अनुपालन के साथ ~4.8 M TPM तक पहुँचा)।
  • तुलना (3P3D): एक संतुलित 3P3D परिनियोजन, TPOT बाधाओं के कारण, थ्रूपुट लक्ष्य को पूरा करने में विफल रहा और ~3.6 M TPM पर रुक गया।
• दक्षता: 3P3D (0.6 M TPM/node) की तुलना में 3P4D कॉन्फ़िगरेशन ने उच्च प्रति-नोड थ्रूपुट (0.69 M TPM/node) दिया, जो संसाधन उपयोग को अधिकतम करने की इसकी क्षमता को सिद्ध करता है।

5. महत्व (Significance)

यह शोध पत्र विपृथक (disaggregated) LLM इन्फरेंस के संचालन में एक महत्वपूर्ण अंतर को संबोधित करता है। संसाधन आवंटन के लिए एक निश्चित (deterministic), SLO-जागरूक कार्यप्रणाली प्रदान करके, यह सक्षम बनाता है:

• लागत में कमी: महंगे GPU संसाधनों के अत्यधिक प्रावधान (over-provisioning) को रोकता है।
• प्रदर्शन गारंटी: यह सुनिश्चित करता है कि उपयोगकर्ता द्वारा परिभाषित लेटेंसी बाधाएं (TTFT/TPOT) बिना किसी ट्रायल-एंड-एरर परिनियोजन के पूरी हों।
• स्केलेबिलिटी: यह क्लाउड प्रदाताओं और उद्यमों को विभिन्न मॉडलों और हार्डवेयर कॉन्फ़िगरेशन के अनुकूल, कुशलता से LLM तैनात करने के लिए एक पुनरुत्पादनीय (reproducible) ढांचा प्रदान करता है।

लेखक सुझाव देते हैं कि भविष्य के कार्य में इसे सिमुलेशन-आधारित उपकरणों (जैसे AIConfigurator) के साथ एकीकृत किया जा सकता है और तर्क को मल्टीमॉडल EPD (एम्बेडिंग-प्रिफिल-डिकोड) विपृथकीकरण प्रणालियों तक बढ़ाया जा सकता है।