तकनीकी सारांश: CacheTTL

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) इन्फरेंस इंजन वर्तमान में की-वैल्यू (KV) कैश प्रबंधन के लिए "एंड-ऑफ-टर्न" (turn के अंत में) इविक्शन नीतियों पर निर्भर करते हैं। इन प्रणालियों में, एक बार जब कोई अनुरोध डिकोडिंग समाप्त कर देता है, तो नए आने वाले अनुरोधों के लिए उपयोगिता को अधिकतम करने हेतु उसका KV कैश GPU मेमोरी से हटा (evict) दिया जाता है। जबकि यह मानक मल्टी-टर्न चैटबॉट्स के लिए प्रभावी है, यह नीति एजेंटिक वर्कलोड्स (जैसे, सॉफ्टवेयर इंजीनियरिंग एजेंट, टूल-इस्तेमाल करने वाले एजेंट) के लिए विफल हो जाती है जो ReAct प्रतिमान (paradigm) का पालन करते हैं।

एजेंटिक वर्कफ़्लो में, इन्फरेंस स्टेप्स बाहरी टूल कॉल्स के साथ इंटरलीव्ड होते हैं। ये टूल कॉल्स ऐसे अंतराल (pauses) पेश करते हैं जो मानव टाइपिंग की गति से अक्सर कम होते हैं लेकिन इतने लंबे होते हैं कि मानक इंजनों में KV कैश इविक्शन को ट्रिगर कर सकें। जब एजेंट अगले इन्फरेंस स्टेप को शुरू करने के लिए टूल कॉल से वापस आता है, तो सिस्टम को या तो:

1. रीकंप्यूट (Recompute) करना पड़ता है (प्रीफिल), जिससे महत्वपूर्ण विलंबता (latency) आती है।
2. KV कैश को CPU मेमोरी से रीलोड (Reload) करना पड़ता है (यदि ऑफलोडिंग सक्षम है), जो प्रति-टर्न क्यूइंग डिले (queueing delay) पेश करता है। भले ही रीलोड तेज़ हो, फिर भी अनुरोध को GPU मेमोरी खाली होने के लिए अन्य सक्रिय अनुरोधों द्वारा छोड़े जाने तक कतार (queue) में प्रतीक्षा करनी पड़ती है।

मौजूदा समाधान इसे समग्र रूप से संबोधित करने में विफल रहते हैं:

• InferCept रीलोड लागत पर विचार करता है लेकिन संचित प्रति-टर्न क्यूइंग डिले को अनदेखा करता है और परिवर्तनशील टूल ड्यूरेशन के विरुद्ध मजबूती की कमी है।
• Autellix और Pie स्थिर वर्कफ़्लो पर ध्यान केंद्रित करते हैं या विशिष्ट रिटेंशन नीतियों का अभाव है।
• स्टैटिक रिटेंशन (Static retention) रणनीतियाँ GPU मेमोरी को डेडलॉक करने का जोखिम उठाती हैं यदि टूल कॉल्स अपेक्षित समय से अधिक समय ले लेते हैं।

मूल चुनौती KV कैश को पुनर्गणना और क्यूइंग डिले से बचने के लिए पर्याप्त समय तक बनाए रखने और अप्रत्याशित टूल निष्पादन समय के दौरान GPU मेमोरी पर एकाधिकार करने के बीच संतुलन बनाना है।

कार्यप्रणाली: CacheTTL

लेखक CacheTTL का प्रस्ताव करते हैं, जो एक सर्विंग सिस्टम है जो KV कैश रिटेंशन के लिए एक टाइम-टू-लिव (TTL) तंत्र पेश करता है। तत्काल इविक्शन के बजाय, CacheTTL गणना किए गए अवधि के लिए चुनिंदा रूप से KV कैश को GPU मेमोरी में पिन (pin) करता है।

1. लागत-लाभ उपयोगिता मॉडल (Cost-Benefit Utility Model)

CacheTTL कैश को बनाए रखने की लागत और इविक्शन से बचने के लाभ के बीच के ट्रेड-ऑफ को मॉडल करके इष्टतम TTL ($\tau$) निर्धारित करता है।

• लागत ($Cost(\tau, r)$): GPU मेमोरी पर कब्जा करने की अवसर लागत (opportunity cost), जिसे अनुरोध के मेमोरी उपयोग और सक्रिय अनुरोधों के औसत मेमोरी फुटप्रिंट के अनुपात के रूप में, TTL अवधि ($\tau$) से गुणा करके निकाला जाता है। यह उस विलंबता का प्रतिनिधित्व करता है जो पिन किए गए कैश द्वारा बाधित अन्य अनुरोधों को जोड़ दी जाती है।
• लाभ ($Benefit(r)$): दो बचाई गई लागतों का योग:
  1. CacheMissCost: KV कैश को पुनर्गठित करने (प्रीफिल) या CPU से रीलोड करने के लिए आवश्यक समय।
  2. OutofOrderCost: वह प्रति-टर्न क्यूइंग डिले जो तब होता यदि अनुरोध को इवािक्ट कर दिया जाता और उसे GPU मेमोरी उपलब्ध होने के लिए कतार में प्रतीक्षा करनी पड़ती। यह शब्द महत्वपूर्ण है और इसे InferCept जैसे पिछले कार्यों से अलग करता है। इसे एक मेमोरीफुलनेस फैक्टर ($\eta$) द्वारा स्केल किया जाता है, जो यह मापता है कि शेष चरणों की संख्या वर्तमान प्रगति के साथ कितनी सह-संबंधित है (उदाहरण के लिए, निश्चित-लंबाई के प्रोग्राम में उच्च मेमोरीफुलनेस होती है)।

2. TTL गणना

सिस्टम ऐतिहासिक टूल-कॉल रिकॉर्ड से प्राप्त एक अनुभवजन्य संचयी वितरण फलन (Cumulative Distribution Function - CDF) का उपयोग करके, अपेक्षित शुद्ध लाभ को अधिकतम करके इष्टतम $\tau^*$ की गणना करता है:
$$\tau^* = \arg\max_{\tau} \left( P(\tau, f) \times Benefit(r) - Cost(\tau, r) \right)$$
जहाँ $P(\tau, f)$ वह संभावना है कि टूल कॉल $f$ समय $\tau$ के भीतर पूरा हो जाएगा।

• कोल्ड स्टार्ट हैंडलिंग (Cold Start Handling): जब ऐतिहासिक डेटा कम होता है, तो CacheTTL एक एक्सपोनेंशियल डिस्ट्रीब्यूशन धारणा या ग्लोबल एवरेज से प्राप्त एक निश्चित TTL पर डिफ़ॉल्ट करता है।
• मजबूती (Robustness): यदि कोई टूल कॉल TTL से अधिक हो जाता है, तो KV कैश को स्वचालित रूप से इवािक्ट कर दिया जाता है, जिससे अनिश्चितकालीन मेमोरी कब्जे और संभावित डेडलॉक को रोका जा सके।

3. शेड्यूलिंग और सिस्टम डिज़ाइन

• प्रोग्राम-स्तरीय FCFS: CacheTTL प्रोग्राम-स्तर पर (न कि केवल अनुरोध स्तर पर) FCFS नीति के साथ TTL को जोड़ता है। यह सुनिश्चित करता है कि एक ही एजेंट प्रोग्राम से संबंधित अनुरोधों को निरंतरता बनाए रखने के लिए प्राथमिकता दी जाए।
• TTL-जागरूक प्राथमिकता (TTL-Aware Priority): शेड्यूलर एक मल्टी-की प्राथमिकता टुपल असाइन करता है:
  1. प्रीएम्प्टेड (Preempted) स्थिति।
  2. TTL स्थिति: सक्रिय TTL (पिन किए गए) वाले अनुरोधों को बिना पिन किए गए अनुरोधों की तुलना में प्राथमिकता दी जाती है।
  3. प्रोग्राम-स्तरीय आगमन समय।
• कार्यान्वयन: यह एक मॉड्यूलर टूल-कॉल हैंडलर के साथ vLLM के ऊपर बनाया गया है। यह हैंडलर टूल कॉल्स की पहचान करने के लिए LLM आउटपुट को पार्स करता है, इंटर-अनुरोध अंतराल को रिकॉर्ड करता है, और शेड्यूलर को TTL मानों के बारे में सूचित करता है। इसका डिज़ाइन न्यूनतम ओवरहेड (~1k लाइनों का पायथन कोड) जोड़ता है और CPU/SSD ऑफलोडिंग के साथ संगत है।

मुख्य योगदान

1. समस्या की पहचान: पेपर यह पहचानता है कि मौजूदा KV कैश इविक्शन नीतियां प्रति-टर्न क्यूइंग डिले और टूल कॉल की परिवर्तनशीलता को अनदेखा करके एजेंटिक प्रदर्शन को कम करती हैं।
2. CacheTTL सिस्टम: एक नया सर्विंग सिस्टम जो डायनेमिक रूप से KV कैश को बनाए रखने के लिए TTL तंत्र का उपयोग करता है। यह प्रीफिल/रीलोड लागत और मेमोरी कंटेंशन लागत के बीच संतुलन बनाता है।
3. नया लागत मॉडल: OutofOrderCost टर्म का परिचय, जो इविक्शन के कारण होने वाले क्यूइंग डिले दंड को मात्रात्मक रूप देता है, और विभिन्न वर्कलोड संरचनाओं के अनुकूल होने के लिए मेमोरीफुलनेस फैक्टर।
4. मजबूती: यह सिस्टम एक अधिकतम रिटेंशन समय को लागू करके अप्रत्याशित टूल ड्यूरेशन को संभालता है, जिससे डेडलॉक और मेमोरी दबाव को रोका जा सके।

प्रयोगात्मक परिणाम

लेखकों ने विभिन्न हार्डवेयर (A100, H100, B200) पर SWE-Bench, BFCL, और OpenHands वर्कलोड का उपयोग करके Llama-3.1 (8B/7B), Gemma-3 (12B), और GLM-4.5 (355B) का उपयोग करके CacheTTL का मूल्यांकन किया।

• विलंबता में कमी (Latency Reduction): CacheTTL बेसलाइन्स (vLLM, Autellix, InferCept) की तुलना में औसत जॉब कंप्लीशन टाइम को 1.12x से 3.66x तक कम करता है। कंपनी A के आंतरिक टेस्टबेड पर वास्तविक दुनिया के SWE-एजेंट परीक्षणों में, इसने विलंब में 8.18x तक सुधार हासिल किया।
• थ्रूपुट (Throughput): थ्रूपुट में 1.10x से 3.22x का सुधार हुआ।
• मजबूती: सिस्टम बढ़ता हुआ टर्न होने पर भी स्थिर प्रदर्शन बनाए रखता है, जबकि बेसलाइन संचित क्यूइंग डिले के कारण काफी खराब प्रदर्शन करती हैं।
• संगतता: CacheTTL CPU और SSD ऑफलोडिंग के साथ भी बेसलाइन्स से बेहतर प्रदर्शन करता है, जो दर्शाता है कि इसके शेड्यूलिंग लाभ मेमोरी ऑफलोडिंग तकनीकों के ऑर्थोगोनल (orthogonal) हैं।
• ओवरहेड: शेड्यूलिंग ओवरहेड नगण्य (एकल-अंक मिलीसेकंड) है, जो एंड-टू-एंड विलंबता बचत से कहीं कम है।

महत्व और दावे

पेपर का दावा है कि CacheTTL विशेष रूप से मल्टी-टर्न एजेंटिक वर्कलोड के लिए डिज़ाइन किया गया पहला मजबूत, टूल-जागरूक KV कैश प्रबंधन रणनीति प्रदान करता है। "एंड-ऑफ-टर्न" इविक्शन से TTL-आधारित रिटेंशन पॉलिसी की ओर शिफ्ट होकर, सिस्टम प्रभावी रूप से LLM इन्फरेंस और बाहरी टूल निष्पादन के बीच के अंतर को पाटता है।

लेखक जोर देते हैं कि उनका दृष्टिकोण मॉड्यूलर है और इसे न्यूनतम परिवर्तनों के साथ मौजूदा इन्फरेंस इंजनों में एकीकृत किया जा सकता है। उनका तर्क है कि सिद्धांत आधारित, टूल-जागरूक KV प्रबंधन, एजेंट सर्विंग के कुशल भविष्य के लिए आवश्यक है, विशेष रूप से जैसे-जैसे एजेंटिक वर्कफ़्लो अधिक जटिल और मल्टी-टर्न होते जा रहे हैं। पेपर एजेंट सर्विंग में आगे के अनुसंधान को बढ़ावा देने के लिए अपने ट्रेसेस, कोड और टेस्टबेड को ओपन-सोर्स करने के साथ समाप्त होता है।