🤖 machine learning

Efficient Serving for Dynamic Agent Workflows with Prediction-based KV-Cache Management

यह शोध पत्र PBKV को प्रस्तुत करता है, जो एक पूर्वानुमान-आधारित प्रणाली है जो LLM वर्कफ़्लो में भविष्य के एजेंट इनवोकेशन्स (agent invocations) का गतिशील रूप से पूर्वानुमान लगाती है ताकि GPU मेमोरी में उच्च-क्षमता वाले KV-कैश प्रविष्टियों (entries) को बुद्धिमानी से प्रबंधित और रिटेन किया जा सके, जिससे गतिशील और स्थिर दोनों प्रकार के वर्कफ़्लो पर मौजूदा बेसलाइनों की तुलना में महत्वपूर्ण गति प्राप्त होती है।

मूल लेखक: Haoyu Zheng, Fangcheng Fu, Jia Wu, Binhang Yuan, Yongqiang Zhang, Hao Wang, Yuanyuan Zhu, Xiao Yan, Jiawei Jiang

प्रकाशित 2026-05-08

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoyu Zheng, Fangcheng Fu, Jia Wu, Binhang Yuan, Yongqiang Zhang, Hao Wang, Yuanyuan Zhu, Xiao Yan, Jiawei Jiang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त, उच्च श्रेणी के रेस्तरां की रसोई चला रहे हैं। इस रसोई में, लार्ज लैंग्वेज मॉडल्स (LLMs) मास्टर शेफ हैं, और एजेंट्स (Agents) विशेष स्टेशन हैं (जैसे ग्रिल, सलाद बार, या पेस्ट्री शेफ) जो एक जटिल ऑर्डर को पूरा करने के लिए मिलकर काम करते हैं।

जब एक शेफ कोई व्यंजन तैयार करता है, तो वह एक "मानसिक संदर्भ" (सामग्री, रेसिपी के चरण, और भोजन की वर्तमान स्थिति) बनाता है। कंप्यूटर की भाषा में, इसे KV-Cache कहा जाता है। यह एक शेफ के तैयारी स्टेशन (prep station) की तरह है: यदि अगले चरण के लिए उसी कटे हुए प्याज या उसी सॉस की आवश्यकता है, तो शेफ उन्हें फिर से काटने या मिलाने की इच्छा नहीं करेगा; वह बस वहां से जो पहले से मौजूद है उसे उठा लेगा। यह बहुत सारा समय बचाता है।

हालाँकि, रसोई में काउंटर स्पेस (GPU मेमोरी) सीमित है। आप हर एक तैयारी स्टेशन को हमेशा के लिए सेट करके नहीं रख सकते। आपको यह तय करना होगा कि नया ऑर्डर लेने के लिए जगह बनाने हेतु किसे हटाना है।

समस्या: रसोई का "अनुमान लगाने वाला खेल"

अतीत में, रसोईयाँ एक सरल नियम का उपयोग करती थीं जिसे LRU (Least Recently Used) कहा जाता था: "यदि किसी स्टेशन को कुछ समय से छुआ नहीं गया है, तो उसे साफ कर दें।"

दोष: एक गतिशील रेस्तरां में, एक स्टेशन कुछ समय के लिए शांत रह सकता है जबकि शेफ ग्राहक से बात कर रहा हो या डिलीवरी का इंतजार कर रहा हो, लेकिन फिर भी उन्हें इसकी तुरंत आवश्यकता हो सकती है। LRU इसे केवल इसलिए हटा देता है क्योंकि यह शांत था, जिससे शेफ को शून्य से शुरुआत करनी पड़ती है (एक "री-प्रीफिल"), जो धीमा और महंगा है।

एक अन्य दृष्टिकोण, जिसे KVFlow कहा जाता था, यह मान लेता था कि किचन मैनेजर को हर स्टेशन के क्रम का सटीक ज्ञान पहले से है (जैसे "ग्रिल -> सलाद -> पेस्ट्री")।

दोष: वास्तविक जीवन अव्यवस्थित है। कभी-कभी सलाद शेफ को एहसास होता है कि सलाद खराब है और उसे वापस फ्रिज के पास जाना पड़ता है (एक "रिट्राय लूप")। कभी-कभी पेस्ट्री शेफ ग्राहक की प्रतिक्रिया के आधार पर एक नया डेज़र्ट बनाने का निर्णय लेता है। क्रम स्थिर नहीं है; यह बातचीत के आधार पर बदलता रहता है। KVFlow भ्रमित हो जाता है जब योजना बदल जाती है।

समाधान: PBKV (एक "भविष्यवक्ता" किचन मैनेजर)

लेखकों ने PBKV (प्रेडिक्शन-बेस्ड KV-कैश मैनेजमेंट) नामक एक नया सिस्टम बनाया है। पुराने "पिछला उपयोग" के आधार पर अनुमान लगाने या "कल के प्लान" के आधार पर काम करने के बजाय, PBKV एक सुपर-स्मार्ट किचन मैनेजर की तरह काम करता है जो निकट भविष्य में झाँक सकता है।

यहाँ बताया गया है कि PBKV कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. क्रिस्टल बॉल (द प्रेडिक्टर)

PBKV के पास एक "क्रिस्टल बॉल" (एक मशीन लर्निंग मॉडल) है जो वर्तमान ऑर्डर और समान ऑर्डर्स के इतिहास को देखता है और भविष्यवाणी करता है: "अगले 3 चरणों में शेफ को किन स्टेशनों की आवश्यकता होगी?"

यह कैसे काम करता है: यह केवल अगले चरण का अनुमान नहीं लगाता (जो गलत हो सकता है); यह एक साथ अगले तीन चरणों का अनुमान लगाता है। यह "मेन्यू स्ट्रक्चर" (रेस्तरां का सामान्य प्रवाह) और "विशिष्ट ऑर्डर विवरण" (ग्राहक ने वास्तव में क्या कहा) को जोड़ता है।
उपमा: यदि ग्राहक कहता है, "मुझे बर्गर चाहिए, लेकिन शायद एक्स्ट्रा चीज़ के साथ," तो मैनेजर भविष्यवाणी करता है: "पहले ग्रिल, फिर शायद चीज़ स्टेशन, और यदि वे अपना मन बदलते हैं, तो शायद बन (bun) स्टेशन।"

2. "रिटायर्ड" स्टेशन नियम (लाइफसाइकिल-अवेयर इविक्शन)

PBKV का एक सुनहरा नियम है: यदि कोई व्यंजन समाप्त हो गया है, तो उसके स्टेशन को तुरंत खाली कर दें।

उपमा: यदि एक टेबल खाना खाकर भुगतान कर चुकी है और जा चुकी है, तो आप "लीस्ट रिसेंटली यूज्ड" नियम के लागू होने का इंतज़ार नहीं करते कि टेबल खाली की जाए। आप नए मेहमानों के लिए जगह बनाने के लिए इसे अभी साफ कर देते हैं। PBKV स्वचालित रूप से "समाप्त" वर्कफ़्लो की पहचान करता है और किसी भी अन्य चीज़ को देखने से पहले उनके मेमोरी स्पेस को वापस प्राप्त कर लेता है। यह एक बड़ी जीत है क्योंकि यह 100% निश्चित है कि उन स्टेशनों की दोबारा आवश्यकता नहीं होगी।

3. "स्कोरकार्ड" सिस्टम (लुकअहेड स्कोरिंग)

उन स्टेशनों के लिए जो अभी भी सक्रिय हैं, PBKV केवल अनुमान नहीं लगाता; यह एक स्कोर की गणना करता है।

उपमा: कल्पना करें कि प्रत्येक तैयारी स्टेशन को एक स्कोर मिलता है जो इस आधार पर है कि: "इस बात की कितनी संभावना है कि रसोई में किसी भी शेफ को अगले कुछ मिनटों में इसकी आवश्यकता होगी?"
यदि "चीज़ स्टेशन" की जल्द ही 5 अलग-अलग ऑर्डर्स द्वारा आवश्यकता होने की भविष्यवाणी की जाती है, तो इसका स्कोर उच्च होता है, और यह काउंटर पर बना रहता है।
यदि "स्पेशल सॉस" केवल एक ऐसे ऑर्डर के लिए आवश्यक है जो रद्द हो सकता है, तो इसका स्कोर कम है, और इसे काउंटर स्पेस बचाने के लिए पीछे के फ्रिज (होस्ट मेमोरी) में भेज दिया जाता है।

4. "सुरक्षित" प्री-ऑर्डर (कंजर्वेटिव प्रीफेचिंग)

कभी-कभी, मैनेजर को लगता है कि एक स्टेशन की जल्द ही आवश्यकता होगी, इसलिए वह सामग्री को फ्रिज से काउंटर पर लाने की कोशिश करता है इससे पहले कि शेफ उन्हें मांगे।

उपमा: PBKV यहाँ बहुत रूढ़िवादी (conservative) है। वह सामग्री तभी बाहर लाता है यदि:
1. खाली काउंटर स्पेस पहले से मौजूद हो।
2. उसे किसी मूल्यवान चीज़ को बाहर न निकालना पड़े।
3. वह मुख्य डिलीवरी ट्रक (PCIe बैंडविड्थ) को बाधित न करे।
क्यों? यदि मैनेजर गलत अनुमान लगाता है और गलत सामग्री बाहर ले आता है, तो उसे जगह बनाने के लिए एक सही सामग्री को फेंकना पड़ सकता है। यह एक आपदा है। PBKV कहता है, "यदि हम सुनिश्चित नहीं हैं, तो हम कीमती चीजों के साथ जुआ नहीं खेलेंगे।"

परिणाम: एक तेज़ रसोई

लेखकों ने तीन अलग-अलग "रसोइयों" (वर्कलोड) में PBKV का परीक्षण किया:

फैक्ट चेकिंग: एक वर्कफ़्लो जहाँ एजेंट जानकारी को सत्यापित करते हैं।
कोड राइटिंग: एक वर्कफ़्लो जहाँ एजेंट कोड लिखते हैं और उसे ठीक करते हैं (जिसमें अक्सर लूप/रिट्राय शामिल होते हैं)।
फाइनेंशियल एनालिसिस: एक स्टेटिक वर्कफ़्लो (तुलना के लिए)।

निष्कर्ष:

पुराने "लास्ट यूज़्ड" नियम (LRU) की तुलना में, PBKV ने गतिशील कार्यों पर रसोई को 1.85 गुना तेज़ बना दिया।
इसने LRU की तुलना में "तैयारी स्टेशनों" (कैश) को 2.55 गुना अधिक बार तैयार रखा।
स्टेटिक कार्यों पर पिछले सर्वश्रेष्ठ सिस्टम (KVFlow) की तुलना में भी, PBKV 1.26 गुना तेज़ था।

सेफ्टी नेट (सुरक्षा जाल)

यह पेपर गणितीय रूप से भी सिद्ध करता है कि भले ही "क्रिस्टल बॉल" (प्रेडिक्टर) गलतियाँ करे, सिस्टम क्रैश नहीं होता है। यह सुचारू रूप से काम करता रहता है।

उपमा: यदि मैनेजर का अनुमान थोड़ा गलत भी हो जाता है, तो सिस्टम एक सुरक्षित, मानक तरीके पर वापस चला जाता है। यह स्थिति को उस स्तर से बदतर नहीं बनाएगा जितना कि तब होता जब मैनेजर ने अनुमान लगाने की कोशिश ही नहीं की होती।

सारांश

PBKV AI वर्कफ़्लो के लिए एक स्मार्ट किचन मैनेजर है। यह केवल इसलिए उपयोगी उपकरणों को नहीं फेंकता क्योंकि वे एक क्षण के लिए शांत थे, और यह अंधे होकर अनुमान भी नहीं लगाता। इसके बजाय, यह आगे देखता है, समाप्त हुए काम को तुरंत साफ करता है, और केवल तभी चीजें इधर-उधर करता है जब यह सुरक्षित हो। परिणाम एक बहुत तेज़, अधिक कुशल AI सिस्टम है जो जटिल, बदलते कार्यों को बिना अटके संभालता है।

तकनीकी सारांश: प्रेडिक्शन-आधारित KV-कैश प्रबंधन (PBKV) के साथ डायनेमिक एजेंट वर्कफ़्लो के लिए कुशल सर्विंग

1. समस्या विवरण

LLM-आधारित मल्टी-एजेंट सिस्टम जटिल कार्यों को सहयोग करने वाले एजेंटों (जैसे, प्लानर, कोडर, टेस्टर) के अनुक्रमों में विभाजित करते हैं। ये एजेंट पर्याप्त संदर्भ (context) साझा करते हैं, जिससे KV-कैश पुन: उपयोग (reuse) के महत्वपूर्ण अवसर बनते हैं। हालाँकि, मौजूदा इन्फरेंस इंजन (जैसे, vLLM, SGLang) आमतौर पर LRU नीति पर निर्भर करते हैं, जो टेम्पोरल लोकैलिटी (temporal locality) को मानती है। एजेंटिक वर्कफ़्लो में, कैश पुन: उपयोग टेम्पोरल निकटता के बजाय वर्कफ़्लो की संरचनात्मक प्रकृति (structural nature) द्वारा संचालित होता है; एक कैश प्रविष्टि (entry) कई एजेंट इनवोकेशनों (जैसे, टूल कॉल्स या लूप इटरेशन के दौरान) के दौरान निष्क्रिय रह सकती है, जिसके कारण LRU उसे समय से पहले हटा (evict) देता है।

KVFlow जैसे वैकल्पिक दृष्टिकोण एक स्थिर, पूर्व-निर्धारित एजेंट स्टेप ग्राफ (एक वैश्विक DAG) मानते हैं ताकि "स्टेप्स-टू-एग्जीक्यूशन" के आधार पर इविक्शन निर्धारित किया जा सके। यह धारणा वास्तविक डायनेमिक वर्कफ़्लो में विफल हो जाती है, जहाँ कॉल किए गए एजेंटों का अनुक्रम रनटाइम कॉन्टेक्स्ट (जैसे, एक टेस्टर द्वारा रिट्राय लूप को ट्रिगर करना या एक रिट्राइवर द्वारा नए सब-क्वेरीज़ उत्पन्न करना) पर निर्भर करता है।

मुख्य चुनौती दोहरी है:

पूर्वानुमान योग्यता (Predictability): एजेंटिक वर्कलोड स्वाभाविक रूप से स्टोकेस्टिक (stochastic) होते हैं क्योंकि LLM डिकोडिंग पर आधारित होते हैं, जिससे भविष्य के एजेंट इनवोकेशन्स का अनुमान लगाना कठिन होता है।
त्रुटि की लागत (Cost of Error): प्रेडिक्शन त्रुटियां अत्यधिक महंगी होती हैं। मल्टी-एजेंट सेटिंग में एक कैश मिस पूरे वर्कफ़्लो कॉन्टेक्स्ट में संचित हजारों टोकन के पुनः प्रीफिल (re-prefill) को मजबूर कर सकता है।

पेपर यह प्रश्न पूछता है: हम डायनेमिक मल्टी-एजेंट सिस्टम के लिए एक ऐसा KV-कैश प्रबंधन ढांचा कैसे डिज़ाइन कर सकते हैं जो प्रेडिक्शन त्रुटियों के प्रति मजबूत (robust) हो, फिर भी अपूर्ण प्रेडिक्टर्स से निरंतर लाभान्वित होता रहे?

2. कार्यप्रणाली: PBKV सिस्टम

लेखक PBKV (Prediction-Based KV-Cache Management) प्रस्तावित करते हैं, जो मौजूदा KV-कैश प्रविष्टियों के पुन: उपयोग मूल्य का मूल्यांकन करने के लिए भविष्य के एजेंट इनवोकेशन्स का पूर्वानुमान लगाता है। PBKV एक दो-स्तरीय स्टोरेज पदानुक्रम (GPU मेमोरी और HiCache के माध्यम से होस्ट मेमोरी) पर काम करता है और इसके तीन मुख्य घटक हैं:

A. वर्कफ़्लो प्रेडिक्टर (Workflow Predictor)

एक स्थिर ग्राफ मानने के बजाय, PBKV एक प्रेडिक्टर का उपयोग करता है जो प्रत्येक सक्रिय वर्कफ़्लो के लिए अगले $K$ एजेंट इनवोकेशन्स का पूर्वानुमान लगाने के लिए पूरक संकेतों (complementary signals) को फ्यूज करता है।

आर्किटेक्चर: GraphSAGE पर आधारित, प्रेडिक्टर इंडक्टिव (inductive) है, जो इसे रनटाइम पर अनदेखे वर्कफ़्लो प्रीफिक्स के लिए सामान्यीकरण करने की अनुमति देता है।
सिग्नल फ्यूजन (Signal Fusion):
1. टोपोलॉजी-अवेयर एजेंट एम्बेडिंग ( $h_{cur}$ ): ग्लोबल कॉल ग्राफ $G$ (ऑफलाइन ट्रेसेस से प्राप्त) में वर्तमान एजेंट की पहचान और उसके पड़ोस को एनकोड करता है।
2. अटेंशन-आधारित हिस्ट्री एग्रीगेशन ( $h_{path}$ ): स्केल्ड डॉट-प्रोडक्ट अटेंशन का उपयोग करके वर्कफ़्लो प्रीफिक्स को सारांशित करता है, जिससे उन वर्कफ़्लो के बीच अंतर किया जाता है जो अलग-अलग पथों के माध्यम से एक ही एजेंट तक पहुँचते हैं।
3. सिमेंटिक सिग्नल ( $h_{txt}$ ): अनुरोध-विशिष्ट इरादे (intent) को कैप्चर करने के लिए अंतिम प्रीफिल टोकन के पोस्ट-नॉर्म हिडन स्टेट का पुन: उपयोग करता है, जिससे समान प्रीफिक्स वाले लेकिन भिन्न लक्ष्यों वाले अनुरोधों के बीच अंतर किया जा सके।
आउटपुट: प्रेडिक्टर एक सिंगल फॉरवर्ड पास में आगामी एजेंटों पर $K$ प्रोबेबिलिटी डिस्ट्रीब्यूशन उत्सर्जित करता है, जिससे ऑटो-रिग्रेसिव एरर संचय (error accumulation) से बचा जा सके।

B. लुकअहेड KV-कैश इविक्शन (Lookahead KV-Cache Eviction)

PBKV सरल टेम्पोरल ह्यूरिस्टिक्स के स्थान पर एक पदानुक्रमित इविक्शन नीति (hierarchical eviction policy) को लागू करता है जो "लुकअहेड पुन: उपयोग स्कोर" द्वारा संचालित होती है।

लाइफसाइकिल-अवेयर रिक्लेमेशन: समाप्त हुए वर्कफ़्लो ("रिटायर्ड कैश") से जुड़े कैश नोड्स को नियत रूप से (deterministically) पहचाना जाता है और सबसे पहले हटाया जाता है, क्योंकि उनमें पुन: उपयोग की शून्य क्षमता होती है। यह प्रेडिक्शन की गुणवत्ता से स्वतंत्र होकर एक बेसलाइन सुधार प्रदान करता है।
स्कोर-ड्रिवन एक्टिव इविक्शन: सक्रिय कैश के लिए, एक निरंतर स्कोर की गणना की जाती है:
$\text{Score}(c) = \sum_{k=1}^{K} \gamma^{k-1} \sum_{w \in \mathcal{W}_{act}(c)} s_w^{(k)} \cdot A_w(c) \cdot P_w^{(k)}$
जहाँ:
- $A_w(c)$ एक एक्सेस इंडिकेटर है (किस वर्कफ़्लो $w$ ने नोड $c$ को एक्सेस किया)।
- $P_w^{(k)}$ स्टेप $k$ पर $c$ को एक्सेस करने वाले एजेंट को इनवोक करने की अनुमानित संभावना है।
- $s_w^{(k)}$ संचयी उत्तरजीविता (survival) संभावना है (वर्कफ़्लो समाप्त नहीं हुआ है)।
- $\gamma < 1$ एक कॉन्फिडेंस डिके फैक्टर है जो अविश्वसनीय लॉन्ग-होरिज़न प्रेडिक्शन को कम महत्व देने के लिए है।
पदानुक्रमित रणनीति: सिस्टम सक्रिय कैश को छूने से पहले रिटायर्ड कैश (स्कोर = 0) को हटाने को प्राथमिकता देता है। यह सुनिश्चित करता है कि यदि प्रेडिक्टर खराब है, तो सिस्टम अभी भी लाइफसाइकिल जागरूकता से लाभ उठाता है; यदि सटीक है, तो यह मल्टी-स्टेप लुकअहेड का लाभ उठाता है।

C. कंजर्वेटिव प्रीफेचिंग (Conservative Prefetching)

ट्रांसफर लेटेंसी को छिपाने के लिए, PBKV होस्ट मेमोरी से GPU में संभावित रूप से पुन: उपयोग किए जाने वाले कैश को सक्रिय रूप से लोड करता है।

कंजर्वेटिव सिद्धांत: प्रीफेचिंग को अन्यथा खाली GPU स्पेस (फ्री स्पेस + रिटायर्ड कैश) और खाली PCIe बैंडविड्थ (शुद्ध-डिकोड बैचों के दौरान) तक सीमित रखा गया है।
जोखिम बचाव: PBKV प्रीफेच किए गए डेटा के लिए जगह बनाने के लिए कभी भी सक्रिय कैश को इजेक्ट (evict) नहीं करता है। यह सुनिश्चित करता है कि प्रेडिक्शन त्रुटियां प्रदर्शन को बेसलाइन से नीचे न गिरा दें।
रैंकिंग: उम्मीदवारों को एक सख्त बजट के तहत एक ग्रीडी ह्यूरिस्टिक का उपयोग करके वन-स्टेप पुन: उपयोग मूल्य (इक्वेशन 1) द्वारा रैंक किया जाता है।

3. मुख्य योगदान

औपचारिकीकरण (Formalization): यह पेपर मल्टी-एजेंट सर्विंग में KV-कैश प्रबंधन को भविष्य के एक्सेस पैटर्न की भविष्यवाणी करने की समस्या के रूप में औपचारिक रूप देता है, और इस सेटिंग में प्रेडिक्टर्स के लिए डिज़ाइन गाइडलाइन्स प्रदान करता है (मल्टी-सिग्नल फ्यूजन, मल्टी-स्टेप होराइजन)।
PBKV फ्रेमवर्क: लेखक एक ऐसा सिस्टम प्रस्तावित करते हैं जो पदानुक्रमित इविक्शन (डिटरमिनिस्टिक लाइफसाइकिल रिक्लेमेशन + प्रोबेबिलिस्टिक लुकअहेड स्कोरिंग) और कंजर्वेटिव प्रीफेचिंग को जोड़ता है।
सैद्धांतिक गारंटी: यह पेपर सिद्ध करता है कि PBKV का प्रदर्शन प्रेडिक्शन एरर के साथ लिप्सचिट्ज़-कंटीन्यूअसली (Lipschitz-continuously) घटता है। विशेष रूप से, इविक्शन कॉस्ट रिग्रेट प्रेडिक्शन एरर द्वारा रैखिक रूप से बाउंडेड है, जो यह सुनिश्चित करता है कि अपूर्ण प्रेडिक्टर्स के साथ भी प्रदर्शन में गिरावट सुचारू (graceful) बनी रहती है।
कार्यान्वयन और मूल्यांकन: PBKV को SGLang और HiCache के साथ कार्यान्वित किया गया है और विविध वर्कलोड और LLMs पर मूल्यांकन किया गया है।

4. प्रयोगात्मक परिणाम

प्रयोग तीन बेंचमार्क पर किए गए: HoVer (तथ्य सत्यापन, डायनेमिक लूप्स), SWE-bench (कोड जनरेशन, रिट्राय लूप्स), और FinanceBench (स्थिर वर्कफ़्लो)। उपयोग किए गए मॉडल्स में Qwen3-14B और Qwen3-32B शामिल थे।

डायनेमिक वर्कफ़्लो:
- PBKV ने LRU की तुलना में एंड-टू-एंड लेटेंसी में 1.85× तक की गति (speedup) और KV-कैश हिट रेट में 2.55× सुधार हासिल किया।
- "लाइफसाइकिल-अवेयर इविक्शन" (PBKV-LAE) अकेले LRU की तुलना में हिट रेट में 1.66× सुधार करता है, जो सरल लाइफसाइकिल सिग्नल्स के मूल्य को प्रदर्शित करता है।
- पूर्ण सिस्टम (PBKV-HE + Prefetching) भारी मेमोरी दबाव के तहत भी उच्च हिट रेट (~50-60%) बनाए रखता है, जहाँ LRU गिरकर ~10% हो जाता है।
स्थिर वर्कफ़्लो:
- स्थिर FinanceBench वर्कलोड पर, PBKV ने स्टेट-ऑफ-द-आर्ट बेसलाइन KVFlow को लेटेंसी में 1.26× और हिट रेट में 1.39× से पीछे छोड़ दिया। लेखक इसका श्रेय PBKV के लाइफसाइकिल-अवेयर इविक्शन (सक्रिय कैश को समय से पहले हटाने से रोकना) और क्रॉस-वर्कफ़्लो पुन: उपयोग स्कोर के एकत्रीकरण को देते हैं।
मजबूती (Robustness):
- संवेदनशीलता विश्लेषण (Sensitivity analysis) ने दिखाया कि कमजोर प्रेडिक्टर बैकबोन (जैसे, R-GCN, मार्कोव मॉडल) के साथ भी, PBKV लगातार LRU और प्रेडिक्शन-मुक्त वेरिएंट (PBKV-LAE) से बेहतर प्रदर्शन करता है।
- कंजर्वेटिव प्रीफेचिंग ने स्थिर लाभ प्रदान किया, जबकि आक्रामक प्रीफेचिंग (सक्रिय कैश को हटाना) मध्यम प्रेडिक्शन शोर के तहत प्रतिकूल हो गई।

5. महत्व और दावे

यह पेपर दावा करता है कि PBKV डायनेमिक एजेंटिक वर्कफ़्लो की सर्विसिंग में एक महत्वपूर्ण अंतर को भरता है, जहाँ मौजूदा स्थिर धारणाएं (KVFlow) या टेम्पोरल ह्यूरिस्टिक्स (LRU) विफल हो जाते हैं।

अनुकूलन (Optimality) के बजाय मजबूती (Robustness): लेखक इस बात पर जोर देते हैं कि PBKV को एजेंटिक सिस्टम की अंतर्निहित अनिश्चितता के प्रति मजबूत बनाया गया है। डिटरमिनिस्टिक गार्डरेल्स (लाइफसाइकिल रिक्लेमेशन) को कंजर्वेटिव स्पेकुलेशन (केवल खाली संसाधनों पर प्रीफेचिंग) के साथ जोड़कर, सिस्टम यह सुनिश्चित करता है कि अपूर्ण भविष्यवाणियां प्रदर्शन को नुकसान न पहुँचाएँ।
सुचारू गिरावट (Graceful Degradation): लिप्सचिट्ज़ निरंतरता का सैद्धांतिक प्रमाण यह स्थापित करता है कि PBKV का प्रदर्शन स्थिर है; जैसे-जैसे प्रेडिक्टर की सटीकता बढ़ती है, प्रदर्शन रैखिक रूप से सुधरता है, लेकिन कम सटीकता विनाशकारी विफलता का कारण नहीं बनती है।
सामान्यीकरण (Generalizability): प्रेडिक्टर को एक प्लगेबल मॉड्यूल के रूप में डिज़ाइन किया गया है। सिस्टम के डिज़ाइन सिद्धांत (पदानुक्रमित इविक्शन, कंजर्वेटिव प्रीफेचिंग) उपयोग किए गए विशिष्ट प्रेडिक्टर से स्वतंत्र हैं, जिससे ढांचा भविष्य के वर्कफ़्लो प्रेडिक्शन के विकास से लाभान्वित हो सकता है।

लेखक निष्कर्ष निकालते हैं कि PBKV डायनेमिक और स्थिर दोनों वर्कलोड में LRU और स्टेट-ऑफ-द-आर्ट बेसलाइन दोनों से काफी बेहतर प्रदर्शन करता है, जो डायनेमिक एजेंट सर्विंग में प्रेडिक्शन-आधारित, कंजर्वेटिव कैश प्रबंधन की प्रभावकारिता को प्रमाणित करता है।