💻 computer science

Leyline: KV Cache Directives for Agentic Inference

यह शोध पत्र Leyline को प्रस्तुत करता है, जो एक नवीन सर्विंग-साइड प्रिमिटिव (serving-side primitive) है जो डिक्लेरेटिव डायरेक्टिव्स (declarative directives) और क्लोज्ड-फॉर्म RoPE करेक्शन्स (closed-form RoPE corrections) के माध्यम से एजेंटिक LLMs को कैश किए गए कंटेंट को गतिशील रूप से संपादित या हटाने में सक्षम बनाता है, जिससे महंगी री-प्रीफिलिंग (re-prefilling) की आवश्यकता समाप्त हो जाती है और लेटेंसी एवं टास्क सक्सेस रेट दोनों में महत्वपूर्ण सुधार होता है।

मूल लेखक: Bole Ma, Jan Eitzinger, Harald Koestler

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bole Ma, Jan Eitzinger, Harald Koestler

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, तेज़ बोलने वाले सहायक (एक AI) हैं जो एक जासूस को रहस्य सुलझाने में मदद कर रहे हैं। अपना काम करने के लिए, सहायक अपने दिमाग में एक विशाल "स्क्रैचपैड" (जिसे KV Cache कहा जाता है) रखता है। यह स्क्रैचपैड वह सब कुछ रखता है जो जासूस ने अब तक कहा है, मिली हुई हर सुराग और इस्तेमाल किया गया हर उपकरण।

पुराना तरीका: "अपेंड-ओनली" (केवल जोड़ने वाला) नोटबुक

अतीत में, AI सहायक एक ऐसे व्यक्ति की तरह काम करते थे जो एक ऐसी नोटबुक में लिखता था जिसे कभी मिटाया नहीं जा सकता।

नियम: आप एक सुराग लिखते हैं, फिर उसके नीचे अगला सुराग लिखते हैं। नोटबुक केवल बढ़ती जाती है।
समस्या: यदि जासूस को एहसास होता है, "रुको, वह पिछला सुराग गलत था, चलो उसे फेंक देते हैं और एक अलग कोण आज़माते हैं," तो पुराना सिस्टम उस लाइन को बस मिटा नहीं सकता था। उसे पेज नंबर सही रखने के लिए पूरी का पूरी पूरी पन्ना फाड़कर सब कुछ शुरू से फिर से लिखना पड़ता था।
लागत: यह धीमा और बर्बादी भरा है। यह एक पूरी किताब को फिर से लिखने जैसा है सिर्फ बीच में एक शब्द बदलने के लिए।

नई समस्या: "एजेंटिक" (Agentic) जासूस

आधुनिक AI एजेंट अधिक गतिशील होते हैं। वे केवल चैट नहीं करते; वे कार्य करते हैं। वे एक टूल आज़माते हैं, विफल होते हैं, उस विफलता को हटाते हैं, फिर से प्रयास करते हैं, और जगह बचाने के लिए पुराने नोट्स का सारांश बनाते हैं।

मुद्दा: जब एजेंट बातचीत के बीच में टेक्स्ट का एक हिस्सा हटा देता है, तो उसके बाद आने वाले टेक्स्ट के "पेज नंबर" (स्थितियाँ/positions) बदल जाते हैं।
परिणाम: पुराना "स्क्रैचपैड" भ्रमित हो जाता है। उसे लगता है कि सुराग गलत जगहों पर हैं, इसलिए उसे अपनी याददाश्त फेंकनी पड़ती है और सब कुछ शुरू से (re-prefill) करना पड़ता है। यह गति को खत्म कर देता है।

समाधान: लेलाइन (Leyline - "जादुई कैंची")

यह पेपर Leyline को पेश करता है, जो AI के सर्विंग सिस्टम के लिए एक नया टूल है। Leyline को एक जादुई कैंची और एक स्थिति-शिफ्ट करने वाले रूलर (पैमाने) के रूप में समझें।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

निर्देश (The Directive):
AI एजेंट Leyline को बताता है: "विफल टूल कॉल (Span) वाले पैराग्राफ को काट दो और उसे 'आउटपुट ओमिटेड' (Output omitted) कहने वाले एक छोटे नोट से बदल दो (Replacement)।" एजेंट को यह जानने की ज़रूरत नहीं है कि गणित कैसे किया जाए; वह बस निर्देश देता है।
स्प्लिस (The Splice - कट और पेस्ट):
Leyline पुराने पैराग्राफ को भौतिक रूप से काटकर निकालता है और उसकी जगह छोटा नोट पेस्ट कर देता है।
- महत्वपूर्ण चरण: क्योंकि टेक्स्ट छोटा हो गया है, इसलिए उसके बाद का सब कुछ अब भौतिक रूप से शुरुआत के करीब है।
"जादुई रूलर" (The $\delta$ -Rotation):
यही इस पेपर का गुप्त मंत्र है। AI में, किसी शब्द की "स्थिति" एक गुप्त कोड (RoPE) की तरह एनकोड की जाती है। यदि आप एक शब्द को स्थिति 100 से 90 पर ले जाते हैं, तो कोड को बदलना पड़ता है।
- पुराना तरीका: कट के बाद आने वाले हर एक शब्द के लिए कोड को फिर से कैलकुलेट करें। (धीमा!)
- Leyline का तरीका: Leyline एक गणितीय शॉर्टकट का उपयोग करता है। वह महसूस करता है कि यदि आपने सबको 10 स्थान पीछे धकेला है, तो आपको बस उसके बाद आने वाले शब्दों के कोड में एक साधारण "रोटेशन" (एक त्वरित गणितीय सुधार) लागू करने की आवश्यकता है। यह एक लाइन में खड़े लोगों को यह बताने जैसा है, "सब लोग 10 कदम बाईं ओर बढ़ें," और फिर बस उनके हेडबैंड को अपडेट करना ताकि वे अपनी नई जगह को दर्शा सकें, बजाय इसके कि उन्हें पूरी लाइन में फिर से चलाकर ले जाया जाए।

यह क्यों मायने रखता है (परिणाम)

शोधकर्ताओं ने इसे दो तरीकों से परखा:

स्पीड टेस्ट (तंत्र):
जब AI अपनी मेमोरी को एडिट करता है, तो Leyline बहुत सारा समय बचाता है।
- उपमा: एक टाइपो को ठीक करने के लिए 50 पन्नों का दस्तावेज़ फिर से लिखने के बजाय, आप बस पन्ना बदलते हैं और पेज नंबर तुरंत अपडेट कर देते हैं।
- परिणाम: सिस्टम प्रत्येक अनुरोध (request) के लिए 241 मिलीसेकंड तक तेज़ हो गया और इसकी मौजूदा मेमोरी का लगभग 11% अधिक पुन: उपयोग किया, जिसका अर्थ है कि इसे पूरी बातचीत को फिर से पढ़ने की आवश्यकता नहीं पड़ी।
स्मार्ट एजेंट टेस्ट (पॉलिसी):
शोधकर्ताओं ने AI को एक सरल नियम दिया: "यदि कोई टूल आउटपुट पुराना और बेकार है, तो उसे हटा दें।"
- Leyline के बिना: AI टेक्स्ट को हटा देगा, लेकिन सिस्टम को सब कुछ फिर से कैलकुलेट करना होगा, जिससे AI इतना धीमा हो जाएगा कि वह कार्य करने में विफल हो सकता है।
- Leyline के साथ: AI कचरे को तुरंत हटा देता है। क्योंकि संदर्भ (context) साफ और छोटा है, इसलिए AI महत्वपूर्ण सुरागों पर बेहतर ध्यान केंद्रित करता है।
- परिणाम: AI ने कठिन डिबगिंग कार्यों को 14.3% अधिक सफलतापूर्वक हल किया क्योंकि वह पुराने, बेकार जानकारी से विचलित नहीं हुआ, और उसने इसे हटाने के लिए भारी गति दंड (speed penalty) भी नहीं चुकाया।

बड़ी तस्वीर (The Big Picture)

Leyleyne AI (एजेंट) और कंप्यूटर मेमोरी (कैश) के बीच के संबंध को बदल देता है।

पहले: कंप्यूटर मेमोरी एक निष्क्रिय, कठोर नोटबुक थी जिसे AI को सावधानी से संभालना पड़ता था।
अब: मेमोरी एक प्रोग्रामेबल टूल है। AI कह सकता है, "इसे काटो, इसे पेस्ट करो, और नंबर ठीक करो," और सिस्टम बिना अपनी जगह खोए तुरंत आज्ञा का पालन करता है।

यह पेपर साबित करता है कि यह अनुमति देकर कि AI स्पष्ट रूप से सिस्टम को क्या एडिट करना है, हम AI को तेज़, स्मार्ट और केंद्रित रख सकते हैं, भले ही वह लगातार अपना मन बदल रहा हो।

तकनीकी सारांश: लेलाइन (Leyline): एजेंटिक इन्फरेंस के लिए KV कैश डायरेक्टिव्स

1. समस्या विवरण

आधुनिक लार्ज लैंग्वेज मॉडल (LLM) सर्विंग सिस्टम एक विशिष्ट वर्कलोड धारणा के इर्द-गिर्द विकसित हुए हैं: प्रॉम्प्ट एक बार आते हैं, और KV कैश निरंतर बढ़ता है (append-only)। यह धारणा प्रिफिक्स कैशिंग (prefix caching) और फॉरवर्ड-ओनली इविक्शन (forward-only eviction) जैसे अनुकूलनों का आधार है। हालांकि, एजेंटिक LLMs (Yao et al., 2023; Yang et al., 2024) पॉलिसी-संचालित संपादन (policy-driven editing) के माध्यम से इस निरंतरता को तोड़ते हैं। एजेंट अक्सर विफल टूल कॉल्स को दोबारा करने, पुराने आउटपुट्स को हटाने, या ट्रेजेक्टरी बदलने के माध्यम से कन्वर्सेशन हिस्ट्री को संशोधित करते हैं।

यह व्यवहार दो अलग-अलग कैश प्रबंधन समस्याओं को जन्म देता है:

पोजीशन-इनवेरिएंट रियूज (Position-Invariant Reuse): समान सामग्री (identical content) टर्न्स के बीच नए एब्सोल्यूट पोजीशंस पर शिफ्ट हो जाती है (जैसे, टूल आउटपुट्स के इंसर्शन के कारण)। सटीक-प्रिफिक्स कैशिंग इन चंक्स को पुनः उपयोग करने में विफल रहती है क्योंकि उनकी स्थितियाँ बदल गई हैं, भले ही अंतर्निहित की-वैल्यू (KV) डेटा वैध बना हुआ है। हालिया कार्य (Ma et al., 2026) इसे कंटेंट-एड्रेस्ड मैचिंग के माध्यम से संबोधित करता है।
पॉलिसी-ड्रिवन म्यूटेशन (Policy-Driven Mutation - इस पेपर का मुख्य केंद्र): एक एजेंट या पॉलिसी को कैश की गई सामग्री के एक स्पैन को सक्रिय रूप से हटाने या बदलने की आवश्यकता हो सकती है (उदाहरण के लिए, मेमोरी खाली करने के लिए पुराने टूल आउटपुट्स को ट्रंकेट करना) और पूरे कॉन्टेक्स्ट को फिर से प्रीफिल (re-prefill) किए बिना जनरेशन जारी रखनी चाहिए।
- वर्तमान स्थिति: प्रोडक्शन सिस्टम (जैसे, Anthropic, 2025) इसे मैसेज लिस्ट को एडिट करके और एक पूर्ण re-prefill को ट्रिगर करके संभालते हैं, जिससे उस प्रीफिक्स को पुन: कंप्यूट करने की पूरी लागत आती है जिसे एडिट का उद्देश्य बचाना था।
- कर्नेल सीमाएँ: मौजूदा कर्नेल-स्तरीय इविक्शन विधियाँ (Zhang et al., 2023; Li et al., 2024; Xiao et al., 2024) स्वायत्त निर्णय लेती हैं और विशिष्ट इन-प्लेस एडिट करने के लिए किसी बाहरी पॉलिसी से स्पष्ट निर्देश स्वीकार नहीं कर सकती हैं।

ऐसा कोई मौजूदा प्रिमिटिव नहीं है जो पॉलिसी को सर्विंग सिस्टम को यह निर्देश देने की अनुमति दे सके कि वह डाउनस्ट्रीम अटेंशन मैथ की शुद्धता को बनाए रखते हुए, बिना री-प्रीफिल के, KV कैश को सक्रिय रूप से स्प्लिस (splice) करे।

2. कार्यप्रणाली: लेलाइन प्रिमिटिव (The Leyline Primitive)

लेखक लेलाइन (Leyline) नामक एक सर्विंग-साइड प्रिमिटिव पेश करते हैं, जिसे पॉलिसी के इरादे (intent) और कर्नेल निष्पादन (execution) के बीच के अंतर को पाटने के लिए डिज़ाइन किया गया है।

2.1 डायरेक्टिव एब्स्ट्रैक्शन (The Directive Abstraction)

लेलाइन एक डिक्लेरेटिव 4-टुपल डायरेक्टिव के माध्यम से क्या एडिट करना है, उसे कैसे एडिट करना है से अलग करता है:
$D = (s_{start}, s_{end}, R, m)$

$(s_{start}, s_{end})$ : उस स्पैन की टोकन-इंडेक्स रेंज जिसे बदला जाना है।
$R$ : रिप्लेसमेंट टोकन सीक्वेंस (अक्सर एक छोटा स्टब, जैसे, [evicted: 3 older tool turns])।
$m$ : सिमेंटिक मोड, जो निम्न में से चुना गया है:
- AMORTIZE: डिफॉल्ट मोड। सिस्टम एक इन-प्लेस स्प्लिस करता है। रिप्लेसमेंट को डाला जाता है, और डाउनस्ट्रीम पोजीशंस को पुनः इंडेक्स किया जाता है। महत्वपूर्ण रूप से, डाउनस्ट्रीम टोकन्स के लिए अंतर्निहित KV वैल्यूज ( $K_{nope}$ और $V$ ) संरक्षित रहती हैं, जो मूल सामग्री (जिसे हटाया गया था) के प्रति मॉडल के अटेंशन को बनाए रखती हैं, न कि नए स्टब के प्रति।
- FORGET: सिस्टम एडिट को एक मानक प्रिफिक्स-ट्रिम्ड री-प्रीफिल की ओर भेजता है। इसका उपयोग तब किया जाता है जब वास्तविक कंटेंट फॉरगेटिंग (जैसे, रेडैक्शन) की आवश्यकता होती है, यह सुनिश्चित करते हुए कि मॉडल हटाए गए कंटेंट से प्रभाव न रखे।

2.2 तंत्र: $\delta$ -रोटेशन ( $\delta$ -Rotation)

AMORTIZE मोड को सक्षम करने वाला मुख्य तकनीकी नवाचार, विशेष रूप से मल्टी-हेड लेटेंट अटेंशन (MLA) आर्किटेटेक्चर (जैसे, DeepSeek-V2) के लिए पोजीशन एनकोडिंग शिफ्ट के लिए एक क्लोज्ड-फॉर्म करेक्शन है।

स्ट्रक्चरल इनसाइट: MLA में, Key टेंसर को $K_{nope}$ (पोजीशन-स्वतंत्र) और $K_{pe}$ (पोजीशन-डिपेंडेंट, RoPE द्वारा रोटेटेड) में विभाजित किया जाता है।
ऑपरेशन: जब लंबाई $|S|$ का एक स्पैन लंबाई $|R|$ के स्पैन द्वारा बदला जाता है, तो सभी डाउनस्ट्रीम टोकन्स $\Delta = |R| - |S|$ से शिफ्ट होते हैं।
करेक्शन: डाउनस्ट्रीम टोकन्स के लिए कैश किए गए $K_{pe}$ वैल्यूज के लिए डाउनस्ट्रीम अटेंशन को पुन: कंप्यूट करने के बजाय, लेलाइन सभी डाउनस्ट्रीम स्लॉट्स के लिए $K_{pe}$ बैंड पर $\delta$ -रोटेशन लागू करता है:
$K_{pe}^{new}[i] = R(\Delta) \cdot K_{pe}[i]$
RoPE की यूनिटरी रोटेशन क्लोजर ( $R(a)R(b) = R(a+b)$ ) के कारण, मौजूदा $R(i)$ पर $R(\Delta)$ लागू करना बीजगणितीय रूप से वैसा ही है जैसे कि $R(i+\Delta)$ को स्क्रैच से कंप्यूट किया गया हो।
परिणाम: सिस्टम प्रत्येक स्लॉट के लिए एक सिंगल मैट्रिक्स मल्टीप्लिकेशन में पोजीशन एनकोडिंग को अपडेट करता है, जिससे $K_{nope}$ और $V$ टेंसर सुरक्षित रहते हैं। यह सिस्टम को मूल पूर्ण कॉन्टेक्स्ट के अटेंशन मैथ के साथ जनरेशन जारी रखने की अनुमति देता है, बावजूद इसके कि भौतिक कैश को स्प्लिस किया गया है।

2.3 सर्विंग स्टैक इंटीग्रेशन

लेलाइन तीन चरणों के माध्यम से सर्विंग स्टैक (विशेष रूप से SGLang के साथ प्रदर्शित) में एकीकृत होता है:

Radix Match: अपरिवर्तित प्रिफिक्स ( $[0, s_{start})$ ) को सामान्य रूप से रेडिक्स कैश के विरुद्ध मैच किया जाता है।
Prefill: रिप्लेसमेंट टोकन्स $R$ को नए स्लॉट्स में प्रीफिल किया जाता है।
Rotation: कर्नेल सभी डाउनस्ट्रीम स्लॉट्स के $K_{pe}$ बैंड पर $\delta$ -रोटेशन लागू करता है और उन्हें पुनः इंडेक्स करता है।

इंटरफेस सिग्नल-अग्नोस्टिक (signal-agnostic) है: कोई भी पॉलिसी जो स्पैन-रिप्लेसमेंट टुपल उत्सर्जित कर सकती है (जैसे, एक ट्रंकेशन नियम, या पुराने टूल कॉल्स का डिटेक्टर), वह कर्नेल द्वारा तर्क (rationale) के निरीक्षण के बिना कैश को संचालित कर सकती है।

3. मुख्य योगदान

समस्या का अंतर (Problem Distinction): पेपर रियूज (समान सामग्री के पोजीशन शिफ्ट) और म्यूटेशन (पॉलिसी-ड्रिवन एक्टिव एडिटिंग) के बीच औपचारिक रूप से अंतर करता है, और म्यूटेशन को एजेंटिक कैश मैनेजमेंट में खुले उप-समस्या के रूप में पहचानता है।
डायरेक्टिव एब्स्ट्रैक्शन: एक 4-टुपल इंटरफेस जो पॉलिसी (क्या एडिट करना है) को मैकेनिज्म (कैसे स्प्लिस करना है) से अलग करता है, जो री-प्रीफिल के बिना स्पष्ट, इन-प्लेस कैश एडिटिंग को सक्षम बनाता है।
सिमेंटिक-एडिट चैनल: एक नया इंटरफेस बाउंड्री जो पोस्ट-एजेंटिक सर्विंग स्टैक के लिए है, जो ब्लॉक-लेवल स्टोरेज के ऊपर स्थित है ताकि एजेंट एडिट्स को पोजीशन-एनकोडिंग शुद्धता को बनाए रखते हुए ब्लॉक-लेवल ऑपरेशन्स में डीकंपोज किया जा सके।
दो-चरणीय सत्यापन (Two-Leg Validation):
- मैकेनिज्म लेग: यह प्रदर्शित करता है कि स्प्लिस कर्नेल रीप्ले कैश-हिट रेट को बनाए रखता है और री-प्रीफिल लागत को बचाकर लेटेंसी को कम करता है।
- पॉलिसी लेग: यह प्रदर्शित करता है कि लेलाइन के माध्यम से रूट किया गया एक सरल ट्रंकेशन पॉलिसी, कॉन्टेक्स्ट नॉइज़ को कम करके एजेंट सॉल्व रेट को बेहतर बनाता है।

4. परिणाम

4.1 मैकेनिज्म परफॉरमेंस (SGLang माइक्रोबेंचमार्क)

कैश हिट रेट: स्प्लिस आर्म ने विभिन्न कॉन्करेंसी $C \in \{1, 4, 8, 16\}$ के लिए स्टैंडर्ड रेडिक्स बेसलाइन पर रीप्ले कैश-हिट रेट को +11.2 प्रतिशत अंक (pp) बढ़ाया।
लेटेंसी: क्रिटिकल पाथ पर री-प्रीफिल लागत को बचाकर एंड-टू-एंड लेटेंसी में 241 ms तक की कमी आई ( $C=8$ पर)।
शुद्धता (Correctness): स्प्लिस पाथ ने 100% फर्स्ट-टोकन argmax सहमति बनाए रखी, जो यह पुष्टि करता है कि $\delta$ -रोटेशन मूल कॉन्टेक्स्ट के अटेंशन मैथ को सुरक्षित रखता है।

4.2 पॉलिसी परफॉरमेंस (Debug-Gym)

टास्क: JoyAI-LLM Flash मॉडल का उपयोग करके 8 debug-gym mini_nightmare टास्क।
पॉलिसी: एक 10-लाइन ट्रंकेशन नियम जो $n=2$ टर्न्स से पुराने टूल आउटपुट्स को हटा देता है।
परिणाम: लेलाइन के माध्यम से रूट की गई ट्रंकेशन पॉलिसी ने एजेंटिक सॉल्व रेट को 31.2% (बेसलाइन, नो ट्रंकेशन) से बढ़ाकर 45.5% (+14.3 pp) कर दिया।
विश्लेषण: लाभ उन कार्यों से आया जिनमें लंबी ट्रेजेक्टरीज थीं (जैसे, shopping_cart, sum_tree)। पुराने टूल टर्न्स को हटाकर, मॉडल उन कुछ टर्न्स पर अधिक प्रभावी ढंग से ध्यान केंद्रित कर सका जो वास्तव में महत्वपूर्ण थे। बिना लेलाइन के, इस पॉलिसी का उपयोग करने के लिए हर ट्रंकेशन पर एक पूर्ण री-प्रीफिल करना पड़ता, जिससे दक्षता लाभ समाप्त हो जाता।

4.3 शुद्धता सत्यापन (Correctness Verification)

सिंगल-प्रॉम्प्ट माइक्रोबेंचमार्क: ऐसे परिदृश्य बनाए गए जहाँ फुल-कॉन्टेक्स्ट और री-प्रीफिल पाथ को अनिवार्य रूप से असहमत होना चाहिए। लेलाइन लगातार फुल-कॉन्टेक्स्ट भविष्यवाणी (मूल चंक के प्रभाव को ट्रैक करना) से मेल खाता रहा, न कि री-प्रीफिल भविष्यवाणी से (जिसने चंक के प्रभाव को खो दिया था)।
क्रॉस-आर्किटेक्चर: चार MLA मॉडल्स (DeepSeek-V2-Lite, JoyAI-LLM Flash, GLM-4.7-Flash, Moonlight-16B-A3B) पर मान्य किया गया।
संख्यात्मक स्थिरता (Numerical Stability): $\delta$ -रोटेशन एक छोटा ड्रिफ्ट (bf16 में $\sim 4.7 \times 10^{-3}$ rel-L2 द्वारा सीमित) पेश करता है, जो सब-लीनियर रूप से जमा होता है। लेखक नोट करते हैं कि रोटेशन को fp32 में चलाना (जबकि KV को bf16 में स्टोर किया जाता है) इस ड्रिफ्ट को प्रभावी ढंग से कम करता है।

5. महत्व और दावे

पेपर का दावा है कि लेलाइन एजेंटिक सिस्टम में पॉलिसी-ड्रिवन कैश एडिटिंग के लिए गायब इंटरफेस प्रदान करता है।

इंटरफेस में बदलाव: यह सर्विंग स्टैक इंटरफेस बाउंड्री को बदल देता है। प्री-एजेंटिक सिस्टम केवल प्रॉम्प्ट को एक्सपोज़ करते थे; पोस्ट-एजेंटिक सिस्टम को एक कैश-एडिट चैनल की आवश्यकता होती है। लेलाइन इस चैनल को मूर्त रूप देता है।
डिकपलिंग (Decoupling): यह नीतियों को अपना इरादा घोषित करने की अनुमति देता है (जैसे, "इस स्पैन को भूल जाओ" या "इस एडिट को अमोर्टाइज करो") बिना यह समझे कि अंतर्निहित कर्नेल मैकेनिक्स (RoPE, MLA, radix trees) क्या हैं।
प्रोग्रामेबल मेमोरी: लेखक तर्क देते हैं कि यह KV कैश मैनेजमेंट को एक रिएक्टिव, सिस्टम-साइड गेसिंग गेम (इविक्शन) से एक सहकारी शेड्यूलिंग समस्या में बदल देता है जहाँ एजेंट कॉन्टेक्स्ट के भाग्य की घोषणा करता है, और स्टोरेज लेयर उसे निष्पादित करती है।
स्कोप: पेपर स्प्लिस (splice) वर्ब को मान्य करता है। यह स्वीकार करता है कि रोटेशन कर्नेल वर्तमान में MLA-विशिष्ट है लेकिन नोट करता है कि डायरेक्टिव एब्स्ट्रैक्शन आर्किटेक्चर-अग्नोस्टिक है और बाउंड्री रीकंप्यूटेशन पास के माध्यम से GQA/MHA के विस्तार संभव हैं।

पेपर निष्कर्ष निकालता है कि जबकि मैकेनिज्म (स्प्लिस) री-प्रीफिल लागत के बिना पॉलिसी क्लास को सक्षम बनाता है, वह पॉलिसी क्लास स्वयं ही डिप्लॉयमेंट-लेवल की जीत (उच्च सॉल्व रेट) प्रदान करती है। डायरेक्टिव इंटरफेस की शब्दावली (जिसमें भविष्य के वर्ब्स जैसे PIN, DECAY, SCRATCH शामिल हैं) भविष्य के एजेंटिक मेमोरी मैनेजमेंट के एजेंडे का प्रतिनिधित्व करती है।