Leyline: KV Cache Directives for Agentic Inference
यह शोध पत्र Leyline को प्रस्तुत करता है, जो एक नवीन सर्विंग-साइड प्रिमिटिव (serving-side primitive) है जो डिक्लेरेटिव डायरेक्टिव्स (declarative directives) और क्लोज्ड-फॉर्म RoPE करेक्शन्स (closed-form RoPE corrections) के माध्यम से एजेंटिक LLMs को कैश किए गए कंटेंट को गतिशील रूप से संपादित या हटाने में सक्षम बनाता है, जिससे महंगी री-प्रीफिलिंग (re-prefilling) की आवश्यकता समाप्त हो जाती है और लेटेंसी एवं टास्क सक्सेस रेट दोनों में महत्वपूर्ण सुधार होता है।