A Policy-Driven Runtime Layer for Agentic LLM Serving
यह शोध पत्र एक नए आर्किटेक्चरल "एजेंट रनटाइम लेयर" का प्रस्ताव करता है जो पॉलिसी-संचालित अनुकूलन (policy-driven optimizations) को सक्षम करने के लिए मल्टी-एजेंट फ्रेमवर्क और एलएलएम (LLM) सर्विंग इंजन के बीच के अंतर को पाटता है, और कैशसेज (CacheSage) सिस्टम के माध्यम से यह प्रदर्शित करता है कि यह दृष्टिकोण विविध मल्टी-एजेंट वर्कलोड्स में कैश हिट रेट, टाइम-टू-फर्स्ट-टोकन और थ्रूपुट में महत्वपूर्ण सुधार करता है।