Irminsul: MLA-Native Position-Independent Caching for Agentic LLM Serving
इर्मिन्सुल (Irminsul) एजेंटिक एलएलएम (Agentic LLMs) के लिए एक नेटिव पोजीशन-इंडिपेंडेंट कैशिंग सिस्टम पेश करता है जो कंटेंट-एड्रेस्ड की-वैल्यू कैशिंग को सक्षम करने के लिए मल्टी-हेड लेटेंट अटेंशन (Multi-Head Latent Attention) की आर्किटेक्चरल संरचना का लाभ उठाता है, जिससे पारंपरिक प्रीफिक्स-मैचिंग दृष्टिकोणों में निहित कैश इनवैलिडेशन समस्याओं को दूर करते हुए 83% तक प्रॉम्प्ट टोकन रिकवरी और 63% प्रीफिल ऊर्जा बचत प्राप्त होती है।