← नवीनतम पेपर
🤖 machine learning

Irminsul: MLA-Native Position-Independent Caching for Agentic LLM Serving

इर्मिन्सुल (Irminsul) एजेंटिक एलएलएम (Agentic LLMs) के लिए एक नेटिव पोजीशन-इंडिपेंडेंट कैशिंग सिस्टम पेश करता है जो कंटेंट-एड्रेस्ड की-वैल्यू कैशिंग को सक्षम करने के लिए मल्टी-हेड लेटेंट अटेंशन (Multi-Head Latent Attention) की आर्किटेक्चरल संरचना का लाभ उठाता है, जिससे पारंपरिक प्रीफिक्स-मैचिंग दृष्टिकोणों में निहित कैश इनवैलिडेशन समस्याओं को दूर करते हुए 83% तक प्रॉम्प्ट टोकन रिकवरी और 63% प्रीफिल ऊर्जा बचत प्राप्त होती है।

मूल लेखक: Bole Ma, Jan Eitzinger, Harald Köstler

प्रकाशित 2026-05-08
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Bole Ma, Jan Eitzinger, Harald Köstler

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही व्यस्त, हाई-स्पीड लाइब्रेरी चला रहे हैं जहाँ एक लाइब्रेरियन (AI) को किसी प्रश्न का उत्तर देने के लिए दस्तावेजों का एक विशाल ढेर पढ़ना पड़ता है। तेज़ होने के लिए, लाइब्रेरियन अपने पास हाल ही में पढ़े गए पृष्ठों का एक "चीट शीट" (कैश) रखता है ताकि उसे हर बार शुरुआत से दोबारा न पढ़ना पड़े।

समस्या: "कहाँ" बनाम "क्या"

पुराने तरीके में (जिसे प्रिफिक्स कैशिंग कहा जाता था), लाइब्रेरियन की चीट शीट सख्ती से स्थान (लोकेशन) के आधार पर व्यवस्थित थी।

  • "पेज 1 सिस्टम प्रॉम्प्ट है।"
  • "पेज 2 डॉक्यूमेंट A है।"
  • "पेज 3 डॉक्यूमेंट B है।"

यदि लाइब्रेरियन एक नया प्रश्न पूछता है और क्रम थोड़ा बदल जाता है—मान लीजिए "पेज 1 अभी भी सिस्टम प्रॉम्प्ट है, लेकिन अब डॉक्यूमेंट A पेज 5 पर है"—तो पुरानी चीट शीट टूट जाती है। लाइब्रेरियन सोचता है, "ओह, पेज 2 अलग है, इसलिए मुझे अपनी पूरी चीट शीट फेंक देनी चाहिए और शुरुआत से सब कुछ फिर से पढ़ना चाहिए।"

एजेंटिक AI (AI जो टूल्स का उपयोग करता है, वेब सर्च करता है, और अन्य AI से बात करता है) की दुनिया में, यह लगातार होता है। AI एक ही डॉक्यूमेंट को निकाल सकता है, लेकिन क्योंकि वह उसे बातचीत के किसी अलग हिस्से में डाल रहा है, इसलिए "स्थान" बदल जाता है। पुराना सिस्टम इसे एक बिल्कुल नया, अपठनीय कचरा समझ लेता है, जिससे AI को उन चीजों को दोबारा पढ़ने में समय और ऊर्जा बर्बाद करनी पड़ती है जिन्हें वह पहले से जानता है।

समाधान: इर्मिनसुल (द "कंटेंट" लाइब्रेरियन)

यह पेपर इर्मिनसुल (Irminsul) नामक एक नई प्रणाली पेश करता है। बजाय इसके कि वह चीट शीट को इस आधार पर व्यवस्थित करे कि पेज कहाँ स्थित है, इर्मिनसुल इसे इस आधार पर व्यवस्थित करता है कि पेज वास्तव में क्या कहता है।

इसे इस तरह समझें:

  • पुराना तरीका: "मैं किताब को तभी याद रखता हूँ जब वह तीसरी शेल्फ पर हो।"
  • इर्मिनसुल: "मुझे किताब याद है क्योंकि यह हैरी पॉटर की एक प्रति है, चाहे वह किसी भी शेल्फ पर हो।"

इर्मिनसुल बातचीत को वास्तविक टेक्स्ट (कंटेंट) के आधार पर चंक्स (टुकड़ों) में तोड़ देता है। यदि AI को "डॉक्यूमेंट A" फिर से दिखता है, भले ही वह किसी अलग स्थान पर हो, तो इर्मिनसुल कहता है, "मैंने यह सटीक टेक्स्ट पहले देखा है! मैं अपने नोट्स का पुन: उपयोग कर सकता हूँ।"

गुप्त नुस्खा: "पोजीशन" एडजस्टमेंट

आप पूछ सकते हैं: "यदि टेक्स्ट वही है, लेकिन स्थिति (पोजीशन) अलग है, तो क्या AI भ्रमित नहीं हो जाएगा?"

हाँ, आमतौर पर होता है। AI में, शब्द की "स्थिति" बहुत मायने रखती है (यह जानने जैसा है कि कोई शब्द वाक्य की शुरुआत में है या अंत में)।

  • पुरानी समस्या: स्थिति को ठीक करने के लिए, पुराने सिस्टम को हर एक शब्द के लिए पूरी चीट शीट को फिर से लिखना पड़ता था। यह एक पूरी किताब को केवल पेज नंबर बदलने के लिए फिर से लिखने जैसा था। यह धीमा और महंगा था।
  • इर्मिनसुल का ट्रिक: यह पेपर MLA (मल्टी-हेड लेटेंट अटेंशन) नामक एक विशिष्ट प्रकार के AI आर्किटेक्चर पर ध्यान केंद्रित करता है। यह आर्किटेक्चर विशेष है क्योंकि यह "नोट्स" को दो भागों में विभाजित करता है:
    1. कंटेंट (90%): शब्दों का वास्तविक अर्थ। यह स्थिति के बावजूद समान रहता है।
    2. पोजीशन (10%): एक छोटा सा टैग जो कहता है "मैं यहाँ हूँ।"

इर्मिनसुल को एहसास हुआ कि उसे केवल उस छोटे से 10% टैग को एडजस्ट करने की आवश्यकता है। यह पोजीशन टैग को तुरंत अपडेट करने के लिए एक चतुर गणितीय "ट्विस्ट" (जिसे δ\delta-रोटेशन कहा जाता है) का उपयोग करता है, बिना पूरी किताब को फिर से लिखे। यह एक दस्तावेज़ की फोटो लेने और उसे डेस्क पर एक नई जगह पर खिसकाने जैसा है, बजाय इसके कि पूरे कमरे की नई फोटो ली जाए।

परिणाम

इस पेपर ने तीन वास्तविक दुनिया के AI सिस्टम (DeepSeek, Kimi, और JoyAI) पर इसका परीक्षण किया जो एजेंटों की तरह कार्य करते हैं।

  • रिकवरी: जटिल कार्यों पर जहाँ AI दस्तावेजों को इधर-उधर ले जाता है, इर्मिनसुल उस काम का लगभग 77% से 83% हिस्सा पुनः उपयोग करने में सक्षम था जिसे पुराना सिस्टम फेंक देता था।
  • ऊर्जा: क्योंकि इसे टेक्स्ट को दोबारा पढ़ने की आवश्यकता नहीं होती है, यह उन दोहराए गए हिस्सों को प्रोसेस करने के लिए आवश्यक ऊर्जा में लगभग 63% की बचत करता है।
  • सटीकता: AI पहले की तरह ही सही उत्तर देता है; यह नए तरीके से भ्रमित नहीं होता है।

"फर्स्ट पेज" नियम

इसमें एक छोटी सी शर्त है। किसी भी बातचीत के पहले कुछ शब्द AI के ध्यान (अटेंशन) के लिए एक "ग्रैविटी एंकर" की तरह काम करते हैं। पेपर में पाया गया कि यदि आप उस चंक का पुन: उपयोग करने की कोशिश करते हैं जो बातचीत की शुरुआत में होता है, तो AI भ्रमित हो जाता है।

  • समाधान: इर्मिनसुल बस हर बार बातचीत के पहले चंक (पहले 32 शब्द) को फिर से पढ़ता है, लेकिन उसके बाद के हर चीज़ के लिए, यह स्मार्ट "कंटेंट-आधारित" पुन: उपयोग का उपयोग करता है। यह मामूली लागत सुनिश्चित करती है कि बाकी सिस्टम पूरी तरह से काम करे।

सारांश

इर्मिनसुल चीजों को याद रखने का एक स्मार्ट तरीका है। यह कहने के बजाय कि, "मुझे यह याद है क्योंकि यह स्लॉट #5 में था," यह कहता है, "मुझे यह याद है क्योंकि यह वही कहानी है।" यह महसूस करके कि "कहानी" (कंटेंट) "स्लॉट" (पोजीशन) से अधिक महत्वपूर्ण है, और पोजीशन टैग को तेज़ी से ठीक करने के लिए एक विशेष ट्रिक का उपयोग करके, यह AI एजेंटों को तेज़, चलाने में सस्ता और जटिल, बदलती बातचीत को संभालने में बहुत बेहतर बनाता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →