← नवीनतम पेपर
🤖 machine learning

LRAgent: Efficient KV Cache Sharing for Multi-LoRA LLM Agents

LRAgent एक मल्टी-LoRA LLM एजेंटों के लिए एक KV कैश शेयरिंग फ्रेमवर्क है जो कैश को साझा बेस और लो-रैंक एडेप्टर घटकों में विभाजित करता है, और एक नवीन Flash-LoRA-Attention कर्नेल का उपयोग करता है ताकि उच्च सटीकता और थ्रूपुट बनाए रखते हुए मेमोरी और कंप्यूट ओवरहेड को काफी कम किया जा सके।

मूल लेखक: Hyesung Jeon, Hyeongju Ha, Jae-Joon Kim

प्रकाशित 2026-06-02
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Hyesung Jeon, Hyeongju Ha, Jae-Joon Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक जटिल रहस्य को सुलझाने के लिए काम कर रहे विशेष जासूसों की एक टीम है। प्रत्येक जासूस के पास एक अनूठा कौशल सेट है: एक योजना बनाने में माहिर है, दूसरा सुराग इकट्ठा करने में विशेषज्ञ है (उपकरणों का उपयोग करके), और तीसरा सबूतों की समीक्षा करने में उस्ताद है ताकि यह सुनिश्चित हो सके कि उत्तर सही है।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये जासूस "LLM Agents" हैं। उन्हें उनके विशिष्ट कार्यों में कुशल बनाने के लिए, हम उन्हें एक साझा "मस्तिष्क" (एक बड़ा प्री-ट्रेंड मॉडल) देते हैं लेकिन प्रत्येक के साथ एक छोटा, कस्टम "नोटबुक" (जिसे LoRA adapter कहा जाता है) जोड़ देते हैं। यह नोटबुक उन्हें उनके पूरे मस्तिष्क को फिर से प्रशिक्षित किए बिना उनकी विशिष्ट भूमिका सिखाती है।

समस्या: बहुत सारी नोटबुक

परेशानी तब आती है जब ये जासूस एक लंबे, जटिल केस पर एक साथ काम करते हैं। उन्हें अब तक हुए सभी सुरागों और बातचीत की एक ही लंबी सूची को याद रखने की आवश्यकता होती है ("context")।

एक मानक सेटअप में, प्रत्येक जासूस अब तक हुई घटनाओं की अपनी पूरी मेमोरी की एक अलग प्रति रखता है। भले ही वे बिल्कुल एक ही सुराग देख रहे हों, जासूस A उन्हें अपनी नोटबुक में लिखता है, जासूस B उन्हें अपनी नोटबुक में लिखता है, और जासूस C भी ऐसा ही करता है।

  • परिणाम: टीम बहुत जल्दी डेस्क स्पेस (मेमोरी) खत्म कर देती है और सब कुछ बार-बार लिखने में बहुत समय लगता है (कंप्यूटेशन ओवरहेड)।

मौजूदा समाधानों ने मेमोरी साझा करने की कोशिश की, लेकिन वे तीन अलग-अलग भाषाओं को एक शब्दकोश में मिलाने की कोशिश करने जैसे थे बिना यह खोए कि प्रत्येक जासूस अपनी अनूठी बोलचाल (slang) का उपयोग कैसे करता है। यह अव्यवस्थित था और अक्सर जासूसों को कम सटीक बना देता था।

समाधान: LRAgent

इस पेपर के लेखकों ने महसूस किया कि:

  1. साझा मस्तिष्क (The Shared Brain): मेमोरी का वह हिस्सा जो मुख्य "मस्तिष्क" से आता है, लगभग सभी के लिए समान होता है। यह बुनियादी तथ्य हैं।
  2. कस्टम नोटबुक (The Custom Notebook): जासूसों के बीच वास्तविक अंतर केवल उनके कस्टम "नोटबुक" (LoRA adapters) द्वारा जोड़े गए छोटे, विशिष्ट नोट्स का है।

पूरी मेमोरी की कॉपी रखने के बजाय, LRAgent मेमोरी को दो भागों में विभाजित करता है:

1. "बेस कैश" (The Shared Blueprint)

चूंकि मुख्य मस्तिष्क की मेमोरी सभी के लिए समान है, इसलिए टीम इसे केवल एक बार लिखती है। सभी तीन जासूस इस एकल, साझा ब्लूप्रिंट की ओर संकेत करते हैं। यह डेस्क स्पेस की भारी बचत करता है।

2. "LR कैश" (The Tiny Sticky Notes)

LoRA एडेप्टर से प्राप्त कस्टम नोट्स बहुत छोटे और विशिष्ट होते हैं। उन्हें पूर्ण वाक्यों में लिखने के बजाय, LRAgent उन्हें एक अत्यधिक संकुचित, "लो-रैंक" प्रारूप में संग्रहीत करता है (जैसे एक छोटा स्टिकी नोट जो कहता है "व्यंग्य का एक अंश जोड़ें" बजाय इसके कि पूरा व्यंग्यात्मक पैराग्राफ लिखा जाए)।

  • BaseShared: यह विधि बड़े ब्लूप्रिंट को साझा करती है और प्रत्येक जासूस के लिए एक छोटा स्टिकी नोट रखती है।
  • BaseLRShared: यह सुपर-एफिशिएंट संस्करण है। यदि जासूस एक विशिष्ट सेटअप का उपयोग करते हैं जहाँ उनका "डाउन-प्रोजेक्शन" (जिस तरह से वे सुराग पढ़ते हैं) समान है, तो वे स्टिकी नोट्स को भी साझा कर सकते हैं! उन्हें केवल तभी अपना अनूठा "अप-प्रोजेक्शन" (अंतिम स्पर्श) लागू करने की आवश्यकता होती है जब वे वास्तव में बोलते हैं।

जादुई ट्रिक: Flash-LoRA-Attention

आप पूछ सकते हैं: "यदि नोट्स संकुचित हैं, तो क्या उन्हें आवश्यकता पड़ने पर पूर्ण वाक्यों में विस्तारित करने में अतिरिक्त समय नहीं लगेगा?"

आमतौर पर, हाँ। लेकिन लेखकों ने Flash-LoRA-Attention नामक एक विशेष उपकरण का आविष्कार किया है।
इसे एक ऐसे शेफ की तरह समझें जिसे केवल एक चम्मच चखने के लिए सूप के एक विशाल बर्तन को पूरी तरह से पकाने की आवश्यकता नहीं है। स्टिकी नोट को उपयोग करने से पहले पूर्ण पैराग्राफ में विस्तारित करने के बजाय, यह टूल गणित को पुनर्व्यवस्थित करता है। यह साझा ब्लूप्रिंट को प्रोसेस होते समय ही सीधे छोटे नोट को उस पर लागू कर देता है।

  • लाभ: यह मेमोरी को विस्तारित करने के भारी काम से बचता है, जिससे टीम लगभग उतनी ही तेजी से काम करती है जितनी तेजी से वे पूरी मेमोरी साझा कर रहे होते, लेकिन इसमें उनके अपने कस्टम नोट्स की सटीकता भी होती है।

परिणाम

इस पेपर का परीक्षण कठिन पहेलियों (जैसे HotpotQA और ScienceQA) को सुलझाने वाले एक "जासूस दल" पर किया गया।

  • सटीकता (Accuracy): टीम ने पहेलियों को उतनी ही अच्छी तरह से हल किया जितना कि यदि उन्होंने अपनी पूरी, अलग मेमोरी रखी होती। उन्होंने अपनी बुद्धिमत्ता नहीं खोई।
  • गति और स्थान (Speed & Space): उन्होंने काफी कम कंप्यूटर मेमोरी (सामान्य मात्रा का लगभग 1/3) का उपयोग किया और कार्य बहुत तेज़ी से पूरे किए, विशेष रूप से जब केस बहुत लंबे हो गए।

संक्षेप में: LRAgent AI विशेषज्ञों की एक टीम के लिए उनकी मेमोरी साझा करने का एक स्मार्ट तरीका है। वे सामान्य तथ्यों को एक साझा फ़ाइल में रखते हैं और केवल अपने अद्वितीय, छोटे अंतरों को एक संकुचित प्रारूप में संग्रहीत करते हैं, जिससे वे अपनी व्यक्तिगत विशेषज्ञता को खोए बिना तेजी से और सस्ते में मिलकर काम कर सकते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →