Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation
यह शोध पत्र xMemory प्रस्तुत करता है, जो एक नवीन एजेंट मेमोरी फ्रेमवर्क है जो इंटरेक्शन इतिहास को पुन: प्रयोज्य घटकों में अलग करके और उन्हें पदानुक्रमित रूप से एकत्रित करके मानक RAG में सुधार करता है ताकि शीर्ष-डाउन रिट्रीवल (top-down retrieval) सक्षम हो सके, जो महत्वपूर्ण विवरणों को संरक्षित करते हुए रेडंडेंसी को कम करता है, जिससे उत्तर की गुणवत्ता और इन्फरेंस दक्षता बढ़ती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation" (xMemory) पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ स्पष्टीकरण दिया गया है।
समस्या: "शोर भरा पुस्तकालय" बनाम "स्मार्ट लाइब्रेरियन"
कल्पना कीजिए कि आप एक AI सहायक (एक "एजेंट") हैं जो कई महीनों से एक इंसान से बात कर रहे हैं। आपके पास आपकी पिछली हर बातचीत की एक विशाल स्मृति (memory) है।
पुराना तरीका (Standard RAG):
अपनी स्मृति को एक विशाल, अराजक पुस्तकालय के रूप में सोचें जहाँ हर किताब केवल एक बातचीत का कच्चा ट्रांसक्रिप्ट (transcript) है। जब उपयोगकर्ता कोई प्रश्न पूछता है, तो "लाइब्रेरियन" (AI) उन शीर्ष 5 किताबों को उठा लेता है जिनमें प्रश्न से मिलते-जुलते सबसे अधिक शब्द होते हैं।
- दोष: एक लंबी बातचीत में, लोग अक्सर अपनी बातें दोहराते हैं या एक ही विषय पर थोड़े अलग तरीकों से बात करते हैं। यदि आप पूछते हैं, "मेरी नौकरी कब गई थी?", तो पुराना सिस्टम पाँच अलग-अलग दिनों के पाँच अलग-अलग पन्ने उठा सकता है जहाँ आपने नौकरी जाने का जिक्र किया था। यह आपको सूचनाओं का एक ढेर दे देता है जो अनावश्यक और भ्रमित करने वाला है। यह ऐसा है जैसे आप एक विशिष्ट तिथि के बारे में पूछें, और लाइब्रेरियन आपको पाँच अलग-अलग कैलेंडर थमा दे जो सभी "जनवरी" तो कहते हैं, लेकिन यह नहीं बताते कि कौन सी जनवरी।
नया तरीका (xMemory):
लेखकों का तर्क है कि एजेंट की स्मृति यादृच्छिक किताबों के पुस्तकालय की तरह नहीं है; यह घटनाओं की एक निरंतर धारा (stream) की तरह है जहाँ विवरण मजबूती से जुड़े होते हैं। इसे ठीक करने के लिए, वे xMemory नामक एक नई प्रणाली का प्रस्ताव करते हैं।
मुख्य विचार: "एकत्रीकरण से पहले पृथक्करण (Decoupling Before Aggregation)"
पेपर एक दो-चरणीय प्रक्रिया का सुझाव देता है: Decouple (महत्वपूर्ण हिस्सों को अलग करना) और फिर Aggregate (उन्हें व्यवस्थित करना)।
1. Decoupling: "तथ्य निष्कर्षणकर्ता" (The Fact Extractor)
पूरी बातचीत को एक बड़े ब्लॉक के रूप में मानने के बजाय, xMemory एक कुशल संपादक की तरह कार्य करता है। यह एक बातचीत को पढ़ता है और विशिष्ट, पुन: प्रयोज्य तथ्यों, अपडेट और विवरणों को निकालता है, उन्हें "फालतू बातों" (जैसे "नमस्ते," "कैसे हैं आप," या बार-बार अभिवादन) से अलग करता है।
- उपमा: कल्पना कीजिए कि आपके पास स्टिकी नोट्स (sticky notes) से भरी एक बिखरी हुई डेस्क है। कुछ नोट्स कहते हैं "दोपहर 2 बजे मीटिंग," अन्य कहते हैं "दोपहर 2 बजे मीटिंग (पुष्टि की गई)," और अन्य कहते हैं "दोपहर 2 बजे मीटिंग (रद्द की गई)।"
- पुराना तरीका स्टिकी नोट्स के पूरे ढेर को उठा लेता है।
- xMemory केवल एक सटीक नोट को अलग करता है: "दोपहर 2 बजे मीटिंग।" यह शोर से सत्य को अलग करता है।
2. Aggregation: "स्मार्ट फाइलिंग सिस्टम"
एक बार तथ्य अलग हो जाने के बाद, xMemory उन्हें केवल एक बाल्टी में नहीं फेंकता। यह उन्हें एक पदानुक्रम (hierarchy) में व्यवस्थित करता है:
- सेगमेंट्स (Segments): संबंधित घटनाओं के छोटे समूह (जैसे एक विशिष्ट बातचीत का विषय)।
- कंपोनेंट्स (Components): उन सेगमेंट्स से निकाले गए विशिष्ट तथ्य (जैसे "उपयोगकर्ता जनवरी में DoorDash में नौकरी खो बैठा")।
- ग्रुप्स (Groups): उच्च-स्तरीय फोल्डर जो संबंधित कंपोनेंट्स को रखते हैं (जैसे "उपयोगकर्ता का रोजगार इतिहास")।
महत्वपूर्ण रूप से, यह प्रणाली परिवर्तनीय (revisable) है। यदि आपके पास एक नई बातचीत है जो किसी पुराने तथ्य को स्पष्ट करती है, तो xMemory वापस जा सकता है, एक अस्त-व्यस्त फोल्डर को विभाजित कर सकता है, या दो छोटे फोल्डरों को मर्ज कर सकता है ताकि संगठन एकदम सही रहे। यह एक ऐसी फाइलिंग कैबिनेट की तरह है जो नया दस्तावेज़ जोड़ने पर खुद को स्वचालित रूप से पुनर्गठित करती है।
यह उत्तर कैसे खोजता है: "टॉप-डाउन डिटेक्टिव" (The Top-Down Detective)
जब आप कोई प्रश्न पूछते हैं, तो xMemory केवल कीवर्ड्स की तलाश नहीं करता। यह एक Top-Down दृष्टिकोण का उपयोग करता है:
- चरण 1: कंकाल खोज (The Skeleton Search)। यह पहले उच्च-स्तरीय "ग्रुप्स" और "कंपोनेंट्स" (तथ्यों) को देखता है। यह साक्ष्य के सबसे प्रासंगिक "बैकबोन" को चुनता है। यह पूछता है: "क्या मेरे पास इस उत्तर के लिए सही तथ्य हैं?"
- चरण 2: अनिश्चितता की जाँच (The Uncertainty Check)। केवल तभी जब तथ्य पर्याप्त स्पष्ट नहीं होते, यह गहराई तक जाता है। यह मूल बातचीत के सेगमेंट्स और कच्चे संदेशों तक केवल तभी विस्तार करता है जब इसे अपनी "अनिश्चितता" को कम करने के लिए अधिक विवरण की आवश्यकता होती है।
- उपमा: कल्पना कीजिए कि एक जासूस अपराध को सुलझा रहा है।
- पुराना तरीका: जासूस 20 गवाहों के बयान पकड़ लेता है जो सभी कुछ हद तक समान लगते हैं और उन सभी को पढ़ता है।
- xMemory: जासूस पहले "केस फाइल सारांश" (Group) की जाँच करता है। यदि सारांश कहता है "संदिग्ध बैंक में था," तो जासूस वहीं रुक जाता है। लेकिन यदि सारांश अस्पष्ट है, तो वह सटीक समय प्राप्त करने के लिए गवाह के विशिष्ट ट्रांसक्रिप्ट (Segment) को निकालता है।
- उपमा: कल्पना कीजिए कि एक जासूस अपराध को सुलझा रहा है।
यह क्यों महत्वपूर्ण है (परिणाम)
पेपर ने इस प्रणाली का परीक्षण दो डेटासेट (LoCoMo और PerLTQA) पर विभिन्न AI मॉडलों का उपयोग करके किया। उन्होंने पाया:
- बेहतर उत्तर: क्योंकि xMemory "निर्णायक साक्ष्य" को "अनावश्यक शोर" से अलग करता है, इसलिए AI अधिक सटीक उत्तर देता है, विशेष रूप से समय या उपयोगकर्ता के जीवन में आए विशिष्ट परिवर्तनों के बारे में कठिन प्रश्नों के लिए।
- सस्ता और तेज़: यह सिस्टम कम "टोकन" (AI प्रोसेसिंग की मुद्रा) का उपयोग करता है। एक बड़ा, अव्यवस्थित टेक्स्ट ब्लॉक खिलाने के बजाय, यह तथ्यों का एक सघन, केंद्रित पैकेज खिलाता है।
- दक्षता (Efficiency): यह "सघन" (denser) साक्ष्य प्राप्त करता है। 10 पन्ने खोजने के बजाय जो कहते हैं "मुझे पिज्जा पसंद है," यह उस एक विशिष्ट नोट को खोजता है जो कहता है "मुझे पेपरोनी पिज्जा पसंद है।"
एक वाक्य में सारांश
xMemory इस समस्या को ठीक करता है कि AI अपनी लंबी बातचीत से कैसे भ्रमित हो जाता है; यह पहले शोर से महत्वपूर्ण तथ्यों को अलग करता है, उन्हें एक स्व-अपडेट होने वाले पदानुक्रम में व्यवस्थित करता है, और फिर प्रश्न का उत्तर देने के लिए आवश्यक सटीक विवरण को ही प्राप्त (retrieve) करता है, जिससे सही उत्तर पाने के साथ-साथ समय और पैसे की बचत होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।