Multi-Layered Memory Architectures for LLM Agents: An Experimental Evaluation of Long-Term Context Retention
यह शोध पत्र एक मल्टी-लेयर मेमोरी फ्रेमवर्क पेश करता है जो संवाद इतिहास को वर्किंग, एपिसोडिक और सिमेंटिक परतों में विभाजित करता है, जिसमें एडेप्टिव रिट्रीवल का उपयोग किया गया है ताकि कंप्यूटेशनल दक्षता बनाए रखते हुए लॉन्ग-होरिज़ोन डायलॉग सिस्टम्स में दीर्घकालिक प्रतिधारण (रिटेंशन) में उल्लेखनीय सुधार किया जा सके, सिमेंटिक ड्रिफ्ट को कम किया जा सके और फॉल्स मेमोरी दरों को घटाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बुद्धिमान मित्र (एक AI) से बात कर रहे हैं जिसकी याददाश्त बहुत खराब है। यदि आप उससे कुछ मिनटों तक बात करते हैं, तो वह सब कुछ पूरी तरह से याद रखता है। लेकिन यदि आप घंटों, दिनों या हफ्तों तक उससे बातें करते रहते हैं, तो वह भ्रमित होने लगता है। वह भूल जाता है कि आप कौन हैं, वह पिछले हफ्ते बताई गई बातों को मिला देता है, और क्योंकि उसका "दिमाग" बहुत भर गया है, वह चीजें बनाने लगता है।
यह पेपर उस AI मित्र को एक बेहतर फाइलिंग सिस्टम देने के बारे में है ताकि वह आपको लंबे समय तक बिना अभिभूत हुए याद रख सके।
यहाँ उनके समाधान का सरल विवरण दिया गया है:
समस्या: "एक बड़ा ढेर" वाला बिखराव
अभी, अधिकांश AI सिस्टम आपकी बातचीत के इतिहास को एक विशाल, बढ़ते हुए ढेर के रूप में रखकर सब कुछ याद रखने की कोशिश करते हैं।
- उपमा: कल्पना कीजिए कि आप पहली कॉल से लेकर आखिरी कॉल तक के हर एक ट्रांसक्रिप्ट को एक साथ पढ़कर पूरे एक साल की फोन कॉल्स को याद करने की कोशिश कर रहे हैं। आपका दिमाग फट जाएगा, या आप ढेर के नीचे रखी महत्वपूर्ण चीजों को भूलने लगेंगे।
- परिणाम: AI पुरानी जानकारी के कारण "नशे" में आ जाता है, वह यह ट्रैक खो देता है कि आप कौन हैं (आपका "पर्सोना"), और वह मतिभ्रम (गलत यादें बनाना) करने लगता है।
समाधान: "तीन दराजों वाली डेस्क"
लेखक एक मल्टी-लेयर मेमोरी फ्रेमवर्क का प्रस्ताव देते हैं। एक विशाल ढेर के बजाय, वे AI को एक डेस्क देते हैं जिसमें तीन विशिष्ट दराजें हैं, जिनमें से प्रत्येक एक अलग काम करती है:
"वर्किंग" दराज (अल्पकालिक/Short-Term):
- यह क्या है: इसमें वह बातचीत होती है जो अभी चल रही है।
- उपमा: यह आपके मॉनिटर पर लगे स्टिकी नोट्स की तरह है। आप वर्तमान कार्य के लिए इनका उपयोग करते हैं। एक बार कार्य पूरा हो जाने पर, आप स्टिकी नोट फेंक देते हैं। AI केवल पिछले कुछ संदेशों को यहाँ रखता है ताकि वह पुरानी चीजों से भ्रमित न हो।
"एपिसोडिक" दराज (डायरी):
- यह क्या है: इसमें पिछली बातचीत का सारांश होता है।
- उपमा: इसे एक डायरी के रूप में सोचें। पिछले मंगलवार को आपने जो भी कहा, उसके हर एक शब्द को रखने के बजाय, AI एक छोटा सारांश लिखता है: "मंगलवार को, सारा ने कहा कि उसे हाइकिंग पसंद है और उसका बस्टर नाम का एक कुत्ता है।" यह बिना किसी अव्यवस्था के आपके रिश्ते की कहानी को बनाए रखता है।
"सिमेंटिक" दराज (विश्वकोश):
- यह क्या है: इसमें आपके बारे में मुख्य तथ्य और नियम होते हैं।
- उपमा: यह "सारा" के लिए एक स्थायी विश्वकोश प्रविष्टि की तरह है। यह उन तथ्यों को जानता है जो शायद ही कभी बदलते हैं: "सारा एक शिक्षिका है," "सारा शिकागो में रहती है," "सारा को तीखा खाना पसंद नहीं है।" यह स्मृति का सबसे स्थिर हिस्सा है।
यह कैसे काम करता है: स्मार्ट लाइब्रेरियन
AI तीनों दराजों को एक साथ नहीं देखता (ऐसा करना बहुत धीमा होगा)। यह एक स्मार्ट लाइब्रेरियन (जिसे "एडेप्टिव गेटिंग" कहा जाता है) का उपयोग करता है।
- परिदृश्य: आप पूछते हैं, "हमने कल क्या बात की थी?"
- लाइब्रेरियन की चाल: लाइब्रेरियन पहले डायरी (एपिसोडिक) की जाँच करता है।
- परिदृश्य: आप पूछते हैं, "मेरा पसंदीदा रंग क्या है?"
- लाइब्रेरियन की चाल: लाइब्रेरियन विश्वकोश (सिमेंटिक) की जाँच करता है क्योंकि यह एक स्थायी तथ्य है।
- परिदृश्य: आप कहते हैं, "मैंने अभी एक नई टोपी खरीदी है।"
- लाइब्रेरियन की चाल: यह इसे स्टिकी नोट्स (वर्किंग) में डाल देता है क्योंकि यह नया और अस्थायी है।
सीक्रेट सॉस: "ड्रिफ्ट गार्ड"
एक और ट्रिक है। कभी-कभी, जैसे-जैसे हम सारांश बनाते हैं, हम अनजाने में अर्थ बदल देते हैं। (उदाहरण के लिए, "मैं पार्क जा सकता हूँ" को "मैं पार्क जाऊँगा" के रूप में सारांशित करना)।
लेखकों ने एक ड्रिफ्ट गार्ड (रिटेंशन रेगुलराइजेशन) जोड़ा है।
- उपमा: एक सख्त संपादक की कल्पना करें जो हर दिन आपकी डायरी की जाँच करता है ताकि यह सुनिश्चित हो सके कि "सारा" का सारांश गलती से बदला नहीं गया है। यदि AI यह सोचने लगता है कि आप डॉक्टर हैं जबकि आप वास्तव में एक शिक्षक हैं, तो गार्ड कहता है, "रुको! यह गलत है। इसे ठीक करो।" यह AI की स्मृति को महीनों या वर्षों तक स्थिर रखता है।
परिणाम: यह क्यों मायने रखता है
शोधकर्ताओं ने इसका परीक्षण कुछ कठिन, लंबी बातचीत पर किया। यहाँ क्या हुआ:
- बेहतर स्मृति: AI लंबे समय के बाद तथ्यों को पुराने तरीकों की तुलना में 56% बार याद रख पाया, जबकि पुराने तरीकों में यह केवल 48% था।
- कम झूठ: AI ने झूठी यादें (मतिभ्रम) बहुत कम बार बनाईं (6.8% से गिरकर 5.1% हो गईं)।
- तेज़ और सस्ता: क्योंकि AI जवाब देने के लिए हर बार 10,000 पन्नों की किताब नहीं पढ़ रहा है, इसलिए यह कम कंप्यूटर पावर का उपयोग करता है और तेज़ी से जवाब देता है।
निचोड़
यह पेपर हमें सिखाता है कि एक ऐसा AI बनाने के लिए जो एक सच्चा दीर्घकालिक साथी (जैसे कि थेरेपिस्ट, ट्यूटर या व्यक्तिगत सहायक) बन सके, हम केवल उस पर अधिक डेटा नहीं डाल सकते। हमें उस डेटा को परतों (layers) में व्यवस्थित करने की आवश्यकता है: जो अभी हो रहा है, जो हाल ही में हुआ है, और जो हमेशा सच है।
मानव मस्तिष्क (लघु अवधि के फोकस और दीर्घकालिक तथ्यों के साथ) की तरह स्मृति को व्यवस्थित करके, हम ऐसा AI बना सकते हैं जो सुसंगत रहता है, आपको याद रखता है, और भ्रमित नहीं होता, भले ही सालों तक बातचीत हुई हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।