Dual-Layer Agentic Memory with Fast Write Routing and Slow Consolidation
न्यूरोसाइंस के कॉम्प्लीमेंट्री लर्निंग सिस्टम्स थ्योरी से प्रेरित होकर, यह शोध पत्र 'डुअल-लेयर एजेंटिक मेमोरी' का प्रस्ताव करता है, जो एक लागत-जागरूक मॉडल कैस्केड का उपयोग करके बाहरी भंडारण के लिए आने वाली जानकारी को चुनिंदा रूप से रूट और प्रून (छंटाई) करने, और उसके बाद उच्च-मूल्य वाले ज्ञान को आंतरिक बनाने के लिए आवधिक पैरामीट्रिक समेकन (कंसोलिडेशन) का उपयोग करके एजेंट मेमोरी को अनुकूलित करता है, जिससे उच्च प्रतिधारण सटीकता बनाए रखते हुए रेडंडेंट स्टोरेज और कम्प्यूटेशनल लागतों को काफी कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स मानव ज्ञान के विशाल पुस्तकालयों की तरह हैं, लेकिन उनकी एक महत्वपूर्ण सीमा है: वे उन नई चीजों को आसानी से याद नहीं रख सकते जो उनके बनने के बाद घटित होती हैं। जब इन मॉडल्स का उपयोग गतिशील वातावरणों—जैसे लंबी बातचीत, अनुसंधान परियोजनाओं, या व्यक्तिगत योजना बनाने—में सहायकों के रूप में किया जाता है, तो वे नई जानकारी की एक निरंतर धारा का सामना करते हैं। इस जानकारी में से कुछ वह है जिसे मॉडल पहले से जानता है, कुछ पूरी तरह से नई है, और कुछ उस जानकारी के विपरीत है जिसे मॉडल पहले से मानता था। पारंपरिक प्रणालियाँ इसे हर नई तथ्य को एक बाहरी डेटाबेस में सहेजकर संभालती हैं, ठीक वैसे ही जैसे एक ऐसी नोटबुक जिसे कभी फेंका नहीं जाता। समय के साथ, यह नोटबुक इतने अधिक अनावश्यक और पुराने नोट्स से भर जाती है कि सही जानकारी ढूँढना धीमा, शोर भरा और अक्षम हो जाता है। इसलिए, मुख्य चुनौती केवल जानकारी को संग्रहीत करने के बारे में नहीं है, बल्कि यह तय करने के बारे में है कि क्या रखना है, किसे हटा देना है, और कब किसी चीज़ को स्थायी रूप से सीखना है ताकि उसे अब दोबारा खोजने की आवश्यकता न पड़े।
शोधकर्ताओं की एक टीम ने इस ज्ञान के प्रवाह को प्रबंधित करने का एक नया तरीका प्रस्तावित किया है, जो इस बात से प्रेरित है कि मानव मस्तिष्क स्मृति को कैसे संभालता है। वे सुझाव देते हैं कि स्मृति को डेटा के एक एकल, बढ़ते ढेर के रूप में देखने के बजाय, इसे दो विशिष्ट चरणों वाले एक जीवनचक्र के रूप में देखा जाना चाहिए: एक तेज़, अस्थायी होल्डिंग एरिया और एक धीमा, स्थायी सीखने का चरण। यह दृष्टिकोण, जिसे 'डुअल-लेयर एजेंटिक मेमोरी' (Dual-Layer Agentic Memory) कहा जाता है, हिप्पोकैम्पस (hippocampus) और नियोकोर्टेक्स (neocortex) के बीच के जैविक संबंध की नकल करता है, जहाँ हिप्पोकैम्पस नए अनुभवों को तेजी से रिकॉर्ड करता है, जबकि नियोकोर्टेक्स समय के साथ स्थिर ज्ञान को धीरे-धीरे एकीकृत करता है। उनके सिस्टम में, "तेज़" परत नए या विरोधाभासी तथ्यों के लिए एक अस्थायी बफर के रूप में कार्य करती है, जबकि "धीमी" परत में मॉडल वास्तव में इन तथ्यों को सीखता है ताकि वे उसकी स्थायी समझ का हिस्सा बन सकें। इसका लक्ष्य बाहरी नोटबुक को बोझिल होने से बचाना है जबकि यह सुनिश्चित करना है कि मॉडल समय के साथ अधिक स्मार्ट और अधिक आत्मनिर्भर बने।
शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो आने वाली जानकारी के बारे में सवाल पूछे जाने का इंतज़ार करने के बजाय, जानकारी के आते ही उसके बारे में निर्णय लेता है। जब कोई नया तथ्य सिस्टम में प्रवेश करता है, तो तुरंत उसका मूल्यांकन किया जाता है ताकि उसके भाग्य का निर्धारण किया जा सके। सिस्टम जानकारी को तीन श्रेणियों में वर्गीकृत करता है: वे तथ्य जिन्हें मॉडल पूरी तरह से जानता है, वे तथ्य जिन्हें मॉडल बिल्कुल नहीं जानता, और वे तथ्य जिनके बारे में मॉडल गलत जानता है या जिसके बारे में उसकी जानकारी पुरानी हो चुकी है। सब कुछ सहेजने के बजाय, सिस्टम एक स्मार्ट फ़िल्टर का उपयोग करता है यह तय करने के लिए कि क्या स्टोर करने लायक है। यह फ़िल्टर एक दो-स्तरीय स्क्रीनिंग प्रक्रिया की तरह काम करता है। मॉडल का एक छोटा, तेज़ और कम महंगा संस्करण पहले आने वाली जानकारी की जाँच करता है। यदि तथ्य स्पष्ट रूप से कुछ ऐसा है जिसे मॉडल पहले से जानता है या स्पष्ट रूप से कुछ ऐसा है जिसे उसे अनदेखा करना चाहिए, तो छोटा मॉडल तुरंत निर्णय ले लेता है। केवल तभी जब तथ्य संदिग्ध या निर्णय लेने में कठिन होता है, सिस्टम उसे अंतिम निर्णय के लिए एक बड़े, अधिक शक्तिशाली मॉडल को भेजता है। यह "छोटे-से-बड़े" (small-to-large) कैस्केड यह सुनिश्चित करता है कि सिस्टम आसान निर्णयों पर कंप्यूटिंग शक्ति बर्बाद न करे, जबकि जटिल कार्यों के लिए उच्च सटीकता बनाए रखे।
एक बार जब सिस्टम किसी जानकारी को रखने का निर्णय लेता है, तो वह उसे बाहरी स्मृति में संग्रहीत करता है। हालाँकि, यह प्रक्रिया का अंत नहीं है। शोधकर्ताओं ने एक दूसरा चरण पेश किया जिसे "कंसोलिडेशन" (consolidation) कहा जाता है, जो समय-समय पर होता है। इस चरण के दौरान, सिस्टम अपने पास संग्रहीत उच्च-मूल्य वाले तथ्यों की समीक्षा करता है और उन्हें मॉडल को फिर से प्रशिक्षित (retrain) करने के लिए उपयोग करता है। यह इस तरह है जैसे कोई छात्र परीक्षा से पहले अपने नोट्स की समीक्षा करता है ताकि जानकारी को अल्पकालिक से दीर्घकालिक स्मृति में स्थानांतरित किया जा सके। इन चयनित तथ्यों पर मॉडल को प्रशिक्षित करके, मॉडल उन्हें स्थायी रूप से सीख लेता है। इसके परिणामस्वरूप, मॉडल को अब बाहरी नोटबुक में इन तथ्यों को खोजने की आवश्यकता नहीं होती है; वह उन्हें अपनी आंतरिक जानकारी से सीधे उत्तर दे सकता है। यह एक फीडबैक लूप बनाता है: जैसे-जैसे मॉडल अधिक सीखता है, उसे कम स्टोर करने की आवश्यकता होती है, और बाहरी स्मृति संक्षिप्त और कुशल बनी रहती है।
इस दृष्टिकोण के परिणामों का परीक्षण एक सिम्युलेटेड वातावरण में किया गया जहाँ एजेंट को तथ्यों की निरंतर धारा को प्रबंधित करना था और समय के साथ प्रश्नों के उत्तर देने थे। शोधकर्ताओं ने पाया कि उनका सिस्टम उस अनावश्यक जानकारी को हटाने में सक्षम था जिसे पारंपरिक प्रणाली में सामान्यतः सहेजा जाता। डेटा को बहुत कम स्टोर करने के बावजूद, सिस्टम ने उस सटीकता के 98% से अधिक को बनाए रखा जो तब प्राप्त होती यदि इसने हर एक तथ्य को सहेजा होता। दो-स्तरीय फ़िल्टर के उपयोग ने कंप्यूटिंग लागत को भी काफी कम कर दिया, क्योंकि बड़े, अधिक महंगे मॉडल से केवल 40% आने वाले तथ्यों के लिए ही परामर्श लिया गया। इसके अलावा, कंसोलिडेशन चरण ने ज्ञान को आत्मसात करने में प्रभावशीलता सिद्ध की। संग्रहीत तथ्यों पर मॉडल को फिर से प्रशिक्षित करने के बाद, वह बाहरी स्मृति को खोजे बिना प्रश्नों के उत्तर दे सकता था, और सिस्टम ने स्वचालित रूप से उन्हीं तथ्यों को फिर से सहेजने का प्रयास करना बंद कर दिया।
हालाँकि, अध्ययन ने एक महत्वपूर्ण कारण भी प्रकट किया कि क्यों डुअल-लेयर डिज़ाइन आवश्यक है। जब मॉडल पुन: प्रशिक्षण प्रक्रिया के माध्यम से नई जानकारी सीखता है, तो यह कभी-कभी इसके मौजूदा ज्ञान को बाधित करता है, जिससे यह उन तथ्यों को भूल जाता है या भ्रमित हो जाता है जिन्हें वह पहले अच्छी तरह से जानता था। यह घटना, जिसे 'कैटास्ट्रोफिक फॉरगेटिंग' (catastrophic forgetting) कहा जाता है, का अर्थ है कि मॉडल जोखिम के बिना अपनी पुरानी यादों को नई यादों के साथ ओवरराइट नहीं कर सकता। बाहरी स्मृति परत इस परिदृश्य में एक सुरक्षा जाल (safety net) के रूप में कार्य करती है। यदि मॉडल कुछ नया सीखने के बाद गलती करता है, तो बाहरी स्मृति अभी भी त्रुटि को ठीक करने के लिए सही जानकारी प्रदान कर सकती है। यह गतिशील संतुलन एजेंट को सही ढंग से तर्क करने की क्षमता खोए बिना लगातार सीखने और अनुकूलित होने की अनुमति देता है। शोधकर्ताओं ने प्रदर्शित किया कि तेज़, चयनात्मक भंडारण और धीमी, चयनात्मक सीख को जोड़कर, उन्होंने एक ऐसी स्मृति प्रणाली बनाई जो कुशल और मजबूत है, जो सही रास्ता खोए बिना वास्तविक दुनिया की जानकारी की बदलती प्रकृति को संभालने में सक्षम है।
यह कार्य इस बारे में हमारे सोचने के तरीके में बदलाव का सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस की स्मृति कैसी होनी चाहिए। स्मृति को एक स्थिर संग्रह के रूप में देखने के बजाय जो अनिश्चित रूप से बढ़ता जाता है, इसे चयन और एकीकरण की एक गतिशील प्रक्रिया के रूप में देखना अधिक प्रभावी है। सिस्टम केवल डेटा स्टोर नहीं करता है; यह ज्ञान के जीवनचक्र का प्रबंधन करता है, यह तय करता है कि क्या अस्थायी है और क्या स्थायी है। जैविक सिद्धांतों—तेज़ रिकॉर्डिंग और धीमी एकीकरण—की नकल करके, शोधकर्ताओं ने एक ऐसा ढांचा तैयार किया है जो एजेंट की स्मृति को सुव्यवस्थित और उसके तर्क को सटीक रखता है। निष्कर्ष बताते हैं कि एआई एजेंटों के लिए प्रभावी ढंग से लंबे समय तक काम करने के लिए, उन्हें तुच्छ चीजों को भूलने, महत्वपूर्ण चीजों को सीखने और दुनिया की अपनी समझ को अपडेट करने में सक्षम होना चाहिए, बिना अपना रास्ता भटके। यह दृष्टिकोण ऐसे सहायकों के निर्माण के लिए एक आशाजनक मार्ग प्रदान करता है जो वास्तव में अपने उपयोगकर्ताओं के साथ सीख और बढ़ सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।