MemHRL: Aligning Hierarchical Memory and Policy Learning for Long-Horizon LLM Agents
MemHRL लेवल-अवेयर रिट्रीवल और फेलियर-अवेयर कंसोलिडेशन का उपयोग करके लॉन्ग-होरइजन LLM एजेंट्स के लिए एक पदानुक्रमित मेमोरी और पॉलिसी अलाइनमेंट फ्रेमवर्क का प्रस्ताव करता है, लेकिन सीमित ScienceWorld और WebShop सबसेट्स पर मूल्यांकन सीमित प्रदर्शन लाभों को प्रकट करते हैं और प्रतिबंधित प्रस्तावों के तहत कॉम्पैक्ट पॉलिसी-मेमोरी तंत्र की चुनौतियों को उजागर करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक निरंतर चुनौती है जिसे "लॉन्ग-होराइजन" (long-horizon) समस्या के रूप में जाना जाता है। कल्पना कीजिए कि आप एक कंप्यूटर को एक जटिल, बहु-चरणीय कार्य पूरा करने के लिए कह रहे हैं, जैसे कि किसी विशिष्ट सामग्री को खोजने के लिए एक आभासी घर में नेविगेट करना, या एक उपहार खरीदने के लिए एक विशाल ऑनलाइन स्टोर को ब्राउज़ करना जो एक दर्जन विशिष्ट मानदंडों को पूरा करता हो। सफल होने के लिए, सिस्टम को न केवल यह तय करना होगा कि आगे क्या करना है, बल्कि यह भी याद रखना होगा कि उसने पिछले प्रयासों से क्या सीखा है। इसे एक क्षणिक विवरण, जैसे कि दरवाजे का रंग, और एक महत्वपूर्ण सबक, जैसे कि यह तथ्य कि एक निश्चित रास्ता बंद गली की ओर ले जाता है, के बीच अंतर करने की आवश्यकता है। वर्तमान प्रणालियाँ अक्सर इस संतुलन के लिए संघर्ष करती हैं; वे या तो कुछ चरणों के बाद महत्वपूर्ण सबक भूल जाती हैं या बहुत अधिक जानकारी से अभिभूत हो जाती हैं, जिससे वे गलतियाँ दोहराती हैं या अपना रास्ता भटक जाती हैं। शोधकर्ता यह सवाल पूछते हैं कि क्या इन डिजिटल एजेंटों को अपनी यादों को व्यवस्थित करने का एक संरचित तरीका देने से—व्यापक रणनीतियों को विशिष्ट कार्यों से अलग करने से—उन्हें इन लंबे, कठिन पहेलियों को हल करने में मदद मिल सकती है।
शोधकर्ताओं की एक टीम ने एक विशिष्ट विचार का परीक्षण करने के लिए हाथ डाला: क्या होगा यदि एक एजेंट स्पष्ट रूप से अपने निर्णय के स्तर के साथ अपनी स्मृति का मिलान कर सके? उन्होंने MemHRL नामक एक प्रणाली बनाई, जिसका अर्थ है मेमोरी हिरार्किकल रीइन्फोर्समेंट लर्निंग (Memory Hierarchical Reinforcement Learning)। इसका मूल विचार सरल लेकिन सटीक है। सिस्टम दो स्तरों पर कार्य करता है। उच्च स्तर पर, एजेंट कार्य के व्यापक चरणों की योजना बनाता है, जैसे कि "वस्तु खोजें" या "आइटम तैयार करें।" निम्न स्तर पर, यह उस चरण को पूरा करने के लिए आवश्यक विशिष्ट चालों को निष्पादित करता है, जैसे कि "दराज खोलें" या "बटन पर क्लिक करें।" शोधकर्ताओं ने परिकल्पना की कि यदि एजेंट विफल उच्च-स्तरीय चरणों के सारांश को एक स्थान पर और निम्न-स्तरीय कार्यों के विस्तृत रिकॉर्ड को दूसरे स्थान पर संग्रहीत कर सकता है, तो वह सही समय पर सही प्रकार की जानकारी प्राप्त कर सकेगा। इसका परीक्षण करने के लिए, उन्होंने एक फ्रोजन लैंग्वेज मॉडल (frozen language model)—एक पूर्व-प्रशिक्षित मस्तिष्क जो प्रयोग के दौरान नए तथ्य नहीं सीखता है—का उपयोग किया और इसके साथ दो छोटे, प्रशिक्षण योग्य 'सेलेक्टर्स' (selectors) जोड़े। ये सेलेक्टर्स गेटकीपर के रूप में कार्य करते हैं, जो यह तय करते हैं कि एजेंट वर्तमान में एक बड़े चरण की योजना बना रहा है या एक छोटी चाल को निष्पादमित कर रहा है, इसके आधार पर साझा लाइब्रेरी से पिछले अनुभवों में से किसे निकाले।
शोधकर्ताओं ने इस प्रणाली का परीक्षण दो अलग-अलग वातावरणों में किया: एक वैज्ञानिक सिमुलेशन जहाँ एजेंट को पानी उबालने या वस्तुओं को जमाने जैसे प्रयोग करने होते हैं, और एक वर्चुअल शॉपिंग टास्क जहाँ एजेंट को लगभग 50,000 उत्पादों के कैटलॉग से विशिष्ट वस्तुओं को खोजना और खरीदना होता है। उन्होंने प्रत्येक वातावरण में 100 अलग-अलग कार्यों के साथ प्रयोग चलाए, जिससे एजेंट को सफल होने के लिए सीमित प्रयास दिए गए। परिणाम उत्साहजनक थे। वैज्ञानिक सिमुलेशन में, नए मेमोरी सिस्टम वाला एजेंट 100 में से एक भी कार्य पूरा करने में विफल रहा, जिसका प्रदर्शन बिना किसी मेमोरी अलाइनमेंट वाले सिस्टम से बेहतर नहीं था। शॉपिंग टास्क में, एजेंट 12% कार्य पूरा करने में सफल रहा। हालांकि यह एक सफलता लग सकती है, लेकिन यह वास्तव में एक सरल सिस्टम से थोड़ा खराब था जिसने पदानुक्रमित संरचना का उपयोग किया था लेकिन जटिल मेमोरी अलाइनमेंट की कमी थी, जो 13% मामलों में सफल रहा था।
अध्ययन यह समझने के लिए और गहरा गया कि क्यों मेमोरी सिस्टम ने अपेक्षित बढ़ावा नहीं दिया। शोधकर्ताओं ने पाया कि सिस्टम उपयोगी और अनुपयोगी जानकारी का मिश्रण प्राप्त कर रहा था। भले ही सिस्टम को निर्णय लेने के वर्तमान स्तर के अनुरूप स्मृतियों को लाने के लिए डिज़ाइन किया गया था, फिर भी लगभग 76% प्राप्त रिकॉर्ड का वर्तमान कार्य के लिए कोई सकारात्मक मूल्य नहीं था। कभी-कभी, सिस्टम किसी अन्य उत्पाद के बारे में या एक असफल प्रयास के बारे में जानकारी निकाल लेता था जो वर्तमान स्थिति के लिए अप्रासंगिक थी। यह सुझाव देता है कि स्मृति को विभिन्न स्तरों में व्यवस्थित करना ही पर्याप्त नहीं है; सिस्टम को यह तय करने के तरीके की भी आवश्यकता है कि क्या कोई विशिष्ट स्मृति वास्तव में वर्तमान समस्या के लिए प्रासंगिक है। वास्तव में, जब शोधकर्ताओं ने शॉपिंग टास्क से दीर्घकालिक स्मृति को पूरी तरह से हटा दिया, तो एजेंट की सफलता दर वास्तव में सुधर गई, जो बढ़कर 15.7% हो गई। यह प्रति-सहज परिणाम इंगित करता है कि वर्तमान में डिज़ाइन किया गया मेमोरी सिस्टम कभी-कभी शोर (noise) पैदा कर सकता है जो एजेंट को मदद करने के बजाय भ्रमित करता है।
शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि निर्णय स्तरों के साथ स्मृति को संरेखित करने का विचार आशाजनक है, वर्तमान कार्यान्वयन की सीमाएं हैं। यह सिस्टम तब सबसे अच्छा काम करता है जब कार्यों में एक ही प्रक्रिया को बार-बार दोहराना शामिल होता है, जिससे एजेंट पिछले सारांशों से सीख सकता है। हालाँकि, जब कार्यों के लिए नए, अद्वितीय विवरणों के अनुकूल होने की आवश्यकता होती है—जैसे कि अद्वितीय मूल्य या विशेषता वाली विशिष्ट वस्तु खोजना—तो कठोर स्मृति संरचना एक बाधा बन सकती है। अध्ययन में दीर्घकालिक योजना के लिए कोई सार्वभौमिक समाधान नहीं मिला। इसके बजाय, इसने एक स्पष्ट मानचित्र प्रदान किया कि दृष्टिकोण कहाँ सफल होता है और कहाँ विफल होता है, यह दिखाते हुए कि मेमोरी जोड़ने से एजेंट स्वतः ही स्मार्ट नहीं हो जाता है। डेटा बताता है कि इन प्रणालियों को बेहतर बनाने के लिए, भविष्य के डिजाइनों को अप्रासंगिक स्मृतियों को फ़िल्टर करने और यह सुनिश्चित करने पर ध्यान केंद्रित करना चाहिए कि एजेंट पिछले अनुभवों का उपयोग तभी करे जब वे वास्तव में वर्तमान स्थिति में फिट बैठते हों। यह कार्य एक सावधानीपूर्वक, नियंत्रित प्रयोग के रूप में खड़ा है जो स्पष्ट करता है कि आज के आर्टिफिशियल इंटेलिजेंस के लिए एक संरचित स्मृति क्या कर सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।