HyMem: Hierarchical Context Management for Long-Horizon Agents via Information Isolation
HyMem एक पदानुक्रमित संदर्भ प्रबंधन ढांचा (hierarchical context management framework) है जो उच्च-स्तरीय योजना को निष्पादन ट्रेसेस (execution traces) से अलग करके और ध्यान एवं सटीकता बनाए रखने के लिए संरचित सारांशों का उपयोग करके दीर्घकालिक (long-horizon) LLM एजेंट प्रदर्शन में सुधार करता है, जिससे GAIA और Browsecomp-plus बेंचमार्क पर अत्याधुनिक (state-of-the-art) परिणाम प्राप्त होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक प्रतिभाशाली सहायक की कल्पना करें जो जटिल समस्याओं को हल करने के लिए इंटरनेट पर खोज करने, तर्क करने और पढ़ने में सक्षम है। वर्षों से, वैज्ञानिक इन डिजिटल सहायकों को बड़े भाषा मॉडलों (large language models) का उपयोग करके बना रहे हैं, इस उम्मीद में कि वे वैज्ञानिक अभियान की योजना बनाने या किसी विशिष्ट ऐतिहासिक तथ्य को खोजने के लिए वेबसाइटों को नेविगेट करने जैसी जटिल, बहु-चरणीय चुनौतियों का सामना कर सकें। हालाँकि, एक निरंतर समस्या रही है जिसने उन्हें पीछे धकेल दिया है: जैसे-जैसे ये सहायक लंबे समय तक काम करते हैं और अधिक जानकारी एकत्र करते हैं, उनकी बातचीत की "याददाश्त" (memory) एक अव्यवस्थित ढेर बन जाती है। सहायक अपने ही कार्यों के विवरण में डूबने लगता है—हर खोज परिणाम का कच्चा टेक्स्ट, हर असफल प्रयास और हर मध्यवर्ती विचार—यहाँ तक कि वह उस मूल लक्ष्य को भी भूल जाता है जिसे प्राप्त करने की वह कोशिश कर रहा था। यह बिल्कुल वैसा ही है जैसे एक लाइब्रेरियन, एक अकेली किताब खोजने की कोशिश में, उन सभी पृष्ठों के पहाड़ के नीचे दब जाए जिन्हें उन्होंने कभी पलटा था, और उस शीर्षक को खो दे जिसे वे ढूंढ रहे थे।
चीनी विज्ञान अकादमी के इंस्टीट्यूट ऑफ ऑटोमेशन के शोधकर्ताओं ने इस समस्या को हल करने के लिए इस डिजिटल मेमोरी को व्यवस्थित करने का एक नया तरीका प्रस्तावित किया है। वे अपने सिस्टम को HyMem कहते हैं, जो एक ऐसी विधि है जिसे विभिन्न प्रकार की सूचनाओं को सख्ती से अलग करके दीर्घकालिक कार्यों को ट्रैक पर रखने के लिए डिज़ाइन किया गया है। हर डेटा को एक लंबी सूची में मिलने देने के बजाय, HyMem एक ऐसी संरचना बनाता है जहाँ उच्च-स्तरीय योजना एक साफ, शांत कमरे में होती है, जबकि खोज और परीक्षण का शोर भरा, अस्त-व्यस्त काम अलग-अलग, पृथक स्थानों में होता है। यह दृष्टिकोण सहायक को अपने दैनिक कार्यों के शोर से विचलित हुए बिना बड़े चित्र (big picture) पर ध्यान केंद्रित करने की अनुमति देता है।
इस कार्य के पीछे का मूल विचार यह है कि सभी जानकारी समान नहीं होती है। जब एक एजेंट एक लंबे कार्य पर काम करता है, तो वह दो बहुत ही अलग प्रकार के डेटा उत्पन्न करता है। एक प्रकार है रणनीतिक योजना: लक्ष्य, सत्यापित तथ्य, और काम पूरा करने के लिए आवश्यक कदम। दूसरा प्रकार है निष्पादन ट्रेस (execution trace): उपकरणों का उपयोग करने, वेबसाइटों को ब्राउज़ करने या विवरणों की जांच करने के कच्चे, अक्सर दोहराव वाले और कभी-कभी विफल प्रयास। पुराने सिस्टमों में, ये दो प्रकार की जानकारी एक ही स्ट्रीम में मिली हुई होती थी। जैसे-जैसे कार्य आगे बढ़ता था, अव्यवस्थित निष्पादन ट्रेस की विशाल मात्रा महत्वपूर्ण नियोजन संकेतों (planning signals) पर हावी हो जाती थी। सहायक अपना रास्ता भटक जाता था, अपने ही इतिहास के शोर से महत्वपूर्ण लक्ष्य को पहचानने में असमर्थ हो जाता था।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक ऐसा ढांचा तैयार किया जो सूचना के लिए एक सख्त द्वारपाल (gatekeeper) के रूप में कार्य करता है। उन्होंने एक "प्लानर" (Planner) लेयर बनाई है जो मुख्य रणनीति रखती है, और एक अलग "एक्सेक्यूटर" (Executor) लेयर है जो उपकरणों का उपयोग करने के वास्तविक कार्य को संभालती है। जब प्लानर को किसी तथ्य की जांच करने या खोज चलाने की आवश्यकता होती है, तो वह एक्सेक्यूटर को एक विशिष्ट निर्देश भेजता है। एक्सेक्यूटर काम करने के लिए निकल जाता है, कच्चा डेटा एकत्र करता है, लेकिन वह उस कच्चे डेटा को वापस प्लानर की मुख्य मेमोरी में नहीं डालता है। इसके बजाय, एक्सेक्यूटर जानकारी को प्रोसेस करता है, शोर को फ़िल्टर करता है, और जो उसने पाया उसका एक साफ, संरचित सारांश वापस करता है। यह सारांश फिर प्लानर की मेमोरी में जोड़ा जाता है, जबकि अव्यवस्थित विवरणों को हटा दिया जाता है।
सिस्टम में विशेष रूप से कठिन उप-समस्याओं के लिए एक विशेष "आइसोलेटेड रीजनिंग" (Isolated Reasoning) मॉड्यूल भी शामिल है। यदि किसी कार्य के लिए गहन सोच या विरोधाभासी साक्ष्यों की जांच करने की आवश्यकता होती है, तो प्लानर उस विशिष्ट समस्या को इस अलग मॉड्यूल को भेज देता है। मॉड्यूल उस समस्या पर अपने आप में काम करता है, अपनी आंतरिक सोच और मध्यवर्ती चरणों को मुख्य प्लानर से छिपाकर रखता है। एक बार जब वह निष्कर्ष पर पहुँच जाता है, तो वह केवल उत्तर और मुख्य साक्ष्य वापस भेजता है, जिससे मुख्य प्लानर की मेमोरी उस लंबे, घुमावदार रास्ते से मुक्त रहती है जो वहां तक पहुँचने के लिए अपनाया गया था। यह सुनिश्चित करता है कि मुख्य निर्णय लेने वाला उन उप-कार्यों की जटिलता से कभी भी बोझिल न हो जिन्हें उसने सौंपा है।
सिस्टम को लंबे समय तक सुचारू रूप से चलाने के लिए, HyMem एक संरचित मेमोरी सिस्टम का भी उपयोग करता है जो एक फाइलिंग कैबिनेट की तरह कार्य करता है। यह पिछले घटनाओं, वर्तमान लक्ष्यों और उपकरणों का उपयोग करने के बारे में सीखे गए सबक को व्यवस्थित, संक्षिप्त सारांशों में व्यवस्थित करता है। जब सिस्टम को यह याद करने की आवश्यकता होती है कि उसने क्या किया है, तो वह अतीत के हर एक विवरण को याद करने के बजाय इन व्यवस्थित फाइलों का परामर्श करता है। यह सहायक को प्रगति और निरंतरता का एक स्पष्ट बोध बनाए रखने की अनुमति देता है, भले ही उसने कई घंटों तक काम किया हो, बिना उसकी मेमोरी के बहुत बड़ा होने के।
शोधकर्ताओं ने इस नए दृष्टिकोण का परीक्षण दो चुनौतीपूर्ण कार्यों के सेट पर किया: एक जिसमें सामान्य तर्क और टूल का उपयोग शामिल था, और दूसरा जो गहरे शोध प्रश्नों पर केंद्रित था जिनमें इंटरनेट पर विशिष्ट तथ्य खोजने की आवश्यकता थी। उन्होंने अपने सिस्टम की तुलना कई अन्य तरीकों से की, जिनमें पुराने दृष्टिकोण भी शामिल थे जो बातचीत के पूरे इतिहास को एक छोटे सारांश में संकुचित करने का प्रयास करते थे। परिणामों ने दिखाया कि नियोजन और निष्पादन को अलग रखकर, HyMem सिस्टम काफी अधिक सफल रहा। सामान्य तर्क कार्यों पर, इसने लगभग 66.7% समस्याओं को सही ढंग से हल किया, जबकि गहरे शोध कार्यों पर, इसने 61.3% को हल किया। ये संख्याएँ उल्लेखनीय रूप से बेहतर प्रदर्शन करने वाले वैकल्पिक तरीकों से अधिक थीं, जो कार्यों के लंबे और अधिक जटिल होने पर ध्यान केंद्रित करने में संघर्ष कर रहे थे।
अध्ययन ने यह भी देखा कि उत्तर तक पहुँचने के लिए सिस्टम को कितनी जानकारी को प्रोसेस करना पड़ा। शोधकर्ताओं ने पाया कि HyMem सिस्टम केवल अधिक कंप्यूटिंग पावर का उपयोग करके या अधिक टेक्स्ट पढ़कर समस्याओं को हल नहीं करता है। इसके बजाय, यह केवल उस जानकारी पर अपना ध्यान केंद्रित करके अधिक कुशलता से समस्याओं को हल करता है जो वास्तव में मायने रखती है। मुख्य नियोजन मेमोरी बहुत धीरे-धीरे बढ़ी, लक्ष्य पर केंद्रित रही, जबकि आइसोलेटेड स्पेस ने भारी काम (heavy lifting) संभाला। यह सुझाव देता है कि लंबे, कठिन समस्याओं को हल करने की कुंजी केवल बड़ी मेमोरी होना नहीं है, बल्कि उसे व्यवस्थित करने का एक स्मार्ट तरीका होना है।
हालाँकि परिणाम आशाजनक हैं, शोधकर्ता नोट करते हैं कि सिस्टम इस बात पर निर्भर करता है कि अंतर्निहित कृत्रिम बुद्धिमत्ता सख्त निर्देशों का पालन करने और अच्छी तरह से व्यवस्थित सारांश बनाने में सक्षम है या नहीं। यदि मॉडल इन नियमों का पालन नहीं कर सकता है, तो सिस्टम के लाभ दिखाई नहीं दे सकते हैं। हालाँकि, उन कार्यों के लिए जिनमें निरंतर ध्यान और समय के साथ जटिल जानकारी को नेविगेट करने की क्षमता की आवश्यकता होती है, यह पदानुक्रमित (hierarchical) दृष्टिकोण एक स्पष्ट मार्ग प्रदान करता है। सिग्नल को शोर से अलग करके, HyMem डिजिटल एजेंटों को स्पष्ट रूप से सोचने की अनुमति देता है, भले ही उनका काम अविश्वसनीय रूप से जटिल हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।