The Retriever Should Remember: Experience-Amortized Reranking for Long-Term Agent Memory
यह शोध पत्र EARM को प्रस्तुत करता है, जो एक अनुभव-एमोर्टाइज्ड (experience-amortized) रीरैंकिंग फ्रेमवर्क है जो दीर्घकालिक एजेंट मेमोरी रिट्रीवल सटीकता में उल्लेखनीय सुधार करने और इन्फरेंस ओवरहेड को काफी कम करने के लिए कॉज़ल मैट्रिक्स कंप्लीशन (causal matrix completion) के माध्यम से पहले से प्राप्त किए गए LLM प्रासंगिकता स्कोर को पुन: उपयोग करना सीखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी बातचीत की कल्पना करें जो महीनों या वर्षों तक चलती है, जहाँ एक व्यक्ति बहुत पहले हुई घटनाओं के बारे में प्रश्न पूछता है, या दर्जनों पिछले संवादों में बिखरे हुए तथ्यों को जोड़ता है। एक कंप्यूटर प्रोग्राम के लिए जिसे एक सहायक के रूप में कार्य करने के लिए डिज़ाइन किया गया है, इस विशाल इतिहास को ट्रैक करना एक बहुत बड़ा कार्य है। ये प्रोग्राम, जिन्हें अक्सर 'एजेंट' कहा जाता है, अपने पिछले संवादों को यादों की एक बाहरी लाइब्रेरी (पुस्तकालय) में संग्रहीत करते हैं। हालाँकि, एक लाइब्रेरी होने का मतलब यह नहीं है कि आपको पता है कि सही किताब कैसे ढूँढनी है। जब एक नया प्रश्न आता है, तो सिस्टम को उपयोगी सूचनाओं के कुछ अंश खोजने के लिए हजारों संग्रहीत यादों को तेज़ी से छानना पड़ता है। पारंपरिक रूप से, सिस्टम शब्द समानता (word similarity) के आधार पर एक त्वरित, व्यापक खोज का उपयोग करता है, और यदि इसे अधिक सटीक होने की आवश्यकता होती है, तो यह प्रासंगिकता का निर्णय लेने के लिए एक शक्तिशाली भाषा मॉडल (language model) से प्रश्न और संभावित यादों को पढ़ने के लिए कहता है। लेकिन यहाँ एक निराशाजनक अक्षमता है: हर बार जब एक नया प्रश्न पूछा जाता है, तो सिस्टम शून्य से शुरुआत करता है। यह पिछली बार खोज करने से सीखे गए सबक को भूल जाता है, अपने द्वारा गणना किए गए स्कोर और देखे गए पैटर्न को त्याग देता है, जैसे कि कोई छात्र जो परीक्षा के लिए अध्ययन करता है, परीक्षा के तुरंत बाद सब कुछ भूल जाता है, और फिर अगली परीक्षा के लिए उसी सामग्री को फिर से सीखना पड़ता है।
द चाइनीज़ यूनिवर्सिटी ऑफ हांगकांग, शेनज़ेन के शोधकर्ताओं ने इस भूलने के चक्र को तोड़ने का एक तरीका प्रस्तावित किया है। उन्होंने एक नया फ्रेमवर्क पेश किया जिसे EARM कहा जाता है, जिसका अर्थ है 'एक्सपीरियंस-एमोर्टाइज़्ड रीरैंकिंग फॉर मेमोरी' (Experience-Amortized Reranking for Memory)। इसका मूल विचार सरल लेकिन गहरा है: सिस्टम को न केवल पिछले संवादों की सामग्री को याद रखना चाहिए, बल्कि यह भी याद रखना चाहिए कि उसने अतीत में जानकारी को सफलतापूर्वक कैसे खोजा था। प्रासंगिकता के निर्णय को एक बार की लागत के रूप में देखने के बजाय, शोधकर्ताओं ने एक ऐसा सिस्टम डिज़ाइन किया है जो इन निर्णयों को अनुभव के एक रूप के रूप में मानता है जो एजेंट के पूरे जीवनकाल में संचित होता है। यह रिकॉर्ड रखकर कि कौन सी यादें किस प्रकार के प्रश्नों के लिए उपयोगी थीं, सिस्टम अपनी स्मृति का एक मानचित्र (map) बनाना सीख जाता है। यह मानचित्र इसे प्रत्येक स्मृति को पढ़ने के लिए शक्तिशाली भाषा मॉडल का उपयोग किए बिना, नई स्मृतियों की प्रासंगिकता का अनुमान लगाने की अनुमति देता है।
अपने प्रयोगों में, शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण एक ऐसे डेटासेट पर किया जिसमें लंबी बातचीत शामिल थी जिनमें जटिल प्रश्न थे जिनके लिए एजेंट को विभिन्न समयों से जानकारी जोड़ने की आवश्यकता थी। उन्होंने इस नए तरीके की तुलना दो मानक दृष्टिकोणों से की: एक बुनियादी सिस्टम जो केवल शब्द समानता पर निर्भर करता है, और एक अधिक शक्तिशाली सिस्टम जो प्रत्येक संभावित स्मृति को स्कोर करने के लिए भाषा मॉडल से कहता है। परिणामों ने दिखाया कि नया तरीका, जो प्रत्यक्ष स्कोरिंग और सीखे गए अनुमानों के मिश्रण का उपयोग करता है, बुनियादी सिस्टम से काफी बेहतर प्रदर्शन करता है। इसने उत्तरों की सटीकता में 6.62 प्रतिशत तक सुधार किया, जो एक ऐसे क्षेत्र में एक बड़ी उपलब्धि है जहाँ छोटे सुधार प्राप्त करना कठिन होता है। शायद इससे भी महत्वपूर्ण बात यह है कि सिस्टम अत्यधिक प्रभावी बना रहा, भले ही उसे उम्मीदवारों के केवल एक बहुत छोटे हिस्से—विशेष रूप से, 17.5 प्रतिशत—को सीधे स्कोर करने की अनुमति दी गई हो। इस विरल (sparse) सेटिंग में, सिस्टम ने अपने संचित अनुभव का उपयोग करके अंतराल को भरने के लिए किया, और पिछले संवादों से सीखे गए पैटर्न के आधार पर शेष स्मृतियों की प्रासंगिकता का अनुमान लगाया।
इस सफलता के पीछे का तंत्र इस विचार पर आधारित है कि प्रासंगिकता यादृच्छिक (random) नहीं होती है। कुछ स्मृतियाँ विशिष्ट प्रकार के प्रश्नों के लिए उपयोगी होती हैं, और कुछ प्रश्न विभिन्न स्मृतियों में प्रासंगिकता के समान पैटर्न को ट्रिगर करते हैं। शोधकर्ताओं ने एक व्यवस्थित तरीके से इन संबंधों को रिकॉर्ड करने वाला एक सिस्टम बनाया। जब एक नया प्रश्न आता है, तो सिस्टम भाषा मॉडल को सीधे स्कोर करने के लिए स्मृतियों का एक छोटा, रणनीतिक नमूना चुनता है। फिर यह शेष भाग की प्रासंगिकता का अनुमान लगाने के लिए पिछले स्कोर के इतिहास का उपयोग करता है। यह प्रक्रिया एक अनुभवी लाइब्रेरियन की तरह है जिसे पता होता है कि किसी विशिष्ट ऐतिहासिक घटना के बारे में पूछने वाले संरक्षक को संभवतः दस्तावेजों का एक विशेष सेट चाहिए होगा, भले ही संरक्षक ने अभी तक उनका उल्लेख न किया हो। सिस्टम अंधे होकर अनुमान नहीं लगाता है; यह अपनी खोज को निर्देशित करने के लिए पिछले पुनर्प्राप्तियों (retrievals) के "अनुभव" का उपयोग करता है, प्रभावी रूप से अपने स्वयं के ज्ञान आधार तक पहुँचने का तरीका सीखता है।
सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि सिस्टम एक पूर्ण, विस्तृत खोज के अधिकांश लाभों को केवल एक चौथाई कम्प्यूटेशनल प्रयास का उपयोग करके प्राप्त कर सकता था। जब तक सिस्टम ने एक मजबूत इतिहास बनाने के लिए पर्याप्त प्रश्नों को संसाधित कर लिया था, तब तक वह बहुत कम नए इनपुट के साथ अत्यधिक सटीक निर्णय ले सकता था। शोधकर्ताओं ने पाया कि सीखे गए अनुमानों के माध्यम से चुनी गई स्मृतियाँ केवल 'फिलर' नहीं थीं; वे मापने योग्य मूल्य जोड़ती थीं, जिससे सीधे स्कोर की गई स्मृतियों द्वारा प्रदान किए गए स्तर से 0.78 से 2.79 प्रतिशत तक उत्तर की गुणवत्ता में सुधार हुआ। यह सुझाव देता है कि सिस्टम सफलतापूर्वक उपयोगी जानकारी की पहचान कर रहा था जिसे प्रारंभिक, त्वरित खोज ने छोड़ दिया था, केवल अपने स्वयं के स्मृति के अंतर्निहित ढांचे को पहचानकर।
अध्ययन ने यह भी रेखांकित किया कि हम कृत्रिम बुद्धिमत्ता की स्मृति के बारे में कैसे सोच सकते हैं। पारंपरिक रूप से, ध्यान अधिक जानकारी संग्रहीत करने या उसे बेहतर ढंग से प्रस्तुत करने पर रहा है। यह कार्य सुझाव देता है कि एक वास्तव में लंबे समय तक जीवित रहने वाले एजेंट को उस जानकारी को कुशलतापूर्वक कैसे प्राप्त किया जाए, यह भी सीखना होगा। शोधकर्ताओं का तर्क है कि एक एजेंट को न केवल सामग्री का संचय करना चाहिए, बल्कि इस बारे में भी अनुभव का संचय करना चाहिए कि वह सामग्री किस प्रकार उपयोगी सिद्ध हुई है। पुनर्प्राप्ति स्कोर (retrieval scores) को एक अस्थायी उपोत्पाद के बजाय एक निरंतर अवस्था (persistent state) के रूप में मानकर, सिस्टम खोज की क्रिया को एक दोहराव वाले खर्च से एक सीखी गई क्षमता में बदल देता है। यह दृष्टिकोण एजेंट को समय के साथ स्मार्ट बनने की अनुमति देता है, न कि केवल अधिक जानकर, बल्कि यह जानकर कि वह जो पहले से जानता है उसे कैसे ढूँढा जाए।
शोधकर्ता स्वीकार करते हैं कि इस पद्धति को प्रभावी ढंग से काम करने के लिए कुछ शर्तों की आवश्यकता है। यह मानता है कि समय के साथ पूछे जाने वाले प्रश्न कुछ सामान्य विषयों या संरचनाओं को साझा करते हैं, और स्मृतियाँ स्वयं स्थिर रहती हैं। यदि प्रत्येक प्रश्न पिछले प्रश्न से पूरी तरह से असंबंधित होता, या यदि संग्रहीत स्मृतियों का अर्थ तेजी से बदल जाता, तो सिस्टम पैटर्न सीखने के लिए संघर्ष करता। हालाँकि, लंबी अवधि की बातचीत के संदर्भ में जहाँ उपयोगकर्ता अक्सर समान विषयों पर लौटते हैं या पिछले विचारों को आगे बढ़ाते हैं, यह विधि मजबूत साबित हुई। सिस्टम ने प्रत्यक्ष स्कोर में कमी आने के बावजूद भी अपना लाभ बनाए रखा, जिससे पता चला कि संचित अनुभव एक विश्वसनीय मार्गदर्शक था।
अंततः, यह शोध कृत्रिम बुद्धिमत्ता की दक्षता के बारे में एक नया दृष्टिकोण प्रदान करता है। यह प्रदर्शित करता है कि किसी सिस्टम को स्मार्ट बनाने की लागत उसके पास मौजूद जानकारी की मात्रा के साथ रैखिक रूप से (linearly) नहीं बढ़नी चाहिए। सिस्टम को अपने स्वयं के खोज इतिहास को याद रखने की अनुमति देकर, शोधकर्ताओं ने दिखाया है कि ऐसे एजेंट बनाना संभव है जो जानकार और कुशल दोनों हों। सिस्टम को हर बार शून्य से पुनर्मूल्यांकन करने की आवश्यकता नहीं है; यह अपने पिछले निर्णयों के कंधों पर खड़ा हो सकता है। यह दृष्टिकोण क्षेत्र को ऐसे एजेंट बनाने के करीब ले जाता है जो वास्तव में लंबे समय तक कार्य कर सकते हैं, दुनिया के साथ बातचीत करते हुए अपने व्यवहार को अनुकूलित और परिष्कृत कर सकते हैं, ठीक वैसे ही जैसे एक मानव जो न केवल अपने अनुभवों से, बल्कि अपने इतिहास के माध्यम से नेविगेट करने के तरीके से भी सीखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।