A Framework for Dynamic Memory Management and Personalized Agent Decision-Making in Retrieval- Augmented Generation
यह शोधपत्र DMAP-RAG प्रस्तुत करता है, जो एक ढांचा है जो मल्टी-टर्न संवाद सामंजस्य और उपयोगकर्ता संतुष्टि में प्रतिस्पर्धी प्रदर्शन प्राप्त करने के लिए एक ट्री-स्ट्रक्चर्ड डुअल-स्टोरेज मेमोरी आर्किटेक्चर और व्यक्तिगत एजेंट निर्णय लेने की प्रक्रिया को एकीकृत करके रिट्रीवल-ऑगमेंटेड जनरेशन को बढ़ाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, लार्ज लैंग्वेज मॉडल्स मानव के समान टेक्स्ट जेनरेट करने, सवालों के जवाब देने और बातचीत करने में उल्लेखनीय रूप से कुशल हो गए हैं। हालाँकि, इन प्रणालियों को एक मौलिक सीमा का सामना करना पड़ता है: उनके पास एक स्थिर ज्ञान आधार (static knowledge base) होता है जो स्वाभाविक रूप से बातचीत के माध्यम से बढ़ता या अनुकूलित नहीं होता है। जब कोई उपयोगकर्ता दिनों या हफ्तों तक प्रश्नों की एक श्रृंखला पूछता है, तो मॉडल अक्सर पहले के विवरण भूल जाता है, प्रत्येक बातचीत को एक नई शुरुआत के रूप में मानता है, और यह याद रखने में विफल रहता है कि उपयोगकर्ता पहले से क्या जानता है या उसकी क्या प्राथमिकताएं हैं। इसे हल करने के लिए, शोधकर्ताओं ने ऐसी प्रणालियाँ विकसित की हैं जो इन शक्तिशाली भाषा मॉडलों को बाहरी डेटाबेस के साथ जोड़ती हैं, जिसे 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) के रूप में जाना जाता है। यह एआई को उत्तर देने से पहले तथ्यों को खोजने की अनुमति देता है, लेकिन ये उन्नत प्रणालियाँ भी लंबी बातचीत के दौरान एक सुसंगत कहानी बनाए रखने या व्यक्तिगत उपयोगकर्ताओं की विशिष्ट आवश्यकताओं और सीखने की शैलियों के अनुरूप प्रतिक्रिया देने में संघर्ष करती हैं।
चीन के हेची यूनिवर्सिटी और मलेशिया के आईएनटीआई (INTI) इंटरनेशनल यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने एक नया ढांचा प्रस्तावित किया है जो इन विशिष्ट कमियों को ठीक करने के लिए डिज़ाइन किया गया है। वे अपने सिस्टम को DMAP-RAG कहते हैं, जो एक ऐसी संरचना है जो रिट्रीवल प्रक्रिया में डायनेमिक मेमोरी मैनेजमेंट और पर्सनलाइज्ड डिसीजन-मेकिंग (व्यक्तिगत निर्णय लेने की क्षमता) को एकीकृत करती है। बातचीत को केवल पिछले संदेशों की एक साधारण सूची के रूप में मानने के बजाय, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो जानकारी को एक बढ़ते हुए पेड़ (tree) की तरह व्यवस्थित करता है, जो हालिया बातचीत को दीर्घकालिक इतिहास से अलग करता है। यह एआई को चैट के तात्कालिक संदर्भ को याद रखने की अनुमति देता है और साथ ही दिनों या हफ्तों पहले की घटनाओं को एक संरचित तरीके से संग्रहीत करता है। इसके अलावा, यह सिस्टम उपयोगकर्ता के बात करते समय उनकी एक प्रोफाइल सक्रिय रूप से बनाता है, जिसमें उनके ज्ञान के स्तर, पसंदीदा सीखने की शैली और रुचियों के क्षेत्रों को नोट किया जाता है, और फिर इस प्रोफाइल का उपयोग यह तय करने के लिए किया जाता है कि जानकारी कैसे खोजी जाए और अंतिम उत्तर कैसे तैयार किया जाए।
शोधकर्ताओं ने अकादमिक अनुसंधान प्रश्नों, जटिल बहु-चरणीय तर्क कार्यों और कंप्यूटर प्रोग्रामिंग सिखाने के लिए बनाए गए एक कस्टम डेटासेट सहित कई अलग-अलग परिदृश्यों में इस ढांचे का परीक्षण किया। इन परीक्षणों में, नया सिस्टम लगातार मानक दृष्टिकोणों से बेहतर प्रदर्शन करता रहा। वैज्ञानिक शोध पत्रों के आधार पर प्रश्नों के उत्तर देने के लिए पूछे जाने पर, इसने 78.9 प्रतिशत का स्कोर प्राप्त किया, जो मौजूदा तरीकों की तुलना में एक महत्वपूर्ण सुधार है। कई दस्तावेजों में से जानकारी जोड़ने वाले परीक्षणों में, इसने 66.1 प्रतिशत का नॉलेज एक्यूरेसी स्कोर प्राप्त किया। शायद सबसे उल्लेखनीय रूप से, जब मानव मूल्यांकनकर्ताओं ने बातचीत की गुणवत्ता का निर्णय लिया, तो उन्होंने सिस्टम की विषय पर बने रहने और तार्किक निरंतरता बनाए रखने की क्षमता को 5 में से 4.4 और प्रतिक्रियाओं को उपयोगकर्ता के अनुरूप बनाने की क्षमता को 4.3 रेटिंग दी। ये परिणाम बताते हैं कि एआई को याद रखने का एक संरचित तरीका और उस व्यक्ति को समझने का एक विशिष्ट तरीका देकर, सिस्टम ऐसा मार्गदर्शन प्रदान कर सकता है जो अधिक स्वाभाविक और सहायक महसूस होता है।
इस सुधार का मूल आधार यह है कि सिस्टम मेमोरी को कैसे संभालता है। हर पिछले संदेश को एक सपाट, असंगठित सूची के रूप में संग्रहीत करने के बजाय, शोधकर्ताओं ने एक दोहरी-भंडारण प्रणाली (dual-storage system) बनाई है। इसका एक हिस्सा शॉर्ट-टर्म कैश के रूप में कार्य करता है, जो बातचीत के अंतिम दस आदान-प्रदानों को रखता है ताकि एआई तात्कालिक संदर्भ को समझ सके। जब कोई बातचीत रुकती या समाप्त होती है, तो सिस्टम इन आदान-प्रदानों का सारांश बनाता है और उन्हें लॉन्ग-टर्म मेमोरी बैंक में स्थानांतरित कर देता है। यह लॉन्ग-टर्म बैंक केवल टेक्स्ट का एक फोल्डर नहीं है; यह एक पेड़ जैसी संरचना (tree structure) के रूप में व्यवस्थित है जहाँ संबंधित विषय एक-दूसरे से शाखाओं की तरह निकलते हैं। यदि कोई उपयोगकर्ता आज एक विशिष्ट अवधारणा के बारे में पूछता है और अगले सप्ताह एक संबंधित प्रश्न पूछने के लिए वापस आता है, तो सिस्टम असंबंधित डेटा के समुद्र में खो जाने के बजाय इस पेड़ के माध्यम से संबंध खोजने के लिए नेविगेट कर सकता है। यह संरचना एआई को ब्रेक के बाद बातचीत के सूत्र को भूल जाने की आम समस्या से बचने में मदद करती है।
इस मेमोरी सिस्टम के साथ, शोधकर्ताओं ने एक मॉड्यूल लागू किया है जो उपयोगकर्ता की प्रोफाइल को लगातार अपडेट करता है। जैसे-जैसे उपयोगकर्ता बोलता है, सिस्टम उनके बैकग्राउंड के बारे में सुराग ढूंढता है। यदि कोई उपयोगकर्ता बुनियादी अवधारणाओं के बारे में सरल प्रश्न पूछता है, तो सिस्टम यह निष्कर्ष निकालता है कि वह एक नौसिखिया (beginner) है। यदि वे तकनीकी शब्दों का उपयोग करते हैं या जटिल डीबगिंग समस्याओं के बारे में पूछते हैं, तो सिस्टम उनकी विशेषज्ञता के आकलन को बढ़ा देता है। यह उनकी सीखने की प्राथमिकताओं को भी ट्रैक करता है; यदि कोई उपयोगकर्ता उपमाओं (analogies) या दृश्य विवरणों के साथ अच्छी तरह से प्रतिक्रिया देता है, तो सिस्टम इसे "विजुअल लर्नर" के रूप में नोट करता है। यह प्रोफाइल स्थिर नहीं है; यह हर बातचीत के साथ बढ़ता और बदलता है। जब सिस्टम किसी प्रश्न का उत्तर देने के लिए तैयार होता है, तो वह इस प्रोफाइल का परामर्श लेता है ताकि यह तय किया जा सके कि प्रतिक्रिया को कैसे तैयार किया जाए, जिससे यह सुनिश्चित हो सके कि एक नौसिखिए को सरल व्याख्या मिले जबकि एक विशेषज्ञ को विस्तृत तकनीकी विवरण प्राप्त हो।
इस ढांचे का अंतिम हिस्सा एक 'एजेंट डिसीजन कोर' (agent decision core) है जो ऑपरेशन के मस्तिष्क के रूप में कार्य करता है। उत्तर जेनरेट करने से पहले, यह घटक तय करता है कि क्या सिस्टम को जानकारी खोजने की आवश्यकता है या क्या वह जो पहले से जानता है उससे उत्तर दे सकता है। यह प्रश्न की जटिलता, उपयोगकर्ता के ज्ञान के स्तर और बातचीत की वर्तमान स्थिति जैसे कारकों का मूल्यांकन करता है। यदि खोज की आवश्यकता होती है, तो सिस्टम उपयोगकर्ता के प्रश्न को अधिक प्रभावी बनाने के लिए उसे फिर से लिखता है, जिसमें मूल क्वेरी को उपयोगकर्ता की प्रोफाइल और हालिया इतिहास के साथ जोड़ा जाता है। यह सुनिश्चित करता है कि पुनर्प्राप्त (retrieved) जानकारी न केवल टाइप किए गए शब्दों के लिए प्रासंगिक है, बल्कि पूछने वाले व्यक्ति के लिए भी अनुकूलित है। एक बार जब प्रासंगिक जानकारी एकत्र हो जाती है, तो सिस्टम इसे एक सुसंगत, सटीक और व्यक्तिगत अंतिम प्रतिक्रिया में संश्लेषित (synthesize) करता है।
C प्रोग्रामिंग भाषा सीखने वाले छात्र से जुड़े एक विशिष्ट परीक्षण मामले में, इस नए सिस्टम और पुराने तरीकों के बीच का अंतर स्पष्ट हो गया। जब एक छात्र, जिसने खुद को एक विजुअल लर्नर के रूप में पहचाना था, ने पूछा कि एक फंक्शन कभी-कभी वैल्यू बदलने में क्यों विफल रहता है, तो एक मानक सिस्टम ने "पास-बाय-वैल्यू" की एक शुष्क, तकनीकी परिभाषा दी। हालाँकि, नए सिस्टम ने याद रखा कि छात्र एक विजुअल लर्नर है और उसने पहले पॉइंटर्स (pointers) के बारे में चर्चा की थी। इसने एक किताब और उसकी फोटोकॉपी की उपमा का उपयोग करके उत्तर दिया, यह समझाते हुए कि फंक्शन मूल किताब के बजाय उसकी एक कॉपी पर काम कर रहा था। इस प्रतिक्रिया ने न केवल प्रश्न का सही उत्तर दिया बल्कि पिछले शिक्षण से भी संबंध जोड़ा और छात्र की जरूरतों के अनुसार व्याख्या की शैली को अनुकूलित किया। मानव मूल्यांकनकर्ताओं ने अन्य मॉडलों की प्रतिक्रियाओं की तुलना में सामंजस्य (coherence) और वैयक्तिकरण (personalization) दोनों में इस प्रतिक्रिया को काफी उच्च रेट किया।
शोधकर्ता स्वीकार करते हैं कि इस दृष्टिकोण के लिए सरल प्रणालियों की तुलना में अधिक कंप्यूटिंग पावर की आवश्यकता होती है, क्योंकि इसमें जटिल मेमोरी संरचनाओं को बनाए रखना और अतिरिक्त निर्णय लेने के चरणों को चलाना शामिल है। हालाँकि, उन्होंने पाया कि कंप्यूटिंग लागत में वृद्धि आधुनिक हार्डवेयर पर प्रबंधनीय थी। इस सिस्टम की कुछ सीमाएँ भी हैं, जैसे कि शून्य से एक विश्वसनीय उपयोगकर्ता प्रोफाइल बनाने में लगने वाला समय और यह तथ्य कि यह वर्तमान में केवल टेक्स्ट को संभालता है। इन बाधाओं के बावजूद, अध्ययन सुझाव देता है कि संरचित मेमोरी को व्यक्तिगत एजेंट निर्णय लेने के साथ जोड़ना एक आशाजनक मार्ग प्रदान करता है। एआई को संदर्भ के अनुसार याद रखने और व्यक्ति के अनुकूल होने की क्षमता देकर, ये सिस्टम शिक्षा, तकनीकी सहायता और दीर्घकालिक संवाद में वास्तव में सहायक साथी बनने के करीब पहुँच रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।