🤖 machine learning

Mem-T: Densifying Rewards for Long-Horizon Memory Agents

Mem-T एक स्वायत्त मेमोरी एजेंट पेश करता है जिसे MoT-GRPO फ्रेमवर्क के माध्यम से प्रशिक्षित किया गया है, जो मौजूदा मेमोरी प्रबंधन प्रणालियों की तुलना में बेहतर प्रदर्शन और दक्षता प्राप्त करने के लिए ट्री-गाइडेड बैकप्रोपैगेशन के माध्यम से स्पार्स लॉन्ग-होराइजन रिवार्ड्स को डेंसिफाई करता है।

मूल लेखक: Yanwei Yue, Boci Peng, Xuanbo Fan, Jiaxin Guo, Qiankun Li, Yan Zhang

प्रकाशित 2026-03-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yanwei Yue, Boci Peng, Xuanbo Fan, Jiaxin Guo, Qiankun Li, Yan Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन भुलक्कड़ रोबोट सहायक को यह सिखाने की कोशिश कर रहे हैं कि एक इंसान के साथ वर्षों तक चलने वाली लंबी बातचीत को कैसे संभाला जाए। समस्या यह है कि रोबोट की एक बहुत छोटी "वर्किंग मेमोरी" (जैसे कि एक स्टिकी नोट) है जो एक बार में केवल कुछ वाक्य ही रख सकती है। यदि बातचीत बहुत लंबी हो जाती है, तो रोबोट शुरुआत की बातें भूल जाता है, भ्रमित हो जाता है और अपनी ओर से बातें बनाने लगता है।

यह पेपर Mem-T पेश करता है, जो रोबोट को प्रभावी ढंग से लॉन्ग-टर्म मेमोरी (दीर्घकालिक स्मृति) बनाने और उपयोग करने का तरीका सिखाने का एक नया तरीका है। यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है।

समस्या: "एक इनाम" वाली लॉटरी

पहले, जब शोधकर्ता इन रोबोट्स को प्रशिक्षित करने की कोशिश करते थे, तो वे एक ऐसी विधि का उपयोग करते थे जो एक लॉटरी के समान थी।

यह कैसे काम करता था: रोबोट पूरी बातचीत के दौरान सैकड़ों चरणों (पढ़ना, सोचना, खोजना, नोट्स लिखना) से गुजरता था। केवल अंत में, जब इंसान एक अंतिम प्रश्न पूछता था, तब रोबता को इनाम मिलता था: "अच्छा काम किया!" (1 अंक) या "गलत उत्तर" (0 अंक)।
दोष: रोबोट को यह पता नहीं होता था कि किस विशिष्ट चरण की वजह से वह जीता। क्या वह चरण 10 में "जीना" नाम याद रखने के कारण जीता? या क्या वह चरण 50 में सही डेटाबेस खोजने के कारण जीता? यह एक रहस्य था। इसे "स्पार्स रिवॉर्ड" (Sparse Reward) समस्या कहा जाता है। रोबोट अंधेरे में अनुमान लगा रहा था।

समाधान: Mem-T (एक स्मार्ट लाइब्रेरियन)

लेखकों ने Mem-T बनाया है, जो एक ऐसा रोबोट है जो तीन अलग-अलग प्रकार की अलमारियों वाले एक सुव्यवस्थित लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह कार्य करता है:

तथ्यात्मक स्मृति (Factual Memory): ठोस तथ्य (जैसे, "जीना का जन्म 1990 में हुआ था")।
अनुभवात्मक स्मृति (Experiential Memory): सीखे गए सबक (जैसे, "यदि जीना थकी हुई है, तो वह छोटी मीटिंग्स पसंद करती है") है।
कच्ची स्मृति (Raw Memory): बातचीत का बिना संपादित ट्रांसक्रिप्ट (बस सुरक्षा के लिए)।

Mem-T केवल चीजों को स्टोर नहीं करता है; यह सक्रिय रूप से निर्णय लेता है कि क्या लिखना है, क्या अपडेट करना है और क्या हटा देना है, और यह सब बातचीत के दौरान ही करता है।

असली मंत्र: MoT-GRPO ("विकल्पों का वृक्ष")

असली जादू केवल इसकी मेमोरी शेल्फ नहीं है; बल्कि यह है कि उन्होंने रोबलेट को कैसे प्रशिक्षित किया। उन्होंने एक नई प्रशिक्षण विधि विकसित की जिसे MoT-GRPO कहा जाता है।

कल्पना कीजिए कि रोबोट एक सवाल का जवाब देने के लिए एक विशाल लाइब्रेरी में एक विशिष्ट किताब खोजने की कोशिश कर रहा है।

पुराना तरीका: रोबोट एक रास्ता चुनता है, एक गलियारे में चलता है, और यदि वह विफल हो जाता है, तो उसे "गेम ओवर" का संकेत मिलता है। वह यह नहीं सीख पाता कि वह क्यों विफल हुआ।
Mem-T का तरीका (वृक्ष):
1. शाखाएं निकलना (Branching Out): केवल एक रास्ता चलने के बजाय, रोबोट एक ही समय में तीन अलग-अलग गलियारों में चलते हुए अपने तीन अलग-अलग संस्करणों की कल्पना करता है।
2. सघन पुरस्कार (Dense Rewards): जैसे-जैसे प्रत्येक संस्करण चलता है, उसे रास्ते में उपयोगी सुराग मिलने के लिए छोटे पुरस्कार मिलते हैं (जैसे, "अच्छा काम किया, 'तथ्य' वाला सेक्शन ढूंढ लिया!")।
3. बैकट्रैकिंग (Backtracking): यदि एक रास्ता बंद गली की ओर ले जाता है, तो सिस्टम अन्य रास्तों को देखता है। यह कहता है, "आह, वह संस्करण जिसने पहले 'अनुभव' वाली शेल्फ को खोजा, उसने उत्तर ढूंढ लिया!"
4. दृष्टिकोण श्रेय (Hindsight Credit): सिस्टम फिर से शुरुआत में जाता है और रोबोट को बताता है: "तुम अनुभव वाली शेल्फ को पहले देखने के लिए सही थे। वही मुख्य कदम था।"

यह "अंत में एक बड़ा इनाम" मिलने की प्रक्रिया को एक निरंतर फीडबैक स्ट्रीम में बदल देता है, जिससे रोबोट को ठीक से पता चलता है कि कौन से कार्य महत्वपूर्ण हैं।

परिणाम: स्मार्ट और सस्ता

चूंकि Mem-T जानता है कि कौन से चरण महत्वपूर्ण हैं:

यह स्मार्ट है: यह जटिल, दीर्घकालिक प्रश्नों पर पिछले शीर्ष-स्तरीय मेमोरी सिस्टमों को महत्वपूर्ण अंतर (15% तक बेहतर) से पीछे छोड़ देता है।
यह कुशल है: यह हर जगह खोजने में ऊर्जा बर्बाद नहीं करता है। इसे ठीक पता है कि कहाँ देखना है, जिससे एक प्रश्न का उत्तर देने के लिए आवश्यक कंप्यूटर पावर (टोकन) में लगभग 24% की बचत होती है।

निचोड़

Mem-T को एक गोल्डफिश (जो 10 सेकंड के बाद सब कुछ भूल जाती है) से एक अनुभवी जासूस (जो एक विस्तृत केस फाइल रखता है, सुरागों को क्रॉस-रेफरेंस करना जानता है, और अपनी हर गलती से सीखता है) में अपग्रेड करने के रूप में देखें।

"विकल्पों के वृक्ष" का उपयोग करके रोबोट को अंत तक इंतजार करने के बजाय निरंतर फीडबैक देने के माध्यम से, शोधकर्ताओं ने एआई को केवल आखिरी वाक्य ही नहीं, बल्कि पूरी लंबी कहानी को याद रखने का तरीका सिखाने की समस्या को हल कर दिया है।

यहाँ शोध पत्र "Mem-T: Densifying Rewards for Long-Horizon Memory Agents" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र दीर्घकालिक स्मृति (long-term memory) वाले स्वायत्त AI एजेंटों को विकसित करने में एक महत्वपूर्ण बाधा को संबोधित करता है: लॉन्ग-होरिज़न कार्यों में टेम्पोरल क्रेडिट असाइनमेंट (temporal credit assignment)।

विरल और विलंबित पुरस्कार (Sparse and Delayed Rewards): मौजूदा प्रशिक्षण योग्य मेमोरी एजेंट (जैसे, Memory-R1, Mem- $\alpha$ ) अक्सर सुदृढीकरण शिक्षण (Reinforcement Learning - RL) पर निर्भर करते हैं। हालाँकि, लंबे संदर्भ वाले परिदृश्यों (सैकड़ों टर्न) में, एजेंट अंतिम उत्तर की सटीकता के आधार पर एक अंतिम बाइनरी रिवॉर्ड (0/1) प्राप्त करने से पहले सैकड़ों मेमोरी ऑपरेशन्स (निर्माण, विकास, पुनर्प्राप्ति) करते हैं।
अनुकूलन विफलता (Optimization Failure): यह अत्यधिक विरलता (sparsity) विशिष्ट मध्यवर्ती कार्यों (intermediate actions) को सफलता या विफलता के लिए जिम्मेदार ठहराना कठिन बना देती है। वर्तमान विधियाँ टर्मिनल रिवॉर्ड को बिना किसी भेदभाव के सभी चरणों में प्रसारित कर देती हैं, जिससे मेमोरी निर्माण और पुनर्प्राप्ति नीतियों का अप्रभावी अनुकूलन होता है।
अनुमानी सीमाओं (Limitations of Heuristics) का प्रभाव: पूर्व-मौजूदा प्रणालियाँ (जैसे, MemGPT, Mem0) हस्तनिर्मित प्रॉम्प्ट्स और स्थिर नियमों पर निर्भर करती हैं, जो बेस मॉडल की निर्देश-पालन क्षमताओं तक सीमित हैं और जिनमें अनुकूलन क्षमता का अभाव है।

2. कार्यप्रणाली (Methodology)

लेखक Mem-T प्रस्तावित करते हैं, जो एक पदानुक्रमित (hierarchical) मेमोरी एजेंट है, जिसे MoT-GRPO (Memory Operation Tree-guided Group Relative Policy Optimization) के माध्यम से प्रशिक्षित किया गया है।

A. Mem-T आर्किटेक्चर

Mem-T एक निरंतर सूचना प्रवाह (continuous information stream) पर कार्य करता है और एक पदानुक्रमित मेमोरी स्टेट $M_t$ बनाए रखता है जिसमें चार घटक शामिल हैं:

वर्किंग मेमोरी ( $M^{work}$ ): एक संक्षिप्त, सत्र-स्तरीय सारांश जिसे पुनरावृत्ति (iteratively) के माध्यम से अपडेट किया जाता है।
फैक्टुअल मेमोरी ( $M^{fact}$ ): घोषणात्मक ज्ञान (तथ्य, संस्थाएं) जिसमें वैधता समय अंतराल (validity time windows) होते हैं।
एक्सपेरिमेंटल मेमोरी ( $M^{exp}$ ): प्रक्रियात्मक ज्ञान (रणनीतियाँ, सीखे गए सबक)।
रॉ मेमोरी ( $M^{raw}$ ): कच्चे संवाद टर्न्स का संग्रह।

एजेंट दो समानांतर चरणों में कार्य करता है:

निरंतर मेमोरी निर्माण (Continuous Memory Construction): यह फॉर्मेशन और इवोल्यूशन नीतियों ( $\pi_{form}, \pi_{evol}$ ) का उपयोग करके इनपुट स्ट्रीम से सक्रिय रूप से तथ्यों, अनुभवों को निकालता है और सारांशों को अपडेट करता है।
ऑन-डिमांड मेमोरी रिट्रीवल (On-Demand Memory Retrieval): जब कोई क्वेरी आती है, तो एजेंट उत्तर को संश्लेषित करने के लिए मेमोरी मॉड्यूल के माध्यम से मल्टी-टर्न खोज निष्पादित करता है।

B. MoT-GRPO: प्रशिक्षण ढांचा

पुरस्कार विरलता (reward sparsity) की समस्या को हल करने के लिए, लेखक एक ट्री-गाइडेड RL ढांचा पेश करते हैं जो बैकप्रोपैगेशन (backpropagation) और हाइंडसाइट क्रेडिट असाइनमेंट (hindsight credit assignment) के माध्यम से पुरस्कारों को सघन (densify) बनाता है।

1. मेमोरी ऑपरेशन ट्री (MoT) निर्माण:

एक एकल ट्राजेक्टरी के बजाय, एजेंट $G$ पेड़ों का एक समूह (ensemble) बनाता है।
इटरेटिव ब्रांचिंग रोलआउट (Iterative Branching Rollout): रूट नोड से शुरू होकर, पॉलिसी स्टोकेस्टिक रूप से पिवट नोड्स का नमूना लेती है और उन्हें नए शाखाओं (rollouts) में विस्तारित करती है। यह एक ही क्वेरी के लिए विविध रिट्रीवल ट्राजेक्टरीज का एक पेड़ बनाता है।

2. नोड-वाइज रिवॉर्ड बैकप्रोपैगेशन (पुनर्प्राप्ति के लिए):

प्रत्येक नोड $v$ $v$ को केवल लीफ नोड्स के बजाय एक सघन रिवॉर्ड $R(v)$ $R (v)$ सौंपा जाता है।
- $R(v) = \mathbb{I}_{fmt}(v) \cdot (\alpha \cdot \text{Evid}(v) + \text{Perform}(v))$
- एविडेंस हिट रेट (Evidence Hit Rate): तत्काल साक्ष्य पुनर्प्राप्ति को मापता है।
- अपेक्षित प्रदर्शन (Expected Performance): लीफ नोड्स के लिए, यह अंतिम F1/सटीकता है। इंटरनल नोड्स के लिए, यह उनके बच्चों (children) का औसत प्रदर्शन है।
ड्यूल-स्केल एडवांटेज एस्टीमेशन (Dual-Scale Advantage Estimation):
- इंट्रा-ट्री एडवांटेज (Intra-Tree Advantage): स्थानीय रूप से इष्टतम पथों की पहचान करने के लिए एक एकल ट्री के भीतर रिवॉर्ड को सामान्य करता है।
- इंटर-ट्री एडवांटेज (Inter-Tree Advantage): वैश्विक अन्वेषण (global exploration) को प्रोत्साहित करने के लिए पूरे एन्सेम्बल में रिवॉर्ड को सामान्य करता है।
- कुल एडवांटेज $A_{total}$ पॉलिसी अपडेट को निर्देशित करने के लिए दोनों को जोड़ता है।

3. हाइंडसाइट क्रेडिट असाइनमेंट (निर्माण के लिए):

चूंकि मेमोरी निर्माण क्वेरी से पहले होता है, इसलिए पुरस्कार विलंबित होते हैं। ढांचा सफल रिट्रीवल ट्री से एडवांटेज सिग्नल को अपस्ट्रीम निर्माण कार्यों तक बैक-प्रोपैगेट करता है।
क्रेडिट कोएफिशिएंट ( $\rho$ ): एक मेमोरी निर्माण कार्य को क्रेडिट तब मिलता है जब:
1. एविडेंस एलाइनमेंट: निर्मित मेमोरी में उत्तर के लिए आवश्यक ग्राउंड-ट्रुथ साक्ष्य मौजूद हों।
2. रिट्रीवल ट्रेस: निर्मित मेमोरी वास्तव में सफल ट्राजेक्टरी में रिट्रीव की गई हो और उपयोग की गई हो।
ऑफलाइन ऑप्टिमाइजेशन: उच्च-स्कोरिंग निर्माण कार्यों को एक डेटासेट $D^*_{mem}$ में क्यूरेट किया जाता है ताकि सुपरवाइज्ड लर्निंग (लॉग-लाइक्लीहुड को अधिकतम करना) के माध्यम से निर्माण नीति को फाइन-ट्यून किया जा सके, जो प्रभावी रूप से "हाइंडसाइट विजडम" को डिस्टिल करता है।

3. मुख्य योगदान (Key Contributions)

एकीकृत मेमोरी फ्रेमवर्क (Mem-T): एक सुव्यवस्थित एजेंट जो तथ्यात्मक, प्रयोगात्मक और वर्किंग मेमोरी को एकीकृत करता है, जिसमें पूर्ण मेमोरी लाइफसाइकिल (फॉर्मेशन, इवोल्यूशन, रिट्रीवल) का एजेंटिक ऑर्केस्ट्रेशन शामिल है।
MoT-GRPO प्रतिमान: एक नवीन RL दृष्टिकोण जो विरल टर्मिनल रिवॉर्ड्स को सघन, स्टेप-वाइज सुपरविजन में बदल देता है। यह निम्नलिखित के माध्यम से टेम्पोरल क्रेडिट असाइनमेंट समस्या को हल करता है:
- रिट्रीवल के लिए ट्री-आधारित रिवॉर्ड बैकप्रोपैगेशन।
- निर्माण के लिए हाइंडसाइट क्रेडिट असाइनमेंट।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह प्रदर्शित करता है कि निर्माण और पुनर्प्राप्ति का संयुक्त अनुकूलन, पृथक (decoupled) या अनुमानी (heuristic) दृष्टिकोणों की तुलना में बेहतर परिणाम देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार बेंचमार्क पर Mem-T का मूल्यांकन किया: LoCoMo (लॉन्ग-टर्म कन्वर्सेशन), LongMemEval, HotpotQA, और NarrativeQA।

प्रदर्शन लाभ (Performance Gains):
- LoCoMo पर, Mem-T (MoT-GRPO के साथ) ने 58.65 का ओवरऑल F1 प्राप्त किया, जो पिछले SOTA (GAM) से 14.92% अधिक था (उसी Qwen3-4B बैकबोन का उपयोग करते हुए)।
- इसने ट्रेनिंग-फ्री बेसलाइन्स (जैसे RAG और MemGPT) को महत्वपूर्ण अंतर से पछाड़ा और अन्य प्रशिक्षित विधियों (Memory-R1, MemAgent) को भी मात दी।
- क्रॉस-डोमेन जनरलाइजेशन: Mem-T ने आउट-ऑफ-डोमेन कार्यों (HotpotQA, NarrativeQA) पर SOTA प्रदर्शन बनाए रखा, जो अन्य विधियों की तुलना में औसतन 13.52% का सुधार दिखाता है।
दक्षता (Pareto Frontier):
- Mem-T एक अनुकूल सटीकता-दक्षता फ्रंटियर पर कार्य करता है।
- GAM की तुलना में, Mem-T ने उच्च सटीकता प्राप्त करते हुए प्रति क्वेरी इन्फरेंस टोकन को ~24.45% कम कर दिया।
एब्लेशन स्टडीज (Ablation Studies):
- Factual Memory मॉड्यूल को हटाने से सबसे बड़ी गिरावट आई, जो इसकी महत्वपूर्ण भूमिका को रेखांकित करती है।
- MoT-GRPO के Retrieval Optimization या Construction Optimization में से किसी एक को हटाने से प्रदर्शन काफी गिर गया, जो संयुक्त प्रशिक्षण की आवश्यकता को सिद्ध करता है।
- स्थिर प्रशिक्षण के लिए इंटर-ट्री एडवांटेज को इंट्रा-ट्री एडवांटेज की तुलना में अधिक महत्वपूर्ण पाया गया।

5. महत्व (Significance)

प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र मेमोरी प्रबंधन को स्टैटिक, ह्यूरिस्टिक-आधारित सिस्टम से पूर्णतः सीखने योग्य, एट्रिब्यूशन-केंद्रित सिस्टम की ओर ले जाता है।
लॉन्ग-होरिज़न RL को हल करना: यह लॉन्ग-कॉन्टेक्स्ट एजेंटों के लिए "स्पार्स रिवॉर्ड" समस्या के लिए एक मजबूत समाधान प्रदान करता है, जिससे जटिल, मल्टी-स्टेप मेमोरी पाइपलाइनों का एंड-टू-एंड अनुकूलन संभव होता है।
स्केलेबिलिटी: रिवॉर्ड्स को सघन बनाकर, Mem-T छोटे मॉडल्स (जैसे, Qwen3-4B) को बड़े, अनट्रेन्ड मॉडल्स या ह्यूरिस्टिक सिस्टम से बेहतर प्रदर्शन करने में सक्षम बनाता है, जिससे उच्च-प्रदर्शन वाले मेमोरी एजेंट अधिक सुलभ और लागत प्रभावी बन जाते हैं।
एजेंटों का भविष्य: यह कार्य जीवन भर सीखने (lifelong learning) में सक्षम स्व-विकसित होने वाले एजेंटों के लिए आधार तैयार करता है, जहाँ एजेंट कार्य के परिणामों के आधार पर अपनी मेमोरी रणनीतियों को लगातार परिष्कृत करता है।