💬 NLP

Learning What Not to Forget: Long-Horizon Agent Memory from a Few Kilobytes of Learning

यह शोध पत्र LRE (लर्नड रिलेवेंस इविक्शन) को प्रस्तुत करता है, जो एक हल्का, केवल CPU-आधारित, भाषा-मॉडल-मुक्त स्कोरर है जो लंबे समय तक चलने वाले एजेंटों के लिए महत्वपूर्ण इंटरैक्शन इतिहास की पहचान करने और उसे बनाए रखने के लिए सीखता है, जो न्यूनतम कम्प्यूटेशनल लागत और एनोटेशन-मुक्त प्रशिक्षण के साथ काम करते हुए मौजूदा बेसलाइन की तुलना में बेहतर सटीकता और दक्षता प्राप्त करता है।

मूल लेखक: Nusrat Jahan Lia, Aritra Mazumder

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nusrat Jahan Lia, Aritra Mazumder

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट सहायक (एक अत्यधिक उन्नत AI की तरह) हैं जो किसी जटिल पहेली को हल करने या किसी मित्र के साथ लंबी बातचीत करने की कोशिश कर रहे हैं। समस्या यह है कि आपके पास एक सीमित आकार का मस्तिष्क है। आप एक समय में कितनी जानकारी अपने "सक्रिय मेमोरी" (active memory) में रख सकते हैं, इसकी एक निश्चित सीमा है।

जैसे-जैसे आप काम करते हैं, आपके पास नोट्स, कार्यों और बातचीत का एक विशाल इतिहास जमा होता जाता है। अंततः, यह इतिहास इतना बड़ा हो जाता है कि आपके मस्तिष्क में फिट नहीं बैठता। आपको नई सोच के लिए जगह बनाने के लिए कुछ चीजों को हटाना पड़ता है। इसे इविक्शन (eviction) कहा जाता है।

यह शोध पत्र इस समस्या को हल करने के लिए एक नई विधि प्रस्तुत करता है जिसे LRE (Learned Relevance Eviction) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं (analogies) का उपयोग किया गया है:

समस्या: "बहुत बड़ा हो जाना" वाला मस्तिष्क

कल्पना कीजिए कि आप एक यात्रा के लिए पैकिंग कर रहे हैं, लेकिन आपके सूटकेस की ज़िप बहुत छोटी है जो केवल आधी ही खुल पाती है। आपके पास सैकड़ों वस्तुएं हैं (आपकी बातचीत का इतिहास या कार्य के चरण)।

पुराना तरीका (FIFO/Recency): आप बस नए सामान के लिए जगह बनाने के लिए ढेर के सबसे नीचे रखी पुरानी वस्तुओं को फेंक देते हैं।
- जोखिम: आप "भार वहन करने वाली" (load-bearing) वस्तु को फेंक सकते हैं, जैसे कि आपका पासपोर्ट या लॉग इन करने के लिए आवश्यक कोई विशिष्ट कोड टोकन। यदि आप इसे खो देते हैं, तो आपकी यात्रा (या कार्य) विफल हो जाएगी, भले ही आपके पास पर्याप्त जगह बची हो।
महंगा तरीका (LLM Compression): आप एक पेशेवर संपादक (एक दूसरा AI) को नियुक्त करते हैं जो आपके नोट्स पढ़ता है और उन्हें एक छोटे पैराग्राफ में सारांशित (summarize) करता है।
- जोखिम: संपादक संक्षिप्त होने के चक्कर में अनजाने में किसी महत्वपूर्ण विवरण को छोड़ सकता है। साथ ही, हर बार नया नोट जोड़ने पर एक संपादक को काम पर रखना धीमा है और इसमें बहुत अधिक कंप्यूटिंग शक्ति (पैसा) खर्च होती है।

समाधान: LRE (एक छोटा, स्मार्ट लाइब्रेरियन)

LRE एक छोटा, सुपर-फास्ट "लाइब्रेरियन" है जो एक मानक कंप्यूटर चिप (CPU) पर रहता है। इसे अपना काम करने के लिए सुपर-कंप्यूटर या दूसरे AI की आवश्यकता नहीं है।

1. यह छोटा और तेज़ है
LRE को एक पॉकेट-साइज़ चेकलिस्ट (केवल कुछ किलोबाइट आकार की) के रूप में सोचें। यह आपके नोट्स को फिर से नहीं लिखता; यह केवल यह तय करता है कि कौन से नोट्स रखने हैं। यह इतना तेज़ चलता है कि यह एक सेकंड में 1,000 से अधिक नोट्स की जांच कर सकता है, जबकि "पेशेवर संपादक" (dense encoders) शायद केवल 36 ही प्रबंधित कर पाते हैं।

2. यह सीखता है कि क्या महत्वपूर्ण है ("भार वहन करने वाली" अवधारणा)
LRE आपके इतिहास को देखता है और पूछता है: "क्या मुझे बाद में इस विशिष्ट जानकारी की आवश्यकता होगी?"

उपमा: कल्पना कीजिए कि आप एक घर बना रहे हैं। आपके पास ईंटों, लकड़ी और कचरे का एक ढेर है।
- एक "रेसेन्सी" (हालिया) दृष्टिकोण उन अंतिम कुछ चीजों को रखता है जिन्हें आपने अभी छुआ है।
- LRE उस ढेर को देखता है और कहता है, "चरण 3 की वह विशिष्ट ईंट चरण 17 में हम जो छत बना रहे हैं, उसका आधार है। इसे बिल्कुल वैसा ही रखें।"
- यह सटीक (verbatim) टेक्स्ट रखता है, ताकि यदि बाद में पासवर्ड या कोई विशिष्ट आईडी नंबर की आवश्यकता हो, तो वह बिना बदले वहीं मौजूद रहे।

3. इसे शिक्षक की आवश्यकता नहीं है (स्व-पर्यवेक्षण/Self-Supervision)
आमतौर पर, कंप्यूटर को यह सिखाने के लिए कि क्या रखना है, आपको हजारों उदाहरणों को लेबल करने के लिए एक इंसान की आवश्यकता होती है ("इसे रखें," "उसे फेंक दें")।

LRE की तरकीब: यह खुद को देखते हुए सीखता है। यह अपने स्वयं के पिछले व्यवहार को देखता है।
- बातचीत में: यदि AI कोई तथ्य बताता है (जैसे "मैं ट्रांसजेंडर हूँ") और फिर 400 टर्न बाद, वह एक प्रश्न का उत्तर देने के लिए उस तथ्य का उपयोग करता है, तो LRE सीखता है: "आह, वह तथ्य महत्वपूर्ण था! मुझे उसे रखना चाहिए था।"
- कार्य में: यदि AI एक लॉगिन टोकन जेनरेट करता है और बाद में तीन बार उसका उपयोग करता है, तो LRE सीखता है: "वह टोकन भार वहन करने वाला (load-bearing) है। इसे रखें।"
- इसका मतलब है कि यह बिना किसी मानव लेबलिंग के सीख सकता है।

परिणाम: यह क्यों जीतता है

शोध पत्र ने LRE का दो मुख्य परिदृश्यों में परीक्षण किया:

1. एजेंट (रोबोट वर्कर)

परिदृश्य: एक AI जो उड़ान बुक करने या ईमेल खाता प्रबंधित करने के चरणों की एक श्रृंखला का उपयोग करके कार्य करने की कोशिश कर रहा है।
परिणाम: जब मेमोरी की सीमा कम थी, तो अन्य विधियाँ विफल हो गईं क्योंकि उन्होंने लॉगिन टोकन या कार्य पूरा करने के लिए आवश्यक विशिष्ट आईडी नंबर को हटा दिया था। LRE ने उन सटीक विवरणों को सुरक्षित रखा।
उपमा: जबकि अन्य विधियाँ बार-बार लॉग इन करने के चक्कर में गोल-गोल घूम रही थीं (समय बर्बाद कर रही थीं), LRE के पास पूरे समय काम करने की कुंजी उसकी जेब में थी और उसने काम पूरा कर लिया। इसने 37% कम चरणों में काम पूरा किया। यह सब कुछ रखने जितना ही सटीक था, लेकिन इसने 52% कम स्थान का उपयोग किया।

2. संवादात्मक (चैट पार्टनर)

परिदृश्य: हफ्तों पहले हुई एक लंबी चैट के विवरण को याद रखना।
परिणाम: LRE, जटिल और महंगे AI मॉडल (जो चैट को सारांशित करने की कोशिश करते हैं) की तुलना में प्रश्न का उत्तर देने के लिए सही जानकारी खोजने में बेहतर था।
उपमा: यदि आप पूछते हैं, "कैरोलिन ने 400 संदेश पहले अपने परिवार के बारे में क्या कहा था?", तो LRE तुरंत उस सटीक संदेश को खोज लेता है। अन्य विधियाँ या तो उसे भूल गईं या उन्होंने इसे इतनी खराब तरह से सारांशित किया कि उत्तर ही खो गया।

मुख्य निष्कर्ष (The Bottom Line)

LRE मेमोरी प्रबंधित करने का एक सस्ता, तेज़ और सटीक तरीका है।

यह सारांशित या पुनर्गठित नहीं करता (जिससे त्रुटियां होती हैं)।
इसे यह तय करने के लिए महंगे सुपर-कंप्यूटर की आवश्यकता नहीं है कि क्या रखना है।
यह अपनी गलतियों और सफलताओं से सीखता है।

शोध पत्र का तर्क है कि AI एजेंटों और चैटबॉट्स के लिए, हमें जानकारी को फेंकने या उन्हें सारांशित करने के लिए महंगे संपादकों को नियुक्त करने की आवश्यकता नहीं है। हमें बस एक छोटे, स्मार्ट फिल्टर की आवश्यकता है जो यह जानता हो कि हमारे इतिहास की "भार वहन करने वाली" ईंटों को कैसे रखना है ताकि संरचना ढह न जाए।

तकनीकी सारांश: लर्निंग व्हाट नॉट टू फॉरगेट (LRE)

समस्या विवरण (Problem Statement)

लंबे समय तक चलने वाले लार्ज लैंग्वेज मॉडल (LLM) एजेंट और संवादात्मक सहायक (conversational assistants) इंटरैक्शन हिस्ट्री को संचित करते हैं जो अंततः मॉडल की कॉन्टेक्स्ट विंडो से अधिक हो जाती है। फिक्स्ड टोकन बजट के भीतर कार्य करने के लिए, सिस्टम को पुरानी हिस्ट्री को इविक्ट (evict) (त्यागना) करना चाहिए। मुख्य चुनौती यह है कि इविक्शन एक प्रोएक्टिव, क्वेरी-ब्लाइंड निर्णय (proactive, query-blind decision) है: सिस्टम को यह तय करना होता है कि क्या रखना है, उस भविष्य की क्वेरी या एक्शन के आने से पहले जिसकी आवश्यकता उस जानकारी के लिए होगी।

मानक दृष्टिकोण इस सेटिंग में विफल रहते हैं:

रिएक्टिव ह्यूरिस्टिक्स (Recency/FIFO): केवल समय के आधार पर पुरानी जानकारी को हटा देते हैं, जिससे अक्सर वे "लोड-बियरिंग" (load-bearing) विवरण (जैसे, एक्सेस टोकन, आइडेंटिफायर) हट जाते हैं जो भविष्य के चरणों के लिए आवश्यक होते हैं, जिससे एजेंट लूप में फंस जाते हैं या विफल हो जाते हैं।
LLM-आधारित कंप्रेशन: LLM कॉल्स के माध्यम से हिस्ट्री को सारांशित (summarize) करने से गैर-निश्चित व्यवहार (non-deterministic behavior), पैराफ्रेसिंग त्रुटियां (सटीक आइडेंटिफायर्स का खो जाना), और महत्वपूर्ण लेटेंसी/लागत आती है।
न्यूरल रिट्रिवल/स्कोरिंग: विधियाँ जो डेंस एम्बेडिंग्स या अटेंशन-आधारित स्कोरिंग का उपयोग करती हैं, उन्हें अक्सर हर यूनिट के लिए न्यूरल फॉरवर्ड पास की आवश्यकता होती है या वे विशिष्ट मॉडल लेयर्स से जुड़ी होती हैं, जिससे इन्फरेंस लागत बढ़ती है जो स्केलेबिलिटी के मामले में खराब है।

यह पेपर तर्क देता है कि मेमोरी इविक्शन मौलिक रूप से एक फिडेलिटी (fidelity) समस्या है: सिस्टम को सटीक, वर्बैटिम स्टेट (केवल सारांशित अवधारणाएं नहीं) बनाए रखने की आवश्यकता है ताकि भविष्य के एक्शन सफल हों, लेकिन इसे एक ऐसी पॉलिसी के साथ करना चाहिए जो सस्ती, प्रोएक्टिव और होस्ट LLM से स्वतंत्र हो।

कार्यप्रणाली: LRE (लर्न्ड रेलेवेंस इविक्शन)

लेखक LRE का प्रस्ताव करते हैं, जो एक हल्का, CPU-ओनली, लैंग्वेज-मॉडल-मुक्त स्कोरर है जिसे यह सीखने के लिए डिज़ाइन किया गया है कि इतिहास के कौन से यूनिट्स "लोड-बियरिंग" हैं।

मुख्य तंत्र (Core Mechanism)

यूनिट परिभाषा: हिस्ट्री को अलग-अलग यूनिट्स (जैसे, डायलॉग टर्न्स या एजेंट एक्शन-ऑब्जर्वेशन पेयर्स) में विभाजित किया जाता है।
कॉज़ल फीचर एक्सट्रैक्शन (Causal Feature Extraction): प्रत्येक यूनिट $u_i$ $u_{i}$ के लिए, LRE केवल प्रिफिक्स हिस्ट्री के आधार पर एक फीचर वेक्टर $\phi(u_i, u_{\le i})$ $ϕ (u_{i}, u_{\leq i})$ की गणना करता है। फीचर्स में शामिल हैं:
- स्ट्रक्चरल: ट्रजेक्टरी में स्थिति, रिसेंसी (recency), लंबाई।
- लेक्सिकल: TF-IDF, डिजिट काउंट्स, कैपिटलाइज्ड शब्द, URL/ID की उपस्थिति।
- डोमेन-विशिष्ट: एरर इंडिकेटर्स, कोड-टोकन की उपस्थिति (एजेंट्स के लिए), क्वेश्चन मार्कर्स (बातचीत के लिए)।
स्कोरिंग: एक छोटा, L2-रेगुलराइज्ड लॉजिस्टिक रिग्रेशन मॉडल ( $f_\theta$ $f_{θ}$ ) प्रत्येक यूनिट को एक रेलेवेंस प्रोबेबिलिटी $p_i$ $p_{i}$ असाइन करता है।
- लागत: मॉडल बहुत छोटा है (उदाहरण के लिए, एजेंटों के लिए 1.7 KB) और इन्फरेंस के समय बिना किसी न्यूरल फॉरवर्ड पास के CPU पर चलता है।
सिलेक्शन (Knapsack Problem): एक टोकन बजट $B$ $B$ दिया गया है, LRE पुराने यूनिट्स का वह उपसमूह $S^*$ $S^{*}$ चुनता है जो टोकन कॉस्ट कंस्ट्रेंट $\sum c_i \le B$ $\sum c_{i} \leq B$ के अधीन $\sum p_i$ $\sum p_{i}$ के योग को अधिकतम करता है।
- यह चयन एक्सट्रैक्टिव (extractive) है: यूनिट्स को वर्बैटिम (शब्दशः) रखा जाता है। कोई सारांश या रीराइटिंग नहीं होती, जिससे सटीक आइडेंटिफायर्स और वैल्यूज सुरक्षित रहती हैं।
- एक हालिया विंडो $R_k$ (जैसे, पिछले 5 स्टेप्स) को हमेशा बिना कैप के रखा जाता है।

सेल्फ-सुपरवाइज्ड ट्रेनिंग

महंगी मानव एनोटेशन से बचने के लिए, LRE अपनी ही सिस्टम व्यवहार (हाइंडसाइट) से लेबल्स प्राप्त करता है:

एजेंट डोमेन (AppWorld): एक स्टेप को पॉजिटिव ( $y=1$ ) के रूप में लेबल किया जाता है यदि वह जो आइडेंटिफायर पेश करता है (जैसे, एक ID, टोकन) उसे $\ge 3$ आगामी स्टेप्स द्वारा पुन: उपयोग (reuse) किया जाता है। यह "लोड-बियरिंग स्टेट" की पहचान करता है।
कन्वर्सेशनल डोमेन (LoCoMo/LongMemEvalS): एक टर्न को पॉजिटिव के रूप में लेबल किया जाता है यदि उसके कंटेंट टोकन्स का सत्र में बाद में पूछे गए प्रश्न के अंतिम उत्तर के साथ $\ge 40\%$ ओवरलैप होता है।
परिणाम: यह दृष्टिकोण लॉन्गमेमइवलएस (LongMemEvalS) पर मानव गोल्ड लेबल्स पर प्रशिक्षित पूरी तरह से सुपरवाइज्ड मॉडल के 95% प्रदर्शन को और लोकोमो (LoCoMo) पर 82% प्रदर्शन को रिकवर करता है।

मुख्य योगदान (Key Contributions)

एक क्वेरी-ब्लाइंड, प्रोएक्टिव पॉलिसी: LRE पहला सीखा हुआ इविक्शन पॉलिसी है जो भविष्य की क्वेरी तक पहुंच के बिना काम करता है, जो वास्तविक समय के एजेंट लूप के लिए उपयुक्त है जहाँ अगला स्टेप अज्ञात होता है।
वर्बैटिम फिडेलिटी: कंप्रेशन विधियों के विपरीत जो पैराफ्रेस करती हैं, LRE यूनिट्स को ठीक वैसे ही निकालता है जैसे वे दिखाई दिए थे। यह सटीक क्रेडेंशियल्स (टोकन, ID) को संरक्षित करने के लिए महत्वपूर्ण है जिन्हें सारांश (summarization) नष्ट कर देता है।
अत्यधिक दक्षता:
- जीरो न्यूरल कॉस्ट: स्कोरर CPU पर चलता है जिसमें कोई LLM कॉल या GPU फॉरवर्ड पास नहीं होता।
- गति: यह ~~1,181 यूनिट्स/सेकंड को स्कोर करता है, जो डेंस एनकोडर्स (~~103 यूनिट्स/सेकंड) या टोकन-प्रूनिंग LLMs (~36 यूनिट्स/सेकंड) की तुलना में काफी तेज है।
- मॉडल साइज: स्कोरर केवल कुछ किलोबाइट का है।
एनोटेशन-फ्री सुपरविजन: दर्शाता है कि "रेलेवेंस" को मानव लेबलिंग के बिना सिस्टम के अपने लॉग्स (रियूज पैटर्न) से सीखा जा सकता है।

प्रयोगात्मक परिणाम (Experimental Results)

एजेंट प्रदर्शन (AppWorld)

टास्क सक्सेस: 2048-टोकन बजट पर, LRE 41.1% टास्क सक्सेस प्राप्त करता है, जो पूरे इतिहास (अनबाउंडेड) को रखने की 44.0% सफलता दर से मेल खाता है।
तुलना:
- FIFO (Recency): 34.5% सफलता तक गिर जाता है; एजेंट खोए हुए क्रेडेंशियल्स के कारण लूप में फंस जाते हैं।
- ACON (LLM Compression): 26.2% सफलता तक गिर जाता है; सारांश सटीक टोकन खो देता है, जिससे री-ऑथेंटिकेशन लूप होता है।
- LRE: उन 14 कार्यों को हल करता है जिन्हें कोई अन्य पॉलिसी (कुछ एज केस ऑफ लूप फेलियर में फुल हिस्ट्री सहित) पूरा नहीं कर सकी।
दक्षता: LRE औसतन 19 स्टेप्स में कार्य पूरा करता है, जबकि FIFO के लिए यह 30.6 और ACON के लिए 33.5 है। इसके लिए जीरो कंप्रेसर कॉल्स की आवश्यकता होती है, जबकि ACON को प्रति कार्य ~5.45 कॉल्स की आवश्यकता होती है।
कॉन्टेक्स्ट रिडक्शन: उच्चतम सटीकता बनाए रखते हुए वर्स्ट-केस अनबाउंडेड बेसलाइन की तुलना में पीक कॉन्टेक्स्ट साइज को 52% तक कम करता है।

कन्वर्सेशनल मेमोरी (LoCoMo & LongMemEvalS)

रेलेवेंस रैंकिंग: LRE लोकोमो (LoCoMo) पर 0.829 का मैक्रो-AUC और लॉन्गमेमइवलएस (LongMemEvalS) पर 0.708 प्राप्त करता है।
बेसलाइन तुलना: यह डेंस एम्बेडिंग एनकोडर्स (0.643) और टोकन-प्रूनिंग विधियों (0.402) को मात देता है, बावजूद इसके कि वे न्यूरल फॉरवर्ड पास का उपयोग करते हैं। रिसेंसी और डिके मॉडल्स रैंडम (0.478) के करीब प्रदर्शन करते हैं।
डाउनस्ट्रीम QA: जब इसे एक QA मॉडल के लिए रिटेंशन पॉलिसी के रूप में उपयोग किया जाता है, तो LRE फिक्स्ड बजट के तहत सर्वश्रेष्ठ उत्तर गुणवत्ता प्रदान करता है, जो रिसेंसी और कंटेंट सैलिएंस बेसलाइन्स से बेहतर है।

महत्व और दावे (Significance and Claims)

पेपर का तर्क है कि प्रोएक्टिव इविक्शन के लिए सस्ता सीखा हुआ रेलेवेंस पर्याप्त है।

कंप्रेशन के ऊपर फिडेलिटी: मौजूदा सिस्टमों की प्राथमिक विफलता मोड केवल "भूलना" नहीं है, बल्कि "विकृत करना" (सारांश के माध्यम से) या "खो देना" (रिसेंसी के माध्यम से) है। LRE वर्बैटिम एक्सट्रैक्शन को प्राथमिकता देकर इसे हल करता है।
डिप्लॉयबिलिटी: क्योंकि LRE क्वेरी-ब्लाइंड, CPU-ओनली और एनोटेशन-फ्री है, यह प्रोडक्शन सिस्टम के लिए एक व्यावहारिक पॉलिसी है जहाँ लेटेंसी और लागत बाधाएं हैं।
सेल्फ-सफिशिएंसी: सिस्टम अपने स्वयं के ऑपरेशनल लॉग्स से सीख सकते हैं कि क्या रखना है, जिससे बाहरी सुपरविजन की आवश्यकता समाप्त हो जाती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि प्रोएक्टिव इविक्शन सभी भविष्य की जरूरतों का सटीक अनुमान नहीं लगा सकता (एक मौलिक सीमा), एक सीखा हुआ, एक्सट्रैक्टिव पॉलिसी के रूप में LRE एक ऐसा पारेटो-ऑप्टिमल संतुलन प्रदान करता है जिसे वर्तमान बेसलाइन्स मैच नहीं कर सकते।