💬 NLP

Belief Memory: Agent Memory Under Partial Observability

यह शोधपत्र BeliefMem को प्रस्तुत करता है, जो LLM एजेंटों के लिए एक संभाव्य स्मृति ढांचा (probabilistic memory framework) है, जो आंशिक रूप से दृश्यमान वातावरण (partially observable environments) में एकल नियतात्मक निष्कर्षों (single deterministic conclusions) के प्रति प्रतिबद्ध होने के बजाय अपडेट की गई संभावनाओं के साथ कई संभावित निष्कर्षों को बनाए रखकर स्व-सुदृढ़ त्रुटियों (self-reinforcing errors) को कम करता है, जिससे दीर्घ-संदर्भ बेंचमार्क (long-context benchmarks) पर बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Junfeng Liao, Qizhou Wang, Jianing Zhu, Bo Du, Rui Yan, Xiuying Chen

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junfeng Liao, Qizhou Wang, Jianing Zhu, Bo Du, Rui Yan, Xiuying Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन आपको हर कुछ मिनटों में अपराध स्थल की केवल छोटी, धुंधली तस्वीरें ही देखने को मिलती हैं। आप पूरी कहानी एक बार में नहीं जानते; आपको अधूरे सुरागों के आधार पर अनुमान लगाना पड़ता है कि क्या हो रहा है।

यह बिल्कुल वैसा ही है जैसे अधिकांश AI एजेंट (स्मार्ट कंप्यूटर प्रोग्राम) वर्तमान में काम करते हैं जब वे लंबे समय तक चीजों को याद रखने की कोशिश करते हैं। "BeliefMem" नामक शोध पत्र तर्क देता है कि ये एजेंट वर्तमान में जिस तरह से अपनी यादें संग्रहीत करते हैं वह त्रुटिपूर्ण है, और यह एक नया तरीका प्रस्तावित करता है जिससे इसे ठीक किया जा सके।

यहाँ सरल शब्दों में इसका विवरण दिया गया है:

समस्या: "सब-या-कुछ-नहीं" वाला अनुमान

अभी, जब कोई AI कुछ भ्रमित करने वाली चीज़ देखता है (जैसे कि वेबसाइट एरर), तो वह एक एकल, निश्चित निर्णय लेता है और उसे पूर्ण सत्य के रूप में लिख देता है।

उपमा:
कल्पना कीजिए कि आप एक दरवाजा खोलने की कोशिश करते हैं, और वह बंद है।

वर्तमान AI: यह तुरंत अपनी डायरी में लिख देता है: "दरवाजा हमेशा के लिए टूट गया है।" यह डायरी का पन्ना फेंक देता है और फिर कभी उस पर दोबारा नहीं देखता।
गलती: हो सकता कि दरवाजा टूटा न हो; शायद किसी ने उसे लॉक कर दिया हो, या शायद ताला जाम हो। लेकिन क्योंकि AI ने तय कर लिया कि वह "टूटा हुआ" है, इसलिए वह उस दरवाजे को फिर कभी खोलने की कोशिश करना छोड़ देता है। भले ही आप उससे कहें, "फिर से कोशिश करो," वह मना कर देता है क्योंकि उसकी डायरी कहती है कि दरवाजा टूटा हुआ है।
परिणाम: AI गलत निर्णयों के लूप में फंस जाता है। यह अपनी गलतियों को पुख्ता करता है क्योंकि यह मानने से इनकार करता है कि वह गलत हो सकता था।

समाधान: "संभाव्य" नोटबुक

लेखक एक नई प्रणाली प्रस्तावित करते हैं जिसे BeliefMem कहा जाता है। एक एकल, कठोर तथ्य लिखने के बजाय, AI संभावनाओं की एक सूची रखता है, जिसमें प्रत्येक के साथ एक "विश्वास स्कोर" (एक प्रतिशत) होता है।

उपमा:
आप दरवाजा खोलने की कोशिश करते हैं, और वह बंद है।

BeliefMem: यह एक नोटबुक खोलता है और तीन संभावनाएँ लिखता है:
1. दरवाजा टूटा हुआ है (50% विश्वास)
2. किसी ने इसे लॉक कर दिया है (35% विश्वास)
3. ताला जाम है (15% विश्वास)
आगे क्या होता है? AI फिर से दरवाजा खोलने की कोशिश करता है।
- यदि वह खुल जाता है, तो AI "किसी ने इसे लॉक कर दिया है" के लिए सबूत देखता है। वह नोटबुक को अपडेट करता है: "किसी ने इसे लॉक कर दिया है" 90% पर चला जाता है, और "दरवाजा टूटा हुआ है" 5% पर गिर जाता है।
- यदि वह बंद ही रहता है, तो "टूटा हुआ" का स्कोर बढ़ सकता है।
लाभ: AI अन्य संभावनाओं को पूरी तरह से कभी नहीं मिटाता। यह नए सबूतों के लिए रास्ता खुला रखता है (शाब्दिक और लाक्षणिक रूप से)। यदि यह पता चलता है कि दरवाजा सिर्फ लॉक था, तो AI अपना मन बदल सकता है और बाद में फिर से कोशिश कर सकता है।

यह कैसे काम करता है (जादुई ट्रिक)

शोध पत्र इन स्कोर को अपडेट करने के लिए Noisy-OR नामक एक गणितीय नियम का उपयोग करता है। इसे एक वोटिंग सिस्टम की तरह समझें:

हर बार जब AI कोई ऐसा सुराग देखता है जो "दरवाजा टूटा हुआ है" का समर्थन करता है, तो उस विकल्प को कुछ और वोट मिलते हैं।
हर बार जब वह ऐसा सुराग देखता है जो "किसी ने इसे लॉक कर दिया है" का समर्थन करता है, तो उसे वोट मिलते हैं।
AI हमेशा विकल्पों की पूरी सूची को देखता है, न कि केवल विजेता को। यह इसे यह कहने की अनुमति देता है, "मुझे काफी यकीन है कि यह लॉक है, लेकिन मुझे अभी भी 10% यकीन है कि यह टूटा हुआ हो सकता है, इसलिए मैं कोशिश करना जारी रखूँगा।"

यह क्यों महत्वपूर्ण है

शोधकर्ताओं ने इसे दो अलग-अलग दुनियाओं में परखा:

लंबी बातचीत: जैसे कि एक चैट जो हफ्तों तक चलती है। AI को किसी व्यक्ति के जीवन के विवरणों को याद रखना था बिना मिश्रित तथ्यों से भ्रमित हुए।
रोबोट कार्य: जैसे कि एक रोबोट घर साफ करने की कोशिश कर रहा है। उसे यह पता लगाना था कि कोई उपकरण टूटा हुआ है या बस कहीं रख दिया गया है।

परिणाम:
दोनों परीक्षणों में, नए "BeliefMem" सिस्टम ने पुराने "सब-या-कुछ-नहीं" वाले सिस्टम की तुलना में बहुत बेहतर प्रदर्शन किया।

इसने कम गलतियाँ कीं।
जब इसे नई जानकारी मिली, तो यह अपनी गलतियों को तेज़ी से सुधार सका।
यह तब भी अच्छी तरह से काम किया जब इसके पास सीखने के लिए बहुत अधिक डेटा नहीं था।

निचोड़

शोध पत्र का दावा है कि AI एजेंटों को अपने विकल्प खुले रखने और इस बात को ट्रैक करने की अनुमति देकर कि वे कितनी निश्चित हैं, वे बहुत अधिक स्मार्ट हो जाते हैं और गलत निर्णयों के लूप में फंसने की संभावना कम हो जाती है। यह AI की याददाश्त को एक कठोर, अपरिवर्तनीय डायरी से बदलकर संभावनाओं के एक लचीले, विकसित होते मानचित्र में बदल देता है।

समस्या: नियतात्मक स्मृति में स्व-सुदृढ़ीकरण त्रुटि (Self-Reinforcing Error in Deterministic Memory)

वर्तमान बड़े भाषा मॉडल (LLM) एजेंट, जो दीर्घ-अवधि (long-horizon) और आंशिक रूप से अवलोकन योग्य (partially observable) वातावरण में कार्य करते हैं, ज्ञान संचित करने के लिए बाहरी स्मृति (external memory) पर निर्भर करते हैं। मौजूदा स्मृति विधियाँ—चाहे वे तथ्यात्मक प्रवाह (factual streams) हों या स्व-सुधार प्रणाली (self-improving reflection systems)—एक नियतात्मक प्रतिमान (deterministic paradigm) का पालन करती हैं। वे प्रत्येक अवलोकन को एक एकल, श्रेणीबद्ध निष्कर्ष (जैसे, "API X विफल रहा") के रूप में संग्रहीत करती हैं, जिससे वैकल्पिक परिकल्पनाएँ और अवलोकन की अंतर्निहित अनिश्चितता त्याग दी जाती है। यह दृष्टिकोण एक "स्व-सुदृढ़ीकरण त्रुटि" उत्पन्न करता है: एक बार जब एजेंट एक त्रुटिपूर्ण निष्कर्ष पर टिक जाता है, तो वह उस निष्कर्ष के आधार पर कार्य करता है, जिससे ऐसे और अवलोकन उत्पन्न होते हैं जो वास्तव में उसके समर्थन में प्रतीत होते हैं, जबकि वह त्याग दी गई वैकल्पिक परिकल्पनाओं पर कभी पुनर्विचार नहीं करता। 'पार्शियलली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस' (POMDPs) में, जहाँ एजेंट दुनिया की वास्तविक स्थिति तक सीधी पहुँच नहीं रख सकते, शोर युक्त अवलोकनों को एक एकल सत्य (ground truth) में समेट देने से एजेंट नए साक्ष्य आने पर भी अपनी त्रुटियों को सुधारने में असमर्थ हो जाता है।

कार्यप्रणाली: BeliefMem

इस समस्या के समाधान के लिए, लेखक BeliefMem प्रस्तावित करते हैं, जो एक स्मृति प्रतिमान है जो नियतात्मक निष्कर्षों के भंडारण से हटकर एक विशेषता-स्तरीय विश्वास प्रतिनिधित्व (attribute-level belief representation) बनाए रखने की ओर स्थानांतरित होता है। एक एकल बिंदु अनुमान (point estimate) के बजाय, BeliefMem प्रत्येक विशेषता के लिए कई संभावित निष्कर्षों को उनके साथ जुड़ी संभावनाओं के साथ संग्रहीत करता है।

यह कार्यप्रणाली तीन मुख्य तंत्रों के माध्यम से संचालित होती है:

विश्वास-आधारित भंडारण (Belief-Based Storage): प्रत्येक विशेषता $c$ (जैसे, टूल की स्थिति, उपयोगकर्ता की प्राथमिकता) के लिए, प्रणाली संभावित परिकल्पनाओं का एक सेट $H(c)$ बनाए रखती है। एक निश्चित सेट पर सामान्यीकृत पोस्टीरियर (normalized posterior) के बजाय, यह उन उम्मीदवारों के लिए साक्ष्य-आधारित संभावनाओं को संग्रहीत करती है जिन्हें अवलोकनों द्वारा समर्थित किया गया है।
संभाव्य अपडेट (Noisy-OR): जब नए अवलोकन आते हैं, तो BeliefMem दो ऑपरेशनों का उपयोग करके स्मृति को अपडेट करता है:
- Add (जोड़ना): नए गुणों या उम्मीदवारों को $[p_{min}, p_{max}]$ द्वारा सीमित संभावना के साथ आरंभ करना।
- Merge (विलय): Noisy-OR नियम का उपयोग करके मौजूदा उम्मीदवारों को अपडेट करना। यदि कोई अवलोकन किसी परिकल्पना का समर्थन करता है, तो उसकी संभावना बढ़ जाती है; यदि वह किसी विरोधाभासी परिकल्पना का समर्थन करता है, तो विरोधी परिकल्पना की संभावना कम हो जाती है (उदाहरण के लिए, 0.25 तक)। यह प्रणाली विकल्पों को त्यागने के बजाय विश्वास को क्रमिक रूप से परिष्कृत करने की अनुमति देता है।
विश्वास-जागरूक पुनर्प्राप्ति (Belief-Aware Retrieval): पुनर्प्राप्ति के दौरान, प्रणाली केवल शीर्ष-रैंक वाले निष्कर्ष को ही नहीं, बल्कि उनकी पूर्ण संभावित संभावनाओं के सेट के साथ शीर्ष- $K$ प्रविष्टियों को वापस करती है। यह सुनिश्चित करता है कि प्रतिस्पर्धी परिकल्पनाएँ निर्णय के समय एजेंट के लिए दृश्यमान बनी रहें, जिससे उसे अनिश्चितता के तहत तर्क करने और अपने विश्वासों का परीक्षण या शोधन करने के लिए कार्य चुनने की अनुमति मिलती है।

मुख्य योगदान

प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र एजेंट मेमोरी में "नियतात्मक बाधा" (deterministic bottleneck) की पहचान करता है और उसे संबोधित करता है, जो बिंदु अनुमानों से संभाव्य विश्वास अवस्थाओं (probabilistic belief states) की ओर बदलाव का प्रस्ताव देता है।
स्व-सुदृढ़ीकरण त्रुटि का शमन: अनिश्चितता और वैकल्पिक परिकल्पनाओं को संरक्षित करके, BeliefMem एजेंटों को गलत निष्कर्षों में फंसने से रोकता है, जिससे नए साक्ष्य एकत्र होने पर त्रुटियों को सुधारने में सक्षम बनाता है।
व्यावहारिक सन्निकटन (Practical Approximation): लेखक ओपन-एंडेड परिकल्पना स्थानों पर सटीक पोस्टीरियर बनाए रखने की जटिलता से बचने के लिए, Noisy-OR साक्ष्य विलय का उपयोग करके विश्वास अवस्थाओं का एक गणनात्मक रूप से व्यवहार्य सन्निकटन प्रदान करते हैं।

प्रायोगिक परिणाम
लेखकों ने दो बेंचमार्क पर BeliefMem का मूल्यांकन किया: LoCoMo (दीर्घकालिक संवादात्मक स्मृति) और ALFWorld (एम्बोडीड एजेंट इंटरेक्शन)।

प्रदर्शन: BeliefMem ने दोनों बेंचमार्क पर सर्वश्रेष्ठ औसत प्रदर्शन प्राप्त किया, जिसने MemGPT, MemoryBank और Mem0 जैसे प्रसिद्ध बेसलाइन्स को पीछे छोड़ दिया।
डेटा दक्षता: विशेष रूप से, BeliefMem ने मानक मेमोरी कॉर्पस के केवल 50% आकार का उपयोग करके भी बेहतर परिणाम प्राप्त किए। कुछ सेटिंग्स में, इसने केवल 16.67% डेटा के साथ बेसलाइन्स से बेहतर प्रदर्शन किया।
सुधार और अभिसरण (Correction and Convergence): प्रतिकूल प्रयोगों (adversarial experiments) ने दिखाया कि BeliefMem नियतात्मक बेसलाइन्स की तुलना में त्रुटिपूर्ण मेमोरी प्रविष्टियों को लगभग दोगुना प्रभावी ढंग से ठीक करता है और जैसे-जैसे साक्ष्य जमा होते हैं, उच्च संभावना (87.68% Top-1 दर) के साथ वास्तविक निष्कर्ष की ओर अभिसरित होता है।
सामान्यीकरण (Generalization): आउट-ऑफ-डिस्ट्रीब्यूशन (Unseen) परिदृश्यों में, BeliefMem ने मजबूत सामान्यीकरण प्रदर्शित किया, जो अक्सर बेसलाइन्स से महत्वपूर्ण अंतर (जैसे, ALFWorld अनसीन कार्यों में 12.4%) से बेहतर रहा।

महत्व
शोध पत्र का दावा है कि नियतात्मक मेमोरी प्रविष्टियों को संभाव्य विश्वास प्रतिनिधित्व से बदलने से आंशिक रूप से अवलोकन योग्य वातावरण में पर्याप्त लाभ होता है। अनिश्चितता को त्यागने के बजाय उसे संरक्षित करके, BeliefMem एजेंटों को अच्छी तरह से प्रमाणित ज्ञान पर उच्च विश्वास के साथ कार्य करने में सक्षम बनाता है, जबकि पूर्व धारणाओं के विपरीत नए साक्ष्य आने पर अपने विश्वासों को अपडेट करने की क्षमता भी बनाए रखता है। यह कार्य एजेंट मेमोरी के लिए एक नया दिशा अन्वेषण करता है, जो यह दर्शाता है कि विश्वास अवस्था (belief state) बनाए रखना वर्तमान नियतात्मक दृष्टिकोणों की तुलना में इष्टतम POMDP समाधान को अधिक प्रभावी ढंग से अनुमानित करता है, जिससे अधिक विश्वसनीय और अनुकूलन योग्य दीर्घकालिक एजेंट बनते हैं।

समस्या: "सब-या-कुछ-नहीं" वाला अनुमान

समाधान: "संभाव्य" नोटबुक

यह कैसे काम करता है (जादुई ट्रिक)

यह क्यों महत्वपूर्ण है

निचोड़

इसी तरह के और पेपर