MEME: Multi-entity & Evolving Memory Evaluation
MEME बेंचमार्क यह प्रकट करता है कि वर्तमान LLM-आधारित एजेंट, पर्याप्त स्टैटिक रिट्रीवल के बावजूद, कैस्केड, एब्सेंस और डिलीशन अपडेट जैसे मल्टी-एंटिटी डिपेंडेंसी रीजनिंग कार्यों में मौलिक रूप से विफल रहते हैं, और अत्यधिक लागत के कारण व्यावहारिक समाधान अभी भी मायावी बने हुए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सहायक असिस्टेंट है जो सब कुछ याद रखता है जो आपने उसे कभी बताया है। आप महीनों से इस असिस्टेंट के साथ चैट कर रहे हैं, अपने जीवन, अपनी नौकरी और अपने शौक के बारे में विवरण साझा कर रहे हैं।
अब, कल्पना कीजिए कि आप एक नए शहर में जा बसते हैं। आप अपने असिस्टेंट को बताते हैं, "मैं एक नए शहर में चला गया हूँ!"
एक वास्तव में स्मार्ट असिस्टेंट केवल इसे लिख कर नहीं रखेगा। वह यह महसूस करेगा कि उसके पास आपके पुराने कम्यूट (आने-जाने के रास्ते), आपके पसंदीदा स्थानीय कॉफी शॉप और आपके पुराने जिम के बारे में जो कुछ भी था, वह अब गलत है। उसे इन तथ्यों को स्वचालित रूप से अपडेट करने की आवश्यकता है। यदि आपके पास इस बारे में कोई नियम नहीं है कि जाने पर क्या होता है (जैसे, "यदि मैं स्थानांतरित होता हूँ, तो मेरा कम्यूट समय बदल जाता है"), तो असिस्टेंट को अनुमान लगाने या पुराने नंबर पर टिके रहने के बजाय यह स्वीकार करना चाहिए, "मुझे अभी तक आपका नया कम्यूट समय नहीं पता है।"
यह पेपर, MEME, इन AI सहायकों के लिए एक रिपोर्ट कार्ड है। यह परीक्षण करता है कि क्या वे इन "रिपल इफेक्ट्स" (लहर प्रभाव/परिवर्तन के प्रभाव) को संभाल सकते हैं।
समस्या: "स्टक रिकॉर्ड" सिंड्रोम
लेखकों ने पाया कि वर्तमान AI मेमोरी सिस्टम एक टूटे हुए रिकॉर्ड प्लेयर की तरह हैं। वे एक तथ्य को पूरी तरह से याद रख सकते हैं (जैसे, "मुझे जैज़ पसंद है")। वे तथ्यों की एक सूची भी याद रख सकते हैं (जैसे, "मुझे जैज़, रॉक और ब्लूज़ पसंद है")।
लेकिन जब आप एक ऐसी चीज़ बदलते हैं जो अन्य चीज़ों को प्रभावित करती है, तो वे जम जाते हैं।
- कैस्केड फेलियर (श्रृंखला विफलता): यदि आप कहते हैं, "मेरे बॉस बदल गए," तो असिस्टेंट को पता होना चाहिए कि "साप्ताहिक रिपोर्ट किसे मिलनी है" भी बदल गया है। इसके बजाय, वह पुराने बॉस का नाम बताता रहता है।
- एब्सेंस फेलियर (अनुपस्थिति विफलता): यदि आप कहते हैं, "मैं स्थानांतरित हो गया हूँ," और वहां कोई नियम नहीं है कि आगे क्या होगा, तो असिस्टेंट को कहना चाहिए, "मुझे आपके कम्यूट समय के बारे में पता नहीं है।" इसके बजाय, वह आत्मविश्वास के साथ आपके पुराने घर का कम्यूट समय बता देता है।
इस पेपर में इसे डिपेंडेंसी रीजनिंग (निर्भरता तर्क) कहा गया है। यह समझने की क्षमता है कि तथ्य A, तथ्य B पर निर्भर है, इसलिए यदि B बदलता है, तो A को भी बदलना चाहिए।
परीक्षण: एक "मेमोरी जिम"
शोधकर्ताओं ने एक जिम बनाया जिसे MEME कहा जाता है ताकि छह अलग-अलग प्रकार के AI मेमोरी सिस्टम का परीक्षण किया जा सके। उन्होंने 100 जटिल परिदृश्य (एपिसोड) बनाए जहाँ एक AI को हजारों तथ्यों को याद रखना होता है, लेकिन उनमें से कुछ तथ्य आपस में एक श्रृंखला की तरह जुड़े होते हैं।
उन्होंने AI का छह कार्यों पर परीक्षण किया, जो आसान से कठिन तक थे:
- सटीक रिकॉल (Exact Recall): "कल मैंने आपको कौन सा सटीक एरर मैसेज बताया था?" (आसान)
- एग्रीगेशन (Aggregation): "मेरे सभी शौक सूचीबद्ध करें।" (मध्यम)
- ट्रैकिंग (Tracking): "मैंने क्रमवार कौन सी कारें रखी हैं?" (मध्यम)
- डिलीशन (Deletion): "मैंने आपको बताया था कि मेरे पार्टनर का नाम जेम्स है। कृपया उसे हटा दें।" (थोड़ा कठिन)
- कैस्केड (बड़ा वाला): "मेरे टीम लीड बदल गए। अब रिपोर्ट किसे मिलेगी?" (बहुत कठिन)
- एब्सेंस (सबसे कठिन): "मैं स्थानांतरित हो गया। अब मेरा कम्यूट कितना लंबा है?" (बहुत कठिन - इसके लिए "मुझे नहीं पता" कहना आवश्यक है)
परिणाम: सभी विफल रहे (कठिन कार्यों में)
परिणाम आश्चर्यजनक और वर्तमान AI की स्थिति के लिए थोड़े निराशाजनक थे।
- "सरल" चीजें: AI असिस्टेंट स्थिर तथ्यों को याद रखने में ठीक थे। यदि आप उनसे किसी ऐसी चीज़ के बारे में पूछते जो कभी नहीं बदली, तो वे अधिकांश समय सही थे।
- "रिपल" वाली चीजें: जब कैस्केड और एब्सेंस (वे कार्य जिनमें उन्हें जुड़े हुए तथ्यों को अपडेट करने की आवश्यकता थी) की बात आई, तो हर एक सिस्टम बुरी तरह विफल रहा।
- कैस्केड प्रश्नों पर औसतन उन्होंने केवल 3% सही उत्तर दिए।
- एब्सेंस प्रश्नों पर उन्होंने केवल 1% सही उत्तर दिए।
ऐसा लग रहा था जैसे आपने एक लाइब्रेरियन को बताया, "मैं अपने नए पते पर चला गया हूँ," और उसने तुरंत आपका नया पता भूल गया लेकिन आपका पुराना पता चिल्लाता रहा, भले ही आपने अभी उसे बताया था कि आप स्थानांतरित हो गए हैं।
वे क्यों विफल हुए?
शोधकर्ताओं ने गहराई से जांच की कि मेमोरी कहाँ टूटी। उन्होंने दो मुख्य कारण पाए:
- सर्च इंजन की समस्या: AI ने नई जानकारी (परिवर्तन) और पुरानी जानकारी (नियम) को अपने "लाइब्रेरी" में स्टोर किया। लेकिन जब कोई प्रश्न पूछा गया, तो सर्च इंजन ने पुराने तथ्य को निकाल लिया क्योंकि वह प्रश्न के अधिक समान दिख रहा था, जिससे नए अपडेट की अनदेखी हुई।
- रीजनिंग (तर्क) की समस्या: भले ही AI ने पुराना तथ्य और नया अपडेट दोनों को ढूंढ लिया हो, लेकिन AI का "दिमाग" वाला हिस्सा (वह हिस्सा जो उत्तर देता है) कड़ियों को जोड़ने में असमर्थ रहा। उसने नया अपडेट देखा लेकिन यह नहीं समझ पाया कि इसका मतलब यह है कि पुराना उत्तर अब अमान्य है।
"जादुई" समाधान (जो व्यावहारिक नहीं है)
शोधकर्ताओं ने कई सुधारों की कोशिश की:
- बेहतर प्रॉम्प्ट्स: AI को स्पष्ट रूप से बताने की कोशिश की कि उसे क्या करना है। (काम नहीं आया)।
- अधिक मेमोरी: AI को खोजने के लिए अधिक स्थान दिया। (काम नहीं आया)।
- स्मार्टर AI मॉडल्स: प्रश्नों का उत्तर देने के लिए बहुत अधिक शक्तिशाली AI दिमाग का उपयोग किया। (काम नहीं आया)।
केवल एक चीज़ काम कर पाई, वह थी एक विशिष्ट, बहुत महंगी और शक्तिशाली AI मॉडल (Claude Opus 4.7) का उपयोग करना जो एक विशिष्ट प्रकार के सिस्टम (फाइल-आधारित एजेंट) के भीतर था। यह शक्तिशाली मॉडल इतना स्मार्ट था कि उसने परिवर्तन को देखा, यह महसूस किया कि पुराने तथ्य अब टूट चुके हैं, और अपनी खुद की मेमोरी फ़ाइल को फिर से लिखा कि "ठीक है, पुराना तथ्य चला गया, यहाँ नया तथ्य है।"
चुनौती (The Catch): इस समाधान की लागत मानक सेटअप की तुलना में लगभग 70 गुना अधिक थी। यह किसी दस्तावेज़ में एक टाइपो को ठीक करने के लिए 70 विशेषज्ञ संपादकों की एक टीम को काम पर रखने जैसा है। हालांकि यह काम करता है, लेकिन वर्तमान में वास्तविक दुनिया में उपयोग करने के लिए यह बहुत महंगा और धीमा है।
निचोड़ (The Bottom Line)
आज के AI असिस्टेंट यह याद रखने में बहुत अच्छे हैं कि आपने उन्हें क्या बताया है, लेकिन वे यह समझने में बहुत खराब हैं कि उनकी जानकारी अन्य चीजों से कैसे जुड़ती है। यदि आप अपने जीवन के एक हिस्से को बदलते हैं, तो AI स्वचालित रूप से बाकी चीजों को अपडेट नहीं करता है।
पेपर निष्कर्ष निकालता है कि जब तक हम ऐसे मेमोरी सिस्टम नहीं बनाते जो बिना किसी अत्यधिक महंगे AI दिमाग की मदद के स्वाभाविक रूप से इन "रिपल इफेक्ट्स" को संभाल सकें, हमारे AI असिस्टेंट चीजें बदलने पर पुराने या आत्मविश्वास के साथ गलत उत्तर देने के प्रति संवेदनशील बने रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।