Momento: Evaluating Persistent Memory and Reasoning with Multi-Session Agentic Conversations
यह शोध पत्र मोमेंटो (Momento) को प्रस्तुत करता है, जो एजेंटिक एआई की मल्टी-सेशन इंटरैक्शन के दौरान निरंतर स्मृति बनाए रखने और तर्क करने की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान एजेंट विकसित होते उपयोगकर्ता संदर्भों की सटीक व्याख्या करने और पुराने ऐतिहासिक विवरणों को सत्यापित करने में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास "एजेंट" नाम का एक बहुत ही बुद्धिमान, सहायक व्यक्तिगत सहायक है। आप महीनों से इस एजेंट का उपयोग रेस्तरां बुक करने, खाना ऑर्डर करने और आपकी सदस्यता (membership) प्रबंधित करने के लिए कर रहे हैं।
समस्या: "भुलक्कड़" सहायक
इन एआई सहायकों को दिए जाने वाले अधिकांश परीक्षण एक एकल, अलग दिन पर आधारित पॉप क्विज़ की तरह होते हैं। वे पूछते हैं, "क्या मैं आज रात के लिए टेबल बुक कर सकता हूँ?" एआई कहता है, "हाँ!" और वह इसे कर देता है। बहुत बढ़िया।
लेकिन असल जिंदगी में, आपका जीवन केवल एक दिन नहीं है। यह एक कहानी है जो हफ्तों तक चलती है। आप सोमवार को एजेंट को बता सकते हैं, "मैं वजन घटाने की कोशिश कर रहा हूँ, इसलिए पास्ता मत मंगवाना।" फिर, शुक्रवार को, आप वापस आकर कह सकते हैं, "चलिए वह पास्ता लेते हैं जो मैं पिछले हफ्ते चाहता था।"
यह पेपर तर्क देता है कि वर्तमान एआई सहायक इस लंबी अवधि की कहानी में बहुत खराब हैं। वे आपके पिछले संवादों को एक विश्वसनीय डायरी की तरह मानते हैं, यह मानकर कि आपने पिछले सप्ताह जो कुछ भी कहा था वह आज भी सच है। वे यह नहीं समझ पाते कि आपकी पसंद बदल सकती है, या उनके द्वारा याद रखी गई जानकारी "पुरानी या अप्रासंगिक" (stale) हो सकती है। वे कार्य करने से पहले तथ्यों की दोबारा जांच करना भूल जाते हैं।
समाधान: MOMENTO (द "मेमोरी जिम")
लेखकों ने एक नया परीक्षण बनाया जिसे MOMENTO कहा जाता है। इसे एक "मेमोरी जिम" के रूप में सोचें। एक एकल-दिवसीय क्विज़ के बजाय, MOMENTO एक उपयोगकर्ता और एक सहायक के बीच लंबे समय के संबंध का अनुकरण (simulate) करता है।
- सेटअप: एआई को कई अलग-अलग "सेशन्स" (जैसे अलग-अलग दिन या सप्ताह) में एक सिम्युलेटेड मानव के साथ बातचीत करनी होती है।
- चुनौती: मानव के लक्ष्य बदलते रहते हैं। वे किसी कार्य में बाधा डाल सकते हैं, अपनी पसंद बदल सकते हैं, या उस चीज़ का संदर्भ दे सकते हैं जिसके बारे में उन्होंने तीन सप्ताह पहले चर्चा की थी।
- स्मृति: एआई के पास एक विशेष "बैकपैक" (मेमोरी मॉड्यूल) है जहाँ वह पिछली बातचीत को स्टोर और रिट्रीव कर सकता है। लेकिन पेच यह है कि बैकपैक में पुरानी जानकारी होती है जिसे वर्तमान वास्तविकता के विरुद्ध जांचने की आवश्यकता होती है।
उन्होंने इसका परीक्षण कैसे किया
उन्होंने एक वास्तविक रेस्तरां सिमुलेशन बनाया। एआई को निम्नलिखित कार्य करने थे:
- एआई को याद रखना था कि उपयोगकर्ता अतीत में क्या पसंद करता था।
- उसे यह नोटिस करना था कि क्या उपयोगकर्ता का मूड या आहार बदल गया है।
- उसे टूल्स (जैसे डेटाबेस या रिजर्वेशन सिस्टम) का उपयोग करना था ताकि ताज़ा जानकारी मिल सके।
- उसे पुरानी स्मृति और नए तथ्यों दोनों के आधार पर निर्णय लेना था।
परिणाम: "झूठी आत्मविश्वास" (False Confidence) का जाल
जब उन्होंने परीक्षण किए, तो परिणाम आश्चर्यजनक थे। सबसे स्मार्ट एआई मॉडल भी अक्सर विफल रहे।
- मुख्य गलती: एआई इसलिए विफल नहीं हुआ क्योंकि वह अतीत को भूल गया था। वह इसलिए विफल हुआ क्योंकि उसने अतीत पर बहुत अधिक भरोसा किया।
- उपमा: कल्पना कीजिए कि आप अपने सहायक से पूछते हैं, "क्या मेरे पास अभी भी गोल्ड मेंबरशिप है?" सहायक पिछले महीने का एक नोट देखता है जिसमें लिखा है "हाँ, गोल्ड।" बैंक को यह जांचने के लिए कॉल करने के बजाय कि क्या आज भी स्थिति "गोल्ड" ही है, सहायक बस कहता है, "हाँ, आप गोल्ड हैं," और टेबल बुक करने की प्रक्रिया शुरू कर देता है।
- वास्तविकता: उपयोगकर्ता ने कल ही अपनी सदस्यता खो दी होगी। क्योंकि एआई ने वर्तमान स्थिति को सत्यापित (verify) नहीं किया, इसलिए उसने गलती कर दी।
पेपर ने पाया कि विफलता का सबसे बड़ा कारण यह था कि एआई ने "सत्यापन चरण" (verification step) को छोड़ दिया। उसने मान लिया कि इतिहास वर्तमान का एक सटीक नक्शा है, न कि एक पुराना नक्शा जिसे अपडेट करने की आवश्यकता हो सकती है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि एआई तर्क करने और टूल्स का उपयोग करने में बेहतर हो रहा है, लेकिन यह लंबे समय के संवादों में स्थिर स्मृति (persistent memory) के लिए संघर्ष करता है। यह पुराने इतिहास को पूर्ण सत्य मानता है, न कि एक संकेत जिसे फिर से सत्यापित करने की आवश्यकता है।
वास्तव में सहायक बनाने के लिए, हमें उन्हें यह सिखाने की आवश्यकता है कि सिर्फ इसलिए कि उन्हें पिछले सप्ताह की कोई बात याद है, इसका मतलब यह नहीं है कि वह आज भी सच है। उन्हें जिज्ञासु होने और कार्य करने से पहले तथ्यों की दोबारा जांच करने की आवश्यकता है।
यह पेपर क्या नहीं कहता
- यह दावा नहीं करता कि यह तकनीक अस्पतालों या महत्वपूर्ण चिकित्सा सलाह के लिए तैयार है।
- यह यह नहीं कहता कि यह कल आपके फोन के उपयोग के तरीके को तुरंत बदल देगा।
- यह पूरी तरह से वर्तमान एआई क्षमताओं और लंबे समय के, बहु-दिवसीय इंटरैक्शन (जैसे रेस्तरां के परिवेश में) की जरूरतों के बीच के अंतर पर केंद्रित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।