PM-Bench: Evaluating Prospective Memory in LLM Agents
यह शोध पत्र PM-Bench प्रस्तुत करता है, जो LLM एजेंटों में प्रोस्पेक्टिव मेमोरी (prospective memory) का मूल्यांकन करने के लिए 'वर्चुअल वीक' प्रतिमान से प्रेरित एक टेक्स्ट-आधारित बेंचमार्क है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी चल रही गतिविधियों के बीच विलंबित इरादों को विश्वसनीय रूप से निष्पादित करने में संघर्ष करते हैं, जिसका अधिकतम F1 स्कोर केवल 65.1% है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट डिजिटल असिस्टेंट है, एक रोबोटिक बटलर जो वेब ब्राउज़ कर सकता है, कोड लिख सकता है और आपके दिन की योजना बना सकता है। आप सोचेंगे कि यह एकदम परफेक्ट है, है ना? खैर, एक विशिष्ट गड़बड़ी (glitch) है जो सबसे स्मार्ट वाले को भी उलझा देती है: प्रोस्पेक्टिव मेमोरी (Prospective Memory)।
मानवीय संदर्भ में, प्रोस्पेक्टिव मेमोरी वह क्षमता है जो आपको यह याद रखने में मदद करती है कि कोई विशेष चीज़ होने पर बाद में क्या करना है। यह केवल यह याद रखने के बारे में नहीं है कि आपको क्या करना था; बल्कि यह याद रखने के बारे में है कि उसे ठीक सही समय पर कैसे करना है, जबकि आप कुछ और करने में व्यस्त हों। इसे इस तरह सोचें: आप अपने मस्तिष्क को कहते हैं, "जब ओवन का टाइमर बजे, तो कुकीज़ बाहर निकाल लेना।" लेकिन इंतज़ार करते समय, आप एक मज़ेदार बिल्ली के वीडियो, एक फ़ोन कॉल और अचानक अपने मोज़ों के दराज को व्यवस्थित करने की इच्छा से विचलित हो जाते हैं। एक अच्छा मस्तिष्क बीप को याद रखता है और कुकीज़ निकाल लेता है। एक बुरा मस्तिष्क बीप को पूरी तरह भूल जाता है, या कुकीज़ बहुत देर से निकालता है और उन्हें जला देता है।
यही वह चीज़ है जिसे पेपर PM-Bench टेस्ट कर रहा है। शोधकर्ताओं ने एक "वर्चुअल वीक" (Virtual Week) नामक एक वीडियो-गेम जैसी दुनिया बनाई ताकि यह देख सकें कि क्या AI एजेंट इस तरह की मल्टीटास्किंग मेमोरी को संभाल सकते हैं।
खेल: एक AI के जीवन का एक व्यस्त सप्ताह
शोधकर्ताओं ने एक सिम्युलेटेड सात-दिवसीय सप्ताह बनाया जहाँ एक AI एजेंट को जीवन जीना होता है। हर कदम पर, एजेंट कुछ साधारण काम कर रहा होता है, जैसे नाश्ता बनाना या मेल चेक करना। लेकिन बैकग्राउंड में कुछ "विलंबित इरादे" (deferred intentions) छिपे हुए हैं—वे कार्य जिन्हें एजेंट को बाद में करने के लिए कहा गया था।
कुछ कार्य आसान हैं: "जब पड़ोसी हाथ हिलाए, तब अपनी दवा लें।" (यह एक इवेंट-बेस्ड कार्य है)।
कुछ कार्य कठिन हैं: "रात 9:00 बजे अपनी दवा लें।" (यह एक टाइम-बेस्ड कार्य है)।
और कुछ चालाकी भरे हैं: "अपॉइंटमेंट बुक करने से पहले नए संदेश के लिए ईमेल पोर्टल चेक करें।" एजेंट को ईमेल चेक करने के लिए जानना होगा, भले ही उसे इसके लिए कहा न गया हो। इसे प्रोएक्टिव मॉनिटरिंग (proactive monitoring) कहा जाता है।
दिक्कत यह है कि एजेंट बस बैठकर इंतज़ार नहीं कर सकता। उसे अपने दिन के माध्यम से चलते रहना होगा, "कॉफी डालना" या "ब्रेड टोस्ट करना" जैसे विकल्प चुनते हुए, जबकि उसे उन छिपे हुए संकेतों पर नज़र रखनी होगी। यदि वह संकेत को भूल जाता है, तो वह विफल हो जाता है। यदि वह संकेत को याद रखता है लेकिन कार्य को गलत समय पर करता है, तो भी वह विफल हो जाता है। यदि वह बहुत अधिक सतर्क (paranoid) हो जाता है और उन कार्यों को करने लगता है जो अभी ड्यू नहीं हुए हैं, तो वह भी विफल हो जाता है।
परिणाम: बेहतरीन AI भी कुकीज़ जला देता है
शोधकर्ताओं ने इस खेल में आठ अलग-अलग सुपर-एडवांस्ड AI मॉडल्स का परीक्षण किया (जिनमें GPT-5.4 और Llama 3.3 जैसे दिग्गज शामिल हैं)। उन्होंने AI को याद रखने में मदद करने के लिए कई तरकीबें आज़माईं:
- "टू-डू लिस्ट" की तरकीब: AI को उसके कार्यों को लिखने के लिए एक डिजिटल नोटपैड देना।
- "हार्टबीट" की तरकीब: AI को हर 30 या 60 मिनट में रुकने के लिए मजबूर करना और पूछना, "हे, क्या कुछ करने का समय हो गया है?"
- "टीमवर्क" की तरकीब: AI को एक बॉस और तीन वर्कर बीज़ (worker bees) में विभाजित करना, जिनमें से प्रत्येक अलग-अलग संकेतों पर नज़र रखता है।
यहाँ बड़ा आश्चर्य यह है: कोई भी एक तरकीब सबके लिए काम नहीं करती थी।
सबसे अच्छा प्रदर्शन करने वाला सेटअप एक सिंगल एजेंट था जिसमें एक वैकल्पिक "हार्टबीट" (स्वयं-चेक रिमाइंडर) था। इस मदद के साथ भी, शीर्ष मॉडल, GPT-5.4, केवल 65.1% का स्कोर (जिसे Set-F1 नामक मीट्रिक द्वारा मापा गया है) तक पहुँच पाया। इसका मतलब है कि वह अभी भी लगभग 35% कार्यों को मिस कर देता है या गलत करता है।
यह पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि "अधिक मेमोरी" या "बड़ा दिमाग" अपने आप समाधान नहीं देता। भले ही एक AI पूरी लाइब्रेरी पढ़ सकता है, इसका मतलब यह नहीं है कि उसे याद रहेगा कि कूड़ेदान भरने पर कचरा बाहर निकालना है। शोधकर्ताओं ने पाया कि:
- अधिक रिमाइंडर अक्सर उल्टा असर करते हैं: जब उन्होंने AI को हर 30 मिनट में अपना "हार्टबीट" चेक करने के लिए मजबूर किया, तो वह कार्यों को बहुत जल्दी या बहुत बार करने लगा। वह "स्पैमी" (spammy) हो गया, यानी उन कार्यों को झपट रहा था जो अभी ड्यू नहीं हुए थे। इससे उसका स्कोर कम हो गया क्योंकि वह बहुत आक्रामक हो रहा था।
- टीमवर्क काम नहीं आया: मल्टी-एजेंट टीम (बॉस और वर्कर्स) ने सिंगल एजेंटों की तुलना में बहुत अधिक जानकारी मांगी (1,600 गुना से भी अधिक!), लेकिन फिर भी वे समग्र रूप से खराब स्कोर करते रहे। वे सुराग खोजने में तो माहिर थे लेकिन यह तय करने में बहुत खराब थे कि कब कार्य पर अमल करना है।
- "हिडन चैनल" की समस्या: सबसे कठिन कार्य वे थे जहाँ AI को बिना बताए एक छिपे हुए चैनल (जैसे कोई विशिष्ट ईमेल या शिपिंग ट्रैकर) को चेक करना था। सर्वश्रेष्ठ मॉडल भी इनमें से केवल 10% ही सही कर पाए। यदि सुराग उस कहानी में नहीं था जिसे AI पढ़ रहा था, तो AI को पता ही नहीं चलता था कि उसे कहाँ देखना है।
इसका क्या अर्थ है (और क्या नहीं)
पेपर सुझाव देता है कि प्रोस्पेक्टिव मेमोरी एक विशिष्ट कौशल है जिसमें वर्तमान AI उतना अच्छा नहीं है। यह केवल अतीत को "भूलने" के बारे में नहीं है; यह सही समय पर भविष्य में कार्य करने में विफल होने के बारे में है।
लेखक सावधानी बरतते हुए कहते हैं कि यह सिमुलेशन पर आधारित है। उन्होंने विफलताओं का निदान करने के लिए एक नियंत्रित टेस्टबेड बनाया है, न कि यह कहने के लिए कि AI अब किसी अस्पताल को चलाने या विमान उड़ाने के लिए तैयार है। वास्तव में, वे चेतावनी देते हैं कि यदि कोई AI बिना पूर्ण नियंत्रण के "प्रोएक्टिव" रिमाइंडर्स में बहुत कुशल हो जाता है, तो वह आपको परेशान करना या वे काम करना शुरू कर सकता है जो आप नहीं चाहते थे।
इसलिए, जबकि हमारे डिजिटल असिस्टेंट प्लानिंग और कोडिंग में स्मार्ट हो रहे हैं, वे अभी भी "याद रखने के लिए याद रखने" की मानवीय कला में संघर्ष कर रहे हैं। वे जानते तो हैं कि क्या करना है, लेकिन अक्सर वे कब करना है, इसे मिस कर देते हैं। जब तक हम इसे ठीक करने का तरीका नहीं खोज लेते, तब तक सबसे उन्नत AI भी आपकी बिल्ली के वीडियो देखने के दौरान कुकीज़ जला सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।