PAUSE: A User-Centric Benchmark for Personal AI Assistants in Unified Service Environments
यह शोध पत्र PAUSE को प्रस्तुत करता है, जो एक उपयोगकर्ता-केंद्रित बेंचमार्क है जिसे मल्टी-रेजीम मूल्यांकन के माध्यम से मौजूदा खंडित बेंचमार्क की सीमाओं को संबोधित करके, वास्तविक, स्टेटफुल सर्विस वातावरण में व्यक्तिगत एआई सहायकों का मूल्यांकन करने के लिए डिज़ाइन किया गया है, और यह प्रकट करता है कि अत्याधुनिक मॉडल भी उन कार्यों के साथ संघर्ष करते हैं जिनमें निरंतर स्टेट रीजनिंग और कॉन्फ़िगरेशन जागरूकता की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट बटलर बनाया है। आपने उसे दरवाजे खोलना, लाइट जलाना और यहाँ तक कि पिज्जा ऑर्डर करना भी सिखाया है। लेकिन एक पेंच है: वास्तविक दुनिया में, आपका रोबोट केवल एक शून्य (वैक्यूम) में नहीं रहता। वह आपके घर में, आपके नियमों के साथ रहता है। शायद आपके पास सामने वाले दरवाजे के लिए कोई गुप्त कोड हो, या कोई विशिष्ट समय हो जब लाइटें नहीं जलाई जा सकतीं, या कोई नियम हो कि जब तक आप अनुमति न दें, रोबोट कुकी जार को नहीं छू सकता। यह "पर्सनल एआई असिस्टेंट्स" (Personal AI Assistants) की दुनिया है। ये केवल ट्रिविया का उत्तर देने वाले चैटबॉट्स नहीं हैं; ये डिजिटल सहायक हैं जिन्हें आपके स्वास्थ्य डेटा से लेकर आपकी खरीदारी की सूची तक, आपके जीवन को प्रबंधित करने के लिए डिज़ाइन किया गया है। लेकिन यहाँ एक बड़ा सवाल है: क्या ये रोबट वास्तव में आपके जीवन की अव्यवस्थित, जटिल वास्तविकता को संभाल सकते हैं, जहाँ चीजें बदलती रहती हैं, अनुमतियाँ पेचीदा होती हैं, और उन्हें आगे क्या करना है यह जानने के लिए यह याद रखना पड़ता है कि पाँच मिनट पहले क्या हुआ था? वैज्ञानिक इन रोबोटों का परीक्षण करने की कोशिश कर रहे हैं, लेकिन उनके अधिकांश परीक्षण एक वीडियो गेम की तरह हैं जहाँ नियम सरल होते हैं और दुनिया हर बार रीसेट हो जाती है। वे वास्तव में यह परीक्षण नहीं करते कि क्या रोबोट एक एकीकृत, स्टेटफुल (stateful) वातावरण को संभाल सकता है जहाँ आपकी व्यक्तिगत सेटिंग्स और अनुमतियाँ मायने रखती हैं।
यहाँ एक नया अध्ययन आता है जिसे PAUSE कहा जाता है, जो इन एआई सहायकों के लिए एक विशाल, यथार्थवादी बाधा दौड़ (obstacle course) की तरह काम करता है। शोधकर्ताओं ने, जो अल्बर्टा विश्वविद्यालय की एक टीम है, एक सिम्युलेटेड दुनिया बनाई है जो बिल्कुल एक वास्तविक व्यक्ति के डिजिटल जीवन की तरह महसूस होती है। इस दुनिया में, एआई को विभिन्न सेवाओं को संभालना होता है—जैसे आपके वर्कआउट लॉग की जाँच करना, आपके स्वास्थ्य संबंधी अपॉइंटमेंट का प्रबंधन करना, या किराने का सामान खरीदना—जबकि आपकी विशिष्ट अनुमतियों और आपके खातों की वर्तमान स्थिति का सम्मान करना होता है। इसे एक "चूज़ योर ओन एडवेंचर" (choose your own adventure) पुस्तक की तरह समझें जहाँ एआई को आपके द्वारा किए गए हर चुनाव, आपके द्वारा सेट किए गए हर पासवर्ड और आपकी हर सब्सक्रिप्शन का हिसाब रखना होता है, और यह सब करते हुए उसे एक कार्य पूरा करने की कोशिश करनी होती है। टीम ने सैकड़ों ऐसे पेचीदा परिदृश्य उत्पन्न करने के लिए एक पाइपलाइन बनाई, जो सरल डेटा लुकअप से लेकर जटिल, बहु-चरणीय खरीदारी मिशनों तक विस्तृत हैं, जिनमें एआई को अनुमति की दीवार से टकराने पर आपसे मदद माँगने की आवश्यकता होती है।
जब उन्होंने नवीनतम और सर्वश्रेष्ठ एआई मॉडल्स को इस PAUSE टेस्ट के माध्यम से परखा, तो परिणाम एक वास्तविकता का अहसास कराने वाले थे। यहाँ तक कि बड़ी टेक कंपनियों के सबसे उन्नत, महंगे एआई मॉडल भी संघर्ष करते दिखे। हालाँकि वे सरल कार्यों में बहुत अच्छे थे, लेकिन जब उन्हें जटिल, बदलते स्टेट्स के बारे में तर्क करने या छिपे हुए सिस्टम नियमों को समझने की आवश्यकता थी, तो उनकी सफलता दर काफी गिर गई। वास्तव में, इस तरह के "स्टेटफुल रीजनिंग" (stateful reasoning) की आवश्यकता वाले कठिन कार्यों पर, शीर्ष मॉडल्स भी 30% से अधिक बार कार्य पूरा करने में विफल रहे, जिसका अर्थ है कि वे 70% सफलता के आंकड़े तक नहीं पहुँच सके। अध्ययन सुझाव देता है कि केवल टूल्स (tools) को कॉल करने में अच्छा होना पर्याप्त नहीं है; एआई को आपके व्यक्तिगत डिजिटल वातावरण के "क्यों" और "कैसे" को समझने में बहुत बेहतर होने की आवश्यकता है। शोधकर्ताओं ने पाया कि सबसे बड़ी बाधा एआई की बात करने या पढ़ने की क्षमता नहीं थी, बल्कि आपके जीवन के अदृश्य नियमों के बारे में याद रखने और तर्क करने की उसकी क्षमता थी, जैसे कि एक रोबोट का यह भूल जाना कि कुकी जार खोलने से पहले उसे आपकी अनुमति की आवश्यकता है। यह कार्य हमें केवल यह नहीं दिखाता है कि रोबोट कहाँ विफल हो रहे हैं; यह हमें उन्हें परखने का एक नया, अधिक निष्पक्ष तरीका देता है ताकि हम ऐसे सहायक बना सकें जो वास्तव में वास्तविक दुनिया में हमारी मदद करने के लिए तैयार हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।