Proactive Agent Research Environment: Simulating Active Users to Evaluate Proactive Assistants
यह शोध पत्र प्रोएक्टिव एजेंट रिसर्च एनवायरनमेंट (Pare) को प्रस्तुत करता है, जो यथार्थवादी सक्रिय उपयोगकर्ता सिमुलेशन को सक्षम करने के लिए अनुप्रयोगों को परिमित अवस्था मशीनों (finite state machines) के रूप में मॉडल करता है, साथ ही इसमें Pare-Bench भी शामिल है, जो संदर्भ अवलोकन, लक्ष्य अनुमान, समय निर्धारण और मल्टी-ऐप ऑर्केस्ट्रेशन में प्रोएक्टिव एजेंटों की क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किए गए 143 कार्यों का एक व्यापक बेंचमार्क है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक डिजिटल सहायक है जो केवल आपके पूछने का इंतज़ार नहीं करता कि, "हे, क्या मैं दूध खरीद सकता हूँ?" बल्कि वह यह भी नोटिस करता है कि आपका दूध खत्म हो गया है, देखता है कि आपके रूममेट का एक मैसेज आया है कि उन्हें साबुन चाहिए, और इससे पहले कि आप इसके बारे में सोचें, चुपचाप दोनों को आपकी शॉपिंग लिस्ट में जोड़ देता है। यही एक प्रोएक्टिव एजेंट (Proactive Agent) का सपना है।
लेकिन समस्या यह है: आप यह कैसे टेस्ट करें कि ये स्मार्ट असिस्टेंट वास्तव में आपकी ज़रूरत को समझने में कितने अच्छे हैं बिना आपको परेशान किए या गलतियाँ किए? आप किसी वास्तविक इंसान को घंटों तक एक यूजर होने का नाटक करने के लिए नहीं कह सकते; वे थक जाते हैं, वे ऊब जाते हैं, और वे सुसंगत (consistent) नहीं रहते।
यह पेपर Pare (प्रोएक्टिव एजेंट रिसर्च एनवायरनमेंट) पेश करता है, जो इन स्मार्ट असिस्टेंट्स को टेस्ट करने के लिए एक नया "प्लेग्राउंड" है। यहाँ इसका सरल विवरण दिया गया है:
1. मुख्य समस्या: "फ्लैट" बनाम "लैबिरिंथ" (भूलभुलैया) का अंतर
मौजूदा AI टेस्टिंग को एक वीडियो गेम चीट कोड की तरह समझें।
- पुराना तरीका: AI (असिस्टेंट) के पास एक "गॉड मोड" चीट है। वह तुरंत किसी भी मेनू में टेलीपोर्ट कर सकता है, किसी भी बटन पर क्लिक कर सकता है और एक ही कमांड के साथ किसी भी सेटिंग को बदल सकता है। उसे ऐप के माध्यम से "चलने" की ज़रूरत नहीं है।
- वास्तविक दुनिया: आप, यानी इंसान, वास्तव में ऐप खोलते हैं, मेनू में स्क्रॉल करते हैं, सही बटन दबाते हैं, पासवर्ड टाइप करते हैं और स्क्रीन पर नेविगेट करते हैं।
पेपर का तर्क है कि यदि आप एक ऐसे AI का परीक्षण करते हैं जिसके पास "गॉड मोड" है और एक ऐसे इंसान के विरुद्ध करते हैं जिसे भूलभुलैया (labyrinth) से गुजरना पड़ता है, तो आप AI की मददगार होने की क्षमता का परीक्षण नहीं कर रहे हैं; आप केवल यह परीक्षण कर रहे हैं कि क्या वह मैनुअल पढ़ सकता है। AI को यह समझने की ज़रूरत है कि आपको उस भूलभुलैया से गुजरना होगा, भले ही AI उड़ सकता हो।
2. समाधान: "Pare" प्लेग्राउंड
लेखकों ने Pare बनाया है, एक सिमुलेशन एनवायरनमेंट जो दो मुख्य विचारों का उपयोग करके इस अंतर को ठीक करता है:
A. "स्टेटफुल" भूलभुलैया (फाइनाइट स्टेट मशीन्स)
एक ऐसे वीडियो गेम की कल्पना करें जहाँ आप सीधे बॉस लेवल पर नहीं कूद सकते। आपको किले के अंदर से गुजरना होगा, दरवाज़ा खोलना होगा, सीढ़ियाँ चढ़नी होंगी और संदूक को अनलॉक करना होगा।
- Pare में, ऐप्स (जैसे ईमेल, कैलेंडर, या शॉपिंग) इन्हीं भूलभलैयाओं की तरह बनाए गए हैं।
- सिम्युलेटेड यूजर (Simulated User) एक रोबोट है जिसे एक वास्तविक इंसान की तरह कार्य करने के लिए प्रोग्राम किया गया है। उसे ऐप खोलना ही होगा, सर्च बार ढूंढना होगा, नाम टाइप करना होगा और "सेंड" पर क्लिक करना ही होगा। वह ब्रह्मांड को बस "मैसेज भेजें" फुसफुसाकर नहीं कह सकता।
- यह AI को मजबूर करता है कि वह यूजर द्वारा भूलभुलैया में नेविगेट करने को देखे और समझे कि यूजर कहाँ अटका हुआ है या वह क्या करने की कोशिश कर रहा है।
B. "एसिमेट्रिक" व्यू (जासूस बनाम पर्यटक)
यह सबसे चतुर हिस्सा है। पेपर एक अनुचित (लेकिन यथार्थवादी) सूचना अंतराल बनाता है:
- यूजर (पर्यटक): केवल वही देख सकता है जो उसकी स्क्रीन पर है। यदि एक नया ईमेल आता है, तो उसे एक छोटा सा नोटिफिकेशन मिलता है: "मॉम का नया मैसेज: हे..." (कटा हुआ)। पूरा पढ़ने के लिए उसे ऐप खोलना ही होगा।
- असिस्टेंट (जासूस): वह सब कुछ देख सकता है। वह पूरा ईमेल, पूरा कैलेंडर और पूरी शॉपिंग लिस्ट तुरंत देख सकता है।
यह क्यों मायने रखता है?
एक अच्छा प्रोएक्टिव असिस्टेंट को सिर्फ यह चिल्लाकर नहीं कहना चाहिए, "मैंने तुम्हारा ईमेल देखा!" (क्योंकि यूजर को अभी तक पता नहीं है कि क्या आया है)। उसे तब तक इंतज़ार करना चाहिए जब तक यूजर नोटिफिकेशन को देखता है, यह महसूस करता है कि उसे कुछ करने की आवश्यकता हो सकती है, और फिर उसे धीरे से सुझाव देना चाहिए, "हे, मैंने पार्टी के बारे में आपकी मम्मी का ईमेल देखा। क्या आप चाहते हैं कि मैं इसे आपके कैलेंडर में जोड़ दूँ?"
3. "ऑब्जर्व-देन-एक्जीक्यूट" (देखना-फिर-कार्य करना) का नृत्य
पेपर AI के व्यवहार के लिए एक विशिष्ट तरीका पेश करता है, जो दो चरणों वाले नृत्य की तरह है:
- ऑब्जर्व मोड (Observe Mode): AI यूजर को देखता रहता है। यह एक बटलर (बड़ा नौकर) की तरह है जो कोने में खड़ा होकर आपको अपना फोन देखते हुए देख रहा है। वह सुराग इकट्ठा करता है लेकिन अभी कुछ छूता नहीं है।
- प्रपोज (Propose): यदि AI को लगता है कि वह जान गया है कि आपको क्या चाहिए, तो वह पूछता है: "मैंने देखा कि आप फ्लाइट की कीमतों को देख रहे हैं। क्या मैं टिकट बुक कर दूँ?"
- एक्जीक्यूट मोड (Execute Mode): केवल यदि आप "हाँ" कहते हैं, तभी AI एक्शन में आता है और काम करता है।
यह AI को एक "धोंडी" (pushy) रोबोट बनने से रोकता है जो बिना अनुमति के चीजें करता है।
4. "Pare-Bench" टेस्ट
लेखकों ने Pare-Bench नामक एक विशाल टेस्ट बनाया जिसमें 143 अलग-अलग परिदृश्य (scenarios) हैं।
- टेस्ट: उन्होंने यूजर के जीवन के 143 अलग-अलग दिनों को सिम्युलेट किया (शॉपिंग, शेड्यूलिंग, टेक्स्टिंग)।
- लक्ष्य: उन्होंने 7 अलग-अलग AI मॉडल्स (जैसे GPT-5, Claude, Gemini) का परीक्षण किया ताकि यह देखा जा सके कि कौन सा मॉडल बिना परेशान किए यूजर की ज़रूरतों का बेहतर अनुमान लगा सकता है।
परिणाम:
- यहाँ तक कि सबसे स्मार्ट AI मॉडल्स भी केवल 42% कार्यों को सही ढंग से कर पाए।
- सबसे बड़ी विफलता लक्ष्य का अनुमान लगाना नहीं था, बल्कि एक्जीक्यूशन (कार्य निष्पादन) था। AI सही अनुमान तो लगा देता था ("आपको दूध खरीदने की ज़रूरत है") लेकिन फिर वह शॉपिंग ऐप में नेविगेट करके उसे खरीदने में विफल रहता था।
- छोटे AI मॉडल्स और भी खराब थे, जो अक्सर ऐप के "भूलभुलैया" में भ्रमित हो जाते थे।
5. यह क्यों महत्वपूर्ण है
यह पेपर एक चेतावनी है। यह कहता है, "AI असिस्टेंट को उस शून्य में टेस्ट करना बंद करें जहाँ उनके पास सुपरपावर्स हैं।"
- प्राइवेसी (गोपनीयता): इस तरह यूजर्स को सिम्युलेट करके, हम वास्तविक लोगों के निजी डेटा को क्लाउड पर अपलोड किए बिना AI को टेस्ट कर सकते हैं।
- रियलिज्म (यथार्थवाद): यह AI को यह सीखने के लिए मजबूर करता है कि एक ऐसी दुनिया में कैसे मददगार बना जाए जहाँ इंसानों को बटन क्लिक करने और स्क्रीन स्क्रॉल करने की ज़रूरत होती है, न कि केवल कमांड फुसफुसाने की।
- ट्रस्ट (विश्वास): यह सुनिश्चित करता है कि भविष्य के असिस्टेंट्स काम करने से पहले अनुमति मांगें, जिससे इंसान नियंत्रण में रहें।
संक्षेप में:
लेखकों ने एक यथार्थवादी वीडियो गेम बनाया है जहाँ एक "स्मार्ट बटलर" AI, एक "इंसान जैसे रोबोट" को डिजिटल दुनिया में नेविगेट करने में मदद करने की कोशिश करता है। उन्होंने पाया कि बेहतरीन बटलर भी अभी भी अनाड़ी हैं, अक्सर सही चीज़ का अनुमान तो लगाते हैं लेकिन वास्तव में काम पूरा करने में विफल रहते हैं। यह नया प्लेग्राउंड हमें उन्हें बेहतर, अधिक सम्मानजनक और अधिक उपयोगी सहायक बनने में मदद करने के लिए तैयार करने में मदद करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।