MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप मुझे अपना जीवन प्रबंधित करने में मदद करने के लिए एक व्यक्तिगत सहायक (पर्सनल असिस्टेंट) नियुक्त कर रहे हैं। आप उन्हें एक बिल्कुल नया, खाली डेस्क नहीं देंगे जिसमें न कोई फाइल हो, न कोई फोटो और न ही आपके बारे में कोई जानकारी हो, है ना? आप उम्मीद करेंगे कि उन्हें पता हो कि आपकी पसंदीदा कॉफी शॉप कौन सी है, आपके बैंक खाते का बैलेंस क्या है, आपकी आगामी छुट्टियां कब हैं, और आपके दोस्त का जन्मदिन कब है।
समस्या: "खाली डेस्क" टेस्ट
वर्तमान में, हम जो परीक्षण उपयोग करते हैं यह देखने के लिए कि क्या एआई (AI) कंप्यूटर व्यक्तिगत सहायकों के रूप में स्मार्ट होने के लिए पर्याप्त हैं, वे एक खाली डेस्क देने के समान हैं। एआई को एक ऐसे कंप्यूटर पर कार्य करने के लिए कहा जाता है जिसका कोई इतिहास नहीं है, जिसमें कोई लॉग-इन अकाउंट नहीं है, और जिसमें कोई व्यक्तिगत डेटा नहीं है। यह किसी से यह पूछने जैसा है कि "मेरा सामान्य वाला डिनर ऑर्डर करो" जबकि उन्हें यह भी नहीं पता कि आप कौन हैं या आप आमतौर पर क्या ऑर्डर करते हैं।
यह शोध पत्र तर्क देता है कि यह एक बहुत बड़ा अंतर है। वास्तविक व्यक्तिगत सहायकों को एक ऐसे डिजिटल जीवन को नेविगेट करने की आवश्यकता होती है जो अव्यवस्थित, आपस में जुड़ा हुआ और व्यक्तिगत इतिहास से भरा हो।
समाधान: MYPCBENCH ("माइकल स्कॉट" सिमुलेशन)
इसे ठीक करने के लिए, शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे MYPCBENCH कहा जाता है। एक खाली डेस्क के बजाय, उन्होंने एक विशिष्ट पात्र के लिए एक पूरी तरह से भरे हुए डिजिटल जीवन का निर्माण किया: टीवी शो द ऑफिस का पात्र: माइकल स्कॉट।
इस "माइकल स्कॉट" कंप्यूटर को एक विशाल, इंटरैक्टिव वीडियो गेम की दुनिया के रूप में समझें जहाँ:
- पात्र: माइकल स्कॉट "उपयोगकर्ता" (User) है।
- डेटा: कंप्यूटर में 1,812 बैंक लेनदेन, 2,398 ईमेल, 679 कैलेंडर इवेंट्स और हजारों चैट संदेश पहले से लोड किए गए हैं।
- ऐप्स: इसमें 17 अलग-अलग "नकली" वेबसाइटें हैं (जैसे एक नकली बैंक, एक नकली एयरलाइन, एक नकली फूड डिलीवरी ऐप) जो सभी आपस में जुड़ी हुई हैं। यदि माइकल एक नकली एयरलाइन पर फ्लाइट बुक करता है, तो उसके नकली बैंक स्टेटमेंट में एक चार्ज अपने आप दिखाई देगा, और उसके नकली इनबॉक्स में एक पुष्टिकरण ईमेल आ जाएगा।
- लक्ष्य: एआई को माइकल का सहायक बनना है, उसके विशिष्ट इतिहास का उपयोग करके वास्तविक जीवन की समस्याओं को हल करने के लिए इन ऐप्स को नेविगेट करना है।
परीक्षण: 184 वास्तविक दुनिया की चुनौतियाँ
शोधकर्ताओं ने 184 विशिष्ट कार्य बनाए जो उन वास्तविक अनुरोधों पर आधारित हैं जो लोग वास्तव में एआई सहायकों से करते हैं। ये कार्य सरल से लेकर अविश्वसनीय रूप से जटिल तक हैं:
- सरल: "ज़ेले (Zelle) के माध्यम से पाम को $100 भेजें।" (एआई को पहले यह जांचना होगा कि क्या पाम संपर्कों में है)।
- जटिल: "जमैका और बारबाडोस की यात्राएं बुक हैं। क्या मैं अपने वर्तमान क्रेडिट कार्ड बैलेंस के आधार पर दोनों यात्राएं कर सकता हूँ?" (एआई को बैंक ऐप देखना होगा, ट्रैवल ऐप देखना होगा और गणित करना होगा)।
- पैटर्न खोजना: "मैं आमतौर पर फूड डिलीवरी पर कितना टिप देता हूँ?" (एआई को पैटर्न खोजने के लिए सैकड़ों पिछले ऑर्डरों को स्कैन करना होगा)।
परिणाम: एआई "वास्तविक जीवन" के साथ संघर्ष करता है
शोधकर्ताओं ने उपलब्ध छह सबसे स्मार्ट एआई मॉडलों (Anthropic, OpenAI और अन्य कंपनियों से) का इस परीक्षण पर परीक्षण किया। यहाँ हुआ:
- सर्वश्रेष्ठ प्रदर्शन करने वाला: शीर्ष मॉडल (Claude Opus 4.6) ने लगभग 55% कार्यों को पूरी तरह से हल किया। यह अच्छा लगता है, लेकिन याद रखें, यह सबसे अच्छा उपलब्ध एआई है। वह अभी भी लगभग आधी बार विफल रहता है।
- "मल्टी-ऐप" समस्या: जब कार्यों के लिए एक से अधिक ऐप का उपयोग करने की आवश्यकता होती थी, तो एआई काफी खराब प्रदर्शन करने लगा। जब किसी कार्य के लिए एआई को 7 या अधिक अलग-अलग ऐप्स के बीच कूदने की आवश्यकता होती थी (जैसे ईमेल चेक करना, फिर कैलेंडर, फिर बैंक, फिर एक ट्रैवल साइट), तो अधिकांश मॉडलों की सफलता दर गिरकर 0% हो गई।
- "लॉन्ग मेमोरी" की समस्या: एआई कार्यों की लंबी श्रृंखलाओं को ट्रैक करने में संघर्ष करता रहा। यदि किसी कार्य के लिए 50 चरणों की आवश्यकता होती थी, तो एआई अक्सर भटक जाता था या हार मान लेता था।
- विफलता के विभिन्न प्रकार:
- कुछ एआई (जैसे GPT) काम पूरा करने से पहले ही बहुत जल्दी हार मानने लगते थे, यह कहते हुए कि "मैं समाप्त कर चुका हूँ" (I'm done)।
- कुछ एआई (जैसे Qwen) चीजें बनाने लगते थे, यानी माइकल स्कॉट के बारे में ऐसी बातें गढ़ लेते थे जो डेटा में नहीं थीं।
- सबसे अच्छा एआई (Claude) कभी-कभी मेनू में क्लिक करने के बजाय कंप्यूटर के कमांड लाइन (एक हैकर की तरह) का उपयोग करके शॉर्टकट लेने लगा।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हालांकि एआई कंप्यूटर का उपयोग करने में बेहतर हो रहा है, लेकिन यह अभी भी एक सच्चा "व्यक्तिगत" सहायक बनने के लिए तैयार नहीं है। यह एक साफ, सरल कार्य को संभाल सकता है, लेकिन यह तब बिखर जाता है जब इसे एक अव्यवस्थित, परस्पर जुड़े हुए, वास्तविक दुनिया के डिजिटल जीवन और व्यक्तिगत इतिहास को नेविगेट करना पड़ता है।
शोधकर्ताओं ने अपने परीक्षण वातावरण ( "माइकल स्कॉट" कंप्यूटर) को जनता के लिए जारी कर दिया है ताकि अन्य वैज्ञानिक बेहतर सहायक बना सकें जो वास्तव में एक वास्तविक मानव के जटिल डिजिटल जीवन को संभाल सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।