iOSWorld: A Benchmark for Personally Intelligent Phone Agents
यह शोध पत्र iOSWorld प्रस्तुत करता है, जो व्यक्तिगत रूप से बुद्धिमान फोन एजेंटों का मूल्यांकन करने के लिए 26 परस्पर जुड़े ऐप्स और एक निरंतर उपयोगकर्ता पहचान वाला पहला इंटरैक्टिव नेटिव iOS सिम्युलेटर बेंचमार्क है, जो यह प्रकट करता है कि हालांकि विशेषाधिकार प्राप्त विजन+XML एक्सेस फ्रंटियर मॉडल के प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है, फिर भी वर्तमान एजेंट जटिल मल्टी-ऐप और वैयक्तिकरण कार्यों में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक डिजिटल सहायक है जो आपके फोन के अंदर रहता है। अभी, इनमें से अधिकांश सहायक "भुलक्कड़ पर्यटकों" (amnesiac tourists) की तरह हैं। वे एक एकल निर्देश का पूरी तरह से पालन कर सकते हैं—जैसे "फ्लैशलाइट चालू करें"—लेकिन यदि आप उनसे कहें कि "मेरी सामान्य आदतों, मेरे बैंक बैलेंस और मेरे टेक्स्ट संदेशों के आधार पर मेरा सप्ताह निर्धारित करें," तो वे खो जाते हैं। वे नहीं जानते कि आप कौन हैं, उन्हें आपका इतिहास याद नहीं है, और वे आपके विभिन्न ऐप्स के बीच संबंध नहीं जोड़ सकते।
"iOSWorld" नामक शोध पत्र यह परीक्षण करने का एक नया तरीका पेश करता है कि क्या कोई फोन असिस्टेंट वास्तव में आपका व्यक्तिगत सहायक बनने के लिए पर्याप्त स्मार्ट है। यहाँ सरल शब्दों में इसका विवरण दिया गया है:
1. समस्या: "खाली स्लेट" बनाम "वास्तविक जीवन"
वर्तमान फोन सहायकों के लिए परीक्षण किसी को एक खाली नोटबुक देने और उसे कहानी लिखने के लिए कहने जैसा है। वे एक वाक्य लिख सकते हैं, लेकिन उनके पास कोई बैकस्टोरी नहीं है।
- वास्तविकता: आपका फोन जीवन भर के डेटा से भरा है: आपके बैंक लेनदेन, आपकी यात्रा की योजनाएं, आपके दोस्तों के नाम और आपके पसंदीदा रेस्टोरेंट्स। एक वास्तव में उपयोगी सहायक को यह सब जानना आवश्यक है।
- अंतराल (Gap): किसी के पास यह परीक्षण करने का कोई तरीका नहीं था कि क्या एक AI वास्तव में इस अव्यवस्थित, जुड़े हुए वास्तविक जीवन में नेविगेट कर सकता है। अधिकांश परीक्षण केवल Android फोन पर अलग-थलग कार्यों को देखते थे, जो iPhone (iOS) के काम करने के अनूठे तरीके को अनदेखा करते थे।
2. समाधान: "iOSWorld" का निर्माण
शोधकर्ताओं ने एक विशाल, इंटरैक्टिव वीडियो गेम बनाया है जो एक वास्तविक iPhone की नकल करता है।
- पात्र: उन्होंने जॉर्डन एवेरी (Jordan Avery) नामक एक काल्पनिक व्यक्ति बनाया, जो सैन फ्रांसिस्को में रहने वाला 31 वर्षीय व्यक्ति है।
- दुनिया: उन्होंने जॉर्डन के लिए 26 कस्टम ऐप्स बनाए (जैसे एक नकली Uber, एक नकली बैंक, एक नकली ईमेल और एक नकली फूड डिलीवरी ऐप)।
- जादू: ये सभी ऐप्स आपस में जुड़े हुए हैं। यदि जॉर्डन "QuickBite" ऐप पर बरिटो ऑर्डर करता है, तो "MyBank" ऐप में अपने आप एक चार्ज दिखाई देगा, और "Mail" ऐप में एक रसीद प्राप्त होगी। यदि जॉर्डन "SkyTrip" पर फ्लाइट बुक करता है, तो "Notes" ऐप में इसके लिए एक रिमाइंडर होगा।
- लक्ष्य: उन्होंने AI को 133 अलग-अलग मिशन दिए। कुछ सरल थे (कॉफी ऑर्डर करना), लेकिन कई जटिल थे (अपना बैंक बैलेंस देखें, उस कॉफी की रसीद ढूंढें और अपने कैलेंडर के आधार पर अपने बॉस को बताएं कि आपको देर हो रही है)।
3. परीक्षण: फोन को देखने के दो तरीके
यह देखने के लिए कि AI वास्तव में कितना स्मार्ट है, उन्होंने इसे दो अलग-अलग "मोड्स" में टेस्ट किया, जैसे किसी इंसान को चीट शीट के साथ या बिना चीट शीट के टेस्ट देना:
मोड A: केवल विज़न (The "Blind" Test - दृष्टि-मात्र परीक्षण)
AI केवल स्क्रीन के स्क्रीनशॉट देखता है, ठीक वैसे ही जैसे एक इंसान देखता है। उसे अंदाजा लगाना पड़ता है कि बटन कहाँ हैं और चित्रों को देखकर समझना पड़ता है कि क्या हो रहा है।- उपमा: जैसे किसी पहेली को हल करने के लिए केवल उसकी धुंधली फोटो को देखना।
मोड B: विज़न + XML (The "Super-Sight" Test - सुपर-दृष्टि परीक्षण)
AI स्क्रीनशॉट देखता है साथ ही एक छिपी हुई टेक्स्ट लिस्ट (जिसे एक्सेसिबिलिटी ट्री कहा जाता है) भी देखता है जो उसे बताता है कि हर बटन का नाम क्या है और वह कहाँ स्थित है।- उपमा: जैसे पहेली को एक चमकते हुए हाइलाइटर के साथ देखना जो हर टुकड़े की ओर इशारा करता है और कहता है, "यह आसमान का टुकड़ा है, यह पेड़ का टुकड़ा है।"
4. परिणाम: किसने टेस्ट पास किया?
उन्होंने उपलब्ध सबसे स्मार्ट AI मॉडल्स ("फ्रंटियर" मॉडल्स) और एक ओपन-सोर्स मॉडल का परीक्षण किया।
- अच्छी खबर: जब AI के पास "सुपर-साइट" (Vision + XML) था, तो सबसे स्मार्ट मॉडल्स बहुत बेहतर प्रदर्शन कर रहे थे। वे अंततः ऐप्स को सही ढंग से नेविगेट करने में सक्षम थे। एक मॉडल (Opus) ने 26% कार्यों को सही करने से बढ़कर 52% तक सफलता प्राप्त की।
- बुरी खबर: सबसे अच्छे सेटअप के साथ भी, AI को कठिन कार्यों में संघर्ष करना पड़ा।
- सिंगल ऐप कार्य (Single App Tasks): वे इसमें बहुत अच्छे रहे (82% सफलता)।
- मल्टी-ऐप कार्य (Multi-App Tasks): वे संघर्ष कर रहे थे (37% सफलता)। 3 या 4 अलग-अलग ऐप्स के बीच संबंध बनाना बहुत कठिन था।
- मेमोरी कार्य (Memory Tasks): वे ठीक थे (54% सफलता), लेकिन अक्सर विवरण भूल जाते थे।
- "छोटे मॉडल" की समस्या: छोटे, सस्ते AI मॉडल्स को "सुपर-साइट" डेटा देने पर वास्तव में और खराब प्रदर्शन मिला। यह ऐसा था जैसे किसी छात्र को बहुत अधिक जानकारी दे दी गई हो; वे अभिभूत और भ्रमित हो गए।
5. वे क्यों असफल हुए?
शोधकर्ताओं ने पाया कि AI मुख्य रूप से तीन कारणों से फंस गया:
- समय समाप्त होना: AI को एक कार्य पूरा करने के लिए 50 स्टेप्स दिए गए थे। जटिल कामों पर, वह यह समझने में ही अपने सभी 50 स्टेप्स खर्च कर देता था कि कहाँ क्लिक करना है, जिससे काम पूरा करने के लिए समय ही नहीं बचता था।
- खो जाना: AI गलत ऐप खोल देता था या एक लूप में फंस जाता था, बार-बार एक ही बटन को क्लिक करता रहता था।
- "कोऑर्डिनेट" की समस्या: "विज़न-ओनली" मोड में, AI अक्सर स्क्रीन पर टैप करने के लिए गलत जगह का अनुमान लगाता था, जैसे अंधेरे में गेंद को पकड़ने की कोशिश करना।
निष्कर्ष (The Bottom Line)
iOSWorld पहली बार है जब हमने फोन सहायकों का एक वास्तविक, जुड़े हुए वातावरण में परीक्षण किया है जो एक वास्तविक मानव के डिजिटल जीवन की नकल करता है।
शोध पत्र निष्कर्ष निकालता है कि हालांकि AI स्क्रीन को देखने और बटन क्लिक करने में बेहतर हो रहा है, लेकिन यह अभी भी एक वास्तविक "व्यक्तिगत रूप से बुद्धिमान" सहायक बनने के लिए पर्याप्त स्मार्ट नहीं है जो आपके इतिहास, आपके पैसे और आपके रिश्तों को विभिन्न ऐप्स में समझ सके। इसे वास्तव में एक मानव सहायक की जगह लेने से पहले योजना बनाने, याद रखने और जोड़ने के मामले में बेहतर होने की आवश्यकता है।
अच्छी खबर? शोधकर्ताओं ने अपना सारा कोड और "गेम" मुफ्त में जारी कर दिया है, ताकि अन्य वैज्ञानिक इस नए प्लेग्राउंड का उपयोग करके बेहतर सहायक बनाने की कोशिश कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।