Do LLMs Need to See Everything? A Benchmark and Study of Failures in LLM-driven Smartphone Automation using Screentext vs. Screenshots
यह शोधपत्र डेलीड्रॉइड (DailyDroid) को प्रस्तुत करता है, जो 75 स्मार्टफोन ऑटोमेशन कार्यों का एक बेंचमार्क है, जिसका उपयोग केवल टेक्स्ट-आधारित बनाम मल्टीमॉडल इनपुट का उपयोग करने वाले एलएलएम-संचालित (LLM-driven) एजेंटों के विफलता मोड का मूल्यांकन और विश्लेषण करने के लिए किया गया है, जो यह प्रकट करता है कि हालांकि मल्टीमॉडल इनपुट मामूली सुधार प्रदान करते हैं, फिर भी यूआई (UI) सुलभता और मॉडल डिजाइन में महत्वपूर्ण समस्याएं बनी हुई हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास "रोबो-फोन" (Robo-Phone) नाम का एक बहुत ही स्मार्ट और उत्साही रोबोट सहायक है। आप रोबो-फोन को कहते हैं, "मेरे लिए एक पिज्जा ऑर्डर करो," या "पिछले साल की मेरे कुत्ते की एक फोटो ढूंढो," और आप उम्मीद करते हैं कि वह बस इसे कर देगा।
लेकिन समस्या यह है: रोबो-फोन अक्सर अनाड़ी होता है। वह गलत बटन दबा देता है, लूप में फंस जाता है, या बस हार मान लेता है। क्यों? और इससे भी महत्वपूर्ण बात यह है कि: क्या रोबो-फोन को वास्तव में आपके पूरे फोन की स्क्रीन को "देखने" की आवश्यकता है (जैसा कि एक इंसान करता है), या वह केवल आइकनों के नीचे लिखे टेक्स्ट को पढ़ सकता है?
यह शोध पत्र, जिसका शीर्षक "क्या LLMs को सब कुछ देखने की ज़रूरत है?" (Do LLMs Need to See Everything?) है, इन रोबोट सहायकों के लिए एक रिपोर्ट कार्ड की तरह है। यूनिवर्सिटी ऑफ मेलबर्न और यूनिवर्सिटी ऑफ ऑकलैंड के शोधकर्ताओं ने यह पता लगाने के लिए एक टेस्ट बनाया जिसे डेलीड्रॉइड (DailyDroid) कहा गया, कि ये रोबोट वास्तव में कहाँ और क्यों विफल होते हैं।
यहाँ उनके निष्कर्षों का सरल विवरण दिया गया है:
1. टेस्ट ड्राइव: डेलीड्रॉइड (DailyDroid)
शोधकर्ताओं ने रोबोट्स को केवल एक काम करने के लिए नहीं कहा। उन्होंने 25 लोकप्रिय ऐप्स (जैसे Maps, Instagram, Calendar और YouTube) में 75 अलग-अलग कार्यों के साथ एक "ड्राइविंग टेस्ट" बनाया।
उन्होंने रोबोट्स का तीन कठिनाई स्तरों पर परीक्षण किया:
- सरल (Simple): "वेदर ऐप खोलें।"
- मध्यम (Medium): "15 मिनट के लिए टाइमर सेट करें।"
- कठिन (Hard): "नए पिक्सेल फोन का एक रिव्यू ढूंढें और उसकी बैटरी लाइफ का सारांश बताएं।"
2. "देखने" के दो तरीके
बड़ा सवाल यह था कि रोबोट को फोन को कैसे देखना चाहिए?
- विधि A (एक "अंधा" पाठक): रोबोट को केवल टेक्स्ट और कोड (जिसे "स्क्रीनटेक्स्ट" कहा जाता है) की एक सूची मिलती है। वह जानता है कि "सर्च" लिखा हुआ एक बटन है, लेकिन वह यह नहीं देख सकता कि वह बटन कैसा दिखता है, उसका रंग क्या है, या वह स्क्रीन पर कहाँ स्थित है। यह खाने की तस्वीर देखे बिना मेनू का विवरण पढ़ने जैसा है।
- विधि विधि B (एक "दृश्य" पाठक): रोबोट को टेक्स्ट लिस्ट साथ ही एक स्क्रीनशॉट (स्क्रीन की एक तस्वीर) मिलता है। वह लाल रंग का "हैंड अप" (Hang Up) बटन या नीला "सेंड" (Send) तीर देख सकता है।
3. परिणाम: क्या देखने से मदद मिलती है?
संक्षिप्त उत्तर: हाँ, देखने से मदद मिलती है, लेकिन उतनी नहीं जितनी आप सोचते हैं, और इसके साथ एक भारी कीमत भी जुड़ी है।
- सफलता दर (Success Rates): जो रोबोट देख सकते थे (स्क्रीनशॉट), वे उन रोबोट्स की तुलना में थोड़े बेहतर थे जो केवल टेक्स्ट पढ़ते थे। उन्होंने लगभग 4% अधिक कार्य पूरे किए।
- पेंच (The Catch): स्क्रीनशॉट का उपयोग करने से रोबोट को चलाना 25 गुना अधिक महंगा और बहुत धीमा हो गया। यह एक बहुत ही महंगे, धीरे चलने वाले सलाहकार को काम पर रखने जैसा है, जो केवल 4% बेहतर परिणाम देने के लिए है।
- गोपनीयता की समस्या (The Privacy Problem): आपके फोन के स्क्रीनशॉट लेना दखल देने वाला काम है। यह अनजाने में आपके निजी संदेश, बैंक बैलेंस या पासवर्ड दिखा सकता है। शोधकर्ताओं का तर्क है कि यदि टेक्स्ट-ओनली (केवल टेक्स्ट) 95% काम कर सकता है, तो हमें टाइमर सेट करने के लिए रोबोट को हमारा पूरा जीवन दिखाने के लिए मजबूर नहीं करना चाहिए।
4. रोबोट क्यों विफल हुए? ("विफलता पुस्तिका")
शोधकर्ताओं ने पाया कि रोबोट मुख्य रूप से दो कारणों से विफल हुए, जिन्हें उन्होंने एक मैकेनिक की चेकलिस्ट की तरह वर्गीकृत किया:
A. "अंधे" विफलताएं (सिस्टम-स्तर की)
- गायब नक्शा (The Missing Map): कभी-कभी रोबोट को "रास्ता" तक नहीं मिल पाता था। फोन के कोड ने रोबोट को यह नहीं बताया कि वहां एक बटन मौजूद है। भले ही रोबोट के पास स्क्रीनशॉट होता, अगर अंतर्निहित कोड टूटा हुआ होता, तो रोबोट उस पर क्लिक नहीं कर पाता।
- भ्रमित करने वाला संकेत (The Confusing Sign): कुछ ऐप्स खराब तरीके से डिज़ाइन किए गए हैं। एक बटन दिखने में चित्र जैसा हो सकता है लेकिन काम टेक्स्ट की तरह करता है, या उसमें कोई लेबल ही नहीं होता। रोबोट भ्रमित हो जाता है क्योंकि ऐप "मशीनों के अनुकूल" नहीं है।
- उपमा (Analogy): कल्पना कीजिए कि आप एक ऐसी कार चलाने की कोशिश कर रहे हैं जहाँ स्टीयरिंग व्हील पर्दे के पीछे छिपा हुआ है। भले ही आपके पास जीपीएस (स्क्रीनशॉट) हो, लेकिन अगर आप पहिया नहीं ढूंढ सकते, तो आप गाड़ी नहीं मोड़ सकते।
B. "दिमाग" की विफलताएं (एजेंट-स्तर की)
- गलत मोड़ (The Wrong Turn): रोबोट ने बटन देखा, लेकिन उसने सोचा, "मुझे दूसरे बटन पर क्लिक करना चाहिए।" उसने एक तार्किक गलती की।
- लूप (The Loop): रोबोट एक ही चीज़ को बार-बार करने में फंस गया (जैसे एक हैम्स्टर पहिये पर दौड़ता है) जब तक कि उसका समय समाप्त नहीं हो गया।
- उपमा (Analogy): रोबोट के पास नक्शा तो है, लेकिन वह एक बुरा नाविक है। वह दाएं मुड़ने के बजाय बार-बार बाएं मुड़ता रहता है।
5. "स्मार्ट" रोबोट बनाम "बेसिक" रोबोट
उन्होंने दो अलग-अलग AI दिमागों का परीक्षण किया:
- GPT-4o: मानक, तेज़ दिमाग।
- o4-mini: एक नया, "रीजनिंग" (तर्क करने वाला) दिमाग जो कार्य करने से पहले सोचता है।
चौंकाने वाली बात: "रीजनिंग" दिमाग (o4-mini) अपनी गलतियों को सुधारने में बहुत बेहतर था। यदि उसने गलत बटन दबा दिया, तो उसे एहसास हुआ, "ओह, रुको, यह गलत है," और उसने फिर से प्रयास किया। हालाँकि, क्योंकि वह बहुत अधिक सोच रहा था और कई बार प्रयास कर रहा था, वह अक्सर कार्य पूरा करने से पहले ही "स्टेप्स" (समय सीमा) की सीमा पार कर जाता था। बेसिक दिमाग तेज़ था लेकिन स्थायी गलतियाँ करता था।
6. ऐप डेवलपर्स को क्या करना चाहिए?
यह शोध पत्र ऐप डेवलपर्स को सलाह के साथ एक बड़ा "थम्स अप" देता है:
- अपने ऐप्स को सुलभ (Accessible) बनाएं: केवल सुंदर चित्र न बनाएं। सुनिश्चित करें कि बटनों के कोड में स्पष्ट नाम हों ताकि रोबोट उन्हें ढूंढ सकें।
- कंट्रोल को न छुपाएं: यदि "सेंड" बटन किसी अजीब मेनू में छिपा हुआ है, तो रोबोट विफल हो जाएगा।
- मानकीकरण (Standardize): हमें फोन के लिए एक सार्वभौमिक भाषा की आवश्यकता है ताकि रोबोट के साथ बातचीत की जा सके, जिससे हर ऐप एक ही तरह से काम करे।
निचोड़ (The Bottom Line)
क्या LLMs को सब कुछ देखने की ज़रूरत है?
नहीं। अधिकांश कार्य करने के लिए उन्हें आपकी पूरी स्क्रीन की फोटो की आवश्यकता नहीं है। टेक्स्ट (स्क्रीनटेक्स्ट) पढ़ना अक्सर पर्याप्त होता है, सस्ता होता है और बहुत अधिक निजी होता है।
हालाँकि, रंगों, आइकन या भ्रमित करने वाले लेआउट से जुड़े जटिल कार्यों के लिए, थोड़ा सा "दृष्टि" (Vision) मदद करता है। फोन ऑटोमेशन का भविष्य रोबोट को कैमरा देने के बारे में नहीं है; यह हमारे ऐप्स को अधिक अनुकूल (Friendly) बनाने के बारे में है ताकि रोबोट स्क्रीन को घूरने के बजाय उन्हें समझ सके।
संक्षेप में: हमें रोबोटों के चलने के लिए बेहतर सड़कें (ऐप्स) बनाने की आवश्यकता है, न कि केवल उन्हें बेहतर आँखें देने की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।