कल्पना कीजिए कि आप एक रोबोट को अपना स्मार्टफोन इस्तेमाल करना सिखाने की कोशिश कर रहे हैं। आप उसे सिर्फ एक मैनुअल थमाकर यह उम्मीद नहीं करेंगे कि वह सब सीख जाएगा; बल्कि शायद आप उसे दिखाएंगे कि ऐप कैसे खोलना है, बटन कैसे दबाना है, और शायद यह भी कि अगर उससे गलती से गलत चीज़ क्लिक हो जाए तो उससे कैसे उबरना है। यह GUI एजेंट्स की दुनिया है—स्मार्ट कंप्यूटर प्रोग्राम जो "विज़न-लैंग्वेज मॉडल्स" द्वारा संचालित होते हैं (इन्हें ऐसे रोबोट समझें जिनके पास आँखें हैं और एक ऐसा दिमाग है जो टेक्स्ट पढ़ सकता है और तस्वीरों को समझ सकता है)। ये एजेंट आपके फोन पर वास्तविक दुनिया के कार्य करने के लिए बनाए गए हैं, जैसे कॉफी ऑर्डर करना या फ्लाइट बुक करना। लेकिन यहाँ एक पेंच है: इन चीजों को सीखने के लिए, रोबोट्स को अभ्यास के दौरों की एक विशाल लाइब्रेरी की आवश्यकता होती है, जिसे "ट्रैजेक्टरीज" (trajectories) कहा जाता है। अब तक हमारे पास जो अभ्यास डेटा उपलब्ध है, वह ज्यादातर "ईज़ी मोड" वाले वीडियो गेम जैसा है। यह केवल रोबोट को उन सरल, सीधे रास्तों को दिखाता है जहाँ सब कुछ सही रहता है। हालाँकि, वास्तविक जीवन अव्यवस्थित होता है। ऐप्स बटनों से भरे होते हैं, पॉप-अप अचानक सामने आ जाते हैं, और कभी-कभी आपको पीछे हटना पड़ता है या दूसरा रास्ता चुनना पड़ता है। इन अव्यवस्थित, लंबे और जटिल परिदृश्यों पर प्रशिक्षण के बिना, हमारे रोबोट सहायक नाजुक होते हैं और वास्तविक दुनिया के ऐप्स के सामने आते ही भटक जाते हैं।

यहाँ SEE आता है, जो हारबिन इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं द्वारा इस प्रशिक्षण अंतराल को ठीक करने के लिए विकसित की गई एक नई विधि है। SEE को एक सुपर-स्मार्ट टूर गाइड के रूप में समझें जो केवल बिना किसी दिशा के ऐप में नहीं घूमता, बल्कि रोबोट को बाहर भेजने से पहले हर संभावित रास्ते का एक विस्तृत, इंटरैक्टिव मानचित्र बनाता है। केवल अनुमान लगाने और कोशिश करने (जो धीमा है और अक्सर गलत अंत की ओर ले जाता है) के बजाय, SEE पहले ऐप को "एक्सप्लोर" (खोजता) करता है ताकि हर स्क्रीन और बटन को जोड़ने वाला एक ग्राफ बनाया जा सके। फिर यह उस ज्ञान का "एक्सप्लॉयट" (उपयोग) करने के लिए इस मानचित्र का उपयोग करता है, जिससे कई चरणों, घुमावदार रास्तों और यहाँ तक कि परेशान करने वाले पॉप-अप को संभालने वाली लंबी, जटिल यात्राओं की योजना बनाई जा सके। इसका परिणाम अभ्यास के दौरों का एक विशाल डेटासेट है जो पहले देखे गए किसी भी डेटा की तुलना में बहुत लंबा और अधिक यथार्थवादी है। पेपर सुझाव देता है कि इस नए, कठिन डेटा पर प्रशिक्षण लेने से, रोबोट अव्यवस्थित मोबाइल ऐप्स की दुनिया में नेविगेट करने में बहुत बेहतर हो जाते हैं, और उन कार्यों को सफलतापूर्वक पूरा करते हैं जो पहले उन्हें भ्रमित कर देते थे।

समस्या: ऐप्स के स्टोर में खोते हुए रोबोट

कल्पना कीजिए कि आप एक कुत्ते को एक विशाल, निरंतर बदलते हुए भूलभुलैया (maze) में रास्ता खोजना सिखाने की कोशिश कर रहे हैं। यदि आप उसे केवल एक छोटे, खाली गलियारे में अभ्यास करने देते हैं जहाँ वह पहली बार में ही ट्रीट (treat) पा लेता है, तो वह कभी भी वास्तविक भूलभुलभुलैया को नहीं सीख पाएगा जिसमें डेड एंड (रास्ते का बंद होना), चलती दीवारें और भ्रमित करने वाले संकेत हों। मौजूदा GUI एजेंट्स के साथ अभी बिल्कुल यही हो रहा है।

ये एजेंट AI सिस्टम हैं जिन्हें आपके फोन स्क्रीन को नियंत्रित करने के लिए डिज़ाइन किया गया है। वे स्क्रीन को देखते हैं, समझते हैं कि वहाँ कौन से बटन हैं, और काम पूरा करने के लिए उन्हें दबाते हैं। लेकिन इसे सीखने के लिए, उन्हें लोगों द्वारा ऐप्स इस्तेमाल करने के हजारों उदाहरण देखने की आवश्यकता होती है। समस्या यह है कि हमारे पास मौजूद अधिकांश डेटा उसी खाली गलियारे जैसा है। यह छोटे, सरल कार्यों से भरा है जहाँ सब कुछ पूरी तरह से सही रहता है। हालाँकि, वास्तविक मोबाइल ऐप्स एक हलचल भरे शहर की तरह हैं। उनमें सैकड़ों बटन होते हैं, विज्ञापनों के पॉप-अप दृश्य को बाधित करते हैं, और "होम" से "चेकआउट" तक पहुँचने के लिए लंबे, घुमावदार रास्ते होते हैं।

डेटा बनाने के वर्तमान तरीके या तो बहुत महंगे हैं (हर गतिविधि को रिकॉर्ड करने के लिए इंसानों को काम पर रखना) या बहुत अनाड़ी (AI को बस बेतरतीब ढंग से क्लिक करने देना)। रैंडम क्लिकिंग एक नक्शे पर तीर मारने जैसा है; आप लक्ष्य को छू सकते हैं, लेकिन आप ज्यादातर दीवार से टकराएंगे। यह उन दुर्लभ लेकिन महत्वपूर्ण क्षणों को चूक जाता है, जैसे कि जब कोई अनुमति (permission) पॉप-अप दिखाई दे तो कैसे संभलना है या कैसे एक जटिल मेनू में नेविगेट करना है। इस कारण से, जब ये AI एजेंट वास्तविक ऐप का उपयोग करने की कोशिश करते हैं, तो वे अक्सर फंस जाते हैं, विकल्पों की भारी संख्या या कार्य पूरा करने के लिए आवश्यक लंबी श्रृंखलाओं से भ्रमित हो जाते हैं।

समाधान: यात्रा से पहले एक नक्शा बनाना

SEE (स्ट्रक्चर-अवेयर एक्सप्लोरिंग एंड एक्सप्लॉयटिंग) के पीछे के शोधकर्ताओं ने तीर फेंकना बंद करने और नक्शा बनाना शुरू करने का निर्णय लिया। उनका दृष्टिकोण एक दो-चरणीय प्रक्रिया है जो इस तरह नकल करती है जैसे कोई इंसान नए शहर को सीखता है: पहले, खोजें और मानचित्र बनाएं; दूसरा, सर्वोत्तम मार्गों की योजना बनाएं।

चरण 1: द एक्सप्लोरर (मानचित्र बनाना)
पहले चरण में, AI एजेंट एक जिज्ञासु खोजकर्ता की भूमिका निभाता है। केवल बेतरतीब ढंग से क्लिक करने के बजाय, वह ऐप के लेआउट को खोजने के लिए एक स्मार्ट रणनीति का उपयोग करता है। वह स्क्रीन को देखता है, बटनों और आइकनों की पहचान करता है, और खुद से पूछता है, "अगर मैं इसे दबाऊं तो क्या होगा?"

• "स्ट्रक्चर-अवेयर" (संरचना-जागरूक) हिस्सा: एजेंट केवल एक तस्वीर नहीं देखता; वह संरचना को समझता है। वह जानता है कि एक "बैक" बटन आमतौर पर आपको पिछले स्क्रीन पर ले जाता है, और एक "सर्च" बार एक नए पेज की ओर ले जाता है।
• "रिफ्लेक्शन" (चिंतन) हिस्सा: हर टैप के बाद, एजेंट सोचने के लिए रुकता है। "क्या यह काम आया? क्या मैं वास्तव में उस नए पेज पर पहुँचा जिसकी मुझे उम्मीद थी, या मुझे सिर्फ एक पॉप-अप मिला?" यदि क्रिया तर्कसंगत थी और एक नए स्टेट की ओर ले गई, तो वह उस कनेक्शन को अपने मानसिक मानचित्र में जोड़ देता है। यदि वह एक डेड एंड था या गलती थी, तो वह उसे भी नोट करता है।
• परिणाम: यह प्रक्रिया एक ट्रांजिशन ग्राफ बनाती है। एक सबवे मैप की कल्पना करें जहाँ हर स्टेशन फोन की एक स्क्रीन है, और हर लाइन एक बटन है जिसे आप दबा सकते हैं। इस मानचित्र में न केवल आसान रास्ते शामिल हैं, बल्कि कठिन रास्ते भी हैं, जैसे कि "साइन इन" की बाधा को पार करना या सिस्टम नोटिफिकेशन को संभालना।

चरण 2: द प्लानर (मार्गों का निर्माण)
एक बार मानचित्र बन जाने के बाद, दूसरा चरण शुरू होता है। यहीं पर लॉन्ग-होरिज़न (लंबी अवधि के) कार्यों का जादू होता है। हर बार शुरुआत से पूरी यात्रा की योजना बनाने के बजाय, प्लानर मानचित्र को देखता है।

• वह एक शुरुआती बिंदु (जैसे होम स्क्रीन) और एक गंतव्य (जैसे "पेमेंट" स्क्रीन) चुनता है।
• फिर वह पथ खोजने के लिए मानचित्र का उपयोग करता है। लेकिन सबसे खास बात यह है कि यह जटिल यात्राओं की योजना बना सकता है। यह कह सकता है, "चलिए होम से 'एनीमे' सेक्शन तक चलते हैं, फिर एक विशिष्ट शर्ट ढूंढते हैं, उसे विशलिस्ट में जोड़ते हैं, और अंत में उसे शेयर करते हैं।"
• क्योंकि यह पहले से बने मानचित्र का उपयोग कर रहा है, इसे अनुमान लगाने की आवश्यकता नहीं है। इसे पता है कि एक स्क्रीन से दूसरी स्क्रीन तक जाने के लिए कौन से बटन दबाने हैं। यह यहाँ तक कि "सब-गोल्स" (उप-लक्ष्य) भी बना सकता है, यानी एक बड़े कार्य को छोटे, प्रबंधनीय हिस्सों में तोड़ सकता है।

यह विधि SEE को हजारों अभ्यास दौर (practice runs) उत्पन्न करने की अनुमति देती है जो औसतन 14.8 स्टेप्स लंबे होते हैं। इसे समझने के लिए, कई मौजूदा डेटासेट्स में ऐसे कार्य होते हैं जो लगभग 5 से 8 स्टेप्स के होते हैं। SEE रोबोट्स को केवल ब्लॉक के चारों ओर दौड़ने के बजाय मैराथन दौड़ना सिखा रहा है।

उन्होंने क्या पाया: एक कठिन, स्मार्ट प्रशिक्षण मैदान

शोधकर्ताओं ने इस नई विधि का परीक्षण करने के लिए एक डेटासेट बनाया जिसे SEE कहा गया और देखा कि यह दूसरों की तुलना में कैसा है। परिणाम काफी प्रभावशाली थे, लेकिन उन्होंने यह भी उजागर किया कि वास्तविक दुनिया में फोन का उपयोग करना वास्तव में कितना कठिन है।

1. डेटा बहुत समृद्ध है
SEE डेटासेट जटिलता से भरा है। जबकि अन्य डेटासेट्स में लगभग 14 बटन वाले स्क्रीन हो सकते हैं, SEE के स्क्रीन में औसतन 24.63 इंटरैक्टिव तत्व हैं। इसका मतलब है कि AI को एक बहुत ही भीड़भाड़ वाले और भ्रमित करने वाले समूह में से सही बटन चुनने के लिए सीखना होगा। कार्य भी लंबे हैं, जिनमें प्रति यात्रा औसतन 14.8 स्टेप्स होते हैं, जबकि अन्य डेटासेट्स में कार्य बहुत छोटे होते हैं।

2. रोबोट संघर्ष करते हैं (लेकिन सीखते हैं)
जब शोधकर्ताओं ने मौजूदा AI एजेंटों का इस नए, कठिन डेटा पर परीक्षण किया, तो एजेंटों ने बहुत अच्छा प्रदर्शन नहीं किया। वे अक्सर आवश्यक क्रिया के प्रकार (जैसे "टैप" या "स्वाइप") का अनुमान लगा सकते थे, लेकिन वे सही बटन चुनने में विफल रहे। इसे "ग्राउंडिंग" (grounding) की समस्या कहा जाता है। यह यह जानने जैसा है कि आपको बाएं मुड़ना है, लेकिन गलत सड़क पर बाएं मुड़ जाना।

• सफलता दर: बिना अतिरिक्त प्रशिक्षण के, सबसे अच्छे मॉडल भी टेस्ट सेट पर लगभग 39.92% की सफलता दर हासिल कर सके।
• बाधा: मुख्य समस्या चरणों की योजना बनाना नहीं थी; बल्कि स्क्रीन पर दिखने वाले एक जैसे दिखने वाले बटनों में से सही बटन को ढूँढना था।

3. SEE पर प्रशिक्षण करने से बड़ा अंतर पड़ता है
हालाँकि, जब उन्होंने एक AI मॉडल को लिया और उसे SEE डेटा पर फाइन-ट्यून (विशेष रूप से प्रशिक्षित) किया, तो परिणाम काफी बढ़ गए।

• फाइन-ट्यून किए गए मॉडल के लिए सफलता दर बढ़कर 77.29% हो गई।
• सही बटन चुनने की क्षमता (ग्राउंडिंग एक्यूरेसी) 60.79% से बढ़कर 69.91% हो गई।
• और भी महत्वपूर्ण बात यह है कि इस प्रशिक्षण ने रोबोट्स को उन अन्य ऐप्स पर भी बेहतर प्रदर्शन करने में मदद की जिन्हें उन्होंने पहले नहीं देखा था। यह सुझाव देता है कि इन जटिल, लंबे कार्यों पर सीखने से AI को ऐसी सामान्य कौशल प्राप्त होते हैं जो नई स्थितियों में भी काम आते हैं।

4. मानचित्र मायने रखता है
शोधकर्ताओं ने यह भी जाँच की कि क्या उनका "मैप-बिल्डिंग" (एक्सप्लोरेशन चरण) वास्तव में काम कर रहा था। उन्होंने पाया कि "रिफ्लेक्शन" (चिंतन) वाला चरण—जहाँ AI यह दोबारा जाँचता है कि क्या उसकी चाल तर्कसंगत थी—अत्यंत महत्वपूर्ण था। इसके बिना, मानचित्र में बहुत सारी त्रुटियाँ थीं (लगभग 27.1% गलत कनेक्शन)। रिफ्लेक्शन चरण के साथ, मानचित्र बहुत अधिक साफ हो गया, जिसमें केवल 9.1% त्रुटियाँ थीं। यह साबित करता है कि यह सोचने के लिए थोड़ा समय लेना कि अभी क्या हुआ, पूरे सिस्टम को बहुत अधिक विश्वसनीय बनाता है।

यह क्यों मायने रखता है

पेपर सुझाव देता है कि हम केवल मानव प्रदर्शनों (human demonstrations) पर अधिक पैसा खर्च करके या इस उम्मीद में कि रैंडम क्लिकिंग रोबोट्स को फोन चलाना सिखा देगी, सफल नहीं हो सकते। वास्तविक दुनिया बहुत जटिल है। एक स्ट्रक्चर-अवेयर दृष्टिकोण का उपयोग करके जो पहले एक मानचित्र बनाता है और फिर लंबी, यथार्थवादी यात्राओं की योजना बनाता है, हम ऐसा प्रशिक्षण डेटा बना सकते है जो वास्तव में मोबाइल ऐप्स की वास्तविक दुनिया के लिए AI को तैयार करता है।

SEE फ्रेमवर्क दिखाता है कि सही प्रकार के अभ्यास के साथ—लंबा, जटिल और वास्तविक दुनिया के विकर्षणों से भरा हुआ—AI एजेंट डिजिटल दुनिया में बहुत अधिक प्रभावी ढंग से नेविगेट करना सीख सकते हैं। यह उन रोबोट्स की ओर एक कदम है जो केवल सरल निर्देशों का पालन नहीं करते, बल्कि यह भी समझ सकते हैं कि हमारे स्मार्टफोन की अराजक और निरंतर बदलती दुनिया में काम कैसे पूरा किया जाए। हालाँकि अभी भी बहुत कुछ किया जाना बाकी है (सफलता दर अभी भी पूर्ण नहीं है), यह दृष्टिकोण हमारे डिजिटल सहायकों को वास्तव में उपयोगी बनाने के लिए एक आशाजनक मार्ग प्रदान करता है।