🤖 AI

CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications

CoAdapt-GUI एक टेस्ट-टाइम अडैप्टेशन फ्रेमवर्क है जो LoRA के माध्यम से एक टास्क-विशिष्ट पॉलिसी को अनुकूलित करने और एजेंट के अपने इंटरैक्शन से ट्रांसफरेबल वर्कफ़्लो कॉन्टेक्स्ट को रिफाइन करने के माध्यम से अनसीन एप्लिकेशन्स के लिए मोबाइल GUI एजेंट के सामान्यीकरण (जनरलाइजेशन) में सुधार करता है, जिससे बेसलाइन विधियों की तुलना में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।

मूल लेखक: Linqiang Guo (Peter), Li Gu (Peter), Zihuan Jiang (Peter), Zhixiang Chi (Peter), Siobhan Reid (Peter), Ziqiang Wang (Peter), Yuanhao Yu (Peter), Wei Liu (Peter), Yang Wang (Peter), Tse-Hsun (Peter)

प्रकाशित 2026-08-13

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Linqiang Guo (Peter), Li Gu (Peter), Zihuan Jiang (Peter), Zhixiang Chi (Peter), Siobhan Reid (Peter), Ziqiang Wang (Peter), Yuanhao Yu (Peter), Wei Liu (Peter), Yang Wang (Peter), Tse-Hsun (Peter), Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को डिजिटल दुनिया में नेविगेट करना सिखा रहे हैं। यह रोबोट एक "GUI एजेंट" है, एक स्मार्ट सहायक जो फोन की स्क्रीन देख सकता है, जो वह देखता है उसे पढ़ सकता है, और आपके निर्देशों का पालन करने के लिए बटन दबा सकता है, जैसे "फ्लाइट बुक करें" या "एक टेक्स्ट भेजें"। कुछ समय के लिए, ये रोबोट काफी अच्छे होते आए हैं, लेकिन केवल तभी जब वे उन्हीं ऐप्स पर अभ्यास करते हैं जिनका वे बाद में उपयोग करेंगे। यह एक ऐसे छात्र की तरह है जो एक विशिष्ट गणित परीक्षण के उत्तरों को रट लेता है लेकिन एक नई पाठ्यपुस्तक देखते ही जम जाता है। असली चुनौती तब आती है जब रोबोट किसी ऐसे ऐप से मिलता है जिसे उसने पहले कभी नहीं देखा है, जिसमें ऐसे बटन और मेनू हैं जिन्हें वह पहचानता नहीं है। यह "अनसीन एप्लिकेशन" (unseen application) की समस्या है। वैज्ञानिक यह पता लगाने की कोशिश कर रहे हैं कि इन रोबोटों को ऑन-द-फ्लाई (on the fly) सीखना कैसे सिखाया जाए, ताकि वे हर बार किसी इंसान द्वारा उन्हें रास्ता दिखाने की आवश्यकता के बिना, बस कुछ ही प्रयासों में यह समझ सकें कि एक नया ऐप कैसे काम करता है।

यह शोध पत्र एक चतुर नए सिस्टम को पेश करता है जिसे CoAdapt-GUI कहा जाता है, जो इन रोबोट एजेंटों को नए ऐप्स के अनुकूल पहले की तुलना में बहुत बेहतर तरीके से ढलने में मदद करता है। रोबोट के दिमाग को दो भागों के रूप में सोचें: एक "पॉलिसी" (policy), जो टैप करने और स्वाइप करने के लिए उसकी सहज प्रवृत्ति है, और एक "वर्कफ़्लो" (workflow), जो एक काम को पूरा करने के चरणों और नियमों की मानसिक चेकलिस्ट है। रोबोट को नए ऐप्स सीखने में मदद करने के पिछले प्रयासों ने मुख्य रूप से केवल उनकी सहज प्रवृत्ति (पॉलिसी) को बदलने की कोशिश की, जबकि उनकी चेकलिस्ट को अनदेखा कर दिया। लेखकों ने पाया कि यह पर्याप्त नहीं है। यदि रोबोट की चेकलिस्ट उन पुराने ऐप्स के विशिष्ट विवरणों से भरी है जिन्हें वह जानता है (जैसे "होम स्क्रीन पर नीला बटन खोजें"), तो वह भ्रमित हो जाता है जब नए ऐप में एक अलग जगह पर लाल बटन होता है।

CoAdapt-GUI इसे दो चीजें एक साथ करके हल करता है। पहला, यह रोबोट की चेकलिस्ट के लिए एक सख्त संपादक (editor) के रूप में कार्य करता है। यह रोबोट द्वारा जाने गए सामान्य नियमों (जैसे "यदि आप फंस जाते हैं, तो पीछे जाने का प्रयास करें") को लेता है लेकिन पुराने ऐप्स के किसी भी विशिष्ट विवरण (जैसे "बैक बटन ऊपर बाईं ओर है") को हटा देता है। यह एक "साफ" मार्गदर्शिका बनाता है जो कहीं भी काम कर सकती है। दूसरा, यह रोबोट को नए ऐप पर अभ्यास करने और जो काम करता है और जो विफल होता है उसके आधार पर अपनी सहज प्रवृत्ति (पॉलिसी) को अपडेट करने की अनुमति देता है। जादू इसलिए होता है क्योंकि ये दोनों भाग एक-दूसरे की मदद करते हैं: साफ चेकलिस्ट रोबोट को बेहतर अभ्यास करने में मदद करती है, और अभ्यास के परिणाम रोबोट को अपनी चेकलिस्ट को परिष्कृत करने में मदद करते हैं।

शोधकर्ताओं ने AndroidWorld नामक एक डिजिटल प्लेग्राउंड में इस सिस्टम का परीक्षण किया। एक परीक्षण में, जहाँ रोबोट को परिचित कार्यों के नए संस्करणों को संभालना था, CoAdapt-GUI 45.0% बार सफल रहा। यह पिछले सर्वश्रेष्ठ तरीके की तुलना में एक महत्वपूर्ण उछाल था, जो केवल 37.5% तक ही पहुँच पाया था। एक कठिन परीक्षण में, जहाँ रोबोट को पूरी तरह से नए प्रकार के कार्यों को सीखना था जो उसने पहले कभी नहीं देखे थे, सिस्टम ने सफलता दर को 38.6% से बढ़ाकर 52.9% कर दिया। शोध पत्र सुझाव देता है कि "क्या करना है" (वर्कफ़्लो) को "कैसे करना है" (पॉलिसी) से अलग करके और उपयोग करने से पहले निर्देशों को साफ करके, रोबोट बहुत अधिक लचीले और वास्तविक दुनिया के लिए तैयार हो सकते हैं, जहाँ ऐप्स हमेशा बदलते रहते हैं।

तकनीकी सारांश: CoAdapt-GUI

समस्या विवरण
मोबाइल GUI एजेंट वर्तमान में उन अनुप्रयोगों (applications) के परिनियोजन (deployment) में अत्यंत नाजुक (brittle) व्यवहार प्रदर्शित करते हैं जो उनके स्रोत प्रशिक्षण डेटा (source training data) में अनुपस्थित होते हैं। जबकि हालिया प्रगति ने स्थापित बेंचमार्क पर प्रदर्शन में सुधार किया है, ये मूल्यांकन अक्सर पूर्वनिर्धारित अनुप्रयोगों और वर्कफ्लो के संग्रह को मान लेते हैं। वास्तविक दुनिया के परिनियोजन में, एजेंट ऐसे "अनदेखे" (unseen) अनुप्रयोगों का सामना करते हैं जहाँ इंटरफ़ेस तत्व और कार्य प्रक्रियाएं दोनों ही नवीन होती हैं। सामान्यीकरण (generalization) के मौजूदा दृष्टिकोण, जैसे कि लक्ष्य अंतःक्रियाओं (target interactions) पर ऑनलाइन सुदृढीकरण शिक्षण (RL), अक्सर केवल नीति (policy) अनुकूलन पर ध्यान केंद्रित करते हैं। हालाँकि, एक परिचित इंटरफ़ेस के भीतर नए कार्यों में सफलता, एक अपरिचित अनुप्रयोग में प्रभावी व्यवहार की गारंटी नहीं देती है। एजेंट इंटरफ़ेस-विशिष्ट ग्राउंडिंग समस्याओं या प्रक्रियात्मक वर्कफ्फ़्लो ज्ञान (जैसे, पूर्णता स्थितियाँ, विफलता रिकवरी) की कमी के कारण विफल हो सकते हैं। केवल नीति या केवल वर्कफ्फ़्लो संदर्भ को अपडेट करना महत्वपूर्ण विफलताओं को अनसुलझा छोड़ देता है, विशेष रूप से क्रॉस-एप्लिकेशन शिफ्ट के तहत जहाँ स्रोत अनुभव में नकारात्मक स्थानांतरण (app-specific विवरण) हो सकता है जो अनुकूलन में बाधा डालता है।

कार्यप्रणाली: CoAdapt-GUI
यह शोध पत्र CoAdapt-GUI को प्रस्तुत करता है, जो एक टेस्ट-टाइम अडैप्टेशन (TTA) फ्रेमवर्क है जिसे केवल एजेंट के अपने लक्ष्य-ऐप रोलआउट्स (rollouts) और टास्क-लेवल रिवॉर्ड्स का उपयोग करके एक संरचित वर्कफ्फ़्लो संदर्भ (workflow context) और एक नीति (policy) को संयुक्त रूप से अनुकूलित करने के लिए डिज़ाइन किया गया है, जिसमें लक्ष्य प्रदर्शनों (demonstrations) या होल्ड-आउट मूल्यांकन संकेतों तक पहुँच की आवश्यकता नहीं होती है।

यह फ्रेमवर्क दो पूरक अनुकूलन अवस्थाओं (adaptive states) पर कार्य करता है:

ट्रांसफर-कन्स्ट्रेंड वर्कफ्फ़्लो संदर्भ ( $M_t$ ):
- चिंताओं का पृथक्करण (Separation of Concerns): सिस्टम ऐप-बाउंड स्रोत अवस्था (स्क्रीन, निर्देशांक, विशिष्ट पहचानकर्ता) और स्थानांतरणीय प्रक्रियात्मक ज्ञान (अमूर्त प्रक्रियाएं, विफलता मोड, सत्यापन नियम) के बीच अंतर करता है।
- FSM-ग्राउंडेड प्रतिनिधित्व: स्रोत वर्कफ्फ़्लो को परिमित-अवस्था मशीनों (Finite-State Machines - FSMs) के रूप में दर्शाया जाता है। एक "फ्रोजन सिंथेसाइज़र" पात्रता विधेयकों (eligibility predicates) और स्कीमा वैलीडेटर्स के माध्यम से ऐप-बाउंड विवरणों को फ़िल्टर करके एक स्थानांतरणीय अवस्था ( $M_{tr}$ ) का निर्माण करता है।
- लक्ष्य-ग्राउंडेड संशोधन: अनुकूलन के दौरान, एजेंट एक अलग लक्ष्य-ग्राउंडेड अवस्था ( $M_{t}^{tgt}$ ) बनाए रखता है। एक "फ्रोजन रिफ्लेक्टर" मैच किए गए रोलआउट्स से सफल और विफल ट्रेसेस (traces) के बीच अंतर करता है ताकि वर्कफ्फ़्लो संदर्भ के संशोधनों का प्रस्ताव दिया जा सके। इन संशोधनों को जनसंख्या (population) में प्रवेश करने से पहले एक टाइप किए गए स्कीमा (ऐप नाम, पैकेज आईडी आदि को छोड़कर) के विरुद्ध मान्य किया जाता है।
- रिट्रीवल (Retrieval): एक लक्ष्य कार्य के लिए, सिस्टम बाध्यबद्ध, पात्रता-प्रतिबंधित स्रोत वर्कफ्फ़्लो संदर्भ ( $M_0$ ) को पुनर्प्राप्त करता है और इसे विकसित हो रही लक्ष्य-ग्राउंडेड अवस्था के साथ जोड़ता है।
टास्क–कॉन्टेक्स्ट-मैच्ड पॉलिसी अडैप्टेशन:
- आर्किटेक्चर: नीति एक विज़न-लैंग्वेज मॉडल (VLM) है जिसका एक फ्रोजन बैकबोन और एक ट्रेन करने योग्य LoRA एडॉप्टर ( $\theta_t$ ) है।
- ग्रुप-रिलेटिव ऑप्टिमाइज़ेशन: संदर्भ विविधताओं से हस्तक्षेप को रोकने के लिए, नीति अपडेट केवल उसी कार्य और समान संदर्भ स्थिति साझा करने वाले रोलआउट्स ( $G(q, \kappa)$ ) के बीच गणना किए जाते हैं।
- उद्देश्य: फ्रेमवर्क इन मैच किए गए समूहों के भीतर लाभ (advantages - $A_j$ ) के आधार पर LoRA मापदंडों को अपडेट करने के लिए एक ग्रुप-रिलेटिव ऑब्जेक्टिव (Shao et al., 2024) का उपयोग करता है। यह सुनिश्चित करता है कि क्रेडिट असाइनमेंट नीति सुधारों को दर्शाता है न कि कार्य की कठिनाई या संदर्भ मार्गदर्शन के अंतर को।
संयुक्त अनुकूलन लूप (Joint Adaptation Loop):
- फ्रेमवर्क नियंत्रित रीसेट स्थितियों के तहत मैच किए गए रोलआउट्स को निष्पादित करता है।
- एक ही रोलआउट स्ट्रीम दो चैनलों को संचालित करती है:
  - कॉन्टेक्स्ट चैनल: संदर्भ वेरिएंट के रेटिंग को अपडेट करता है और मान्य चाइल्ड संशोधनों का प्रस्ताव देता है।
  - पॉलिसी चैनल: संचित ट्राजेक्टरीज (trajectories) का उपयोग करके LoRA एडॉप्टर को अपडेट करता है, लेकिन केवल तभी जब वैध टास्क-कॉन्टेक्स्ट तुलना समूह मौजूद हों।
- अपडेट्स इंटरैक्शन-कपल्ड (interaction-coupled) हैं लेकिन संयुक्त रूप से डिफरेंशिएबल (jointly differentiable) नहीं हैं; वर्तमान संदर्भ नीति सीखने के लिए ट्राजेक्टरीज को आकार देता है, जबकि वर्तमान नीति वर्कफ्फ़्लो को संशोधित करने के लिए उपयोग किए जाने वाले सफलता/विफलता संकेतों को उत्पन्न करती है।

प्रमुख योगदान

संयुक्त लक्ष्य-पक्ष अनुकूलन (Joint Target-Side Adaptation): एक TTA फ्रेमवर्क जो केवल स्वायत्त लक्ष्य अंतःक्रियाओं और रिवॉर्ड्स का उपयोग करके अलग-अलग वर्कफ्फ़्लो-संदर्भ और नीति अवस्थाओं को अपडेट करता है, जिससे लक्ष्य प्रदर्शनों की आवश्यकता समाप्त हो जाती है।
ट्रांसफर-कन्स्ट्रेंड अडैप्टेशन: एक तंत्र जो स्थानांतरणीय वर्कफ्फ़्लो ज्ञान को ऐप-बाउंड स्रोत अवस्था से अलग करता है। यह रिवॉर्ड-गाइडेड अपडेट को समन्वित करता है जहाँ संदर्भ संशोधनों को स्कीमा चेक द्वारा मान्य किया जाता है, और पॉलिसी क्रेडिट को सख्ती से मैच किए गए टास्क-कॉन्टेक्स्ट समूहों के भीतर संगणित किया जाता है।
व्यापक मूल्यांकन: फ्रेमवर्क का मूल्यांकन दो स्तरों पर सामान्यीकरण के लिए किया गया है:
- इंस्टेंस जनरलाइजेशन (Instance Generalization): ज्ञात टास्क टेम्पलेट्स के नए इंस्टेंस (AndroidWorld-Generalization)।
- टास्क-टाइप जनरलाइजेशन (Task-Type Generalization): अनदेखे ऐप्स के भीतर पूरी तरह से नए टास्क टेम्पलेट्स (AndroidWorld Plus)।

प्रायोगिक परिणाम
लेखकों ने बेस पॉलिसी, स्टैटिक कॉन्टेक्स्ट ट्रांसफर, पॉलिसी-ओनली TTA, और कॉन्टेक्स्ट-ओनली TTA सहित बेसलाइन्स के विरुद्ध CoAdapt-GUI का मूल्यांकन किया।

AndroidWorld-Generalization (नए टास्क इंस्टेंस):
- CoAdapt-GUI ने 45.0% सफलता दर प्राप्त की।
- इसने रिपोर्ट किए गए पॉलिसी-ओनली TTA बेसलाइन (37.5%) से 7.5 प्रतिशत अंक और कॉन्टेक्स्ट-ओनली TTA (35.0%) से 10.0 प्रतिशत अंक अधिक प्रदर्शन किया।
- स्टैटिक कॉन्टेक्स्ट ट्रांसफर ने 28.75% प्राप्त किया।
AndroidWorld Plus (नए टास्क टेम्पलेट्स):
- इस सेटिंग ने अनुकूलन के दौरान देखे गए टास्क प्रकारों में स्थानांतरण का परीक्षण किया।
- CoAdapt-GUI ने समग्र सफलता दर को बेस पॉलिसी के 38.6% से बढ़ाकर 52.9% कर दिया।
- कॉन्टेक्स्ट-ओनली TLA ने बेस को 48.1% तक सुधारा, जबकि पॉलिसी-ओनली TTA केवल 40.0% तक पहुँच सका।
- कैटेगरी-शेयर्ड ऐप्स (जहाँ स्रोत वर्कफ्फ़्लो को पुनर्प्राप्त किया जा सकता था), CoAdapt-GUI ने 70.4% की सफलता दर प्राप्त की।
- कैटेगरी-नोवेल ऐप्स (कोई स्रोत वर्कफ्फ़्लो उपलब्ध नहीं) में, CoẠdapt-GUI ने अभी भी सफलता को 29.4% (बेस) से बढ़ाकर 34.3% कर दिया, जो बिना स्रोत प्रायर (prior) के भी लक्ष्य-ग्राउंडेड अनुकूलन की प्रभावकारिता को प्रदर्शित करता है।

महत्व और दावे
पेपर का दावा है कि ट्रांसफर-कन्स्ट्रेंड वर्कफ्फ़्लो संदर्भ नवीन-ऐप जनरलाइजेशन के लिए पर्याप्त लाभ प्रदान करता है, और संयुक्त रूप से नीति को अनुकूलित करने से होल्ड-आउट प्रदर्शन में और सुधार होता है। परिणाम सुझाव देते हैं कि:

वर्कफ्फ़्लो अनुकूलन महत्वपूर्ण है: वर्कफ्फ़्लो संदर्भ को अनुकूलित करना (कॉन्टेक्स्ट-ओनली TTA) स्टैटिक ट्रांसफर या पॉलिसी-ओनली अपडेट की तुलना में महत्वपूर्ण सुधार प्रदान करता है, विशेष रूप से नए टास्क प्रकारों वाले परिदृश्यों में।
संयुक्त अनुकूलन का तालमेल: कॉन्टेक्स्ट और पॉलिसी अनुकूलन का संयोजन (CoAdapt-GUI) सर्वोत्तम समग्र प्रदर्शन प्राप्त करता है, जो इंग यह दर्शाता है कि दोनों अवस्थाएँ अलग लेकिन पूरक चैनल हैं।
स्रोत शिफ्ट के प्रति मजबूती: फ्रेमवर्क प्रभावी ढंग से उन परिदृश्यों को संभालता है जहाँ स्रोत वर्कफ्फ़्लो उपलब्ध नहीं हैं (कैटेगरी-नोवेल ऐप्स), जो शून्य से लक्ष्य-ग्राउंडेड ज्ञान का निर्माण करके।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण विजातीय (disjoint) स्रोत और लक्ष्य पूल्स का उपयोग करके, अनुकूलन स्प्लिट तक अपडेट को प्रतिबंधित करके और मूल्यांकन से पहले अवस्थाओं को फ्रीज करके सूचना रिसाव (information leakage) से बचता है। वे निष्कर्ष निकालते हैं कि CoAdapt-GUI अनदेखे अनुप्रयोगों के लिए सीमित इंटरैक्शन बजट का उपयोग करके स्वायत्त रूप से अनुकूलित होने में सक्षम GUI एजेंटों को तैनात करने का एक व्यवहार्य मार्ग प्रदान करता है।

तकनीकी सारांश: CoAdapt-GUI

इसी तरह के और पेपर