GUI agent: Guided Exploration of User-Sensitive Screens

तकनीकी सारांश: GUI एजेंट: उपयोगकर्ता-संवेदनशील स्क्रीनों का निर्देशित अन्वेषण

समस्या विवरण
लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को ओपन ग्राफिकल यूजर इंटरफेस (GUI) वातावरण के भीतर कार्यों को स्वचालित करने के लिए तेजी से तैनात किया जा रहा है। हालांकि, ये एजेंट अनिवार्य रूप से ऐसी स्क्रीनों का सामना करते हैं जिनमें उपयोगकर्ता-संवेदनशील जानकारी (जैसे, वित्तीय डेटा, निजी संदेश) होती है, जहाँ स्वायत्त निष्पादन गोपनीयता और सुरक्षा के लिए जोखिम पैदा करता है। वर्तमान अत्याधुनिक (state-of-the-art) LLM-संचालित एजेंट आमतौर पर सुरक्षा निहितार्थों की परवाह किए बिना कार्यों को पूरा करने के लिए फाइन-ट्यून किए जाते हैं, जिससे उनका वास्तविक दुनिया में परिनियोजन कठिन हो जाता है और विश्वसनीयता कम हो जाती है। इसके अलावा, GUI एजेंट वर्कफ़्लो अक्सर क्लोज्ड लूप में संचालित होते हैं जहाँ क्रियाएं अपरिवर्तनीय होती हैं (जैसे, फ़ाइलें हटाना, ईमेल भेजना), और एक एकल त्रुटि भी कैस्केडिंग विफलताओं (cascading failures) का कारण बन सकती है। यह पहचानना और वर्गीकृत करना कि उपयोगकर्ता-संवेदनशील अवस्थाएँ क्या हैं और "उपयोगकर्ता-संवेदनशील क्वेरीज़" को परिभाषित करना अत्यंत आवश्यक है ताकि एजेंट यह पहचान सकें कि कब मानव हैंडओवर (human handover) का अनुरोध करना है। मौजूदा अन्वेषण विधियों में अक्सर समाधान स्थान (solution space) की कठोर कवरेज का अभाव होता है या वे विशेष रूप से उपयोगकर्ता-संवेदनशील अवस्थाओं को लक्षित करने में विफल रहते हैं।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक एक्सप्लोरर एजेंट (Explorer Agent) पर केंद्रित एक ढांचे का प्रस्ताव करता जिसे एक एकल प्रदर्शित कार्य (demonstrated task) से शुरू होकर, GUI एप्लिकेशन के क्वेरी स्पेस का व्यवस्थित अन्वेषण करने और ऐसी क्वेरीज़ की पहचान करने के लिए डिज़ाइन किया गया है जो उपयोगकर्ता-संवेदनशील अवस्थाओं की ओर ले जाती हैं। यह ढांचा दो मॉडलों का उपयोग करता है:

1. नेटिव LM (Native LM): निष्पादन के दौरान क्रियाओं को निर्धारित करता है (जैसे, M3A)।
2. एक्सप्लोरर LM (Explorer LM): मुख्य योगदान, जिसे शुद्ध अन्वेषण (pure exploration) के उद्देश्य से पुनरावृत्ति (iteratively) के साथ प्रशिक्षित किया जाता है। इसकी पॉलिसी उन नोड्स को एक्सप्लोर करने का निर्णय लेती है जो नोड्स की नवीनता (novelty) और उपयोगकर्ता संवेदनशीलता से प्राप्त पुरस्कारों (rewards) पर आधारित होते हैं।

कार्यप्रणाली एक पुनरावृत्ति प्रशिक्षण लूप (एल्गोरिदम 1) का अनुसरण करती है जिसमें तीन मुख्य चरण शामिल हैं:

• क्वेरी चयन, विस्तार और संतृप्ति (Query Selection, Expansion, and Saturation):

  • एक्सप्लोरर LM एक आधारभूत प्रक्षेपवक्र ($T_0$) और एक निर्देश के आधार पर बैचों में क्वेरीज़ ($N \times M$ एपिसोड) उत्पन्न करता है।
  • एक क्वेरी चयन एल्गोरिदम ($A_{sel}$) इन क्वेरीज़ को फ़िल्टर करता है। यह वेक्टर प्रतिनिधित्व (vectorized representations) की गणना करता है और केवल उन्हीं क्वेरीज़ को रखने के लिए कोसाइन सिमिलरिटी (cosine similarity) का उपयोग करता है जो नवीन (मौजूदा पूल और बैच के भीतर कम समानता वाली) हैं और प्रारंभिक प्रक्षेपवक्र से भिन्न हैं।
  • एक सैचुरेशन चेक एल्गोरिदम ($A_{sat}$) पीढ़ी प्रक्रिया की निगरानी करता है। यह प्रति बैच रिटेन की गई क्वेरीज़ की संख्या के लिए लीनियर और पॉलीनोमियल कर्व्स को फिट करता है ताकि उस इन्फ्लेक्शन पॉइंट (inflection point) का पता लगाया जा सके जहाँ मॉडल नवीन क्वेरीज़ बनाना बंद कर देता है, जो संतृप्ति (saturation) का संकेत देता है।

• एम्युलेटर के साथ रोल-आउट (Roll-out with Emulator):

  • चुनी गई क्वेरीज़ को एंड्रॉइड एम्युलेटर (SPABench सेटअप का उपयोग करके) में निष्पादित किया जाता है।
  • नेटिव LM क्रियाओं को निष्पादित करता है, और सिस्टम स्क्रीनशॉट और एक्शन लॉग कैप्चर करता है।
  • यह प्रक्रिया क्वेरीज़, स्टेप्स, स्क्रीन विवरण और एम्बेडिंग्स वाले एपिसोड का एक "मेमोरी बैंक" बनाती है।

• प्रशिक्षण (Backpropagation):

  • मानक MCTS बैकप्रोपैगेशन के बजाय, एक्सप्लोरर LM को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करके प्रशिक्षित किया जाता है।
  • प्रशिक्षण का उद्देश्य दोहरा है: (1) सटीक स्टेप्स उत्पन्न करना (प्रॉम्प्ट-रिस्पॉन्स पेयर्स पर सुपरवाइज्ड फाइन-ट्यूनिंग के माध्यम से) और (2) नवीन उपयोगकर्ता-संवेदनशील अवस्थाओं की ओर ले जाने वाली नवीन क्वेरीज़ उत्पन्न करना (एक कस्टम रिवॉर्ड मॉडल के साथ GRPO के माध्यम से)।
  • रिवॉर्ड मॉडलिंग (Reward Modeling): रिवॉर्ड फंक्शन ($R$) तीन नवीनता स्कोर से बना है:
    1. क्वेरी नवीनता (Query Novelty): K-means क्लस्टरिंग इनरशिया और क्लस्टर इंडेक्स पर आधारित।
    2. स्टेप नवीनता (Step Novelty): मेमोरी बैंक के विरुद्ध "actionPurpose" स्टेप्स की कोसाइन सिमिलरिटी पर आधारित।
    3. कैटेगरी नवीनता (Category Novelty): स्क्रीन श्रेणियों की आवृत्ति (विशेष रूप से "क्रिटिक" या संवेदनशील श्रेणियों को फ्लैग करना) पर आधारित।

मुख्य योगदान

1. एक्सप्लोरर एजेंट फ्रेमवर्क: एक एकल उपयोगकर्ता-परिभाषित प्रक्षेपवक्र से उपयोगकर्ता-संवेदनशील क्वेरीज़ और स्क्रीनों को अलग करने के लिए एक नया एल्गोरिदम, जो पिछले पुनरावृत्तियों से अनुभव डिस्टिलेशन (experience distillation) का उपयोग करता है।
2. नवीनता-संचालित रिवॉर्ड सिस्टम: एक कंपोजिट रिवॉर्ड फंक्शन जो एजेंट को अनपेक्षित, संभावित रूप से संवेदनशील अवस्थाओं की ओर निर्देशित करने के लिए क्वेरीज़, स्टेप्स और स्क्रीन श्रेणियों की नवीनता को मापता है।
3. सैचुरेशन डिटेक्शन: यह निर्धारित करने के लिए एक एल्गोरिथम दृष्टिकोण कि अन्वेषण स्थान (exploration space) को पर्याप्त रूप से कवर कर लिया गया है, जिससे अनावश्यक प्रशिक्षण पुनरावृत्तियों को रोका जा सके।
4. डेटासेट जनरेशन क्षमता: इस पद्धति का उद्देश्य इंजीनियरों को महत्वपूर्ण परिदृश्यों को पहचानने और उपयोगकर्ता हैंडओवर का अनुरोध करने में सहायता करने के लिए उपयोगकर्ता-संवेदनशील क्वेरीज़ का एक डेटासेट तैयार करना है।

परिणाम
लेखकों ने एक्सप्लोरर LM के रूप में Qwen-2.5-32B-Instruct मॉडल का उपयोग करके तीन प्रशिक्षण राउंड आयोजित किए, क्योंकि छोटे मॉडल (Llama3.1-8B, Qwen2.5-3B) प्रारंभिक स्क्रीन से आगे बढ़ने में विफल रहे।

• अभिसरण (Convergence): कुल रिवॉर्ड राउंड के माध्यम से क्रमिक रूप से कई ऑर्डर्स (क्रमों) से कम हुआ ($10^{-2}$ से $10^{-5}$ तक), जो यह दर्शाता है कि एजेंट ने वातावरण को संतृप्त (saturate) करते हुए क्वेरी और स्क्रीन स्पेस को कम कर दिया है।
• संतृप्ति (Saturation): संतृप्ति तक पहुँचने के लिए आवश्यक क्वेरीज़ की संख्या राउंड के साथ काफी कम हो गई (राउंड 1 में 160 क्वेरीज़, राउंड 2 में 100, राउंड 3 में 70)।
• स्टेप सटीकता (Step Accuracy): स्टेप नवीनता स्कोर का मानक विचलन (standard deviation) राउंड 1 (0.0686) से राउंड 2 और 3 (0.0024 और ~0.0068) में काफी गिर गया, जो यह सुझाव देता है कि सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) ने स्टेप भविष्यवाणियों की सटीकता में सुधार किया है।
• इंस्ट्रक्शन ट्यूनिंग: एक राउंड के भीतर बैच नंबर बढ़ने के साथ नवीनता स्कोर कम हुआ, जो यह प्रदर्शित करता है कि इंस्ट्रक्शन ट्यूनिंग बाद के बैचों में नवीन क्वेरीज़ उत्पन्न करने में सक्षम बनाती है।

महत्व और दावे
यह शोध पत्र उपयोगकर्ता-संवेदनशील अवस्थाओं की पहचान करने के लिए GUI क्वेरी स्पेस को स्वायत्त रूप से खोजने के लिए एक व्यवस्थित विधि प्रदान करने का दावा करता है। यह तर्क देता है कि अन्वेषण नीतियों को पुनरावृत्ति (iteratively) के साथ अनुकूलित करके, ढांचा अनपेक्षित अवस्थाओं को प्राथमिकता दे सकता है और स्क्रीन विविधता कवरेज में सुधार कर सकता है। लेखक यह तर्क देते हैं कि बाद के राउंड में क्वेरी स्पेस का सिकुड़ना कवरेज के प्रमाण के रूप में कार्य करता है। वे सुझाव देते हैं कि यह दृष्टिकोण इंजीनियरों को एप्लिकेशन-विशिष्ट उद्देश्यों के लिए प्रशिक्षण डेटासेट डिजाइन करने में मदद कर सकता है और LLM एजेंटों की सुरक्षा में सुधार कर सकता है, जिससे उन्हें यह पहचानने में सक्षम बनाया जा सके कि कब रुकना है और उपयोगकर्ता हस्तक्षेप का अनुरोध करना है। शोध पत्र विनम्रतापूर्वक निष्कर्ष निकालता है कि हालांकि यह पद्धति आशाजनक है, लेकिन उच्च-समानता वाली क्वेरीज़ (जैसे, "नोटिफिकेशन चालू करें" बनाम "नोटिफिकेशन बंद करें") को संभालने और अधिक आक्रामक खोज रणनीतियों को प्राप्त करने के लिए आगे के अन्वेषण की आवश्यकता है।