💬 NLP

UI-Zoomer: Uncertainty-Driven Adaptive Zoom-In for GUI Grounding

यह शोधपत्र UI-Zoomer का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free) अनुकूली ज़ूम-इन फ्रेमवर्क है जो बिना किसी अतिरिक्त मॉडल प्रशिक्षण के, छोटे आइकनों और सघन लेआउट के लिए GUI ग्राउंडिंग सटीकता को महत्वपूर्ण रूप से सुधारने हेतु भविष्यवाणी अनिश्चितता (prediction uncertainty) के आधार पर इमेज क्रॉपिंग को गतिशील रूप से ट्रिगर और स्केल करता है।

मूल लेखक: Fei Tang, Bofan Chen, Zhengxi Lu, Tongbo Chen, Songqin Nong, Tao Jiang, Wenhao Xu, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

प्रकाशित 2026-04-16

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Fei Tang, Bofan Chen, Zhengxi Lu, Tongbo Chen, Songqin Nong, Tao Jiang, Wenhao Xu, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, बिखरी हुई कंप्यूटर स्क्रीन पर एक बहुत ही छोटे, विशिष्ट बटन को खोजने और उस पर क्लिक करने की कोशिश कर रहे हैं। आप एक स्मार्ट AI असिस्टेंट से पूछते हैं, "'Save' आइकन पर क्लिक करें।"

समस्या:
कभी-कभी, स्क्रीन इतनी भरी हुई होती है, या आइकन इतना छोटा होता है, कि AI भ्रमित हो जाता है। वह गलत जगह का अनुमान लगा सकता है।

पुराना तरीका: पिछले तरीके एक अनाड़ी दैत्य की तरह थे। वे कहते थे, "मुझे यकीन नहीं है, इसलिए मैं हर बार स्क्रीन के हर हिस्से पर एक ही ज़ूम लेवल के साथ ज़ूम करूँगा।" यह बर्बादी है। यदि AI किसी आसान काम के लिए वास्तव में आश्वस्त था, तो ज़ूम करना केवल समय और ऊर्जा बर्बाद करना है। यदि ज़ूम लेवल बहुत कम था, तो वह लक्ष्य को चूक सकता था; यदि बहुत अधिक था, तो वह एक धुंधला सा दृश्य बन जाता था।

समाधान: UI-Zoomer
इस पेपर के लेखकों ने UI-Zoomer बनाया है, जो एक स्मार्ट सिस्टम है जो एक आवर्धक लेंस (magnifying glass) के साथ एक संदेही जासूस की तरह काम करता है। बिना सोचे-समझे ज़ूम करने के बजाय, यह कार्रवाई करने से पहले दो प्रश्न पूछता है:

"क्या मैं वास्तव में भ्रमित हूँ?"
"मुझे कितना ज़ूम करना चाहिए?"

यह कैसे काम करता है, इसके सरल चरण यहाँ दिए गए हैं:

1. "भीड़ का वोट" (Global Multi-Sampling)

सबसे पहले, AI केवल एक अनुमान नहीं लगाता है। यह 8 त्वरित, थोड़े अलग अनुमान लगाता है (जैसे भीड़ में 8 अलग-अलग लोगों से पूछना कि बटन कहाँ है)।

यदि सभी 8 लोग बिल्कुल एक ही जगह की ओर इशारा करते हैं, तो AI कहता है, "बहुत बढ़िया, हम सहमत हैं! ज़ूम करने की कोई आवश्यकता नहीं है।" वह बस वहां क्लिक कर देता है।
यदि 8 लोग इधर-उधर इशारा कर रहे हैं (कुछ बाईं ओर, कुछ दाईं ओर, कुछ ऊपर), तो AI को एहसास होता है, "ओह नहीं, मैं भ्रमित हूँ। मुझे करीब से देखने की ज़रूरत है।"

2. "स्मार्ट गेटकीपर" (Reliability Gating)

यह ऑपरेशन का मस्तिष्क है। सिस्टम उन 8 अनुमानों के "कॉन्फिडेंस" (विश्वास) की जांच करता है।

उच्च विश्वास (High Confidence): यदि अनुमान सटीक हैं और AI को यकीन है, तो वह ज़ूम करने की प्रक्रिया को पूरी तरह छोड़ देता है। यह समय और कंप्यूटिंग पावर बचाता है।
कम विश्वास (Low Confidence): यदि अनुमान बिखरे हुए हैं, तो यह ज़ूम को सक्रिय करता है।

3. "कस्टम आवर्धक लेंस" (Adaptive Crop)

यह सबसे शानदार हिस्सा है। पुराने तरीकों में एक निश्चित आकार का आवर्धक लेंस होता था (जैसे कि एक 2x ज़ूम जो कभी नहीं बदलता)।

UI-Zoomer का दृष्टिकोण: यह देखता है कि अनुमान कितने बिखरे हुए थे।
- यदि अनुमान थोड़े इधर-उधर थे, तो यह एक छोटा आवर्धक लेंस (एक टाइट क्रॉप) उपयोग करता है ताकि आसपास के संदर्भ को खोए बिना स्पष्ट दृश्य मिल सके।
- यदि अनुमान बहुत अधिक बिखरे हुए थे, तो यह एक बड़ा आवर्धक लेंस (एक वाइड क्रॉप) उपयोग करता है ताकि ज़रूरत पड़ने पर बड़े क्षेत्र को कवर किया जा सके।
यह भ्रम के "फैलाव" (spread) के आधार पर ज़ूम विंडो का सही आकार निर्धारित करता है। यह कैमरा लेंस के फोकस रिंग को स्वचालित रूप से तब तक एडजस्ट करने जैसा है जब तक कि इमेज शार्प न हो जाए।

4. अंतिम क्लिक

एक बार जब इसके पास एकदम सही ज़ूम की गई इमेज आ जाती है, तो यह बटन पर एक अंतिम, सावधानीपूर्वक नज़र डालता है और क्लिक करता है।

यह एक बड़ी बात क्यों है?

यह ट्रेनिंग-मुक्त (Training-Free) है: आपको AI को देखने का नया तरीका सिखाने की ज़रूरत नहीं है। आप बस इसे इस नए "आवर्धक लेंस" टूल का उपयोग करने के लिए देते हैं जब वह फंस जाता है।
यह समय बचाता है: यह आसान कार्यों के लिए ज़ूम करके समय बर्बाद नहीं करता है।
यह बेहतर काम करता है: परीक्षणों में, इस पद्धति ने AI मॉडल्स को छोटे आइकनों को खोजने और घनी स्क्रीन को नेविगेट करने में पहले की तुलना में बहुत बेहतर बनाया (कुछ मामलों में सटीकता में 13% तक सुधार)।

संक्षेप में:
UI-Zoomer को एक ऐसे स्मार्ट असिस्टेंट के रूप में सोचें जो जानता है कि कब आँखें सिकोड़नी हैं और कब आवर्धक लेंस उठाना है। बिना सोचे-समझे हर चीज़ पर ज़ूम करने के बजाय, यह अपने आत्मविश्वास की जांच करता है, दूसरी राय मांगता है, और केवल उतना ही ज़ूम करता है जितना समस्या को हल करने के लिए आवश्यक है, जिससे यह तेज़ और अधिक सटीक बनता है।

यहाँ शोध पत्र "UI-Zoomer: Uncertainty-Driven Adaptive Zoom-In for GUI Grounding" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

GUI Grounding में प्राकृतिक भाषा निर्देशों के आधार पर स्क्रीनशॉट के भीतर विशिष्ट इंटरफ़ेस तत्वों (जैसे बटन, आइकन, टेक्स्ट फ़ील्ड) को स्थानीयकृत (localize) करना शामिल है। सुपरवाइज्ड फाइन-ट्यूनिंग और सुदृढीकरण शिक्षण (reinforcement learning) के माध्यम से महत्वपूर्ण प्रगति हुई है, लेकिन वर्तमान मॉडल छोटे आइकनों और सघन लेआउट (dense layouts) के साथ संघर्ष करते हैं, जहाँ लक्ष्य मानक इनपुट रिज़ॉल्यूशन पर स्पष्ट नहीं हो पाते।

मौजूदा समाधान इसे Test-Time Zoom-In (एक क्षेत्र को क्रॉप करना और उच्च रिज़ॉल्यूशन पर पुनः अनुमान चलाना) के माध्यम से हल करने का प्रयास करते हैं। हालाँकि, वर्तमान विधियाँ दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:

अनियंत्रित अनुप्रयोग (Indiscriminate Application): वे सभी उदाहरणों पर समान रूप से ज़ूम-इन लागू करते हैं (निश्चित स्केलिंग) या केवल निष्पादन त्रुटियों पर, मॉडल की वास्तविक अनिश्चितता (uncertainty) को अनदेखा करते हैं। इससे अनावश्यक विलंबता (latency) होती है और वैश्विक संदर्भ (global context) खो जाने के कारण आसान मामलों में प्रदर्शन गिर जाता है।
कठोर क्रॉप आकार (Rigid Crop Sizing): वे भविष्यवाणियों के स्थानिक वितरण (spatial distribution) की परवाह किए बिना निश्चित क्रॉप अनुपात का उपयोग करते हैं। इसके परिणामस्वरूप क्रॉप या तो बहुत व्यापक होता है (रिज़ॉल्यूशन सुधारने में विफल) या बहुत संकीर्ण (महत्वपूर्ण संदर्भ को काट देता है)।

मुख्य चुनौती यह निर्धारित करना है कि मॉडल के अपने भविष्यवाणी व्यवहार के आधार पर कब ज़ूम करना है और कितना ज़ूम करना है।

2. कार्यप्रणाली: UI-Zoomer (Methodology: UI-Zoomer)

UI-Zoomer एक training-free फ्रेमवर्क है जो ज़ूम-इन के ट्रिगर और स्केल को एक भविष्यवाणी अनिश्चितता मात्रा निर्धारण (prediction uncertainty quantification) समस्या के रूप में मानता है। यह तीन चरणों में कार्य करता है:

चरण 1: ग्लोबल मल्टी-सैंपलिंग (Global Multi-Sampling)

मॉडल एक उच्च सैंपलिंग तापमान ( $T=0.9$ ) का उपयोग करके मूल स्क्रीनशॉट से $N$ स्टोकेस्टिक कैंडिडेट बाउंडिंग बॉक्स ( $b_i$ ) उत्पन्न करता है। प्रत्येक कैंडिडेट के लिए, यह बॉक्स निर्देशांक रिकॉर्ड करता है और टोकन-स्तर के विश्वास स्कोर ( $c_i$ ) का अनुमान लगाता है, जो टोकन संभाव्यता के ज्यामितीय माध्य (geometric mean) पर आधारित होता है।

चरण 2: विश्वसनीयता गेटिंग (Reliability Gating)

एक कॉन्फिडेंस-अवेयर गेट (confidence-aware gate) यह तय करता है कि रिफाइनमेंट के साथ आगे बढ़ना है या प्रारंभिक भविष्यवाणी को स्वीकार करना है। यह दो पूरक संकेतों को जोड़ता है:

स्थानिक सहमति (Spatial Consensus - $C_{spatial}$ ): सभी $N$ कैंडिडेट के बीच औसत पेयरवाइज इंटरसेक्शन ओवर यूनियन (IoU)। उच्च IoU स्थान पर सहमति का संकेत देता है।
टोकन कॉन्फिडेंस ( $\bar{c}$ ): उत्पन्न किए गए निर्देशांक टोकन का औसत विश्वास।
गेटिंग स्कोर ( $S$ ): $S = C_{spatial} + \bar{c}$ $S = C_{s p a t ia l} + \overset{c}{ˉ}$ ।
- यदि $S > \tau$ (थ्रेशोल्ड): उदाहरण को विश्वसनीय माना जाता है। सिस्टम सबसे अच्छे कैंडिडेट को चुनने के लिए कंसेंसस वोटिंग (Consensus Voting) करता है और समाप्त हो जाता है।
- यदि $S \le \tau$ : उदाहरण अनिश्चित है, जो एडेप्टिव ज़ूम-इन चरण को ट्रिगर करता है।

चरण 3: अनिश्चितता-संचालित एडेप्टिव क्रॉप (Uncertainty-Driven Adaptive Crop)

अनिश्चित उदाहरणों के लिए, क्रॉप विंडो को निश्चित अनुपात के बजाय कैंडिडेट सेट के विचरण (variance) के आधार पर गतिशील रूप से आकार दिया जाता है।

आउटलियर फ़िल्टरिंग (Outlier Filtering): अनियमित नमूनों को बढ़ने से रोकने के लिए मेडियन सेंटर के निकटतम $K$ कैंडिडेट रखे जाते हैं।
विचरण अपघटन (Variance Decomposition): लक्ष्य स्थान के कुल विचरण को लॉ ऑफ टोटल वेरिएंस (Law of Total Variance) का उपयोग करके विघटित किया जाता है:
- इंटर-सैंपल विचरण ( $v_{inter}$ ): विभिन्न नमूनों के बीच स्थिति संबंधी असहमति को पकड़ता है (कैंडिडेट कितने बिखरे हुए हैं)।
- इंट्रा-सैंपल विचरण ( $v_{intra}$ ): तत्व के स्वयं के स्केल/विस्तार को पकड़ता है (बॉक्स की चौड़ाई/ऊंचाई से प्राप्त)।
क्रॉप व्युत्पत्ति (Crop Derivation): क्रॉप रेडियस की गणना $r = \gamma \sqrt{v_{inter} + v_{intra}}$ के रूप में की जाती है। यह सुनिश्चित करता है कि जब कैंडिडेट असहमत हों (उच्च अनिश्चितता) तो क्रॉप फैलता है और जब वे सहमत हों तो सिकुड़ता है, जबकि हमेशा तत्व को कवर करने के लिए एक न्यूनतम आकार बनाए रखता है।
रिफाइनमेंट (Refinement): क्रॉप किए गए क्षेत्र को रीसाइज किया जाता है, और मॉडल भविष्यवाणी को परिष्कृत करने के लिए एक एकल नियत (deterministic) अनुमान पास ( $T=0$ ) करता है, जिसे फिर ग्लोबल निर्देशांकों में मैप किया जाता है।

3. मुख्य योगदान (Key Contributions)

अनिश्चितता-संचालित फ्रेमवर्क: UI-Zoomer का प्रस्ताव करता है, जो GUI ज़ूम-इन के ट्रिगर और स्केल दोनों को अनिश्चितता मात्रा निर्धारण समस्या के रूप में फ्रेम करने वाला पहला training-free तरीका है।
दोहरी-घटक गेटिंग और साइजिंग (Dual-Component Gating & Sizing):
- एक रिलायबिलिटी गेट पेश करता है जो अनावश्यक गणना से बचने के लिए स्थानिक सहमति को टोकन कॉन्फिडेंस के साथ जोड़ता है।
- एक गौसियन-आधारित एडेप्टिव क्रॉप साइजिंग मॉड्यूल विकसित करता है जो भविष्यवाणी विचरण अपघटन से प्रति-उदाहरण क्रॉप विंडो प्राप्त करता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: बिना पुन: प्रशिक्षण के कई मॉडल आर्किटेक्चर (सामान्य VLMs और GUI-विशेषित VLMs) में निरंतर सुधार प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन तीन बेंचमार्क पर किया गया: ScreenSpot-Pro (हाई-रेज़, डेंस), UI-Vision (फाइन-ग्रेन्ड डेस्कटॉप), और ScreenSpot-v2 (मल्टी-प्लेटफॉर्म)।

प्रदर्शन लाभ: UI-Zoomer ने मजबूत बेसलाइन की तुलना में महत्वपूर्ण सटीकता सुधार प्राप्त किए:
- ScreenSpot-Pro पर +13.4%।
- UI-Vision पर +10.3%।
- ScreenSpot-v2 पर +4.2%।
मॉडल एगोस्टिकिज्म (Model Agnosticism): सुधार Qwen2.5-VL, UI-Venus, और GUI-G2 सहित विविध मॉडलों में सुसंगत रहे।
दक्षता (Efficiency): DiMo-GUI जैसी इटरेटिव क्रॉपिंग विधियों के विपरीत, जो भारी विलंबता (latency) पैदा करती हैं, UI-Zoomer केवल अनिश्चित मामलों पर ज़ूम करके (आमतौर पर <20% नमूने) न्यूनतम ओवरहेड जोड़ता है।
एब्लेशन अंतर्दृष्टि (Ablation Insights):
- स्थानिक सहमति और टोकन कॉन्फिडेंस को मिलाने से अकेले किसी एक का उपयोग करने की तुलना में बेहतर गेटिंग मिलती है।
- विचरण को इंटर/इंट्रा-सैंपल घटकों में विभाजित करना, केवल एक का उपयोग करने या निश्चित-अनुपात क्रॉप की तुलना में बेहतर प्रदर्शन करता है।
- उच्च सैंपलिंग तापमान ( $T=0.9$ ) और $N=8$ कैंडिडेट विविधता और दक्षता के बीच इष्टतम संतुलन प्रदान करते हैं।

5. महत्व (Significance)

UI-Zoomer GUI एजेंटों के लिए टेस्ट-टाइम स्केलिंग (Test-Time Scaling - TTS) का एक नया प्रतिमान स्थापित करता है। यह सिद्ध करता है कि केवल अनिश्चित होने पर ज़ूम करना और असहमति की डिग्री के आधार पर क्रॉप को स्केल करना एक सरल लेकिन अत्यधिक प्रभावी सिद्धांत है।

व्यावहारिक प्रभाव: यह मौजूदा VLMs को पुन: प्रशिक्षण की कम्प्यूटेशनल लागत या अंधाधुंध इटरेटिव ज़ूमिंग की विलंबता के बिना उच्च-रिज़ॉल्यूशन, सघन इंटरफेस को संभालने में सक्षम बनाता है।
सैद्धांतिक अंतर्दृष्टि: यह मान्य करता है कि VLMs अपने स्टोकेस्टिक आउटपुट में निरंतर स्थानिक अनिश्चितता (continuous spatial uncertainty) को अंतर्निहित रूप से एनकोड करते हैं, जिसे अनुमान रणनीतियों को निर्देशित करने के लिए स्पष्ट रूप से मात्राबद्ध और उपयोग किया जा सकता है।
संसाधन दक्षता: आसान मामलों पर अनावश्यक ज़ूम-इन से बचकर, यह कठिन मामलों पर सटीकता में सुधार करते हुए अनकंडीशनल ज़ूम-इन विधियों की तुलना में अपने अनुमान समय को काफी कम करता है।