🤖 AI

Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding

यह शोधपत्र क्वालिटी-अवेयर सेल्फ-डिस्टिलेशन (Quality-Aware Self-Distillation) का प्रस्ताव करता है, जो एक ऐसी विधि है जो सॉफ्ट करेक्टनेस-अवेयर गेटिंग (soft correctness-aware gating) और टीचर-प्रोबेबिलिटी स्केलिंगिंग (teacher-probability scaling) को जोड़कर GUI ग्राउंडिंग प्रदर्शन को बढ़ाती है ताकि ऑन-पॉलिसी सेल्फ-डिस्टिलेशन में टीचर सिग्नल्स के क्षरण को कम किया जा सके जब स्टूडेंट-जेनरेटेड प्रीफिक्स (student-generated prefixes) ग्राउंड-ट्रुथ कोऑर्डिनेट्स से विचलित होते हैं।

मूल लेखक: Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei Chu, Ninghao Liu

प्रकाशित 2026-06-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei Chu, Ninghao Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कंप्यूटर स्क्रीन पर एक विशिष्ट बटन खोजने के लिए सिखा रहे हैं, जो "क्लिक द सेटिंग्स गियर" (Click the settings gear) जैसे वॉयस कमांड पर आधारित है। इसे GUI ग्राउंडिंग (GUI Grounding) कहा जाता है। रोबोट को एक स्क्रीनशॉट देखना होगा, तस्वीर को समझना होगा, और फिर उस बटन के सटीक X और Y निर्देशांक (coordinates) टाइप करने होंगे।

समस्या यह है कि यह अविश्वसनीय रूप से कठिन है: स्क्रीन हाई-रिज़ॉल्यूशन वाली होती हैं, बटन बहुत छोटे होते हैं, और कई चीजें एक जैसी दिखती हैं। यदि रोबोट शुरुआत में एक छोटी सी गलती भी करता है (जैसे कि गलत पंक्ति का अनुमान लगाना), तो वह पूरी तरह से गलत उत्तर की ओर जा सकता है।

समस्या: "नाइव" (Naive) ट्यूटर

रोबोट को सिखाने के लिए, शोधकर्ता सेल्फ-डिस्टिलेशन (Self-Distillation) नामक एक विधि का उपयोग करते हैं। इसे ऐसे समझें जैसे कि एक अत्यंत बुद्धिमान "शिक्षक" AI, एक "छात्र" AI को प्रशिक्षित करने में मदद कर रहा है।

एक मानक सेटअप (जिसे Naive OPSD कहा जाता है) में, छात्र उत्तर देने का प्रयास करता है। जैसे ही वह अपना उत्तर टाइप करता है, शिक्षक यह देखता है कि छात्र ने अब तक क्या लिखा है और कहता है, "ठीक है, तुमने जो टाइप किया है उसके आधार पर, अगला सबसे अच्छा अनुमान यह है।"

यहाँ पेंच है: यदि छात्र गलत निर्देशांक टाइप करना शुरू कर देता है (उदाहरण के लिए, उसे लगता है कि बटन स्क्रीन के बाईं ओर है जबकि वास्तव में वह दाईं ओर है), तो शिक्षक को उस गलत रास्ते के साथ तालमेल बिठाने के लिए मजबूर होना पड़ता है। शिक्षक उस गलत पथ को देखता है और उस गलत पथ का एक "तर्कसंगत" विस्तार उत्पन्न करता है।

उपमा: कल्पना कीजिए कि एक छात्र खजाने के लिए एक नक्शा बना रहा है, लेकिन वह गलती से सड़क को दलदल की ओर ले जाता है। एक 'नाइव' शिक्षक, दलदल वाली सड़क देखते हुए, कह सकता है, "ठीक है, चूंकि आप दलदल में जा रहे हैं, तो अगला कदम तैरना है।" शिक्षक मददगार होने की कोशिश कर रहा है, लेकिन वह छात्र को और अधिक भटकने में मदद कर रहा है। शिक्षक का संकेत "अविश्वसनीय" हो जाता है क्योंकि वह एक गलती को पुख्ता कर रहा है।

समाधान: "क्वालिटी-अवेयर" (Quality-Aware) ट्यूटर

लेखक एक नई विधि प्रस्तावित करते हैं जिसे क्वालिटी-अवेयर सेल्फ-डिस्टिलेशन (Quality-Aware Self-Distillation) कहा जाता है। शिक्षक के नेतृत्व का अंधाधुंध अनुसरण करने के बजाय, छात्र यह जाँचता है: "क्या शिक्षक की सलाह वास्तव में लक्ष्य तक पहुँचने के लिए संभव है?"

वे इस शिक्षण प्रक्रिया को ठीक करने के लिए दो चतुर उपकरणों का उपयोग करते हैं:

1. "सॉफ्ट करेक्टनेस गेट" (ट्रैफिक लाइट)

सिस्टम शिक्षक के अगले अनुमान की जाँच लक्षित बटन के वास्तविक स्थान (Ground Truth) के विरुद्ध करता है।

जाँच: "यदि छात्र वर्तमान में बाईं ओर इशारा कर रहा है, और शिक्षक एक ऐसी संख्या का सुझाव देता है जो कर्सर को स्क्रीन के दाईं ओर ले जाएगी, तो क्या यह संभव है?"
परिणाम:
- ग्रीन लाइट: यदि शिक्षक का अनुमान लक्ष्य की संभावित सीमा के भीतर है, तो छात्र पूरी तरह से सुनता है।
- येलो लाइट: यदि शिक्षक का अनुमान असंभव है (यह पहले से ही बहुत दूर निकल गया है), तो छात्र शिक्षक को पूरी तरह से अनदेखा नहीं करता (जो कि कठोर होता); इसके बजाय, वह आवाज़ कम कर देता है। वह कहता है, "ठीक है, मैं आपकी बात सुन रहा हूँ, लेकिन मैं आपकी बात को केवल आधा ही मानूँगा।"
यह "सॉफ्ट" क्यों है? भले ही शिक्षक गलत हो, उनके पास अभी भी यह जानकारी हो सकती है कि इस गलती से कैसे उबरना है। संकेत को पूरी तरह से फेंक देना एक शिक्षक को एक गलत अनुमान के लिए बर्खास्त करने जैसा है; आवाज़ कम करना उन्हें यह कहने जैसा है, "शांत रहें, लेकिन बोलते रहें।"

2. "टीचर-प्रोबेबिलिटी स्केलिंग" (कॉन्फिडेंस मीटर)

भले ही शिक्षक का अनुमान "ग्रीन लाइट" जाँच पास कर ले, सिस्टम पूछता है: "शिक्षक कितना आश्वस्त है?"

यदि शिक्षक 99% आश्वस्त है ("मुझे पूरा यकीन है कि यह अगली संख्या है"), तो छात्र बहुत ध्यान से सुनता है।
यदि शिक्षक केवल 51% आश्वस्त है ("मुझे लगता है कि यह है, लेकिन यह वह भी हो सकता है"), तो छात्र अधिक सहजता से सुनता है।
उपमा: एक मौसम पूर्वानुमानकर्ता की कल्पना करें। यदि वे कहते हैं, "बारिश होगी, मुझे 99% यकीन है," तो आप छाता लेकर निकलते हैं। यदि वे कहते हैं, "शायद बारिश हो सकती है, मैं 50/50 हूँ," तो आप बस अपना कोट तैयार रखते हैं। यह विधि उस आत्मविश्वास के स्तर के आधार पर सीखने के भार (weight) को नियंत्रित करती है।

इन्हें मिलाने का जादू

शोधकर्ताओं ने पाया कि इनमें से केवल एक उपकरण का उपयोग करना अच्छा काम नहीं करता है।

यदि आप केवल ट्रैफिक लाइट का उपयोग करते हैं, तो आप अनजाने में एक ऐसे शिक्षक को चुप करा सकते हैं जो वास्तव में सही है लेकिन थोड़ा अनिश्चित है।
यदि आप केवल कॉन्फिडेंस मीटर का उपयोग करते हैं, तो आप एक ऐसे शिक्षक की बात बहुत ध्यान से सुन सकते हैं जो बहुत आश्वस्त है लेकिन पूरी तरह से गलत है (क्योंकि वह आत्मविश्वास के साथ आपको दलदल में ले जा रहा है)।

साथ मिलकर, वे पूर्ण हैं: ट्रैफिक लाइट असंभव सलाह को फ़िल्टर करती है, और कॉन्फिडेंस मीटर यह सुनिश्चित करता है कि आप उस सलाह को अधिक ध्यान से सुनें जो संभव और निश्चित दोनों है।

परिणाम

शोधकर्ताओं ने छह अलग-अलग बेंचमार्क (जैसे विभिन्न वीडियो गेम या रोबोट के टेस्ट ड्राइव) पर इसका परीक्षण किया।

नया तरीका सभी पिछले "मजबूत" शिक्षकों को पछाड़ गया।
इसने मानक प्रशिक्षण विधियों की तुलना में रोबोट की सटीकता में काफी सुधार किया।
इसने साबित कर दिया कि उन कार्यों में जहाँ आप भौतिक रूप से जाँच सकते हैं कि कोई उत्तर "लक्ष्य पर" है या नहीं (जैसे निर्देशांक), आप AI को यह सिखा सकते हैं कि किस सलाह पर भरोसा करना है।

सारांश

यह पेपर हमें सिखाता है कि स्क्रीन पर चीजों को खोजने के लिए AI को प्रशिक्षित करते समय, हमें केवल अपने शिक्षक की नकल अंधे होकर नहीं करनी चाहिए। हमें एक ऐसी प्रणाली की आवश्यकता है जो जाँच सके:

क्या यह सलाह संभव है? (यदि नहीं, तो आवाज़ कम कर दें)।
क्या शिक्षक आश्वस्त है? (यदि हाँ, तो आवाज़ बढ़ा दें)।

ऐसा करके, AI तेजी से सीखता है और कम गलतियाँ करता है, प्रभावी रूप से "सही समय पर सही शिक्षक" पर भरोसा करना सीखता है।

तकनीकी सारांश: सही शिक्षक पर भरोसा करें: GUI ग्राउंडिंग के लिए गुणवत्ता-जागरूक स्व-डिस्टिलेशन (Quality-Aware Self-Distillation)

1. समस्या विवरण (Problem Statement)

ग्राफिकल यूजर इंटरफेस (GUI) ग्राउंडिंग के लिए विजन-लैंग्वेज मॉडल्स (VLMs) को उच्च-रिज़ॉल्यूशन वाले स्क्रीनशॉट्स में विशिष्ट इंटरफेस तत्वों की पहचान करने और सटीक स्क्रीन निर्देशांक (coordinates) का अनुमान लगाने की आवश्यकता होती है। यह कार्य विशेष रूप से चुनौतीपूर्ण है क्योंकि लक्षित तत्व छोटे आकार के, दृश्य रूप से समान और सघन व्यवस्था वाले होते हैं।

मौजूदा पोस्ट-ट्रेनिंग विधियाँ इस समन्वय-संवेदनशील (coordinate-sensitive) डोमेन में महत्वपूर्ण सीमाओं का सामना करती हैं:

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): यह एनोटेटेड निर्देशांकों को 'हार्ड टारगेट्स' के रूप में मानता है, जो अंतिम उत्तर के अलावा बहुत कम जानकारी प्रदान करता है और संभावित निर्देशांक टोकन के संबंध में शिक्षक की अनिश्चितता या "डार्क नॉलेज" का लाभ उठाने में विफल रहता है।
रीइन्फोर्समेंट लर्निंग (जैसे GRPO): यह कार्य परिणामों को अनुकूलित करता है लेकिन स्पार्स रिवॉर्ड्स (sparse rewards) और कई रोलआउट्स पर निर्भर करता है, जो सूक्ष्म स्थानीयकरण (fine-grained localization) के लिए कमजोर मार्गदर्शन प्रदान करता है।
नेइव ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (Naive OPSD): हालांकि यह घने (dense) टोकन-लेवल शिक्षक संकेतों के लिए आशाजनक है, लेकिन नेइव OPSD, GUI ग्राउंडिंग के लिए उपयुक्त नहीं है। OPSD में, शिक्षक को छात्र द्वारा उत्पन्न प्रीफिक्स (prefixes) पर क्वेरी किया जाता है। यदि छात्र एक गलत प्रीफिक्स (एक गलत स्थानिक परिकल्पना/spatial hypothesis) उत्पन्न करता है, तो शिक्षक के बाद के लॉजिट्स (logits) वास्तविक लक्ष्य के बजाय उस गलत निर्देशांक का एक संभावित निरंतरता बन सकते हैं। इससे अविश्वसनीय शिक्षक संकेत मिलते हैं जो प्रदर्शन को खराब कर देते हैं।

2. कार्यप्रणाली: गुणवत्ता-जागरूक स्व-डिस्टिलेशन (Quality-Aware Self-Distillation)

लेखक क्वालिटी-अवेयर सेल्फ-डिस्टिलेशन का प्रस्ताव करते हैं, जो GUI ग्राउंडिंग की स्थानिक सत्यापन क्षमता (spatial verifiability) का लाभ उठाकर निर्देशांक-टोकन पर्यवेक्षण को कैलिब्रेट करता है। यह दृष्टिकोण दो पूरक तंत्रों को जोड़ता है: सॉफ्ट करेक्टनेस-अवेयर गेटिंग (Soft Correctness-Aware Gating) और टीचर-प्रोबेबिलिटी स्केलिंग (Teacher-Probability Scaling)।

2.1 विशेषाधिकार प्राप्त सूचना निर्माण (Privileged Information Construction)

पिछले कार्य (GUI-SD) का अनुसरण करते हुए, यह विधि एक विशेषाधिकार प्राप्त शिक्षक इनपुट $(x^+, I^+)$ का निर्माण करती है जहाँ लक्षित क्षेत्र को दृश्य रूप से हाइलाइट किया गया है और लेआउट-संरक्षण क्षेत्रीय मास्किंग के माध्यम से कार्य-अप्रासंगिक क्षेत्रों को दबा दिया गया है। छात्र मूल इनपुट $(x, I)$ पर आधारित होता है, जबकि शिक्षक संकेतों को उत्पन्न करने के लिए विशेषाधिकार प्राप्त इनपुट $(x^+, I^+)$ पर आधारित होता है।

2.2 सॉफ्ट करेक्टनेस-अवेयर गेटिंग (Soft Correctness-Aware Gating)

यह तंत्र इस समस्या का समाधान करता है जहाँ शिक्षक एक त्रुटिपूर्ण छात्र प्रीफिक्स के आधार पर प्रशंसनीय लेकिन गलत निरंतरता प्रदान करता है।

सत्यापन (Verification): एक निर्देशांक-टोकन स्थिति $t$ के लिए, विधि यह जाँचती है कि क्या शिक्षक का शीर्ष-अनुमानित निर्देशांक टोकन ( $d^*_t$ ) वर्तमान छात्र-जनित प्रीफिक्स को देखते हुए ग्राउंड-ट्रुथ बाउंडिंग बॉक्स अंतराल ( $B_{a(t)}$ ) के भीतर एक वैध निर्देशांक में पूरा किया जा सकता है।
बाइनरी इंडिकेटर: एक बाइनरी इंडिकेटर $h_t$ को 1 पर सेट किया जाता है यदि पूर्णता संभव है (संगत/compatible) और 0 पर यदि नहीं (असंगत/incompatible)।
सॉफ्ट गेटिंग: संकेतों को पूरी तरह से त्यागने (हार्ड गेटिंग) के बजाय, विधि एक सॉफ्ट गेट $g_t = \alpha + (1-\alpha)h_t$ $g_{t} = α + (1 - α) h_{t}$ लागू करती है।
- यदि संगत है ( $h_t=1$ ), तो $g_t = 1$ ।
- यदि असंगत है ( $h_t=0$ ), तो $g_t = \alpha$ (प्रयोगों में 0.5 निर्धारित किया गया है)।
- यह अविश्वसनीय संकेतों को पूरी तरह हटाने के बजाय उन्हें कम भार (down-weight) देता है, जिससे संभावित रूप से उपयोगी सुधारात्मक जानकारी सुरक्षित रहती है और नकारात्मक प्रभाव कम होता है।

2.3 टीचर-प्रोबेबिलिटी स्केलिंग (Teacher-Probability Scaling)

केवल करेक्टनेस गेटिंग ही शिक्षक के आत्मविश्वास को ध्यान में नहीं रखती है। दो संकेत गेट को पास कर सकते हैं, लेकिन एक अत्यधिक आत्मविश्वासी हो सकता है जबकि दूसरा निर्णय सीमा (decision boundary) के करीब हो सकता है।

स्केलिंग फैक्टर: विधि शीर्ष निर्देशांक-टोकन भविष्यवाणी की शिक्षक संभावना, $p_t = P^t_T(d^*_t)$ , का उपयोग एक स्केलिंग फैक्टर के रूप में करती है।
तंत्र: उच्च $p_t$ (उच्च आत्मविश्वास) के परिणामस्वरूप मजबूत डिस्टिलेशन वेट मिलता है, जबकि निम्न $p_t$ (उच्च अनिश्चितता) सिग्नल को नरम बनाता है। यह सुनिश्चित करता है कि भले ही स्थानिक रूप से संगत संकेत हों, उन्हें उनकी विश्वसनीयता के अनुसार भारित किया जाए।

2.4 वेटेड रिवर्स-KL ऑब्जेक्टिव (Weighted Reverse-KL Objective)

अंतिम लॉस फंक्शन इन कारकों को एक टोकन-लेवल वेट $w_t$ में संयोजित करता है:
$w_t = (1 - r_t) + r_t \cdot g_t \cdot \lambda \cdot p_t$
जहाँ $r_t$ निर्देशांक टोकन के लिए एक इंडिकेटर है, और $\lambda$ एक स्केलिंग गुणांक (3 निर्धारित) है, और $g_t$ एक सॉफ्ट गेट है।

गैर-निर्देशांक टोकन को वेट 1 के साथ डिस्टिल किया जाता है।
संगत निर्देशांक टोकन को $\lambda p_t$ द्वारा भारित किया जाता है।
असंगत निर्देशांक टोकन को $\alpha \lambda p_t$ द्वारा भारित किया जाता है।

3. मुख्य योगदान (Key Contributions)

क्वालिटी-अवेयर सेल्फ-डिस्टिलेशन: GUI ग्राउंडिंग के लिए एक नवीन विधि जो शिक्षक संकेतों को उनकी विश्वसनीयता (स्थानिक अनुकूलता) और निश्चितता (संभावना) के आधार पर कैलिब्रेट करती है, न कि सभी शिक्षक संकेतों को समान रूप से विश्वसनीय मानकर।
सिग्नल विश्वसनीयता का अनुभवजन्य अध्ययन: पेपर यह अध्ययन करने के लिए GUI ग्राउंडिंग की स्थानिक रूप से सत्यापन योग्य प्रकृति का उपयोग करता है कि ऑन-पॉलिसी स्व-डिस्टिलेशन में अविश्वसनीय शिक्षक संकेतों के साथ कैसा व्यवहार किया जाना चाहिए, यह प्रदर्शित करते हुए कि एक सॉफ्ट डाउन-वेटिंग रणनीति हार्ड डिस्कार्डिंग या ब्लाइंड इमिटेशन की तुलना में बेहतर है।
पूरक तंत्र: लेखक प्रदर्शित करते हैं कि केवल गेटिंग या केवल स्केलिंग अकेले प्रदर्शन में सुधार नहीं करती है; उनका संयोजन आवश्यक है। गेटिंग अविश्वसनीय संकेतों को दबाती है, जबकि स्केलिंग शेष विश्वसनीय संकेतों की शक्ति को कैलिब्रेट करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग छह GUI ग्राउंडिंग बेंचमार्क (ScreenSpot-Pro, ScreenSpot-v2, UIEG, OSWorld-G, OSWorld-G-R, और MMG) पर Qwen3.5-9B को बैकबोन के रूप में उपयोग करके किए गए।

प्रदर्शन: प्रस्तावित विधि ने 72.23 का मैक्रो-एवरेज एक्यूरेसी प्राप्त किया, जो सबसे मजबूत बेसलाइन (GUI-SD) से 2.16 अंक अधिक है।
तुलना: यह SFT (+4.14 अंक) और GRPO (+6.37 अंक) के साथ-साथ Naive-OPSD और Vision-PV-Only बेसलाइन से काफी बेहतर रहा।
एब्लेशन स्टडीज (Ablation Studies):
- घटक सिनर्जी (Component Synergy): केवल गेटिंग या केवल स्केलिंग का उपयोग करने से बेसलाइन की तुलना में कम प्रदर्शन हुआ, जो पुष्टि करता है कि उनके पूरक भूमिकाएँ हैं।
- गेटिंग स्ट्रेंथ: सॉफ्ट गेटिंग ( $\alpha=0.5$ ) ने हार्ड गेटिंग ( $\alpha=0$ ) से बेहतर प्रदर्शन किया, जो सुझाव देता है कि विफल-गेट संकेतों को पूरी तरह से हटाने से मूल्यवान सुधारात्मक मार्गदर्शन हट जाता है।
- स्केलिंग कोएफिशिएंट: एक स्केलिंग कोएफिशिएंट $\lambda=3$ ने इष्टतम परिणाम दिए, जो अविश्वसनीय संकेतों के दमन और विश्वसनीय टोकन पर पर्याप्त पर्यवेक्षण की आवश्यकता के बीच संतुलन बनाता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि स्थानिक सत्यापन क्षमता (spatial verifiability) स्व-डिस्टिलेशन में शिक्षक-सिग्नल विश्वसनीयता में सुधार के लिए एक महत्वपूर्ण, कम उपयोग किया जाने वाला सिग्नल है। सामान्य टोकन भविष्यवाणी कार्यों के विपरीत जहाँ विश्वसनीयता को अप्रत्यक्ष प्रॉक्सी (एंट्रॉपी, पर्प्लेक्सिटी) के माध्यम से निष्कर्ष निकाला जाता है, GUI ग्राउंडिंग सीधे सत्यापन की अनुमति देता है कि क्या कोई भविष्यवाणी ग्राउंड-ट्रुथ बाधाओं को देखते हुए व्यवहार्य बनी हुई है।

लेखक तर्क देते हैं कि उनकी विधि "अंध-नकल" (blind imitation) से "विश्वसनीय नकल" (trustworthy imitation) की ओर एक बदलाव का प्रतिनिधित्व करती है। लक्ष्य क्षेत्र के साथ उनकी अनुकूलता और शिक्षक के आत्मविश्वास के आधार पर शिक्षक संकेतों को सॉफ्टली डाउन-वेट और स्केल करके, विधि गलत स्थानिक परिकल्पनाओं को सुदृढ़ करने के जोखिम को कम करती है, साथ ही उन घने, सूक्ष्म शिक्षण संकेतों को संरक्षित करती है जो स्व-डिस्टिलेशन को प्रभावी बनाते हैं। यह कार्य सुझाव देता है कि सत्यापन योग्य बाधाओं वाले कार्यों के लिए, विश्वसनीयता-जागरूक डिस्टिलेशन रणनीतियाँ जटिल सुदृढीकरण शिक्षण (reinforcement learning) सेटअपों की आवश्यकता के बिना मॉडल के प्रदर्शन को महत्वपूर्ण रूप से बढ़ा सकती हैं।