🤖 AI

Zoom Consistency: A Free Confidence Signal in Multi-Step Visual Grounding Pipelines

यह शोध पत्र "ज़ूम कंसिस्टेंसी" (zoom consistency) को प्रस्तुत करता है, जो मल्टी-स्टेप विजुअल ग्राउंडिंग पाइपलाइनों में मध्यवर्ती भविष्यवाणियों से प्राप्त एक निःशुल्क, कैलिब्रेशन-मुक्त ज्यामितीय आत्मविश्वास संकेत है, जो भविष्यवाणी की सटीकता के साथ सहसंबंध रखता है और स्पेशलिस्ट तथा जनरलिस्ट VLMs के बीच प्रभावी मॉडल रूटिंग को सक्षम बनाता है।

मूल लेखक: Keon Kim, Krish Chelikavada

प्रकाशित 2026-04-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Keon Kim, Krish Chelikavada

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Zoom Consistency: A Free Confidence Signal in Multi-Step Visual Grounding Pipelines" पेपर का सरल, रोज़मर्रा की भाषा और कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

मुख्य विचार: "स्वयं-सुधारने वाला" (Self-Correcting) कैमरा

कल्पना कीजिए कि आप एक विशाल, जटिल कंप्यूटर स्क्रीन (जैसे अंतरिक्ष यान का डैशबोर्ड या एक बिखरा हुआ डेस्कटॉप) पर एक विशिष्ट बटन खोजने की कोशिश कर रहे हैं। आपकी मदद के लिए एक स्मार्ट AI असिस्टेंट (एक विजुअल लैंग्वेज मॉडल) है।

आमतौर पर, यह AI दो चरणों में काम करता है:

वाइड शॉट (The Wide Shot): यह पूरी स्क्रीन को देखता है और अंदाज़ा लगाता है, "मुझे लगता है कि बटन कहीं यहाँ है।"
ज़ूम (The Zoom): यह अपने अंदाज़े पर ज़ूम करता है ताकि करीब से देख सके और कहता है, "ठीक है, अब मैं इसे स्पष्ट रूप से देख पा रहा हूँ। यह बिल्प वहीं है।"

समस्या: अतीत में, जब AI दूसरा चरण (ज़ूम) करता था, तो वह पहले के अंदाज़े को छोड़ देता था। उसे केवल अंतिम उत्तर की परवाह थी। यदि पहला अंदाज़ा बहुत खराब था, तो AI बस ऐसा व्यवहार करता था जैसे वह कभी हुआ ही न हो।

खोज: इस पेपर के लेखकों ने महसूस किया कि पहले अंदाज़े और ज़ूम की गई तस्वीर के केंद्र के बीच की दूरी वास्तव में एक गुप्त "कॉन्फिडेंस मीटर" (विश्वास का पैमाना) है। वे इसे ज़ूम कंसिस्टेंसी (Zoom Consistency) कहते हैं।

उपमा: "डार्ट थ्रोअर" (तीर फेंकने वाला)

AI को एक ऐसे व्यक्ति के रूप में सोचें जो बोर्ड पर डार्ट (तीर) फेंक रहा है, लेकिन उसे दो चरणों में यह काम करना है:

चरण 1 (वाइड शॉट): व्यक्ति पीछे खड़ा होता है और एक डार्ट फेंकता है। वह लक्ष्य (bullseye) से कुछ इंच चूक जाता है।
चरण 2 (ज़ूम): कैमरा उस जगह पर ज़ूम करता है जहाँ पहला डार्ट गिरा था। व्यक्ति ज़ूम किए गए दृश्य को देखता है और वास्तविक लक्ष्य को हिट करने के लिए दूसरा डार्ट फेंकता है।

यहाँ जादू है:

यदि पहला थ्रो अच्छा था: लक्ष्य ज़ूम किए गए दृश्य के बिल्कुल बीच में है। दूसरा थ्रो बिल्कुल केंद्र में लगता है। दूसरे थ्रो और केंद्र के बीच की दूरी शून्य है।
- अनुवाद: AI बहुत आश्वस्त (confident) है। "मुझे पता था कि कहाँ देखना है।"
यदि पहला थ्रो खराब था: लक्ष्य ज़ूम किए गए दृश्य में बहुत दूर किनारे पर है। दूसरे थ्रो को लक्ष्य तक पहुँचने के लिए लंबी दूरी तय करनी होगी। केंद्र और दूसरे थ्रो के बीच की दूरी बहुत अधिक है।
- अनुवाद: AI भ्रमित है। "मुझे लक्ष्य खोजने के लिए बहुत मेहनत करनी पड़ी क्योंकि मेरा पहला अंदाज़ा गलत था।"

ज़ूम कंसिस्टेंसी (Zoom Consistency) बस उस दूरी को मापने का नाम है।

छोटी दूरी = उच्च आत्मविश्वास (AI संभवतः सही है)।
बड़ी दूरी = कम आत्मविश्वास (AI संभवतः गलत है)।

यह एक "मुफ्त" सिग्नल क्यों है?

आमतौर पर, यह जानने के लिए कि क्या कोई AI आश्वस्त है, आपको:

इसे 10 बार अंदाज़ा लगाने के लिए कहना पड़ता है और देखना पड़ता है कि क्या वह खुद से सहमत है (धीमा और महंगा)।
इसके "दिमाग" के कोड के अंदर जाकर गणितीय संभावनाओं (probabilities) की जाँच करनी पड़ती है (कठिन और इसके लिए विशेष उपकरणों की आवश्यकता होती है)।
AI को देखने के लिए एक अलग रोबोट को प्रशिक्षित करना पड़ता है (अतिरिक्त काम की आवश्यकता होती है)।

ज़ूम कंसिस्टेंसी मुफ्त है। यह पहले से ही मौजूद है! हर बार जब AI अपना दो-चरणीय ज़ूम प्रोसेस करता है, तो वह पहले से ही दोनों अंदाज़ों के बीच की दूरी की गणना कर लेता है। लेखकों ने महसूस किया, "हे, हम बिना किसी अतिरिक्त काम के उस नंबर का उपयोग कॉन्फिडेंस स्कोर के रूप में कर सकते हैं।"

"रेफरी" प्रयोग (The "Referee" Experiment)

लेखकों ने इस विचार का परीक्षण दो अलग-अलग AI मॉडल के साथ किया:

विशेषज्ञ (Specialist - KV-Ground): एक AI जिसे विशेष रूप से कंप्यूटर स्क्रीन के लिए प्रशिक्षित किया गया है। यह आमतौर पर बहुत अच्छा होता है।
सामान्यज्ञ (Generalist - Qwen): एक स्मार्ट AI जो सब कुछ जानता है (फिल्में, गणित, कोडिंग) लेकिन स्क्रीन विशेषज्ञ नहीं है।

उन्होंने एक सरल "रेफरी" सिस्टम बनाया:

दोनों AI स्क्रीन को देखते हैं और अपना दो-चरणीय ज़ूम करते हैं।
रेफरी दोनों के लिए ज़ूम कंसिस्टेंसी स्कोर की जाँच करता है।
नियम: "जिस AI की दूरी कम (उच्च आत्मविश्वास) होगी, उसे अंतिम क्लिक करने का मौका मिलेगा।"

परिणाम:
भले ही विशेषज्ञ (Specialist) समग्र रूप से बेहतर था, लेकिन कुछ पेचीदा मामले थे जहाँ सामान्यज्ञ (Generalist) वास्तव में उत्तर को बेहतर जानता था। "रेफरी" ने इन क्षणों को सफलतापूर्वक पहचाना और सामान्यज्ञ के उत्तर को चुना।

इसने समग्र सटीकता में थोड़ी लेकिन महत्वपूर्ण वृद्धि (0.8%) की।
इसने उन "परफेक्ट" उत्तरों में से लगभग 16.5% को पकड़ा जो संभव थे यदि आपके पास जादुई रूप से सही उत्तर जानने का तरीका होता।

यह क्यों मायने रखता है

यह सार्वभौमिक (Universal) है: आप दो पूरी तरह से अलग AI मॉडल (जैसे एक विशेषज्ञ बनाम एक सामान्यज्ञ) की तुलना बिना उन्हें कैलिब्रेट किए कर सकते हैं। यह एक फेरारी और एक साइकिल की गति की तुलना करने जैसा है, बिना उनके इंजन की विशिष्टताओं को जाने, सिर्फ यह देखकर कि वे कितनी तेज़ चल रहे हैं।
यह पैसा बचाता है: हर कार्य के लिए महंगे, धीमे AI मॉडल चलाने के बजाय, आप इस "कॉन्फिडेंस मीटर" का उपयोग यह तय करने के लिए कर सकते हैं: "क्या यह कार्य आसान है? तेज़, सस्ता AI उपयोग करें। क्या यह कठिन है (उच्च दूरी)? धीमे, महंगे विशेषज्ञ पर स्विच करें।"
किसी प्रशिक्षण की आवश्यकता नहीं है: आपको AI को कुछ भी नया सिखाने की ज़रूरत नहीं है। आप बस उस गणित का उपयोग करते हैं जो वह पहले से ही कर रहा है।

कमी (सीमाएँ)

पेपर स्वीकार करता है कि यह "कॉन्फिडेंस मीटर" एकदम सटीक नहीं है।

यह थोड़ा "शोर भरा" (noisy) है। कभी-कभी AI आश्वस्त होता है लेकिन गलत होता है, या अनिश्चित होता है लेकिन सही होता है।
प्रयोग में सुधार बहुत कम (1% से कम) था।
यह तब सबसे अच्छा काम करता है जब AI का पहला अंदाज़ा बहुत ज़्यादा गलत न हो। यदि पहला अंदाज़ा पूरी तरह से गलत है, तो गणित विफल हो जाता है।

सारांश

लेखकों ने पाया कि AI मॉडल स्क्रीन पर ज़ूम करने के तरीके के भीतर एक छिपा हुआ "कॉन्फिडेंस सिग्नल" है। यह मापकर कि ज़ूम करने के बाद AI को खुद को कितना "सुधारना" पड़ता है, हम जान सकते हैं कि वह अपने उत्तर के बारे में कितना आश्वस्त है। यह हमें ऐसे स्मार्ट सिस्टम बनाने की अनुमति देता है जो स्वचालित रूप से विभिन्न AI मॉडल के बीच स्विच कर सकें, जिससे नए मॉडल को प्रशिक्षित किए बिना या अतिरिक्त कंप्यूटिंग पावर खर्च किए बिना बेहतर परिणाम मिलते हैं।

यहाँ शोध पत्र "Zoom Consistency: A Free Confidence Signal in Multi-Step Visual Grounding Pipelines" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

उच्च-रिज़ॉल्यूशन ग्राफिकल यूजर इंटरफेस (GUI) ग्राउंडिंग के लिए मल्टी-स्टेप "ज़ूम-इन" पाइपलाइन्स एक मानक दृष्टिकोण हैं, जहाँ एक विजन-लैंग्वेज मॉडल (VLM) पहले पूरे स्क्रीनशॉट पर एक स्थान का अनुमान लगाता है, फिर उस क्षेत्र को क्रॉप करता है, और निर्देशांक (coordinate) को रिफाइन करने के लिए ज़ूम किए गए दृश्य पर पुन: अनुमान लगाता है।

समस्या: वर्तमान पाइपलाइनों में, दूसरे चरण (ज़ूम किए गए दृश्य) से प्राप्त मध्यवर्ती अनुमान को आमतौर पर मूल निर्देशांक स्थान में रीमैप करने के बाद हटा दिया जाता है। अंतिम आउटपुट का उपयोग किया जाता है, लेकिन वहाँ तक पहुँचने की प्रक्रिया कोई स्पष्ट कॉन्फिडेंस सिग्नल (confidence signal) प्रदान नहीं करती है।
अंतराल (Gap): VLMs के लिए मौजूदा कॉन्फिडेंस एस्टीमेशन विधियों के लिए अक्सर निम्नलिखित की आवश्यकता होती है:
- अतिरिक्त फॉरवर्ड पासेस (जैसे, कई बार सैंपलिंग करना)।
- मॉडल के आंतरिक भाग तक पहुँच (जैसे, टोकन-लेवल अनसर्टेन्टी या लॉग-प्रोबेबिलिटी)।
- कठिनाई एस्टिमेटर्स को सीखने के लिए लेबल किए गए डेटा पर प्रशिक्षण।
- विभिन्न मॉडल आर्किटेक्चरों के बीच कैलिब्रेशन (calibration)।
लक्ष्य: एक ऐसे "फ्री" कॉन्फिडेंस सिग्नल की पहचान करना जो मौजूदा मल्टी-स्टेप पाइपलाइन के भीतर ही निहित हो और जिसके लिए किसी अतिरिक्त गणना, प्रशिक्षण या कैलिब्रेशन की आवश्यकता न हो, तथा जो विभिन्न मॉडल आर्किटेक्चरों के बीच तुलनीय हो।

2. कार्यप्रणाली: ज़ूम कंसिस्टेंसी (Methodology: Zoom Consistency)

लेखक ज़ूम कंसिस्टेंसी का प्रस्ताव करते हैं, जो एक 2-स्टेप ज़ूम पाइपलाइन के मध्यवर्ती आउटपुट से सीधे प्राप्त एक ज्यामितीय मीट्रिक (geometric metric) है।

परिभाषा

एक मानक 2-स्टेप पाइपलाइन में:

चरण 1: मॉडल फुल इमेज पर एक बिंदु $\hat{p}_1$ का अनुमान लगाता है।
क्रॉप: $\hat{p}_1$ पर केंद्रित एक क्षेत्र निकाला जाता है और उसे रीसाइज किया जाता है।
चरण 2: मॉडल क्रॉप किए गए निर्देशांक स्थान के भीतर एक बिंदु $\hat{p}_2$ का अनुमान लगाता है (जहाँ केंद्र $(500, 500)$ है, एक $1000 \times 1000$ के नॉर्मलाइज्ड स्पेस में)।

ज़ूम कंसिस्टेंसी ( $c$ ) को स्टेप-2 के अनुमान और क्रॉप के केंद्र के बीच की यूक्लिडियन दूरी (Euclidean distance) के रूप में परिभाषित किया गया है:
$c = \|\hat{p}_2 - m\|_2$
जहाँ $m = (500, 500)$ है।

सैद्धांतिक आधार (Theoretical Foundation)

लीनियर एरर एस्टीमेटर (प्रपोजिशन 1): आदर्श स्थितियों के तहत (जहाँ लक्ष्य क्रॉप के भीतर दिखाई दे रहा है, और स्टेप-2 सटीक है), ज़ूम कंसिस्टेंसी स्टेप-1 के स्थानिक त्रुटि ( $\epsilon_1$ $ϵ_{1}$ ) के एक लीनियर एस्टीमेटर के रूप में कार्य करती है। विशेष रूप से, $c = \|\epsilon_1\| / r$ $c = ∥ ϵ_{1} ∥/ r$ , जहाँ $r$ $r$ क्रॉप रेश्यो (crop ratio) है।
- अंतर्ज्ञान (Intuition): यदि स्टेप-1 सटीक था, तो लक्ष्य केंद्र में होगा, इसलिए स्टेप-2 केंद्र का अनुमान लगाएगा ( $c \approx 0$ )। यदि स्टेप-1 गलत था, तो लक्ष्य विस्थापित होगा, जिससे स्टेप-2 को क्षतिपूर्ति करने के लिए केंद्र से दूर जाने के लिए मजबूर होना पड़ेगा ( $c > 0$ )।
विफलता मोड (Failure Modes): लीनियर संबंध टूट जाता है यदि:
1. लक्ष्य क्रॉप के बाहर हो (स्टेप-2 उसे देख नहीं सकता)।
2. स्टेप-2 में अपनी स्वयं की प्रेडिक्शन एरर हो (यह शोर/नॉइज़ जोड़ता है)।
3. क्रॉप इमेज बाउंड्री द्वारा क्लिप्ड हो (यह प्रभावी केंद्र को शिफ्ट कर देता है)।
क्रॉस-मॉडल तुलनीयता (प्रपोजिशन 2): लॉग-प्रोबेबिलिटी या टोकन-लेवल अनसर्टेन्टी के विपरीत, जो टोकनाइज़र, वोकैबुलरी साइज और टेम्परेचर पर निर्भर करते हैं (जिनके लिए कैलिब्रेशन की आवश्यकता होती है), ज़ूम कंसिस्टेंसी एक ज्यामितीय मात्रा (geometric quantity) है जो एक साझा निर्देशांक स्थान में होती है। यह बिना किसी कैलिब्रेशन के, अलग-अलग आर्किटेक्चर वाले VLMs के बीच सीधे तौर पर तुलनीय है।

3. मुख्य योगदान (Key Contributions)

औपचारिकीकरण (Formalization): ज़ूम कंसिस्टेंसी को परिभाषित किया और आदर्श स्थितियों के तहत स्थानिक त्रुटि के साथ इसके सैद्धांतिक संबंध को सिद्ध किया।
कैलिब्रेशन-मुक्त गुण (Calibration-Free Property): यह प्रदर्शित किया कि यह मीट्रिक बिना रिट्रेनिंग या कैलिब्रेशन के, अलग-अलग VLMs (जैसे, एक 8B स्पेशलिस्ट बनाम एक 27B जनरललिस्ट) के बीच कॉन्फिडेंस स्कोर की सीधी तुलना करने की अनुमति देता है।
अनुभवजन्य सत्यापन (Empirical Validation): दो अलग-अलग मॉडलों का उपयोग करके ScreenSpot-Pro बेंचमार्क के 1,581 नमूनों पर इस सिग्नल को सत्यापित किया:
- KV-Ground-8B: एक GUI-स्पेशलिस्ट मॉडल।
- Qwen3.5-27B: एक जनरल-परपस VLM।
रूटिंग अनुप्रयोग (Routing Application): एक प्रूफ-ऑफ-कांसेप्ट रूटिंग मैकेनिज्म विकसित किया जो बेहतर मॉडल प्रेडिक्शन चुनने के लिए ज़ूम कंसिस्टेंसी का उपयोग करता है, और उस सटीक गणितीय स्थिति को निकालता है जब ऐसा रूटिंग एक सिंगल स्ट्रॉन्ग मॉडल की तुलना में प्रदर्शन में सुधार करता है।

4. परिणाम (Results)

सटीकता के साथ सहसंबंध (Correlation with Accuracy)

नकारात्मक सहसंबंध (Negative Correlation): ज़ूम कंसिस्टेंसी और प्रेडिक्शन करेक्टनेस के बीच एक महत्वपूर्ण नकारात्मक सहसंबंध है (कम $c$ $c$ = उच्च सटीकता)।
- KV-Ground-8B: Spearman $\rho = -0.139$ ( $p < 10^{-6}$ ), AUC = 0.60।
- Qwen3.5-27B: Spearman $\rho = -0.109$ ( $p = 0.0003$ ), AUC = 0.588।
बकेट विश्लेषण (Bucket Analysis): कम कंसिस्टेंसी ( $c < 30$ ) वाले नमूनों ने 87.1% सटीकता प्राप्त की, जबकि उच्च कंसिस्टेंसी ( $c \ge 250$ ) में यह गिरकर 75.6% रह गई।
ओरेकल पार्टिशनिंग (Oracle Partitioning): सिग्नल उन मामलों को स्पष्ट रूप से अलग करता है जहाँ दोनों मॉडल सही हैं (कम औसत $c$ ) और उन मामलों से जहाँ वे असहमत हैं या दोनों विफल होते हैं (उच्च औसत $c$ )।

क्रॉस-मॉडल रूटिंग प्रदर्शन (Cross-Model Routing Performance)

लेखकों ने एक राउटर लागू किया जो दोनों मॉडलों को चलाता है और कम कंसिस्टेंसी स्कोर वाले प्रेडिक्शन को चुनता है।

ओरेकल हेडरूम (Oracle Headroom): सैद्धांतिक अधिकतम लाभ (वे मामले जहाँ केवल कमजोर मॉडल सही है) 5.0% (79 नमूने) था।
प्रदर्शन: राउटर ने इस हेडरूम का 16.5% हिस्सा कैप्चर किया, जिसके परिणामस्वरूप +0.8% (80.1% से 80.9% तक) का शुद्ध सटीकता लाभ हुआ।
सांख्यिकीय महत्व (Statistical Significance): हालांकि सुधार दिशात्मक रूप से सुसंगत है, लेकिन McNemar टेस्ट ने $p = 0.19$ दिया (जो $\alpha=0.05$ पर सांख्यिकीय रूप से महत्वपूर्ण नहीं है) क्योंकि लाभ बहुत कम था और असहमति सेट की प्रकृति अत्यधिक विषम थी (हानि, लाभ की तुलना में ~4.8 गुना अधिक है)।
डोमेन अनुकूलन (Domain Adaptation): राउटर ने स्पष्ट लेबल के बिना भी विभिन्न एप्लिकेशन श्रेणियों के लिए सफलतापूर्वक अनुकूलन किया (जैसे, CAD/Dev टूल्स के लिए स्पेशलिस्ट को और OS/Office टूल्स के लिए जनरललिस्ट को प्राथमिकता देना)।

5. महत्व और भविष्य के अनुप्रयोग (Significance and Future Applications)

जीरो-कॉस्ट कॉन्फिडेंस: यह विधि मौजूदा पाइपलाइन आउटपुट्स से कॉन्फिडेंस सिग्नल निकालती है, जिसके लिए कोई अतिरिक्त फॉरवर्ड पास, प्रशिक्षण या मॉडल इंट्रोस्पेक्शन की आवश्यकता नहीं होती।
मॉडल एग्नोस्टिक (Model Agnostic): यह अलग-अलग आकार और आर्किटेक्चर वाले मॉडलों के बीच "एप्पल-टू-एप्पल" कॉन्फिडेंस तुलना को सक्षम बनाता है, जो प्रोबेबिलिस्टिक आउटपुट्स के साथ कठिन कार्य है।
व्यापक उपयोगिता: रूटिंग के अलावा, लेखक निम्नलिखित अनुप्रयोगों का सुझाव देते हैं:
- अर्ली स्टॉपिंग (Early Stopping): यह तय करना कि क्या तीसरे ज़ूम स्टेप की आवश्यकता है।
- ह्यूमन-इन-द-लूप (Human-in-the-Loop): कम-कॉन्फिडेंस प्रेडिक्शन्स को मानवीय समीक्षा के लिए फ्लैग करना।
- क्वालिटी मॉनिटरिंग (Quality Monitoring): औसत कंसिस्टेंसी में उछाल के माध्यम से डिस्ट्रीब्यूशन शिफ्ट (जैसे, नए UI लेआउट) का पता लगाना।
- एक्टिव लर्निंग (Active Learning): उच्च-कंसिस्टेंसी (कम-कॉन्फिडेंस) नमूनों को एनोटेशन के लिए प्राथमिकता देना।

निष्कर्ष (Conclusion)

यह शोध पत्र ज़ूम कंसिस्टेंसी को मल्टी-स्टेप विजुअल ग्राउंडिंग के लिए एक मजबूत, मुफ्त और कैलिब्रेशन-मुक्त कॉन्फिडेंस सिग्नल के रूप में स्थापित करता है। हालांकि सिग्नल की शक्ति मध्यम है (सहसंबंध $\approx 0.13$ ), यह एक सैद्धांतिक रूप से ठोस और व्यावहारिक रूप से उपयोगी तंत्र प्रदान करता है जिससे मल्टी-मॉडल पाइपलाइनों और प्रेडिक्शन क्वालिटी की निगरानी में सुधार किया जा सकता है।