💻 computer science

Thinking with Images as Continuous Actions: Numerical Visual Chain-of-Thought

यह शोध पत्र न्यूमेरिकल विजुअल चेन-ऑफ-थॉट (NV-CoT) का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को निरंतर संख्यात्मक निर्देशांकों (कंटीन्यूअस न्यूमेरिकल कोऑर्डिनेट्स) को क्रियाओं के रूप में उत्पन्न करके सटीक क्षेत्र-आधारित तर्क करने में सक्षम बनाता है, जिससे डिस्क्रीट टेक्स्ट-आधारित या फिक्स्ड-पैच दृष्टिकोणों की सीमाओं को दूर करते हुए लोकलाइजेशन सटीकता और प्रशिक्षण दक्षता में सुधार किया जा सके।

मूल लेखक: Kesen Zhao, Beier Zhu, Junbao Zhou, Xingyu Zhu, Zhongqi Yue, Hanwang Zhang

प्रकाशित 2026-03-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kesen Zhao, Beier Zhu, Junbao Zhou, Xingyu Zhu, Zhongqi Yue, Hanwang Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को यह सिखाने की कोशिश कर रहे हैं कि एक तस्वीर को कैसे देखा जाए और उसके बारे में एक सवाल का जवाब कैसे दिया जाए, जैसे कि "बाईं ओर खड़ा आदमी क्या पकड़े हुए है?"

इसे करने के लिए, रोबोट को जवाब देने से पहले तस्वीर के उस विशिष्ट हिस्से (आदमी के हाथों) पर ज़ूम इन (zoom in) करने की आवश्यकता होगी ताकि वह बेहतर तरीके से देख सके। इस प्रक्रिया को "विजुअल चेन-ऑफ़-थॉट" (Visual Chain-of-Thought) कहा जाता है।

लंबे समय तक, रोबोटों को यह काम बहुत ही अनाड़ी तरीके से करना पड़ता था। यहाँ बताया गया है कि यह पेपर एक नया तरीका जिसे NV-CoT कहा जाता है, इस समस्या को कैसे ठीक करता है।

पुराना तरीका: "पिक्सेलेटेड" (Pixelated) समस्या

कल्पना कीजिए कि आप अपने एक दोस्त को एक विशाल पार्क में एक विशिष्ट पेड़ की सटीक स्थिति बताने की कोशिश कर रहे हैं।

"टेक्स्ट" विधि (पुराना तरीका):
रोबोट शब्दों का उपयोग करके पेड़ के स्थान का वर्णन करने की कोशिश करता है। वह कहता है, "3... 1... 5... 9।"

समस्या: रोबोट के लिए, "3" और "4" पूरी तरह से अलग शब्द हैं, जैसे "सेब" और "केला"। वह यह नहीं समझता कि वे एक-दूसरे के ठीक बगल में हैं। यदि पेड़ वास्तव में 3.1 पर है, और रोबोट 3.9 का अनुमान लगाता है, तो रोबोट सोचता है कि उसने बहुत बड़ी गलती की है क्योंकि संख्याएँ पूरी तरह से अलग हैं। यह एक ऐसे कमरे को मापने जैसा है जिसमें केवल पूरे इंच का स्केल है, कोई भिन्न (fraction) नहीं। यह अपरिष्कृत और भ्रमित करने वाला है।

"पैच" (Patch) विधि (एक और पुराना तरीका):
रोबोट तस्वीर को लेगो ब्लॉक्स (Lego blocks) के एक विशाल ग्रिड में काट देता है। वह केवल "ब्लॉक #42" की ओर इशारा कर सकता है।

समस्या: क्या होगा यदि पेड़ ब्लॉक 42 और ब्लॉक 43 के बीच की रेखा पर हो? रोबोट सटीक नहीं हो सकता। वह लेगो ब्लॉक्स के आकार में फंसा हुआ है, चाहे वे कितने भी छोटे क्यों न हों।

नया तरीका: NV-CoT ("स्मूथ स्लाइडर")

इस पेपर के लेखक, केसेन झाओ (Kesen Zhao) और उनकी टीम ने एक शानदार समाधान निकाला जिसे न्यूमेरिकल विजुअल चेन-ऑफ़-थॉट (Numerical Visual Chain-of-Thought - NV-CoT) कहा जाता है।

शब्दों या लेगो ब्लॉक्स के बजाय, उन्होंने रोबोट को एक स्मूथ स्लाइडर (जैसे स्टीरियो का वॉल्यूम नॉब या लाइट का डिमर स्विच) दे दिया।

यह कैसे काम करता है: जब रोबोट को ज़ूम इन करने की आवश्यकता होती है, तो वह "3, 1, 5, 9" नहीं कहता। इसके बजाय, वह एक सुचारू, निरंतर संख्या उत्पन्न करता है जैसे 3.142।
जादू: क्योंकि यह एक सुचारू संख्या है, रोबोट समझता है कि 3.14, 3.15 के बहुत करीब है। यदि वह लक्ष्य से थोड़ा सा चूक भी जाता है, तो वह जानता है कि वह "लगभग सही" था, "पूरी तरह से गलत" नहीं। यह रोबोट को लेजर जैसी सटीकता के साथ सटीक स्थान की ओर इशारा करने की अनुमति देता है।

"गौसियन" (Gaussian) और "लाप्लास" (Laplace) सादृश्य

पेपर में कुछ फैंसी गणितीय शब्द जैसे "गौसियन" और "लाप्लास" पॉलिसी का उल्लेख है। यहाँ उनका सरल अंग्रेजी (और हिंदी) में अर्थ दिया गया है:

गौसियन पॉलिसी (द "बेल कर्व" गेस):
कल्पना कीजिए कि रोबोट एक लक्ष्य पर डार्ट फेंक रहा है। वह केवल एक डार्ट नहीं फेंकता; वह बहुत सारे डार्ट फेंकता है जो केंद्र के आसपास क्लस्टर (समूह) बनाते हैं। वह जानता है, "मुझे यकीन है कि लक्ष्य यहाँ है, लेकिन मैं थोड़ा इधर-उधर हो सकता हूँ।" यह रोबोट को थोड़े अलग स्थानों को आज़माकर और यह देखकर सीखने में मदद करता है कि कौन सा स्थान सबसे अच्छा काम करता है।
लाप्लास पॉलिसी (द "शार्पर" गेस):
कभी-कभी, रोबोट को और भी अधिक आत्मविश्वासी होने और बड़ी गलतियाँ करने की संभावना कम करने की आवश्यकता होती है। लाप्लास विधि एक ऐसे डार्ट फेंकने वाले की तरह है जो बहुत केंद्रित है और शायद ही कभी केंद्र से दूर डार्ट फेंकता है। यह उन स्थितियों के लिए बेहतरीन है जहाँ आपको बहुत सटीक होने की आवश्यकता होती है और "आउटलेयर्स" (अजीब अनुमानों) से बचना होता है।

यह एक बड़ी बात क्यों है?

शोधकर्ताओं ने इस नए तरीके का परीक्षण तीन अलग-अलग "वीडियो गेम स्तरों" (बेंचमार्क) पर किया जहाँ रोबोटों को चित्रों में चीजें ढूंढनी होती हैं।

यह तेज़ है: रोबोट पहले की तुलना में बहुत तेज़ी से ज़ूम इन करना सीख जाता है।
यह अधिक सटीक है: रोबोट सटीक वस्तु (जैसे पेपर मिल या हैंडबैग) को पाता है और गलती से बैकग्राउंड पर ज़ूम नहीं करता है।
यह लचीला है: यह काम करता है चाहे रोबोट को एक शिक्षक द्वारा सिखाया जा रहा हो (सुपरवाइज्ड फाइन-ट्यूनिंग) या अनुभव और त्रुटि (Reinforcement Learning) के माध्यम से सीख रहा हो।

निष्कर्ष

पुराने रोबोटों को उन लोगों के रूप में सोचें जो केवल प्रमुख राजमार्गों वाले मानचित्र का उपयोग करके शहर में नेविगेट करने की कोशिश कर रहे हैं। वे करीब तो पहुँच सकते थे, लेकिन अक्सर वे विवरणों में खो जाते थे।

NV-CoT रोबोट को टर्न-बाय-टर्न नेविगेशन के साथ जीपीएस (GPS) देता है। यह रोबोट को यह कहने की अनुमति देता है, "42.5 मीटर पर बाएं मुड़ें," बजाय इसके कि वह कहे, "अगले बड़े चौराहे पर बाएं मुड़ें।" यह छोटा सा बदलाव रोबोट को बहुत अधिक स्मार्ट, तेज़ और दृश्य दुनिया को समझने में बेहतर बनाता है।

संक्षेप में: उन्होंने रोबोट को शब्दों से अनुमान लगाना बंद करने और सुचारू, सटीक संख्याओं के साथ मापना शुरू करने की शिक्षा दी।

यहाँ शोध पत्र "Thinking with Images as Continuous Actions: Numerical Visual Chain-of-Thought" (NV-CoT) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) क्षेत्र-आधारित तर्क (region-grounded reasoning) करने के लिए "विजुअल चेन-ऑफ-थॉट" (Visual CoT) का उपयोग कर रहे हैं। हालाँकि, मौजूदा दृष्टिकोणों में दो मौलिक सीमाएँ हैं:

टेक्स्ट-आधारित निर्देशांक (मोडैलिटी मिसमैच और सिमेंटिक फ्रैगमेंटेशन): वर्तमान विधियाँ बाउंडिंग बॉक्स निर्देशांकों को असतत टेक्स्ट टोकन (जैसे, ["x1", "y1", "x2", "y2"]) के रूप में क्रमबद्ध करती हैं। यह विजुअल स्पेस की निरंतर प्रकृति और असतत टेक्स्ट टोकन के बीच एक मिसमैच पैदा करता है। इससे सिमेंटिक फ्रैगमेंटेशन (संख्याओं का असंबंधित सब-टोकन में विभाजित होना) और भंगुर तर्क (जैसे, यह पहचानने में विफल होना कि 3.9, 3.2 की तुलना में 3.1 के अधिक करीब है, क्योंकि टोकन-स्तरीय क्रॉस-एन्ट्रॉपी उन्हें समान दूरी वाली त्रुटियों के रूप में मानती है) होता है।
पैच-आधारित निर्देशांक (फिक्स्ड ग्रैनुलैरिटी): वैकल्पिक विधियाँ सीधे निश्चित-ग्रैनुलैरिटी वाले विजुअल पैच पर कार्य करती हैं। हालाँकि वे टेक्स्ट सीरियलाइजेशन से बचती हैं, लेकिन वे विजन बैकबोन के पूर्व-निर्धारित स्थानिक रिज़ॉल्यूशन द्वारा सीमित होती हैं, जो सटीक क्षेत्र चयन को बाधित करती हैं और बड़े वास्तुशिल्प परिवर्तनों की आवश्यकता होती है।

2. कार्यप्रणाली: न्यूमेरिकल विजुअल चेन-ऑफ-थॉट (NV-CoT)

लेखक NV-CoT प्रस्तावित करते हैं, एक ऐसा ढांचा जो MLLM के एक्शन स्पेस को असतत शब्दावली टोकन से विस्तारित कर एक निरंतर यूक्लिडियन स्पेस (continuous Euclidean space) में बदल देता है। मॉडल सीधे संख्यात्मक बाउंडिंग बॉक्स निर्देशांकों को 'एक्शन' के रूप में उत्पन्न करता है।

मुख्य आर्किटेक्चर (Core Architecture)

एक्शन स्पेस विस्तार: मानक LLM आउटपुट हेड को चार हल्के वजन वाले लीनियर हेड्स के साथ बढ़ाया गया है ताकि निरंतर निर्देशांक $[x_1, y_1, x_2, y_2]$ की भविष्यवाणी की जा सके।
पॉलिसी फॉर्मूलेशन: डिस्क्रीट कैटेगोरिकल डिस्ट्रीब्यूशन के बजाय, NV-CoT कोऑर्डिनेट आउटपुट को एक संभाव्यता वितरण (probability distribution) के रूप में मॉडल करता है:
- गौसियन पॉलिसी (Gaussian Policy): एक मीन वेक्टर $\mu$ और एक साझा स्टैंडर्ड डेविएशन $\sigma$ की भविष्यवाणी करता है।
- लाप्लास पॉलिसी (Laplace Policy): एक वेरिएंट जो एक मीन $\mu$ और एक स्केल पैरामीटर $\alpha$ की भविष्यवाणी करता है, जो लोकलाइजेशन कार्यों में $\ell_1$ लॉस की मजबूती से प्रेरित है।
रिपैरामीट्राइजेशन के माध्यम से स्टोकेस्टिसिटी (Stochasticity via Reparameterization): सुदृढीकरण शिक्षण (Reinforcement Learning - RL) को सक्षम करने के लिए, मॉडल निर्देशांकों को सैंपल करने के लिए रिपैरामीट्राइजेशन ट्रिक का उपयोग करता है:
- गौसियन: $b = \mu + \sigma \epsilon$ , जहाँ $\epsilon \sim \mathcal{N}(0, I)$ ।
- लाप्लास: $b = \mu + \alpha (s \odot \epsilon)$ , जहाँ $s$ एक रेडमेकर साइन वेक्टर है और $\epsilon$ एक्सपोनेंशियल है।

प्रशिक्षण प्रतिमान (Training Paradigms)

NV-CoT, सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और सुदृढीकरण शिक्षण (RL) दोनों के अनुकूल है:

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT):
- जब ग्राउंड-ट्रुथ बाउंडिंग बॉक्स उपलब्ध होते हैं, तो मॉडल को रिग्रेशन लॉस का उपयोग करके प्रशिक्षित किया जाता है।
- लॉस फंक्शन: निर्देशांकों के लिए टोकन-स्तरीय क्रॉस-एन्ट्रॉपी को $\ell_2^2$ (MSE) या $\ell_1$ लॉस से बदल देता है।
- सूत्र: $L_{SFT} = \text{CrossEntropy}(\text{text}) + \lambda \sum \|\mu_t - b^*_t\|^2$ ।
सुदृढीकरण शिक्षण (RL) - GRPO:
- निरंतर क्रियाओं (continuous actions) के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) एल्गोरिदम को अनुकूलित करता है।
- इम्पॉर्टेंस रेश्यो: कैटेगोरिकल रेश्यो के स्थान पर गौसियन/लाप्लास डिस्ट्रीब्यूशन के लिए क्लोज्ड-फॉर्म लाइक्लीहुड रेश्यो व्युत्पन्न करता है।
- KL रेगुलराइजेशन: वर्तमान और रेफरेंस गौसियन/लाप्लास पॉलिसियों के बीच एनालिटिकल KL डाइवर्जेंस का उपयोग पॉलिसी अपडेट को नियंत्रित करने के लिए करता है।
- रिवॉर्ड: परिणाम-संचालित रिवॉर्ड (उत्तर की शुद्धता, फॉर्मेट वैधता, और सफल ज़ूम-इन के लिए बोनस) का उपयोग करता है।

3. मुख्य योगदान (Key Contributions)

निरंतर एक्शन स्पेस: NV-CoT का प्रस्ताव, जो MLLM रीजनिंग को असतत टेक्स्ट टोकन से बदलकर निरंतर संख्यात्मक निर्देशांकों में ले जाता है, जिससे मोडैलिटी मिसमैच और सिमेंटिक फ्रैगमेंटेशन समाप्त हो जाता है।
निरंतर क्रियाओं के लिए RL अनुकूलता: रिपैरामीट्राइज्ड सैंपलिंग और एनालिटिकल इम्पॉर्टेंस रेश्यो के साथ गौसियन और लाप्लास पॉलिसियों का विकास, जिससे निरंतर लोकलाइजेशन mainstream RL एल्गोरिदम जैसे GRPO के साथ पूरी तरह से संगत हो जाता है।
न्यूनतम आर्किटेक्चरल ओवरहेड: इसके लिए केवल पांच हल्के वजन वाले लीनियर हेड्स जोड़ने की आवश्यकता होती है, जो पैच-आधारित विधियों के लिए आवश्यक जटिल संरचनात्मक परिवर्तनों से बचता है।
अनुभवजन्य सत्यापन: कई बेंचमार्क पर लोकलाइजेशन सटीकता, अंतिम उत्तर सटीकता और प्रशिक्षण अभिसरण (convergence) गति में महत्वपूर्ण सुधार प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क: V*Bench, HR-Bench 4K, और HR-Bench 8K पर NV-CoT का मूल्यांकन किया, जिसकी तुलना आठ बेसलाइन्स (टेक्स्ट-आधारित CoT जैसे DeepEyes/Vis-CoT और पैच-आधारित CoT जैसे LVR/PaDT सहित) से की गई।

प्रदर्शन लाभ:
- SFT सेटिंग: NV-CoT (SFT) ने V*Bench पर टेक्स्ट-आधारित बेसलाइन Vis-CoT-7B की तुलना में समग्र रूप से +3.7% बेहतर प्रदर्शन किया और HR-Bench पर निरंतर लाभ दिखाया।
- RL सेटिंग: NV-CoT (RL) ने V*Bench पर टेक्स्ट-आधारित DeepEyes-7B की तुलना में समग्र रूप से +2.6% सुधार किया।
- बड़े मॉडल्स के साथ तुलना: 7B पैरामीटर वाला NV-CoT मॉडल सभी बेंचमार्क में 32B पैरामीटर वाले Qwen2.5-VL मॉडल के प्रदर्शन को पछाड़ गया।
लोकलाइजेशन सटीकता: NV-Coet ने बाउंडिंग बॉक्स के लिए काफी उच्च इंटरसेक्शन ओवर यूनियन (IoU) प्राप्त किया (Vis-CoT के 47.3% के मुकाबले $\ell_1$ लॉस के साथ 59.5%)।
अभिसरण (Convergence): ट्रेनिंग कर्व्स ने दिखाया कि NV-CoT, SFT और RL दोनों सेटिंग्स में टेक्स्ट-आधारित बेसलाइन्स की तुलना में तेजी से अभिसरित होता है।
एब्लेशन स्टडीज (Ablation Studies):
- लॉस फंक्शन: $\ell_1$ लॉस (लाप्लास पॉलिसी) ने $\ell_2^2$ लॉस (गौसियन पॉलिसी) की तुलना में लगातार बेहतर प्रदर्शन किया, जो लोकलाइजेशन के लिए $\ell_1$ की मजबूती की पुष्टि करता है।
- पैरामीट्राइजेशन: साझा स्केल पैरामीटर्स ( $\sigma$ या $\alpha$ ) स्वतंत्र प्रति-निर्देशांक पैरामीटर्स के समान प्रदर्शन करते हैं, लेकिन दक्षता के लिए उन्हें प्राथमिकता दी जाती है।

5. महत्व (Significance)

धारणा और तर्क को जोड़ना: NV-CoT एक एकीकृत ढांचा प्रदान करता है जहाँ विजुअल परसेप्शन (लोकलाइजेशन) और रीजनिंग (CoT) एक ही निरंतर गणितीय स्थान में होते हैं, न कि विजन और टेक्स्ट के बीच अनुवाद करने के बजाय।
दक्षता: फिक्स्ड पैच ग्रिड या निर्देशांक निष्कर्षण के लिए जटिल टूल-कॉलिंग पाइपलाइन की आवश्यकता के बिना, NV-CoT "इमेज के साथ सोचने" के लिए एक अधिक कुशल और सटीक तंत्र प्रदान करता है।
स्केलेबिलिटी: फ्रेमवर्क की प्लग-एंड-प्ले प्रकृति (न्यूनतम आर्किटेक्चरल परिवर्तन) इसे मौजूदा MLLMs में आसानी से एकीकृत करने की अनुमति देती है, जो सूक्ष्म स्थानिक समझ (जैसे, OCR, विजुअल QA, रोबोटिक्स) के लिए आवश्यक कार्यों के लिए अधिक सक्षम मल्टीमॉडल एजेंटों के विकास को गति दे सकती है।