🤖 AI

VisRef: Visual Refocusing while Thinking Improves Test-Time Scaling in Multi-Modal Large Reasoning Models

यह शोध पत्र VisRef का प्रस्ताव करता है, जो एक गणनात्मक रूप से कुशल टेस्ट-टाइम स्केलिंग फ्रेमवर्क है जो विज़ुअल टोकन के एक विविध, अर्थपूर्ण को-सेट (coreset) को गतिशील रूप से पुन: इंजेक्ट करके मल्टी-मोडल रीजनिंग प्रदर्शन में सुधार करता है ताकि विस्तारित टेक्स्टुअल रीजनिंग के दौरान मॉडल इमेज कंटेंट पर अपना ध्यान केंद्रित करने से न खोए।

मूल लेखक: Soumya Suvra Ghosal, Youngeun Kim, Zhuowei Li, Ritwick Chaudhry, Linghan Xu, Hongjing Zhang, Jakub Zablocki, Yifan Xing, Qin Zhang

प्रकाशित 2026-03-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Soumya Suvra Ghosal, Youngeun Kim, Zhuowei Li, Ritwick Chaudhry, Linghan Xu, Hongjing Zhang, Jakub Zablocki, Yifan Xing, Qin Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ VisRef पेपर का स्पष्टीकरण दिया गया है, जिसे सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।

समस्या: "भुलक्कड़ जासूस" (The Forgetful Detective)

कल्पना कीजिए कि आप एक अपराध स्थल की फोटो और कुछ चश्मदीद गवाहों के बयानों के आधार पर एक जटिल रहस्य को सुलझाने की कोशिश कर रहे एक जासूस हैं।

पुराने समय में, AI मॉडल उन जासूसों की तरह थे जिन्होंने फोटो को एक बार देखा, एक त्वरित नज़र डाली, और फिर अपनी रिपोर्ट लिखना शुरू कर दिया। वे अपने आप से बहुत देर तक बातें करते थे ("रुको, मुझे सोचने दो... शायद बंदूक बाएं हाथ वाली थी...")।

लेकिन यहाँ एक पेंच है: वे जितनी लंबी बातें करते थे, उतना ही वे फोटो को भूलते जाते थे।

जैसे-जैसे AI द्वारा उत्पन्न किए गए विचार (टेक्स्ट) लंबे होते गए, उनका ध्यान विजुअल सुरागों (visual clues) से भटकता गया। उन्होंने वास्तविक तस्वीर के बजाय पूरी तरह से अपनी याददाश्त और सामान्य ज्ञान (textual priors) पर भरोसा करना शुरू कर दिया। यह एक ऐसे जासूस की तरह था जिसने अपनी आँखें बंद कर लीं, गोल-गोल घूमना शुरू किया, और मेज पर मौजूद सबूतों को देखने के बजाय केवल एक अंदाज़ के आधार पर उत्तर देने लगा। इसे "विजुअल डाइल्यूशन" (Visual Dilution) कहा जाता है।

पुराने समाधान: महंगा प्रशिक्षण (Expensive Training)

वैज्ञानिकों ने इसे दो तरीकों से ठीक करने की कोशिश की:

जासूस को फिर से प्रशिक्षित करना: उन्होंने 'रीइन्फोर्समेंट लर्निंग' (RL) का उपयोग करके AI को सिखाया, "हे, हर बार जब तुम एक वाक्य लिखो, तो फोटो की ओर वापस देखो!" यह काम तो करता था, लेकिन यह ऐसा था जैसे 50 ट्यूटर्स की एक टीम को जासूस को शुरुआत से फिर से पढ़ाने के लिए नियुक्त करना। यह अविश्वसनीय रूप से महंगा और धीमा था।
बस अधिक सोचना: उन्होंने AI को और भी लंबा सोचने (Textual Self-Reflection) के लिए प्रेरित किया। लेकिन इससे समस्या और भी बढ़ गई; AI अपने ही विचारों में और भी अधिक खो गया और फोटो को और भी तेज़ी से भूल गया।

नया समाधान: VisRef (एक "स्मार्ट नज़र")

इस पेपर के लेखकों ने VisRef प्रस्तावित किया। उन्होंने एक सरल प्रश्न पूछा: "क्या हम बिना किसी री-ट्रेनिंग के जासूस को फोटो की ओर वापस देखना सिखा सकते हैं?"

उत्तर है हाँ। VisRef एक "ट्रेनिंग-फ्री" फ्रेमवर्क है। यह AI के दिमाग को नहीं बदलता; यह बस यह बदल देता है कि वह सोचते समय फोटो को कैसे देखता है।

VisRef कैसे काम करता है (उपमा)

कल्पना कीजिए कि AI एक व्हाइटबोर्ड पर गणित की समस्या हल कर रहा है जिसके बगल में एक डायग्राम बना है।

"कोर" समूह (The Core Group): डायग्राम में सैकड़ों सूक्ष्म विवरण (पिक्सेल) होते हैं। यदि AI हर वाक्य लिखते समय हर एक पिक्सेल को देखने की कोशिश करता है, तो वह अभिभूत (overwhelmed) हो जाएगा और धीमा हो जाएगा।
स्मार्ट चयन (DPP): VisRef एक स्मार्ट स्पॉटलाइट की तरह काम करता है। पूरे कमरे पर रोशनी डालने के बजाय, यह एक गणितीय ट्रिक (जिसे Determinant Point Process कहा जाता है) का उपयोग करके उन सबसे महत्वपूर्ण 30% विवरणों को चुनता है जो अभी प्रासंगिक हैं।
- प्रासंगिकता (Relevance): यह छवि के उन हिस्सों को चुनता है जो AI के वर्तमान विचार से मेल खाते हैं (उदाहरण के लिए, यदि AI "लाल कार" के बारे में बात कर रहा है, तो स्पॉटलाइट लाल कार पर ज़ूम करती है)।
- विविधता (Diversity): यह सुनिश्चित करता है कि स्पॉटलाइट कार के टायर को पाँच बार न देखे। यह पहियों, ड्राइवर और बैकग्राउंड को देखने के लिए व्यापक रूप से फैलता है। यह एक विस्तृत और विविध दृश्य सुनिश्चित करता है।
"री-इंजेक्ट" (The Re-Inject): हर बार जब AI अपने तर्क (reasoning) में एक कदम आगे बढ़ता है, तो VisRef इन चयनित विजुअल सुरागों को AI के दिमाग में पुनः इंजेक्ट (re-inject) करता है। यह एक ऐसे जासूस की तरह है जो अपना मोनोलॉग रोकता है, अपनी आँखें खोलता है, मेज पर मौजूद विशिष्ट सुरागों को देखता है, और फिर ताज़ा नज़रों के साथ अपनी सोच जारी रखता है।
कब रुकना है, यह जानना: Vis ही पास एक "कॉन्फिडेंस मीटर" भी है। यदि AI उत्तर के बारे में 99% निश्चित है (कम "एंट्रॉपी"), तो वह सोचना बंद कर देता है और उत्तर दे देता है। यदि वह भ्रमित है, तो वह फोटो को देखता रहता है और अधिक सोचता रहता है।

यह एक बड़ी बात क्यों है?

कोई ट्रेनिंग की आवश्यकता नहीं: आप किसी भी मौजूदा स्मार्ट AI मॉडल को ले सकते हैं और VisRef को एक USB ड्राइव की तरह उसमें प्लग कर सकते हैं। किसी महंगे री-ट्रेनिंग की आवश्यकता नहीं है।
बेहतर सटीकता: परीक्षणों में (जैसे MathVista और MM-Star), VisRef का उपयोग करने वाले मॉडलों ने उन मॉडलों की तुलना में काफी बेहतर स्कोर (6.4% तक अधिक) प्राप्त किया जो केवल "अधिक सोचते" थे या जिन्हें वापस देखने के लिए री-ट्रेन किया गया था।
कुशल (Efficient): यह छवि के अप्रासंगिक हिस्सों को देखने में समय बर्बाद नहीं करता है। यह केवल उसी को देखता है जो महत्वपूर्ण है।

निष्कर्ष (The Bottom Line)

VisRef एक भुलक्कड़ जीनियस को स्टिकी नोट सिस्टम देने जैसा है।

जीनियस को बड़बड़ाने और फोटो को भूल जाने देने के बजाय, VisRef उन्हें रुकने, कुछ प्रासंगिक "स्टिकी नोट्स" (विजुअल सुराग) वापस अपनी डेस्क पर चिपकाने, और अपनी शानदार रीजनिंग जारी रखने से पहले सबूतों को याद दिलाने के लिए मजबूर करता है। यह AI को वास्तविकता से जोड़े रखता है, यह सुनिश्चित करता है कि वह जितना अधिक सोचे, वह उतना ही स्मार्ट बने, न कि उतना अधिक भ्रमित (hallucinate) हो।

यहाँ शोध पत्र "VisRef: Visual Refocusing while Thinking Improves Test-Time Scaling in Multi-Modal Large Reasoning Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विजुअल डाइल्यूशन (Visual Dilution) की समस्या:
मल्टी-मोडल लार्ज रीजनिंग मॉडल्स (MLRMs) ने विजन-लैंग्वेज कार्यों के लिए चेन-ऑफ-थॉट (CoT) रीजनिंग का विस्तार करके सफलता दिखाई है। हालाँकि, एक महत्वपूर्ण सीमा मौजूद है: जैसे-जैसे ये मॉडल लंबे रीजनिंग ट्रेसेस (टेस्ट-टाइम स्केलिंग) उत्पन्न करते हैं, विजुअल टोकन्स (visual tokens) पर उनका ध्यान धीरे-धीरे कम होता जाता है।

तंत्र (Mechanism): जैसे-जैसे टेक्स्टुअल रीजनिंग स्टेप्स के साथ कॉन्टेक्स्ट विंडो का विस्तार होता है, विजुअल टोकन्स का प्रभाव कम (dilute) हो जाता है। मॉडल वास्तविक इमेज कंटेंट में अपनी रीजनिंग को ग्राउंड करने के बजाय टेक्स्टुअल प्रायर्स (textual priors) पर अधिक निर्भर होने लगता है।
परिणाम (Consequence): इसके कारण विजुअल हॉलुसिनेशन (visual hallucinations) और विजन-क्रिटिकल कार्यों (जैसे ज्यामिति, चार्ट व्याख्या) में प्रदर्शन में गिरावट आती है, भले ही मॉडल अधिक समय तक "सोच" रहा हो।
मौजूदा समाधानों की सीमाएँ:
- रीइन्फोर्समेंट लर्निंग (RL) फाइन-ट्यूनिंग: "लुक-बैक" (Look-Back) जैसी विधियाँ मॉडल्स को स्पष्ट रूप से इमेज को पुनः देखने के लिए प्रशिक्षित करती हैं। हालांकि प्रभावी, ये गणनात्मक रूप से महंगी हैं, इनके लिए बड़े पैमाने पर एनोटेटेड डेटासेट की आवश्यकता होती है, और इन्हें आसानी से स्केल नहीं किया जा सकता।
- टेक्स्ट-सेंट्रिक टेस्ट-टाइम स्केलिंग: ऐसी विधियाँ जो केवल सेल्फ-रिफ्लेक्शन (जैसे, "रुको, और सोचो") के माध्यम से रीजनिंग का विस्तार करती हैं, वे विजुअल डाइल्यूशन की समस्या को हल करने में विफल रहती हैं, क्योंकि वे केवल टेक्स्ट चेन का विस्तार करती हैं बिना विजुअल इनपुट को पुनः ग्राउंड किए।

मुख्य प्रश्न: क्या हम बिना किसी मॉडल रिट्रेनिंग या RL फाइन-ट्यूनिंग के, पूरी तरह से टेस्ट टाइम पर विजुअल ग्राउंडिंग को बहाल कर सकते हैं?

2. कार्यप्रणाली (Methodology): VisRef

लेखक VisRef का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो रीजनिंग प्रक्रिया के दौरान सावधानीपूर्वक चुने गए विजुअल टोकन्स के एक विशिष्ट सबसेट को एडैप्टिवली (adaptively) पुन: इंजेक्ट करता है।

A. मुख्य तंत्र: एडैप्टिव विजुअल टोकन री-इंजेक्शन (Adaptive Visual Token Re-injection)

इमेज को शुरुआत में केवल एक बार प्रोसेस करने के बजाय, VisRef प्रत्येक रीजनिंग स्टेप $k$ पर विजुअल टोकन्स के एक चयनित सबसेट को डायनेमिकली चुनता है और पुन: इंजेक्ट करता है।

इनपुट: इमेज $I$ और टेक्स्ट प्रॉम्प्ट $T$ ।
विजुअल टोकन्स: इमेज से निकाले गए टोकन्स का एक सेट $V = \{v_1, ..., v_N\}$ ।
प्रक्रिया: स्टेप $k$ पर, मॉडल एक रीजनिंग ट्रेस $z_k$ जनरेट करता है। इसके बाद VisRef एक सबसेट $V_k \subset V$ को पुन: इंजेक्ट करने के लिए चुनता है, जिससे कॉन्टेक्स्ट को $\tau_{1:k} = \{(z_1, V_1), ..., (z_k, V_k)\}$ के रूप में अपडेट किया जाता है।

B. डिटर्मिनेंटल पॉइंट प्रोसेसिस (DPP) के माध्यम से विजुअल टोकन चयन

किन टोकन्स को पुन: इंजेक्ट किया जाए, यह चयन करना केंद्रीय चुनौती है। सभी टोकन्स को अनियंत्रित रूप से पुन: इंजेक्ट करना गणनात्मक रूप से अत्यधिक महंगा है। VisRef इसे एक ऑप्टिमाइज़ेशन समस्या के रूप में तैयार करता है ताकि एक ऐसा कोरेसेट (coreset) खोजा जा सके जो प्रासंगिक (relevant) भी हो और विजुअल कवरेज में विविध (diverse) भी हो।

प्रासंगिकता (Relevance): टोकन्स वर्तमान टेक्स्टुअल रीजनिंग स्टेट $z_k$ के साथ संरेखित होने चाहिए।
विविधता (Diversity): रेडंडेंसी (redundancy) से बचने के लिए टोकन्स को इमेज के विभिन्न हिस्सों को कवर करना चाहिए।

गणितीय सूत्रीकरण (Mathematical Formulation):
लेखक डिटर्मिनेंटल पॉइंट प्रोसेसिस (DPP) का उपयोग करके इन उद्देश्यों को संतुलित करते हैं।

वे एक कर्नेल मैट्रिक्स $L_k$ का उपयोग करके विजुअल टोकन्स को वर्तमान टेक्स्ट टोकन्स $z_k$ द्वारा परिभाषित सबस्पेस में प्रोजेक्ट करते हैं।
चयन का उद्देश्य चयनित सबसेट $V_k$ के लिए कर्नेल मैट्रिक्स के डिटर्मिनेंट (determinant) को अधिकतम करना है:
$\hat{V}_k = \arg \max_{V_k \subseteq V} \det(L_{V_k}^k)$
अपघटन (Decomposition): $\log \det(L_{V_k}^k)$ को अधिकतम करना स्वाभाविक रूप से इस प्रकार विभाजित होता है:
$\log \det(L_{V_k}^k) = \underbrace{\sum \log(r_i^2)}_{\text{Relevance}} + \underbrace{\log \det(\bar{L}_{V_k}^k)}_{\text{Diversity}}$
जहाँ $r_i$ टोकन $i$ का प्रासंगिकता स्कोर है, और $\bar{L}$ एक नॉर्मलाइज्ड डायवर्सिटी कर्नेल है।
दक्षता (Efficiency): चूंकि सटीक ऑप्टिमाइज़ेशन NP-hard है, वे समाधान को कुशलतापूर्वक अनुमानित करने के लिए एक निश्चित टोकन बजट $m$ (जैसे, कुल विजुअल टोकन्स का 30%) के साथ एक ग्रीडी सिलेक्शन एल्गोरिदम (greedy selection algorithm) का उपयोग करते हैं।

C. एडैप्टिव स्टॉपिंग क्राइटेरियन (Adaptive Stopping Criterion)

"ओवरथिंकिंग" (जो प्रदर्शन को खराब कर सकती है) को रोकने और कंप्यूटेशनल लागत को सीमित करने के लिए, VisRef एक एंट्रॉपी-आधारित स्टॉपिंग क्राइटेरियन का उपयोग करता है।

प्रत्येक स्टेप पर, मॉडल अपने उत्तर वितरण (answer distribution) की एंट्रॉपी $H_k$ की गणना करता है।
यदि $H_k < \delta_{entropy}$ (एक कॉन्फिडेंस थ्रेशोल्ड), तो मॉडल रीजनिंग करना बंद कर देता है और अंतिम उत्तर आउटपुट करता है।
यह मॉडल को जटिल समस्याओं के लिए लंबी रीजनिंग करने और सरल समस्याओं के लिए जल्दी रुकने की अनुमति देता है।

3. प्रमुख योगदान (Key Contributions)

ट्रेनिंग-फ्री फ्रेमवर्क: VisRef बिना मॉडल पैरामीटर्स को बदले या RL फाइन-ट्यूनिंग की आवश्यकता के, शुद्ध रूप से इन्फरेंस टाइम पर एडैप्टिव विजुअल रिफोकसिंग प्राप्त करता है।
DPP-आधारित चयन: एक विजुअल टोकन कोरेसेट चुनने के लिए डिटर्मिनेंटल पॉइंट प्रोसेसिस का उपयोग करते हुए एक सिद्धांत आधारित विधि पेश करता है जो प्रासंगिकता (वर्तमान विचार के साथ संरेखण) और विविधता (ग्लोबल इमेज कवरेज) के बीच इष्टतम संतुलन बनाता है।
एडैप्टिव स्टॉपिंग: रीजनिंग को गतिशील रूप से समाप्त करने के लिए एक एंट्रॉपी-आधारित मानदंड लागू करता है, जो सटीकता और दक्षता के बीच संतुलन बनाता है।
प्लग-एंड-प्ले: यह विधि किसी भी प्री-ट्रेंड मल्टी-मोडल लार्ज रीजनिंग मॉडल (MLRM) के साथ संगत है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन चुनौतीपूर्ण बेंचमार्क (MathVista, MM-Star, MathVision) पर तीन अत्याधुनिक मॉडल्स (InternVL-3.5, Qwen-3-VL, SAIL-VL2) का मूल्यांकन किया।

मुख्य निष्कर्ष:

बेहतर प्रदर्शन: फिक्स्ड टेस्ट-टाइम कंप्यूट बजट के तहत, VisRef लगातार स्टैंडर्ड थिंकिंग (ST) और टेक्स्टुअल सेल्फ-रिफ्लेक्शन (TSR) दोनों से बेहतर प्रदर्शन करता है।
- उदाहरण: SAIL-VL2 के साथ MathVision पर, VisRef ने स्टैंडर्ड थिंकिंग की तुलना में सटीकता में 7.5% और टेक्स्टुअल सेल्फ-रिफ्लेक्शन की तुलना में 5.4% का सुधार किया।
- उदाहरण: InternVL-3.5 के साथ MM-Star पर, Visifer ने बेसलाइन की तुलना में 6.4% की बढ़त हासिल की।
टेस्ट-टाइम स्केलिंग: कई समानांतर रीजनिंग चेन्स (स्केलिंग कंप्यूट) जनरेट करते समय, VisRef किसी भी दिए गए टोकन बजट के लिए पैरेलल टेक्स्ट-ओनली रीजनिंग की तुलना में लगातार उच्च सटीकता प्राप्त करता है।
RL विधियों के साथ तुलना: Visifer, Look-Back (एक RL-आधारित विधि जिसमें 60 GPU घंटे की फाइन-ट्यूनिंग की आवश्यकता होती है) के साथ प्रतिस्पर्धी प्रदर्शन करता है, लेकिन बिना किसी ट्रेनिंग के। इसके अलावा, Look-Back को VisRef के साथ संयोजित करने से सर्वोत्तम परिणाम मिलते हैं, जो दर्शाता है कि ये विधियाँ एक-दूसरे के पूरक (orthogonal) हैं।
एब्लेशन स्टडीज (Ablation Studies):
- DPP ऑब्जेक्टिव में Relevance और Diversity दोनों टर्म्स महत्वपूर्ण हैं; केवल एक का उपयोग करने से प्रदर्शन में भारी गिरावट आती है।
- यह विधि विभिन्न टोकन बजट ( $m$ ) और एंट्रॉपी थ्रेशोल्ड ( $\delta$ ) के प्रति मजबूत (robust) है।
- VisRef 1B से 8B तक के विभिन्न मॉडल्स के लिए प्रभावी ढंग से स्केल करता है।

5. महत्व और प्रभाव (Significance and Impact)

"विजुअल डाइल्यूशन" की समस्या का समाधान: VisRef विजुअल ग्राउंडिंग खोने की ज्ञात समस्या के लिए एक व्यावहारिक समाधान प्रदान करता है, जो लंबे रीजनिंग चेन्स के दौरान MLRMs के लिए एक महत्वपूर्ण बाधा है।
दक्षता बनाम प्रदर्शन: यह प्रदर्शित करता है कि उच्च-प्रदर्शन वाली विजुअल रीजनिंग के लिए आवश्यक रूप से महंगी रिट्रेनिंग या RL की आवश्यकता नहीं होती है। सरल, सिद्धांत आधारित इन्फरेंस-टाइम हस्तक्षेप महत्वपूर्ण लाभ दे सकते हैं।
सामान्यीकरण (Generalizability): एक ट्रेनिंग-फ्री दृष्टिकोण के रूप में, VisRef को किसी भी मौजूदा प्री-ट्रेंड MLRM पर तुरंत तैनात किया जा सकता है, जो इसे समुदाय के लिए एक अत्यधिक स्केलेबल समाधान बनाता है।
मानव जैसी रीजनिंग: यह विधि एल्गोरिथमिक टोकन चयन के माध्यम से मानव समस्या-समाधान रणनीतियों (इमेज को देखने और अमूर्त तर्क के बीच बारी-बारी से काम करना) की नकल करती है, जो मानव संज्ञान और AI रीजनिंग के बीच के अंतर को पाटती है।

निष्कर्षतः, VisRef यह स्थापित करता है कि विजुअल रिफोकसिंग मल्टी-मोडल मॉडल्स के लिए टेस्ट-टाइम स्केलिंग का एक महत्वपूर्ण घटक है, जो जटिल विजुअल कार्यों पर रीजनिंग सटीकता में सुधार करने के लिए एक गणनात्मक रूप से कुशल, ट्रेनिंग-फ्री मार्ग प्रदान करता है।