Linguistic Context Recodes Visual Representations in Vision-Language Models
यह शोध पत्र यह प्रदर्शित करता है कि विज़न-लैंग्वेज मॉडल भाषा-प्रेरित तंत्रों के माध्यम से दृश्य निरूपणों (visual representations) को गतिशील रूप से पुनर्गठित करते हैं, विशेष रूप से लक्ष्य-प्रासंगिक वस्तुओं के लिए अमूर्त संदर्भ वेक्टर (abstract reference vectors) उत्पन्न करके और कार्य-विशिष्ट गुणों को प्रवर्धित करके, जिससे विज़ुअल टोकन को स्थिर सूचना भंडारों के रूप में देखने वाले दृष्टिकोण को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप खिलौनों से भरी एक बिखरी हुई मेज को देख रहे हैं: एक लाल ब्लॉक, एक नीला बॉल और एक हरा सितारा। यदि कोई आपसे पूछता है, "यहाँ कितनी लाल चीजें हैं?", तो आपका मस्तिष्क पूरे ढेर को देखकर खाली आँखों से नहीं घूरता। इसके बजाय, यह तुरंत लाल ब्लॉक को हाइलाइट कर देता है, जिससे वह आपके मन में उभर आता है जबकि अन्य खिलौने पृष्ठभूमि में धुंधले हो जाते हैं। इसे "लक्ष्य-निर्देशित ध्यान" (goal-directed attention) कहा जाता है, और यह मानव बुद्धि की एक सुपरपावर है जो हमें इस अराजक दुनिया में वह खोजने में मदद करती है जिसकी हमें आवश्यकता होती है। लंबे समय तक, आर्टिफिशियल इंटेलिजेंस (AI) का अध्ययन करने वाले वैज्ञानिक सोचते थे कि क्या कंप्यूटर प्रोग्राम जो देखते और पढ़ते हैं (जिन्हें विजन-लैंग्वेज मॉडल कहा जाता है) उसी तरह काम करते हैं। पुराना सिद्धांत यह था कि ये AI प्रोग्राम छवियों को एक स्थिर फोटो एल्बम की तरह मानते थे: तस्वीर बिना किसी बदलाव के वहीं रहती है, और टेक्स्ट बस जानकारी खोजने के लिए पन्नों को पलटता है। लेकिन एक नया अध्ययन सुझाव देता है कि AI कुछ बहुत अधिक गतिशील कर रहा है, लगभग ऐसा जैसे वह आपके द्वारा पूछे गए प्रश्न के आधार पर चित्र को ही फिर से लिखने के लिए एक जादुई हाइलाइटर का उपयोग कर रहा हो।
यह शोध पत्र, जिसका शीर्षक है "Linguistic Context Recodes Visual Representations in Vision-Language Models," इन AI मस्तिष्कों की आंतरिक कार्यप्रणाली की जांच करता है ताकि यह देखा जा सके कि क्या वे वास्तव में किसी विशिष्ट प्रश्न को दिए जाने पर छवि को देखने का अपना तरीका बदलते हैं। शोधकर्ताओं ने Qwen 2.5 VL और InternVL3 जैसे मॉडलों के साथ काम करते हुए पाया कि उत्तर एक जोरदार "हाँ" है। उन्होंने पाया कि जब आप कोई प्रश्न पूछते हैं, तो AI केवल टेक्स्ट को पढ़ता और चित्र को अलग से नहीं देखता है। इसके बजाय, भाषाई निर्देश वास्तव में AI के दृश्य भाग तक पहुँचता है और वस्तुओं के डिजिटल प्रतिनिधित्व को फिर से लिख देता है। यह ऐसा है जैसे AI दृश्य की एक मानसिक तस्वीर लेता है, और फिर, आपके प्रश्न के आधार पर, वह प्रासंगिक वस्तु को उभारने के लिए उसे डिजिटल रूप से "ओवरपेंट" करता है, जबकि दूसरों को धीमा कर देता है।
टीम ने पाया कि यह "जादुई हाइलाइटर" दो मुख्य तरीकों से काम करता है। पहला, AI महत्वपूर्ण वस्तुओं पर एक विशेष, अदृश्य "संदर्भ टैग" (reference tag) जोड़ता है। इसे एक चमकते हुए सितारे के स्टिकर की तरह समझें जिसे AI लाल चीजों के बारे में पूछने पर लाल ब्लॉक पर चिपका देता है। यह स्टिकर केवल उस एक विशिष्ट ब्लॉक के लिए नहीं है; यह एक सामान्य टैग है जिसे AI किसी भी ऐसी वस्तु पर लगा सकता है जो लक्ष्य के अनुकूल हो, चाहे वह कार्टून में एक लाल दिल हो या वास्तविक फोटो में लाल वाइन ग्लास। शोधकर्ताओं ने "स्टीयरिंग" (steering) नामक तकनीक का उपयोग करके यह सिद्ध किया कि यह केवल एक निष्क्रिय लेबल नहीं था। वे वास्तव में इस "संदर्भ टैग" को एक प्रश्न से ले सकते थे और उसे AI के मन में एक अलग वस्तु पर पेस्ट कर सकते थे, जिससे मॉडल को सफलतापूर्वक यह विश्वास दिलाने में सफलता मिली कि वही नई वस्तु वह थी जिसे वे खोज रहे थे। यह सुझाव देता है कि AI ने एक सार्वभौमिक तरीका सीख लिया है कि कैसे कहना है, "हे, यह वाला महत्वपूर्ण है!"
दूसरा, शोध पत्र दिखाता है कि AI न केवल वस्तु को टैग करता है; बल्कि यह उसकी विशिष्ट विशेषताओं का वॉल्यूम भी बढ़ा देता है। यदि आप AI को किसी वस्तु के आकार पर ध्यान केंद्रित करने के लिए कहते हैं, तो उस वस्तु के आकार का डिजिटल प्रतिनिधित्व प्रवर्धित (amplify) हो जाता है, जो AI की प्रोसेसिंग में "मोटा" और अधिक स्पष्ट हो जाता है, जबकि रंग के विवरण थोड़े शांत हो जाते हैं। यह एक गाने में एक विशिष्ट वाद्य यंत्र की बेस (bass) को बढ़ाने जैसा है। शोधकर्ताओं ने दिखाया कि यह प्रक्रिया AI के मस्तिष्क की बाद की परतों में होती है, उत्तर देने से ठीक पहले। जब उन्होंने इस प्रक्रिया को "फ्रीज" करने की कोशिश की—यानी AI को विशेषताओं को प्रवर्धित करने से रोकने की कोशिश की—तो मॉडल अपने उत्तरों में बहुत कम आश्वस्त हो गया, जिससे यह साबित हुआ कि यह फीचर-बूस्टिंग चरण सही परिणाम प्राप्त करने के लिए अत्यंत महत्वपूर्ण है।
संक्षेप में, अध्ययन बताता है कि विजन-लैंग्वेज मॉडल केवल दृश्य तथ्यों के निष्क्रिय पुस्तकालय नहीं हैं जो क्वेरी होने की प्रतीक्षा कर रहे हैं। इसके बजाय, वे सक्रिय, गतिशील प्रणालियाँ हैं जो वास्तविक समय में अपनी दृश्य समझ को नया आकार देने के लिए भाषा का उपयोग करती हैं। वे केवल उत्तर नहीं खोजते; वे अपने दृश्य को पूरी तरह से पुनर्गठित करते हैं ताकि उत्तर स्पष्ट हो जाए। यह हमें समझने के करीब लाता है कि कैसे मशीनें एक दिन एक प्रकार की दृश्य बुद्धि विकसित कर सकती हैं जो डेटाबेस सर्च के बजाय मानव दृष्टि की लचीली, लक्ष्य-उन्मुख पद्धति की तरह महसूस होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।