Where To Look? : Causal Tracing of Vision Encoders in VLM
यह शोध पत्र कॉज़ल ट्रेसिंग (causal tracing) का उपयोग करके यह प्रकट करता है कि विज़न-लैंग्वेज मॉडल अक्सर लक्षित क्षेत्रों के बाहर के विज़ुअल टोकन पर निर्भर करते हैं और संरचना को समझने के लिए उपस्थिति संकेतों (appearance cues) का लाभ उठाते हैं, जो उनके उच्च-प्रदर्शन वाले विवरणों और दृश्य सूचना के वास्तविक स्थानिक स्थानीयकरण (spatial localization) या संरचनात्मक तर्क के बीच एक मौलिक अंतर को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जासूस की दुविधा: AI की आँखें वास्तव में कैसे देखती हैं?
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। आप उसे एक कैमरा और एक दिमाग देते हैं, और उससे एक कुत्ते की तस्वीर का वर्णन करने के लिए कहते हैं। सालों से, वैज्ञानिक इस बात से हैरान हैं कि ये "विज़न-लैंग्वेज मॉडल्स" (VLMs) अविश्वसनीय सटीकता के साथ यह काम कर सकते हैं। लेकिन एक चुभता हुआ सवाल बना हुआ है: वे वास्तव में यह कैसे करते हैं? क्या वे वास्तव में उस कुत्ते को उसी तरह "देखते" हैं जैसे हम देखते हैं, या वे बस छोटे, छिपे हुए सुरागों के आधार पर अनुमान लगा रहे हैं?
इसका उत्तर देने के लिए, शोधकर्ता कॉज़ल ट्रेसिंग (causal tracing) नामक एक तकनीक का उपयोग करते हैं। इसे एक जासूस के "क्या-होता-अगर" वाले परिदृश्य की तरह समझें। यदि आप रोबोट के दिमाग से जानकारी का एक विशिष्ट हिस्सा निकाल देते हैं और उसे एक अलग हिस्से से बदल देते हैं, तो क्या उत्तर बदल जाता है? यदि उत्तर नाटकीय रूप से बदल जाता है, तो वह जानकारी का टुकड़ा "कारण संबंधी रूप से महत्वपूर्ण" (causally important) था। आमतौर पर, हम मान लेते हैं कि यदि कोई रोबोट कुत्ते के बारे में बात कर रहा है, तो उसके दिमाग का सबसे महत्वपूर्ण हिस्सा सीधे कुत्ते की ओर देख रहा होगा। लेकिन क्या होगा अगर रोबोट वास्तव में घास, आकाश या छाया पर ध्यान दे रहा है, और बस यह अनुमान लगा रहा है कि कुत्ता वहां है? यह शोध पत्र उसी रहस्य की गहराई में उतरता है, और यह पूछता है कि क्या AI के वे हिस्से जो सबसे अधिक मायने रखते हैं, वास्तव में सही जगह देख रहे हैं।
कहाँ देखें? AI का महान भटकाव
इस अध्ययन में, LINGO रिसर्च ग्रुप के शोधकर्ताओं ने दुनिया के कुछ सबसे स्मार्ट AI मॉडल्स के साथ "अंतर पहचानो" का खेल खेलने का निर्णय लिया। वे जानना चाहते थे: जब एक AI किसी छवि के बारे में उत्तर देता है, तो क्या उसका दिमाग का वह हिस्सा जो भारी काम करता है, वास्तव में पूछे गए ऑब्जेक्ट (वस्तु) की ओर देख रहा होता है?
यह पता लगाने के लिए, उन्होंने एक्टिवेशन पैचिंग (activation patching) नामक एक चतुर तकनीक का उपयोग किया। कल्पना कीजिए कि AI का मस्तिष्क हजारों श्रमिकों (जिन्हें "टोकन" कहा जाता है) वाला एक विशाल कारखाना है जो एक कन्वेयर बेल्ट पर नोट्स पास कर रहे हैं।
- द क्लीन रन (The Clean Run): वे AI को एक स्पष्ट फोटो और एक प्रश्न दिखाते हैं, जैसे "नीली शर्ट वाली महिला कहाँ है?" AI इस बात का स्कोर देता है कि वह छवि को कितनी अच्छी तरह समझता है।
- द करप्टेड रन (The Corrupted Run): वे उसी फोटो को लेते हैं और उसमें बहुत सारा स्टैटिक शोर (जैसे टीवी को बर्फीले चैनल पर करना) जोड़ देते हैं ताकि AI भ्रमित हो जाए और उसका स्कोर गिर जाए।
- द पैच्ड रन (The Patched Run): यह जादू वाला कदम है। वे उसी "भ्रमित" शोर वाली फोटो को लेते हैं, लेकिन वे मूल फोटो से एक एकल, साफ नोट को फैक्ट्री लाइन में चुपके से डाल देते हैं। यदि AI अचानक उत्तर याद कर लेता है और स्कोर वापस ऊपर चला जाता है, तो वह विशिष्ट नोट "हीरो" टोकन था।
शोधकर्ताओं ने फिर एक सरल प्रश्न पूछा: क्या वह हीरो टोकन नीली शर्ट वाली महिला को दिखाने वाले चित्र के हिस्से से आया था? इसे मापने के लिए, उन्होंने IoU (Intersection over Union) नामक एक गणितीय उपकरण का उपयोग किया, जो केवल यह पूछने का एक शानदार तरीका है, "यह नोट वास्तव में उस महिला के साथ कितना ओवरलैप करता है?"
चौंकाने वाली खोज: AI सही जगह के अलावा हर जगह देख रहा है
परिणाम कुछ ऐसे थे जैसे यह पता चलना कि आपका सबसे अच्छा दोस्त संख्याओं के बजाय छत की ओर देखते हुए गणित की समस्या हल कर रहा है।
टीम ने क्लासिक CLIP मॉडल से लेकर बेहद विशाल, आधुनिक दिग्गजों जैसे DeepSeek-VL, Qwen-2.5 और LLaVA तक का परीक्षण किया। उन्हें उम्मीद थी कि वे पाएंगे कि सबसे अधिक "कॉज़ल" (कारण संबंधी) टोकन (हीरो) सीधे लक्षित वस्तु के ऊपर केंद्रित होंगे। इसके बजाय, उन्हें एक कमजोर, लगभग गैर-मौजूद संबंध मिला।
- आंकड़े झूठ नहीं बोलते: CLIP मॉडल में, "महत्वपूर्ण होने" और "सही जगह होने" के बीच सहसंबंध केवल 0.062 था। यह व्यावहारिक रूप से शून्य है।
- पैटर्न कायम रहता है: बड़े और स्मार्ट मॉडल्स में भी, संख्याएँ कम ही रहीं। DeepSeek-VL के लिए, सहसंबंध एक प्रकार के शोर के साथ 0.0531 ± 0.0334 और दूसरे के साथ 0.0520 ± 0.0041 था। Qwen-2.5 के लिए, यह 0.0912 ± 0.0422 था।
- "जीरो ओवरलैप" का आश्चर्य: एक विशिष्ट उदाहरण में, एक टोकन जिसका उत्तर पर भारी प्रभाव था (एक कॉज़ल स्कोर 0.718), उसका लक्षित वस्तु के साथ लगभग कोई ओवरलैप नहीं था (केवल 0.049 का IoU)। ऐसा लग रहा था जैसे AI ने विषय के बजाय बैकग्राउंड को देखकर पहेली सुलझा ली हो।
लेखक सुझाव देते हैं कि ये मॉडल दृश्य जानकारी का उपयोग करने में अविश्वसनीय रूप से अच्छे हैं, लेकिन वे आवश्यक रूप से उस जानकारी के विशिष्ट स्थान में "ग्राउंडेड" (स्थापित) नहीं हैं। वे एक "वितरित" (distributed) सुरागों के जाल पर निर्भर हो सकते हैं—जैसे आकाश का रंग, फर्श की बनावट, या दृश्य का सामान्य माहौल—बजाय इसके कि वे विशिष्ट वस्तु पर ज़ूम इन करें।
क्या बड़ा मतलब बेहतर है?
आप सोच सकते हैं, "खैर, शायद पुराने, छोटे मॉडल्स इस मामले में खराब थे, और नए सुपर-AI ने इसे ठीक कर दिया है।" शोधकर्ताओं ने इसकी भी जांच की। उन्होंने 2023 से लेकर नवीनतम 2025 रिलीज़ तक के मॉडल्स को देखा।
फैसला? नहीं। पैटर्न नहीं बदला। यहाँ तक कि सबसे उन्नत मॉडल्स भी, जो जटिल प्रश्नों के उत्तर दे सकते हैं और निर्देशों का पालन पूरी तरह से कर सकते हैं, अभी भी यह विच्छेद दिखाते हैं। लेखक नोट करते हैं कि केवल इसलिए कि एक मॉडल टेस्ट पर उच्च स्कोर प्राप्त करता है, इसका मतलब यह नहीं है कि उसने छवि का बेहतर "स्थानिक मानचित्र" (spatial map) विकसित कर लिया है। ऐसा लगता है कि मजबूत प्रदर्शन का मतलब स्वचालित रूप से यह नहीं है कि AI सही जगह देख रहा है; इसका मतलब केवल यह है कि वह उन सुरागों का उपयोग करके सही उत्तर का अनुमान लगाने में बहुत अच्छा है जो उसे मिल रहे हैं।
"स्ट्रिंग" टेस्ट: क्या वे आकृतियों को समझते हैं?
और भी गहराई से जाने के लिए, टीम ने एक अलग प्रश्न पूछा: यदि आप किसी वस्तु के "लुक" (दिखावट) को हटा देते हैं लेकिन उसकी आकृति को बनाए रखते हैं, तो क्या AI इसे समझ पाता है? उन्होंने स्ट्रिंग्स (लाइनों) से जुड़े एक कार्य का उपयोग किया जहाँ उन्होंने ज्यामिति (आकार और कनेक्शन) को समान रखा लेकिन उसकी उपस्थिति बदल दी।
उन्होंने पाया कि मॉडल्स दृश्य संरचनाओं को समझने के लिए विजुअल क्यूज़ (दृश्य संकेतों) का लाभ उठाते हैं। जब वे उपस्थिति-आधारित संकेत हटा दिए गए, तो मॉडल्स को संरचना को बनाए रखने में संघर्ष करना पड़ा। यह सुझाव देता है कि AI वास्तव में अपनी दिखावट से स्वतंत्र रूप से आकार को "गहराई से" नहीं देख रहा है; यह कनेक्शनों को समझने के लिए सतह-स्तर के दिखावट वाले ट्रिक्स पर बहुत अधिक निर्भर करता है। जब वे ट्रिक्स हटा दिए जाते हैं, तो AI खो जाता है।
भविष्य के लिए इसका क्या अर्थ है
शोध पत्र एक स्पष्ट, यदि थोड़ा परेशान करने वाला संदेश देता है: "देखने" और "तर्क करने" के बीच एक अंतर है।
मॉडल्स टूटे हुए नहीं हैं; वे बस उस तरह से काम कर रहे हैं जिसकी हमने अपेक्षा नहीं की थी। वे एक ऐसे जासूस की तरह हैं जो अपराधी के चेहरे को देखे बिना, यह देखकर अपराध सुलझा सकता है कि संदिग्ध हमेशा लाल टोपी पहनता है। उनके मस्तिष्क के "कॉज़ल" हिस्से काम तो कर रहे हैं, लेकिन वे आवश्यक रूप से लक्ष्य को देख नहीं रहे हैं।
लेखक अब और भी अधिक मॉडल्स और विभिन्न प्रकार के कैमरा आर्किटेक्चर को देखने की योजना बना रहे हैं ताकि यह देखा जा सके कि क्या यह सभी आधुनिक AI के लिए एक सार्वभौमिक नियम है या केवल उनके द्वारा परीक्षण किए गए मॉडल्स की एक विशेषता है। फिलहाल, वे सुझाव देते हैं कि हमें यह मानकर नहीं चलना चाहिए कि क्योंकि एक AI किसी छवि का सटीक वर्णन कर सकता है, वह वास्तव में उस वस्तु को उसी तरह "देख" रहा है जैसे हम सोचते हैं। AI पूरी तस्वीर को देख रहा हो सकता है, लेकिन उस विशिष्ट बिंदु को मिस कर रहा हो सकता है जिसकी हमें परवाह है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।