Circuit Tracing in Vision-Language Models: Understanding the Internal Mechanisms of Multimodal Thinking
यह शोधपत्र विजन-लैंग्वेज मॉडल्स में पारदर्शी सर्किट ट्रेसिंग के लिए पहला फ्रेमवर्क प्रस्तुत करता है, जो पदानुक्रमित मल्टीमॉडल तर्क और क्रॉस-मोडल जुड़ाव के लिए जिम्मेदार कारणिक सर्किट्स (causal circuits) को उजागर करने, मान्य करने और नियंत्रित करने के लिए ट्रांसकोडर्स और एट्रिब्यूशन ग्राफ्स का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जो किसी तस्वीर को देख सकता है और उसके बारे में इंसानों की तरह सवाल पूछ सकता है। आप पूछते हैं, "वह व्यक्ति कितनी उंगलियां दिखा रहा है?" और वह कहता है, "पाँच।" लेकिन अगर आप उसे छह उंगलियों वाले हाथ को दिखाने के लिए कहें, तो वह अभी भी "पाँच" कह सकता है क्योंकि वह भ्रमित है।
लंबे समय से, हमने इन रोबोटों (जिन्हें विज़न-लैंग्वेज मॉडल्स या VLMs कहा जाता है) को ब्लैक बॉक्स की तरह माना है। हम जानते हैं कि क्या अंदर जा रहा है (एक फोटो और एक सवाल) और क्या बाहर आ रहा है (एक जवाब), लेकिन हमें पता नहीं है कि बॉक्स के अंदर क्या हो रहा है। यह एक कार के इंजन को केवल स्टीयरिंग व्हील और गैस पेडल देखकर समझने की कोशिश करने जैसा है।
यह पेपर एक नया तरीका पेश करता है जिससे हम हुड हटाकर इंजन को चलते हुए देख सकते हैं। लेखकों ने एक "सर्किट ट्रेसिंग" फ्रेमवर्क बनाया है जो हमें यह देखने देता है कि रोबोट ठीक कैसे देखता है और फिर सोचता है।
यहाँ उन्होंने इसे कैसे किया, इसका विवरण रोज़मर्रा के उदाहरणों के साथ दिया गया है:
1. "अनुवादक" (Transcoders)
रोबोट के दिमाग के अंदर, जानकारी एक उलझी हुई, अस्त-व्यस्त भाषा में संग्रहीत होती है जिसे केवल मशीन समझती है। यह लेगो (LEGO) ब्रिक्स के एक विशाल ढेर जैसा है जहाँ हर रंग आपस में मिला हुआ है, और एक ईंट एक साथ "लाल," "कार," और "तेज़" का प्रतिनिधित्व कर सकती है। यह समझना असंभव बना देता है कि रोबोट वास्तव में क्या सोच रहा है।
शोधकर्ताओं ने एक विशेष उपकरण बनाया जिसे ट्रांसकोडर (Transcoder) कहा जाता है। इसे एक हाई-टेक अनुवादक या छँटाई करने वाली मशीन के रूप में समझें।
- यह लेगो ब्रिक्स के उस अस्त-व्यस्त ढेर को लेता है।
- यह उन्हें इस तरह छाँटता है कि अब प्रत्येक ईंट का केवल एक स्पष्ट अर्थ हो (जैसे, एक ईंट सिर्फ "लाल" है, दूसरी सिर्फ "पहिया")।
- अब, एक उलझे हुए ढेर के बजाय, हमारे पास विशिष्ट विचारों का एक साफ, व्यवस्थित पुस्तकालय है।
2. "वंश वृक्ष" (Attribution Graphs)
एक बार जब विचार छाँट लिए गए, तो शोधकर्ता जानना चाहते थे: रोबोट "मंगल ग्रह की तस्वीर देखने" से "स्पेस शटल के बारे में सोचने" तक कैसे पहुँचता है?
उन्होंने एक फैमिली ट्री (या फ्लोचार्ट) बनाया जिसे एट्रिब्यूशन ग्राफ (Attribution Graph) कहा जाता है।
- कल्पना कीजिए कि एक जासूस अफवाह का पीछा कर रहा है। वे अंतिम उत्तर ("स्पेस शटल") से शुरू करते हैं और पीछे की ओर काम करते हैं।
- वे पूछते हैं: "किसने तुम्हें यह बताया?" ग्राफ दिखाता है कि कैसे एक विशिष्ट "मंगल" के विचार ने एक "लाल ग्रह" के विचार को संदेश भेजा, जिसने फिर एक "स्पेस शटल" के विचार को संदेश भेजा।
- यह मानचित्र कारण-और-प्रभाव (cause-and-effect) की श्रृंखला दिखाता है। यह साबित करता है कि रोबोट ने केवल अनुमान नहीं लगाया; उसने तर्क के एक विशिष्ट पथ का पालन किया।
3. "रिमोट कंट्रोल" (Intervention)
सबसे रोमांचक हिस्सा यह है कि उन्होंने केवल देखा ही नहीं; उन्होंने अपने सिद्धांत को साबित करने के लिए सिस्टम में बदलाव भी किए। यह रोबोट के दिमाग के लिए रिमोट कंट्रोल रखने जैसा है।
- प्रयोग: उन्होंने वह विशिष्ट "सर्किट" (विचारों का पथ) खोजा जिसका उपयोग रोबole मंगल की तस्वीर को पहचानने के लिए करता है।
- स्विच: उन्होंने उसी स्थान पर "मंगल" के सिग्नल को बंद कर दिया और "पृथ्वी" के सिग्नल को चालू कर दिया।
- परिणाम: अचानक, रोबोट मंगल के बारे में बात करना बंद कर दिया और पृथ्वी के बारे में बात करने लगा, भले ही तस्वीर अभी भी मंगल की थी!
- इसका क्या अर्थ है: यह साबित करता है कि उन्होंने जो सर्किट खोजा है, वही असली कारण है कि रोबोट ने वह उत्तर दिया। यदि आप सर्किट को तोड़ देते हैं, तो व्यवहार टूट जाता है।
उन्होंने क्या खोजा?
इस नई "एक्स-रे दृष्टि" का उपयोग करके, उन्होंने पाया कि ये रोबोट कैसे सोचते हैं, इसके बारे में कुछ दिलचस्प बातें खोजीं:
- असेंबली लाइन: रोबोट छवियों को चरणों में प्रोसेस करता है। नीचे (शुरुआती परतों में), वह केवल आकृतियों और रंगों (जैसे "लाल गोला") को देखता है। जैसे-जैसे जानकारी ऊपर जाती है, वह इन आकृतियों को अवधारणाओं (जैसे "ग्रह") में जोड़ना शुरू कर देता है। दृष्टि और भाषा का "जादू" बीच और ऊपरी परतों में होता है।
- "छह-उंगली" की गलती: रोबोट उंगलियों को गलत क्यों गिनते हैं? उन्होंने पाया कि रोबोट की "आंखें" (विज़न वाला हिस्सा) "हाथ" का एक मजबूत सिग्नल भेजती हैं, और रोबोट का "दिमाग" (भाषा वाला हिस्सा) "हाथ" शब्द को लेकर इतना उत्साहित हो जाता है कि वह वास्तविक गिनती को अनदेखा कर देता है। यह उस छात्र की तरह है जो जानता है कि उत्तर "5" है क्योंकि शिक्षक आमतौर पर यही पूछते हैं, इसलिए वे तस्वीर में वास्तव में 6 उंगलियां होने के बावजूद उन्हें अनदेखा कर देते हैं।
- छिपे हुए संबंध: रोबोट के पास गुप्त कनेक्शन होते हैं। यदि आप उसे मंगल की तस्वीर दिखाते हैं, तो वह केवल "ग्रह" के बारे में नहीं सोचता; यह उसके दिमाग में "स्पेस शटल" के सर्किट को भी सक्रिय कर देता है, भले ही आपने शटल के बारे में न पूछा हो। यह समुद्र तट की तस्वीर देखने और अचानक "आइसक्रीम" के बारे में सोचने जैसा है क्योंकि आपका दिमाग इन दोनों को जोड़ता है।
यह क्यों मायने रखता है?
इससे पहले, यदि कोई रोबोट गलती करता था, तो हमें अनुमान लगाना पड़ता था कि ऐसा क्यों हुआ। अब, हम सर्किट मैप को देख सकते हैं और कह सकते हैं, "आह, रोबोट इसलिए भ्रमित है क्योंकि वह 'हाथ' के सिग्नल को 'गिनती' के सिग्नल के साथ मिला रहा है।"
यह AI को पारदर्शी, भरोसेमंद और सुरक्षित बनाने की दिशा में एक बड़ा कदम है। यह एक ब्लैक बॉक्स पर अंधाधुंध भरोसा करने और इंजन को इतना समझने के बीच का अंतर है कि जब वह रुक जाए तो आप उसे ठीक कर सकें। लेखकों ने अपने उपकरणों को ओपन-सोर्स भी कर दिया है, ताकि अन्य वैज्ञानिक भी इन जटिल मशीनों को खोलकर उन्हें समझ सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।