Metonymy in vision models undermines attention-based interpretability
यह शोध पत्र प्रकट करता है कि आधुनिक प्रीट्रेन्ड विजन ट्रांसफॉर्मर "इंट्रा-ऑब्जेक्ट लीकेज" (विजुअल मेटोनिमी) प्रदर्शित करके लोकैलिटी धारणा का उल्लंघन करते हैं, जो भाग-आधारित तर्क के लिए अटेंशन-आधारित व्याख्यात्मकता विधियों की विश्वसनीयता को कमजोर करता है, और यह प्रदर्शित करता है कि एक दो-चरणीय दृष्टिकोण इस समस्या को प्रभावी ढंग से कम करने और विशेषता-संचालित भाग खोज (एट्रीब्यूट-ड्रिवन पार्ट डिस्कवरी) में सुधार करने के लिए उपयोग किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Metonymy in vision models undermines attention-based interpretability" शोध पत्र की व्याख्या दी गई है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों में विभाजित किया गया है।
बड़ी समस्या: "बेईमान" जासूस
कल्पना कीजिए कि आप एक कंप्यूटर को उसके अंगों को देखकर पक्षी को पहचानना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि कंप्यूटर कहे, "मैं जानता हूँ कि यह एक ब्लू जे (blue jay) है क्योंकि मुझे एक नीला पंख दिख रहा है," या "यह एक रॉबिन है क्योंकि इसके सीने पर लाल रंग है।"
इसे काम करने के लिए, शोधकर्ता एक विशेष उपकरण का उपयोग करते हैं जिसे अटेंशन मैकेनिज्म (attention mechanism) कहा जाता है। इसे एक जासूस के आवर्धक लेंस (magnifying glass) की तरह समझें। जब कंप्यूटर किसी पक्षी को देखता है, तो आवर्धक लेंस उस विशिष्ट भाग को हाइलाइट करता है जिसे वह देख रहा है (जैसे पंख) और बाकी पक्षी को अनदेखा कर देता है। विचार यह है: यदि कंप्यूटर पंख पर ध्यान केंद्रित करता है, तो उसे निर्णय लेने के लिए केवल पंख की जानकारी का ही उपयोग करना चाहिए।
शोध की खोज:
लेखकों ने पाया कि आधुनिक AI मॉडल "बेईमानी" कर रहे हैं। भले ही आवर्धक लेंस सख्ती से पंख पर केंद्रित हो, कंप्यूटर वास्तव में दीवारों के पार से भी पूरे पक्षी को "सूंघ" रहा होता है।
भाषा विज्ञान में, इसे मेटोनिमी (Metonymy) कहा जाता है। यह "व्हाइट हाउस ने एक बयान जारी किया" कहने जैसा है जब वास्तव में आपका मतलब "राष्ट्रपति ने एक बयान जारी किया" होता है। यहाँ भाग (इमारत) पूरे (प्रशासन) का प्रतिनिधित्व करता है।
इन AI मॉडलों में, "पंख" वाला हिस्सा केवल पंखों के बारे में जानकारी नहीं रखता; इसमें गुप्त रूप से "सिर", "पैर" और "चोंच" के बारे में जानकारी भी छिपी होती है।
- उपमा: कल्पना कीजिए कि आप केवल व्यक्ति के बाएं हाथ को देखकर उनके पसंदीदा भोजन का अनुमान लगाने की कोशिश कर रहे हैं। एक सामान्य दुनिया में, आपका हाथ उनके पेट के बारे में कुछ नहीं बताता। लेकिन इन AI मॉडलों में, हाथ जादुई रूप से पेट से जुड़ा हुआ है। यदि व्यक्ति को पिज्जा पसंद है, तो भले ही आप उनके मुंह की ओर नहीं देख रहे हों, उनका बायां हाथ "पिज्जा ऊर्जा" से चमक रहा होगा।
यह क्यों महत्वपूर्ण है: "वफादार" झूठ
यह शोध पत्र तर्क देता है कि यह वर्तमान "व्याख्या योग्य" (interpretable) AI को अविश्वसनीय बनाता है।
कई शोधकर्ताओं का मानना है कि उनके मॉडल "व्याख्या योग्य" हैं क्योंकि वे आपको एक हीटमैप (एक चमकता हुआ नक्शा) दिखा सकते हैं जो कहता है, "देखो, मैं चोंच को देख रहा हूँ!"
- वास्तविकता: मॉडल चोंच को देख रहा है, लेकिन वह अपना निर्णय पैरों की जानकारी के आधार पर ले रहा है क्योंकि "चोंच" का प्रतिनिधित्व "पैर" की जानकारी से दूषित है।
- परिणाम: स्पष्टीकरण ईमानदार दिखता है, लेकिन तर्क एक झूठ है। मॉडल वास्तव में उस भाग के बारे में तर्क नहीं दे रहा है जिसकी ओर वह इशारा कर रहा है; वह एक शॉर्टकट का उपयोग कर रहा है।
समाधान: "ध्वनिरोधी कमरा" (The Soundproof Room)
लेखक इन मॉडलों को बनाने का एक नया तरीका प्रस्तावित करते हैं ताकि इस बेईमानी को रोका जा सके। वे इसे दो-चरणीय दृष्टिकोण (Two-Stage Approach) कहते हैं।
चरण 1: जासूस कमरे ढूंढता है।
सबसे पहले, मॉडल पूरे पक्षी को देखता है और विभिन्न भागों (सिर, पंख, पैर) के चारों ओर रूपरेखा खींचता है। यह एक रियल एस्टेट एजेंट द्वारा घर के विभिन्न कमरों की पहचान करने जैसा है।
चरण 2: ध्वनिरोधी कमरे।
पूरे घर को एक साथ देखने के बजाय, मॉडल प्रत्येक भाग को एक अलग, ध्वनिरोधी बॉक्स में रखता है।
- यह "पंख" वाले बॉक्स को एक ऐसे कमरे में रखता है जहाँ "सिर" या "पैर" की कोई भी आवाज़ अंदर नहीं आ सकती।
- यह कंप्यूटर को मजबूर करता है कि वह केवल उस ध्वनिरोधी बॉक्स के भीतर की जानकारी का उपयोग करके पंख के बारे में अनुमान लगाए।
उपमा:
एक ग्रुप प्रोजेक्ट के बारे में सोचें जहाँ सभी एक ही कमरे में हैं। यदि आप "पंख" वाले छात्र से उसकी राय पूछते हैं, तो वह शायद वही दोहरा देगा जो "सिर" वाले छात्र ने कहा है क्योंकि वह उन्हें सुन सकता है।
लेखकों का समाधान हर छात्र को एक अलग, ध्वनिरोधी बूथ में रखना है। अब, यदि आप "पंख" वाले छात्र से पूछते हैं, तो उसे केवल उसी जानकारी के आधार पर उत्तर देना होगा जो उसके पास है। वह दूसरों को सुनकर बेईमानी नहीं कर सकता।
परिणाम: क्या यह काम करता है?
लेखकों ने तीन अलग-अलग प्रकार के "ऑब्जेक्ट्स" पर इसका परीक्षण किया:
- पक्षी (CUB डेटासेट): यह जांचना कि क्या मॉडल पंखों के रंग या चोंच के आकार को पहचान सकता है।
- चेहरे (CelebA डेटासेट): यह जांचना कि क्या मॉडल आंखों का रंग पहचान सकता है या किसी ने टोपी पहनी है या नहीं।
- छाती का एक्स-रे (CheXpert डेटासेट): यह जांचना कि क्या मॉडल फेफड़ों की समस्याओं को पकड़ सकता है।
उन्होंने क्या पाया:
- पुराना तरीका (Late Masking): "पंख" वाला छात्र आसानी से "पैर" के रंग का अनुमान लगा सकता था। मॉडल भ्रमित था और वफादार नहीं था।
- नया तरीका (Two-Stage/Soundproof): "पंख" वाला छात्र केवल पंखों से संबंधित चीजों का ही अनुमान लगा सका। मॉडल वास्तव में विशिष्ट भागों को समझने में बहुत बेहतर हो गया।
- समझौता (Trade-off): इन ध्वनिरोधी कमरों को बनाने में अधिक कंप्यूटर शक्ति (लगभग दोगुना) लगती है, लेकिन यह मॉडल के तर्क को ईमानदार और सटीक बनाती है।
निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि यदि आप चाहते हैं कि कोई AI आपको समझा सके कि उसने छवि के एक विशिष्ट भाग के आधार पर निर्णय क्यों लिया, तो आप केवल मानक मॉडलों का उपयोग नहीं कर सकते। वे बहुत अधिक "शोरपूर्ण" (noisy) हैं और अन्य भागों से जानकारी लीक करते हैं। आपको उन्हें आर्किटेक्चरल आइसोलेशन (architectural isolation) (ध्वनिरोधी कमरों) के साथ बनाना होगा ताकि यह सुनिश्चित हो सके कि जब AI किसी भाग की ओर इशारा करता है, तो वह वास्तव में उसी भाग के बारे में सोच रहा होता है, न कि केवल पूरे ऑब्जेक्ट के आधार पर अनुमान लगा रहा होता है।
संक्षेप में, यह शोध पत्र साबित करता है कि वर्तमान AI मॉडल उस चीज़ के बारे में झूठ बोल रहे हैं जिसे वे देख रहे हैं, और यह एक "ध्वनिरोधी" निर्माण विधि प्रदान करता है ताकि उन्हें सच बोलने के लिए मजबूर किया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।