Non-identifiability of Explanations from Model Behavior in Deep Networks of Image Authenticity Judgments
यद्यपि गहरे न्यूरल नेटवर्क छवियों की प्रामाणिकता पर मानवीय निर्णयों की सटीक भविष्यवाणी कर सकते हैं, यह अध्ययन प्रदर्शित करता है कि उनके पोस्ट-हॉक एट्रिब्यूशन स्पष्टीकरण गैर-पहचान योग्य और विभिन्न आर्किटेक्चर के बीच असंगत हैं, जो यह संकेत देता है कि सफल व्यवहार संबंधी मॉडलिंग आवश्यक रूप से अंतर्निहित संज्ञानात्मक तंत्रों को प्रकट नहीं करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि एक असली फोटो और एक नकली फोटो (जैसे कि डीपफेक) के बीच अंतर कैसे किया जाए। आप रोबोट को हजारों तस्वीरें दिखाते हैं और इंसानों से पूछते हैं कि वे कितनी "असली" दिखती हैं। रोबोट इंसानों की रेटिंग की नकल करने में बहुत माहिर हो जाता है।
बड़ा सवाल: सिर्फ इसलिए कि रोबोट ने स्कोर सही बताया है, क्या इसका मतलब यह है कि वह वास्तव में वही देखता है जो हम देखते हैं?
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ लेखक यह पता लगाने की कोशिश करते हैं कि क्या रोबोट वास्तव में छवि को "समझ" रहा है या वह केवल किसी अलग सुराग को पकड़कर भाग्यशाली हो गया है।
जासूस का टूलकिट: "हीटमैप्स" (Heatmaps)
यह देखने के लिए कि रोबोगी क्या देख रहा है, शोधकर्ता एक विशेष उपकरण का उपयोग करते हैं जिसे हीटमैप कहा जाता है। कल्पना कीजिए कि आप तस्वीर पर टॉर्च की रोशनी डाल रहे हैं। चमकीले लाल धब्बे उन जगहों को दर्शाते हैं जहाँ रोबोट देख रहा होता है जब वह तय करता है, "यह असली दिखता है!" या "यह नकली दिखता है!"
शोधकर्ता यह जानना चाहते थे कि: यदि हम एक ही रोबोट को थोड़े अलग सेटिंग्स के साथ दस बार प्रशिक्षित करते हैं, तो क्या वह हमेशा एक ही जगह पर अपनी टॉर्च जलाएगा?
प्रयोग: "छह अलग-अलग रोबोट"
टीम ने मानव रेटिंग का अनुमान लगाने के लिए छह अलग-अलग प्रकार के रोबोट दिमागों (जिन्हें आर्किटेक्चर कहा जाता है, जैसे VGG, ResNet, और Barlow Twins) को प्रशिक्षित किया। फिर उन्होंने पूछा:
- क्या रोबोट सुसंगत (consistent) है? यदि हम एक ही प्रकार के रोबोट को 10 बार फिर से प्रशिक्षित करते हैं, तो क्या वह हमेशा फोटो के एक ही हिस्से को देखता है?
- क्या रोबोट आपस में सहमत हैं? यदि हम रोबोट A और रोबोट B की तुलना करते हैं, तो क्या वे दोनों अपने टॉर्च की रोशनी एक ही जगह पर डालते हैं?
प्लॉट ट्विस्ट: "गुणवत्ता" का जाल
यहीं से कहानी दिलचस्प होती है।
कुछ रोबोट (विशेष रूप से VGG मॉडल) मानव स्कोर का अनुमान लगाने में बहुत अच्छे थे। लेकिन जब शोधकर्ताओं ने उनके टॉर्च (हीटमैप) को देखा, तो उन्हें एहसास हुआ कि रोबोट बेईमानी कर रहे थे!
- उपमा: कल्पना कीजिए कि आप एक पेंटिंग प्रतियोगिता का निर्णय ले रहे हैं। आपको कलात्मकता का निर्णय लेना चाहिए। लेकिन एक जज (VGG रोबोट) वास्तव में केवल इस बात का निर्णय ले रहा है कि कैनवास कितना साफ है। यदि कैनवास एकदम साफ है, तो वे उच्च स्कोर देते हैं। यदि वह धब्बेदार है, तो वे कम स्कोर देते हैं।
- परिणाम: AI छवियों की दुनिया में, "नकली" छवियां अक्सर "असली" छवियों की तुलना में धुंधली या कम गुणवत्ता वाली होती हैं। इसलिए, VGG रोबोट केवल छवि की गुणवत्ता (शार्पनेस, चमक) को ट्रैक कर रहे थे, न कि प्रामाणिकता (क्या यह एक असली व्यक्ति जैसा दिखता है?) को। उन्होंने स्कोर तो सही बताया, लेकिन गलत कारण से।
रशोमोन प्रभाव (The Rashomon Effect): हर कोई कुछ अलग देखता है
जिन रोबोटों ने प्रामाणिकता की तलाश की, उनके लिए टीम ने एक घटना का पता लगाया जिसे रशोमोन प्रभाव कहा जाता है (एक प्रसिद्ध फिल्म के नाम पर, जहाँ अलग-अलग गवाह एक ही घटना के बारे में पूरी तरह से अलग कहानियाँ सुनाते हैं)।
- परिदृश्य: कल्पना कीजिए कि जासूसों का एक समूह अपराध स्थल को देख रहा है।
- डिटेक्टिव A (EfficientNet) कहता है, "अपराधी लाल पर्दे के पीछे छिपा था।"
- डिटेक्टिव B (Barlow Twins) कहता है, "नहीं, अपराधी नीले फूलदान के पीछे छिपा था।"
- डिटेक्टिव C (ResNet) कहता है, "यह दीवार पर बनी छाया थी।"
- समस्या: तीनों जासूस अपराधी के बारे में सही हैं (वे सभी मानव रेटिंग का सही अनुमान लगाते हैं), लेकिन वे सबूत के रूप में पूरी तरह से अलग चीजों की ओर इशारा कर रहे हैं।
- निष्कर्ष: क्योंकि रोबोट इस बात पर सहमत नहीं हो सकते कि क्या चीज़ किसी छवि को असली बनाती है, हम किसी एक रोबोट के "टॉर्च" पर यह बताने के लिए भरोसा नहीं कर सकते कि मानव मस्तिष्क वास्तव में कैसे काम करता है। यदि वे उत्तर पर सहमत हैं लेकिन क्यों के मामले में असहमत हैं, तो हमें सच्चाई का पता नहीं चलता।
समाधान: "सुपर-टीम" (Ensembles)
चूंकि कोई भी अकेला रोबोट दूसरों के साथ सहमत नहीं हो सका, इसलिए शोधकर्ताओं ने एक नई रणनीति आजमाई: द सुपर-टीम।
उन्होंने सभी छह रोबोटों को एक विशाल "एन्सेम्बल" (Ensemble) दिमाग में मिला दिया।
- यह कैसे काम करता है: एक अकेले रोबोट से पूछने के बजाय, वे छह रोबोटों से पूछते हैं, उनके उत्तरों का औसत लेते हैं, और उनके टॉर्च की रोशनी को मिला देते हैं।
- परिणाम: यह सुपर-टीम किसी भी अकेले रोबोट की तुलना में मानव रेटिंग का अनुमान लगाने में और भी बेहतर थी। इससे भी महत्वपूर्ण बात यह है कि अपने दृष्टिकोण को मिलाकर, वे एक "आम सहमति मानचित्र" (consensus map) बना सके जो विभिन्न दृष्टिकोणों में सबसे महत्वपूर्ण हिस्सों को दर्शाता है।
मुख्य सीख: "परीक्षा में अच्छे, लेकिन स्पष्टीकरण में खराब"
यह शोध पत्र AI के भविष्य के लिए एक चेतावनी है:
सिर्फ इसलिए कि एक AI मानव व्यवहार का सटीक अनुमान लगा सकता है, इसका मतलब यह नहीं है कि हम इसके द्वारा दिए गए स्पष्टीकरण पर भरोसा कर सकते हैं कि उसने ऐसा क्यों किया।
- रूपक: कल्पना कीजिए कि एक छात्र गणित की परीक्षा में A+ प्राप्त करता है। आप उससे उसके काम को समझाने के लिए कहते हैं।
- यदि वह आपको सही चरण दिखाता है, तो बहुत अच्छा!
- लेकिन यदि वह आपको चरणों का एक अलग सेट दिखाता है जो सही उत्तर की ओर भी ले जाता है, लेकिन वह आपके द्वारा हल किए गए तरीके से बिल्कुल अलग दिखता है, तो आप निश्चित नहीं हो सकते कि वह वास्तव में गणित समझता है। हो सकता है कि उसने केवल कोई ट्रिक याद कर ली हो।
संक्षेप में: डीप लर्निंग मॉडल यह अनुमान लगाने में बहुत अच्छे हैं कि मनुष्य क्या सोचते हैं, लेकिन वर्तमान में, उनके "कारण" इतने अस्थिर और असंगत हैं कि वे हमें ठीक से नहीं बता सकते कि मानव मस्तिष्क वास्तविकता को कैसे देखता है। हमें केवल एक पर भरोसा करने के बजाय, एक स्पष्ट तस्वीर पाने के लिए कई मॉडलों को मिलाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।