Beyond Predictive Fairness: Quantifying Attribution Consistency Across Demographic Groups in Diabetic Retinopathy Screening
यह शोध पत्र डायबिटिक रेटिनोपैथी स्क्रीनिंग में जनसांख्यिकीय समूहों के बीच एट्रिब्यूशन मैप्स की समानता को मापने के लिए एक्सप्लेनेशन कंसिस्टेंसी स्कोर (ECS) प्रस्तुत करता है, जो यह प्रकट करता है कि हालांकि भविष्य कहनेवाला प्रदर्शन जातीयता के अनुसार भिन्न होता है, मॉडल द्वारा उपयोग किए जाने वाले दृश्य साक्ष्य सुसंगत बने रहते हैं, जिससे यह सिद्ध होता है कि प्रेडिक्टिव फेयरनेस और एक्सप्लेनेशन कंसिस्टेंसी मॉडल व्यवहार के पूरक आयाम हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मेडिकल इमेजिंग की दुनिया में, कंप्यूटर मानव शरीर के फोटोग्राफ में बीमारियों को पहचानने में उल्लेखनीय रूप से कुशल हो गए हैं। वे रेटिना (आंख के पिछले हिस्से की प्रकाश-संवेदनशील परत) के चित्रों को स्कैन कर सकते हैं और डायबिटिक रेटिनोपैथी के संकेतों की पहचान कर सकते हैं, जो एक ऐसी स्थिति है जिससे यदि इलाज न किया जाए तो अंधापन हो सकता है। इन प्रणालियों पर अस्पताल में भरोसा करने के लिए, उन्हें निष्पक्ष होना चाहिए। इसका अर्थ यह है कि वे एक पृष्ठभूमि वाले रोगी के लिए उतना ही अच्छा काम करना चाहिए जितना कि दूसरी पृष्ठभूमि वाले रोगी के लिए। पारंपरिक रूप से, डॉक्टर और शोधकर्ता इस निष्पक्षता की जांच अंतिम स्कोर देखकर करते थे: क्या कंप्यूटर ने निदान सही किया? यदि इसने लोगों के एक समूह में बीमारी को नहीं पहचाना लेकिन दूसरे समूह में उसे पकड़ लिया, तो यह एक समस्या है। हालाँकि, सही उत्तर प्राप्त करना केवल आधी कहानी है। एक कंप्यूटर गलत कारणों से सही निदान तक पहुँच सकता है, शायद किसी सूक्ष्म आर्टिफैक्ट (छवि दोष) को देखकर जो किसी विशिष्ट समूह में अधिक सामान्य होता है, बजाय इसके कि वह वास्तव में स्वयं बीमारी को देख रहा हो। इन उपकरणों पर वास्तव में विश्वास करने के लिए, हमें न केवल यह जानने की आवश्यकता है कि वे क्या निर्णय लेते हैं, बल्कि यह भी कि वे दुनिया को कैसे देखते हैं।
जर्मनी के ट्यूबिंगन विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समझ की गहरी परत की जांच करने के लिए हाथ बढ़ाया। उन्होंने एक सरल लेकिन गहन प्रश्न पूछा: जब एक कंप्यूटर डायबिटिक रेटिनोपैथी खोजने के लिए आंख की छवि को देखता है, तो क्या वह सभी के लिए आंख के उन्हीं हिस्सों पर ध्यान केंद्रित करता है, चाहे उनकी जातीयता कुछ भी हो? उत्तर खोजने के लिए, उन्होंने आईपैक्स (EyePACS) डेटासेट से रेटिना छवियों के एक विशाल संग्रह का उपयोग किया, जिसमें पांच प्रमुख जातीय पृष्ठभूमियों के रोगियों के फोटोग्राफ शामिल थे: लैटिन अमेरिकी, अफ्रीकी मूल, भारतीय मूल, कॉकेशियान (श्वेत), और एशियाई। उन्होंने स्वस्थ आंखों और बीमारी के शुरुआती संकेतों को दर्शाने वाली आंखों के बीच अंतर करने के लिए एक मानक कंप्यूटर विज़न सिस्टम को प्रशिक्षित किया। एक बार जब सिस्टम तैयार हो गया, तो शोधकर्ताओं ने केवल यह नहीं देखा कि वह सही था या गलत; उन्होंने सिस्टम से अपना काम दिखाने के लिए कहा। एक ऐसी तकनीक का उपयोग करके जो छवि के उन विशिष्ट क्षेत्रों को उजागर करती है जिन्होंने निर्णय को प्रभावित किया, उन्होंने विज़ुअल मैप्स (दृश्य मानचित्र) बनाए जिससे यह पता चला कि कंप्यूटर वास्तव में कहाँ देख रहा था।
शोधकर्ताओं ने इन विज़ुअल मैप्स की विभिन्न समूहों के बीच समानता को मापने का एक नया तरीका विकसित किया। उन्होंने प्रत्येक जातीयता के लिए कंप्यूटर के औसत ध्यान पैटर्न (attention patterns) की तुलना की ताकि यह देखा जा सके कि क्या रोगी की पहचान के आधार पर ध्यान बदल जाता है। उन्होंने प्रदर्शन और ध्यान के बीच एक चौंका देने वाला अंतर पाया। विभिन्न समूहों में बीमारी को सही ढंग से पहचानने की कंप्यूटर की क्षमता काफी भिन्न थी। उदाहरण के लिए, भारतीय मूल के रोगियों में बीमारी का पता लगाने में यह बहुत बेहतर था, जिसका AUC 0.83 था, जबकि कॉकेशियान रोगियों के लिए यह AUC 0.54 था। यह भविष्य कहनेवाला निष्पक्षता (predictive fairness) में एक बड़ा अंतर है। फिर भी, जब शोधकर्ताओं ने विज़ुअल मैप्स को देखा, तो कहानी पूरी तरह बदल गई। कंप्यूटर हर समूह के लिए रेटिना के उन्हीं स्थानों पर देख रहा था। चाहे रोगी भारतीय, अफ्रीकी या कॉकेशियान मूल का हो, सिस्टम ने निर्णय लेने के लिए लगातार उन्हीं रेटिनल फीचर्स (रेटिना की विशेषताओं) पर ध्यान केंद्रित किया। इन विज़ुअल पैटर्न में समानता अत्यधिक उच्च थी, जिसमें कंसिस्टेंसी स्कोर (निरंतरता स्कोर) 0.85 से 0.92 के बीच था, जहाँ एक का अर्थ पूर्ण सहमति होता है।
यह सुनिश्चित करने के लिए कि ये परिणाम केवल इसलिए नहीं थे क्योंकि कुछ समूहों में बीमारी के मामले अधिक गंभीर थे, शोधकर्ताओं ने बीमारी की गंभीरता के आधार पर रोगियों को वर्गीकृत करके विश्लेषण को दोहराया। यहाँ तक कि जब उन्होंने बीमारी के बिल्कुल समान चरण वाले रोगियों की तुलना की, तब भी कंप्यूटर सभी के लिए उन्हीं क्षेत्रों को देखता रहा। निरंतरता उच्च बनी रही, जिससे पता चलता कि प्रदर्शन में अंतर इस कारण से नहीं था कि कंप्यूटर अलग तर्क का उपयोग कर रहा था या विभिन्न लोगों के लिए अलग सुराग देख रहा था। इसके बजाय, कंप्यूटर सभी रोगियों पर एक ही विज़ुअल रीजनिंग (दृश्य तर्क) लागू कर रहा था, भले ही वह कुछ समूहों के लिए इसे लागू करने में कम सफल रहा हो।
यह खोज बताती है कि हम आमतौर पर आर्टिफिशियल इंटेलिजेंस में निष्पक्षता को मापने के जो दो मुख्य तरीके उपयोग करते हैं, वे वास्तव में अलग-अलग चीजों को माप रहे हैं। एक प्रणाली सोचने के मामले में निष्पक्ष हो सकती है—सभी के लिए एक ही चिकित्सा साक्ष्य पर ध्यान केंद्रित करना—जबकि अपने परिणामों में निष्पक्ष न होकर, कुछ समूहों के निदान में विफल हो सकती है। शोधकर्ताओं ने पाया कि कंप्यूटर के प्रदर्शन और उसके द्वारा छवियों को देखने की निरंतरता के बीच कोई मजबूत संबंध नहीं था। इसका अर्थ यह है कि केवल एक मॉडल को एक समूह के लिए अधिक सटीक बनाने से स्वचालित रूप से दुनिया को देखने के उसके तरीके को ठीक नहीं किया जा सकता है, और इसके विपरीत, एक मॉडल जो सही चीजों को देख रहा है, वह फिर भी सभी के लिए सही उत्तर पाने में संघर्ष कर सकता है। अध्ययन का निष्कर्ष है कि वास्तव में भरोसेमंद मेडिकल एआई बनाने के लिए, हमें केवल अंतिम स्कोर से परे देखना होगा। हमें निर्णय के पीछे के तर्क को समझने की आवश्यकता है, यह सुनिश्चित करते हुए कि कंप्यूटर न केवल सही अनुमान लगा रहा है, बल्कि वह हर एक रोगी के लिए बीमारी को उसी तरह देख रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।