ShortKit-ML: an open toolkit for measuring shortcut potential in medical imaging embeddings
ShortKit-ML एक खुला टूलकिट है जो फ्रोजन मेडिकल इमेजिंग एम्बेडिंग्स में शॉर्टकट क्षमता को मापने के लिए एक कैलिब्रेटेड कंडीशनल प्रोब पेश करता है, जो यह प्रदर्शित करता है कि जबकि इसके स्कोर लिंग जैसे संवेदनशील गुणों पर कन्फाउंडेड क्लासिफायर की निर्भरता के साथ सह-संबंध रखते हैं, यह टूल अकेले स्वयं क्लासिफायर हेड का परीक्षण किए बिना उस निर्भरता की पुष्टि या उसे समाप्त नहीं कर सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
मेडिकल इमेजिंग उस बिंदु पर पहुँच गई है जहाँ आर्टिफिशियल इंटेलिजेंस अक्सर एक्स-रे में बीमारियों का पता लगाने में मानव विशेषज्ञों के बराबर या उनसे बेहतर प्रदर्शन कर सकता है। ये सिस्टम पहले एक छवि को गणितीय सारांश में बदलकर काम करते हैं, जो संख्याओं की एक संक्षिप्त सूची होती है जो चित्र की आवश्यक विशेषताओं को दर्शाती है। इस सारांश को 'एम्बेडिंग' (embedding) कहा जाता है। एक बार बनने के बाद, इस सारांश को निदान करने के लिए एक सरल कंप्यूटर प्रोग्राम में डाला जा सकता है। हालाँकि, एक उच्च स्कोर यह गारंटी नहीं देता कि सिस्टम सही चीज़ देख रहा है। कभी-कभी, ये सिस्टम "शॉर्टकट" (shortcuts) पर निर्भर रहना सीख जाते हैं। शॉर्टकट एक ऐसा संकेत है जो प्रशिक्षण डेटा में सही उत्तर की भविष्यवाणी तो करता है, लेकिन वह वास्तविक बीमारी का हिस्सा नहीं होता है। उदाहरण के लिए, एक मॉडल टूटी हुई हड्डी का पता हड्डी को देखकर नहीं, बल्कि उपयोग किए गए स्कैनर के प्रकार या उस अस्पताल को पहचानकर लगा सकता है जहाँ फोटो ली गई थी। यदि डेटा बदलता है, तो ये शॉर्टकट विफल हो जाते हैं और मॉडल खतरनाक गलतियाँ करते हैं।
मुख्य समस्या यह है कि ये शॉर्टकट अक्सर स्वयं गणितीय सारांश के भीतर छिपे होते हैं। निदान किए जाने से पहले ही, सारांश में रोगी की आयु, लिंग या नस्ल के बारेв छिपे हुए सुराग हो सकते हैं। यदि कोई मॉडल निर्णय लेने के लिए इन संकेतों का उपयोग करता है, तो यह कुछ समूहों के लिए अनुचित या गलत परिणाम दे सकता है। शोधकर्ता लंबे समय से इस सवाल से जूझ रहे हैं कि क्या वे केवल गणितीय सारांश को देखकर यह बता सकते हैं कि इसमें ये छिपे हुए सुराग मौजूद हैं या नहीं, बिना मूल छवि या अंतिम निदान को देखे। यदि वे इस "शॉर्टकट क्षमता" (shortcut potential) को समय रहते माप सकें, तो वे खराब मॉडलों को मरीजों पर उपयोग किए जाने से पहले ही रोक सकते हैं।
शोधकर्ताओं ने इस प्रश्न का उत्तर देने के लिए 'ShortKit-ML' नामक एक नया ओपन-सोर्स टूल बनाया है। उनका कार्य एक विशिष्ट प्रकार के परीक्षण पर केंद्रित है: क्या वे एक स्थिर गणितीय सारांश को देखकर यह निर्धारित कर सकते हैं कि क्या इसमें किसी संवेदनशील लक्षण (जैसे रोगी का लिंग या नस्ल) के बारे में जानकारी है, जिसे बीमारी का निदान स्वयं स्पष्ट नहीं करता है? इसे करने के लिए, उन्होंने एक विधि विकसित की है जो एक बहुत ही सावधानीपूर्वक फिल्टर की तरह काम करती है। वे सारांश और ज्ञात रोग लेबल को लेते हैं, और एक सरल कंप्यूटर प्रोग्राम से रोगी के संवेदनशील लक्षण का अनुमान लगाने के लिए कहते हैं। यदि प्रोग्राम रोग जानने के बाद भी संयोग से बेहतर अनुमान लगा पाता है, तो इसका अर्थ है कि सारांश में अतिरिक्त, अवांछित जानकारी मौजूद है। इस परीक्षण को यादृच्छिक शोर (random noise) से बचाने के लिए, शोधकर्ता उन रोगियों के समूहों के भीतर संवेदनशील लक्षणों को आपस में बदल देते हैं जिनका रोग की स्थिति समान है। यह एक आधार रेखा (baseline) बनाता है कि एक यादृच्छिक अनुमान कैसा दिखता है, जिससे वे ठीक से माप सकते हैं कि सारांश में कितनी वास्तविक जानकारी छिपी हुई है।
शोधकर्ताओं ने इस टूल का परीक्षण चेस्ट एक्स-रे के दो बड़े संग्रहों पर किया, जिनमें से एक संयुक्त राज्य अमेरिका से है और दूसरा एक अलग अस्पताल प्रणाली से है। उन्होंने सात अलग-अलग प्री-ट्रेन्ड (pre-trained) गणितीय सारांशों की जांच की, जो अलग-अलग "आंखों" की तरह हैं जिन्हें मेडिकल इमेज देखने के लिए प्रशिक्षित किया गया है। उन्होंने इन सारांशों में लिंग, आयु और नस्ल के सुरागों की जाँच की। परिणाम स्पष्ट और सुसंगत थे: प्रत्येक सारांश जिसकी उन्होंने जाँच की, उसमें इन लक्षणों के बारें जानकारी मौजूद थी। लिंग के लिए, छिपी हुई जानकारी बहुत मजबूत थी; टूल केवल सारांश को देखकर रोगी के लिंग की लगभग पूरी तरह से पहचान कर सकता था, भले ही रोग का लेबल ज्ञात हो। आयु के लिए परिणाम भी मजबूत थे, हालांकि थोड़े कम प्रभावी थे। नस्ल का पता लगाना कठिन था, और सिग्नल की शक्ति इमेज के विशिष्ट संग्रह और सारांश के प्रकार के आधार पर भिन्न थी, लेकिन टूल ने अधिकांश मामलों में इसके निशान पाए।
यह समझने के लिए कि इन छिपे हुए सुरागों को खोजना वास्तव में मायने रखता है या नहीं, शोधकर्ताओं ने एक दूसरा प्रयोग किया। उन्होंने इन्हीं सारांशों का उपयोग किया और एक नया, सरल कंप्यूटर प्रोग्राम प्रशिक्षित किया, लेकिन उन्होंने जानबूझकर इसे ऐसे प्रशिक्षण डेटा पर प्रशिक्षित किया जहाँ बीमारी और संवेदनशील लक्षण आपस में मिले हुए थे। इस अव्यवस्थित डेटा में, एक रोगी का लिंग या आयु इस बात से मजबूती से जुड़ी थी कि उन्हें बीमारी है या नहीं, जो एक आदर्श जाल (trap) बनाने के लिए पर्याप्त था। उन्होंने पाया कि वे सारांश जो पहले परीक्षण में सबसे मजबूत छिपे हुए सुराग दिखाते थे, वे ही थे जिनके कारण नए प्रोग्राम ने उन शॉर्टकटों पर सबसे अधिक भरोसा किया। जब प्रशिक्षण डेटा अव्यवस्थित था, तो उन "लीकी" (leaky) सारांशों पर बने प्रोग्रामों ने बड़ी गलतियाँ कीं, यानी उन्होंने एक्स-रे के बजाय रोगी के लिंग के आधार पर बीमारी की भविष्यवाणी की। इससे पुष्टि हुई कि टूल का स्कोर एक उपयोगी चेतावनी संकेत है: सारांश पर उच्च स्कोर यह सुझाव देता है कि यदि प्रशिक्षण डेटा सटीक नहीं है, तो उस पर बना मॉडल पक्षपाती होने की संभावना है।
टीम ने सारांश को निदान कार्यक्रम के प्रशिक्षण से पहले साफ करने के लिए चार अलग-अलग तरीकों का उपयोग करके समस्या को ठीक करने का प्रयास भी किया। उन्होंने उन तकनीकों को आजमाया जो छिपे हुए सुरागों को हटाने का प्रयास करती हैं, जैसे कि 'एडवर्सरियल ट्रेनिंग' (adversarial training), जो सिस्टम को संवेदनशील लक्षण को भूलने के लिए भ्रमित करने की कोशिश करती है। आश्चर्यजनक रूप से, ये विधियाँ अच्छी तरह से काम नहीं कर पाईं। इन उपकरणों द्वारा सारांशों को "साफ" करने के बाद भी, निदान कार्यक्रमों ने शॉर्टकटों को ढूँढ लिया और उनका उपयोग किया। केवल एक तरीका ही था जिसने अनैतिक व्यवहार को सफलतापूर्वक रोका, और वह था अंतिम निदान कार्यक्रम को एक पूरी तरह से संतुलित डेटा सेट पर फिर से प्रशिक्षित करना, जहाँ रोगियों के प्रत्येक समूह का समान रूप से प्रतिनिधित्व किया गया था। यह काम कर गया, लेकिन इसने सारांश को नहीं बदला; इसने केवल अंतिम प्रोग्राम के सीखने के तरीके को बदला। इससे पता चलता है कि कई प्रणालियों के लिए, शॉर्टकट का उपयोग करने का निर्णय अंतिम प्रोग्राम द्वारा लिया जाता है, न कि सारांश द्वारा, और केवल सारांश को साफ करना अक्सर पर्याप्त नहीं होता है।
शोधकर्ताओं ने एक नकली शॉर्टकट पर भी अपने टूल का परीक्षण किया जिसे उन्होंने स्वयं बनाया था। उन्होंने एक्स-रे का एक सेट लिया और एक विशिष्ट बीमारी वाले रोगियों की छवियों पर एक छोटा सफेद वर्ग (square) अंकित कर दिया। फिर उन्होंने इन छवियों को सिस्टम में डाला और पूछा कि क्या सारांश उस वर्ग का पता लगा सकता है। टूल ने इसे तुरंत और हर परीक्षण में सही ढंग से पाया, जिससे सिद्ध हुआ कि यह वास्तविक, भौतिक शॉर्टकट को पकड़ सकता है। हालाँकि, अध्ययन ने एक सीमा भी उजागर की: टूल उन शॉर्टकट को खोजने में बहुत अच्छा है जो किसी समूह की औसत उपस्थिति (average appearance) को बदलते हैं, लेकिन यह उन सूक्ष्म पैटर्न को पकड़ने में विफल रहा जहाँ समूह औसत में समान दिखते हैं लेकिन अन्य तरीकों से भिन्न होते हैं। इसका अर्थ है कि एक 'क्लीन स्कोर' (clean score) यह गारंटी नहीं देता कि मॉडल सुरक्षित है, लेकिन एक 'डर्टी स्कोर' (dirty score) एक निश्चित चेतावनी है।
अंततः, यह कार्य मेडिकल एआई में छिपे हुए पूर्वाग्रहों (biases) की ऑडिट करने का एक व्यावहारिक तरीका प्रदान करता है। यह दिखाता है कि अधिकांश मानक मेडिकल इमेज सारांश वास्तव में रोगी की जनसांख्यिकी (demographics) के बारे में जानकारी रखते हैं, और यह जानकारी यदि प्रशिक्षण डेटा त्रुटिपूर्ण है, तो आसानी से पक्षपाती भविष्यवाणियों का कारण बन सकती है। अध्ययन निष्कर्ष निकालता है कि जबकि हम इन शॉर्टकट की क्षमता को माप सकते हैं, इसे ठीक करना केवल डेटा को साफ करने जितना सरल नहीं है। अंतिम निदान कार्यक्रम का भी सावधानीपूर्वक परीक्षण और प्रशिक्षण किया जाना चाहिए। यह टूल अब दूसरों के उपयोग के लिए उपलब्ध है, जो मेडिकल एआई सिस्टम की नींव की जाँच करने और यह सुनिश्चित करने का एक तरीका प्रदान करता है कि वे छिपे हुए पूर्वाग्रहों के बजाय साक्ष्यों पर आधारित हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।