Complete Patient-Level Leakage Among Traceable Images in a Widely Used Brain Tumor MRI Benchmark
यह शोध पत्र प्रकट करता है कि एक व्यापक रूप से उपयोग किए जाने वाले ब्रेन ट्यूमर एमआरआई बेंचमार्क में पूर्ण स्तर पर रोगी-स्तरीय डेटा लीकेज (data leakage) की समस्या है, जहाँ उच्च रिपोर्ट की गई सटीकता मॉडल की अनदेखे व्यक्तियों के प्रति वास्तविक सामान्यीकरण क्षमता के बजाय पहले देखे गए रोगियों के स्लाइस को पहचानने की क्षमता को दर्शाती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मेडिकल इमेजिंग के क्षेत्र में, कंप्यूटर मानव शरीर की हजारों तस्वीरों का अध्ययन करके बीमारियों को पहचानना सीख रहे हैं। इन प्रणालियों को सिखाने के लिए, वैज्ञानिक स्कैन के बड़े संग्रह एकत्र करते हैं और उन्हें दो समूहों में विभाजित करते हैं: एक जिससे कंप्यूटर सीखता है, और दूसरा उसके ज्ञान का परीक्षण करने के लिए। लक्ष्य यह देखना है कि क्या कंप्यूटर उस बीमारी को पहचान सकता है जो एक नए मरीज में है जिसे उसने पहले कभी नहीं देखा है। यह प्रक्रिया स्वास्थ्य सेवा में आधुनिक आर्टिफिशियल इंटेलिजेंस की नींव है, जहाँ उम्मीद यह है कि अतीत के मामलों पर प्रशिक्षित एक मशीन डॉक्टरों को भविष्य के निदान में मदद कर सकती है। हालाँकि, इस परीक्षण के निष्पक्ष होने के लिए, दोनों समूह वास्तव में अलग होने चाहिए। यदि कंप्यूटर प्रशिक्षण के दौरान किसी मरीज के मस्तिष्क की तस्वीर देखता है, तो उसे परीक्षण के दौरान उसी मरीज के मस्तिष्क की दूसरी तस्वीर नहीं देखनी चाहिए। यदि वह ऐसा करता है, तो कंप्यूटर बीमारी को नहीं समझ रहा है, बल्कि वह केवल उस मरीज को याद रख रहा है।
ब्रेन ट्यूमर डिटेक्शन सॉफ्टवेयर का परीक्षण करने के लिए हजारों शोधकर्ताओं द्वारा उपयोग किए जाने वाले एक लोकप्रिय डेटासेट की हालिया जांच ने इस बात में एक बड़ी खामी का खुलासा किया है कि इस अलगाव को कैसे संभाला गया था। यह डेटासेट, जिसमें ग्लियोमा (glioma), मेनिंजियोमा (meningioma), पिट्यूटरी ट्यूमर (pituitary tumor) या कोई ट्यूमर नहीं के रूप में लेबल की गई सात हजार से अधिक छवियां शामिल हैं, व्यापक रूप से इसलिए सराहा गया था क्योंकि कंप्यूटर मॉडल ने इस पर लगभग पूर्ण स्कोर प्राप्त किया था, जो अक्सर 98 प्रतिशत से अधिक सटीकता तक पहुँच जाता था। इन उच्च नंबरों ने सुझाव दिया कि तकनीक वास्तविक दुनिया में उपयोग के लिए तैयार है। लेकिन डेटा को जिस तरह से व्यवस्थित किया गया था, उसने एक महत्वपूर्ण रहस्य छिपा रखा था: परीक्षण की छवियां प्रशिक्षण छवियों से स्वतंत्र नहीं थीं। फाइलों को उनके मूल स्रोतों तक वापस ट्रैक करके, एक शोधकर्ता ने पाया कि टेस्ट सेट उन्हीं मरीजों के स्कैन्स से भरा हुआ था जिनका अध्ययन कंप्यूटर पहले ही कर चुका था।
शोधकर्ता ने, स्वतंत्र रूप से काम करते हुए, इस डेटासेट को एक पहेली की तरह माना। मूल फाइलों से मरीजों के नाम हटा दिए गए थे और ट्यूमर के प्रकार के आधार पर फोल्डरों में मिला दिया गया था, जिससे यह बताना असंभव हो गया था कि कौन सी छवि किस व्यक्ति की है। इसे हल करने के लिए, शोधकर्ता ने टेस्ट फोल्डर की प्रत्येक छवि की तुलना एक ऐसे स्रोत संग्रह से की जिसमें अभी भी मरीज के रिकॉर्ड मौजूद थे। मस्तिष्क के स्कैन के आकार और पैटर्न का मिलान करके, शोधकर्ता उन हजारों छवियों को उनके मूल मालिकों से फिर से जोड़ने में सक्षम रहा। परिणाम चौंकाने वाला था। परीक्षण के लिए उपयोग की गई लगभग एक हजार ट्यूमर छवियों में से, लगभग सभी उन्हीं मरीजों की थीं जो पहले से ही प्रशिक्षण सेट में मौजूद थे। वास्तव में, टेस्ट ग्रुप की हर एक पता लगाने योग्य ट्यूमर छवि उसी मरीज की थी जिसे कंप्यूटर पहले ही देख चुका था।
इस खोज का अर्थ था कि कंप्यूटर को नए व्यक्ति में बीमारी पहचानने की क्षमता का परीक्षण नहीं किया जा रहा था। इसके बजाय, इसका परीक्षण उस मरीज का दूसरा स्लाइस पहचानने की क्षमता का परीक्षण था जिसे कंप्यूटर ने पहले ही याद कर लिया था। चूंकि एक ही एमआरआई (MRI) स्कैन के पड़ोसी स्लाइस बहुत समान दिखते हैं—जिनका खोपड़ी का आकार, लाइटिंग और आर्टिफैक्ट्स (artifacts) एक जैसा होता है—कंप्यूटर बस यह कह सकता था, "मैंने यह मस्तिष्क पहले देखा है," और बिना बीमारी को वास्तव-में समझे सही उत्तर का अनुमान लगा सकता था। इसे साबित करने के लिए, शोधकर्ता ने उसी कंप्यूटर मॉडल को फिर से चलाया, लेकिन इस बार एक सख्त नियम के साथ: कंप्यूटर को एक मरीज की छवियों से सीखने की अनुमति थी, लेकिन उसे परीक्षण के दौरान उसी मरीज की किसी भी छवि को देखने से रोका गया था।
जब कंप्यूटर को उन मरीजों का सामना करने के लिए मजबूर किया गया जिन्हें उसने पहले कभी नहीं देखा था, तो उसका प्रदर्शन काफी गिर गया। उन छवियों के विशिष्ट समूह पर, जहाँ प्रशिक्षण के दौरान मरीज ज्ञात था, कंप्यूटर 99.12 प्रतिशत बार सही था। लेकिन जब मरीज नया और अनदेखा था, तो सटीकता गिरकर 93.60 प्रतिशत रह गई। हालांकि यह अंतर छोटा लग सकता है, लेकिन यह त्रुटियों में सात गुना वृद्धि का प्रतिनिधित्व करता है। चिकित्सा निदान की दुनिया में, जहाँ एक छूटा हुआ ट्यूमर घातक हो सकता है, परीक्षण पद्धति की सात गुना विफलता एक विनाशकारी विफलता है। शोधकर्ता ने यह भी जांचा कि क्या उच्च स्कोर केवल कंप्यूटर द्वारा सटीक डुप्लिकेट फाइलों को याद करने के कारण था। सभी समान प्रतियों को हटाने के बाद भी, सटीकता कृत्रिम रूप से उच्च बनी रही, जिससे यह सिद्ध हुआ कि समस्या केवल डुप्लिकेट फाइलों के बारे में नहीं थी, बल्कि मरीज के ओवरलैप (overlap) के गहरे मुद्दे के बारे में थी।
यह सुनिश्चित करने के लिए कि प्रदर्शन में यह गिरावट वास्तव में मरीज के ओवरलैप के कारण थी न कि परीक्षण चलाने के तरीके में किसी अन्य बदलाव के कारण, शोधकर्ता ने एक कंट्रोल ग्रुप बनाया। उन्होंने उन्हीं छवियों को रैंडम समूहों में मिलाया, जिसमें मरीजों की पहचान को मिक्स कर दिया गया था, और परीक्षण को फिर से चलाया। इस रैंडम ग्रुपिंग ने भी उच्च स्कोर दिए, जो मूल त्रुटिपूर्ण परिणामों के काफी करीब थे। इसने पुष्टि की कि सटीकता में गिरावट का एकमात्र कारण वह नियम था जिसने उसी मरीज को टेस्ट सेट से बाहर रखा था। अध्ययन में यह भी पाया गया कि "नो ट्यूमर" (कोई ट्यूमर नहीं) क्लास में, जिसमें मरीज की पहचान नहीं थी, वैसी नाटकीय गिरावट नहीं देखी गई, जिसने यह और भी सिद्ध किया कि त्रुटि विशेष रूप से ट्यूमर क्लास में मरीज की उपस्थिति से जुड़ी थी।
इन बेंचमार्क पर भरोसा करने वाले किसी भी व्यक्ति के लिए इस निष्कर्ष के निहितार्थ गहरे हैं। इस डेटासेट पर वर्षों से प्रकाशित उच्च सटीकता के आंकड़े नए मरीजों में कंप्यूटर की क्षमता को नहीं दर्शाते हैं। वे उस शॉर्टकट को दर्शाते हैं जो कंप्यूटर ने परिचित चेहरों को पहचान कर लिया था। शोधकर्ता ने सुधारा गया डेटा स्प्लिट और समस्या को ठीक करने के लिए उपयोग किया गया कोड जारी कर दिया है, जिससे अन्य वैज्ञानिक अपने मॉडल्स का निष्पक्ष रूप से परीक्षण कर सकें। सबक स्पष्ट है: मेडिकल एआई में, माप की इकाई मरीज होनी चाहिए, न कि इमेज। यदि कंप्यूटर एक नए मरीज को पुराने मरीज से अलग नहीं कर सकता, तो उसने बीमारी का निदान करना नहीं सीखा है; उसने केवल एक व्यक्ति को पहचानना सीखा है। जब तक डेटासेट्स को इस तरह के लीकेज (leakage) को रोकने के लिए व्यवस्थित नहीं किया जाता, तब तक इन प्रणालियों की घोषित सफलता एक भ्रम बनी रहेगी, जो इस वास्तविकता को छिपाती है कि तकनीक उन नंबरों की तुलना में कहीं अधिक तैयार है जितना वे संकेत देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।