Cethraian-X: A Leakage-Clean, Multi-Seed Benchmark of Chest X-Ray Classification Under Weak Labels

कल्पना कीजिए कि आप एक कंप्यूटर को डॉक्टर बनना सिखाने की कोशिश कर रहे हैं, इसके लिए आप उसे मानव छाती के लाखों चित्र दिखा रहे हैं। यह मेडिकल आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया है, एक ऐसा क्षेत्र जहाँ मशीनें एक्स-रे देखकर निमोनिया या टूटी हुई हड्डियों जैसी बीमारियों को पहचानना सीखती हैं। लेकिन यहाँ एक पेचीदा बात है: कंप्यूटर बहुत ही सूक्ष्म अवलोकन करने वाले छात्रों की तरह होते हैं जो कभी-कभी नकल भी करते हैं। यदि आप उन्हें किसी विशिष्ट अस्पताल के एक्स-रे रूम में मरीज के हाथ की तस्वीर दिखाते हैं, तो कंप्यूटर यह सीख सकता है कि, "ओह, इस अस्पताल में हमेशा निमोनिया होता है!" बजाय इसके कि वह वास्तव में बीमारी को ढूँढे। इसे "डेटा लीकेज" (data leakage) कहा जाता है, और यह वैसा ही है जैसे किसी छात्र को परीक्षा से पहले उत्तर कुंजी (answer key) देख लेने देना। एक निष्पक्ष ग्रेड पाने के लिए, वैज्ञानिकों को यह सुनिश्चित करना होता है कि कंप्यूटर ने परीक्षा के प्रश्न पहले कभी नहीं देखे हों, और वह पिक्सेल में दोहराए जाने वाले सूक्ष्म, अदृश्य पैटर्न को केवल याद न कर रहा हो। यह शोध पत्र ठीक इसी समस्या में गहराई से उतरता है, और यह सवाल पूछता है: यदि हम डेटा को बहुत, बहुत अच्छी तरह से साफ कर देते हैं, तो क्या कंप्यूटर का स्कोर वास्तव में बदल जाता है, या वह केवल भाग्यशाली था?

यहाँ आता है Cethraian-X, एक नया "क्लीन रूम" प्रयोग जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि एक कंप्यूटर बिना किसी धोखाधड़ी के चेस्ट एक्स-रे पढ़ने की क्षमता रखता है या नहीं। शोधकर्ताओं ने 112,120 चेस्ट एक्स-रे का एक विशाल, प्रसिद्ध संग्रह लिया और उन्हें एक कठोर ऑडिट से गुजारा। इसे एक जासूस द्वारा अपराध स्थल को साफ करने जैसा समझें: उन्होंने किसी भी डुप्लिकेट फोटो को हटा दिया, यह जाँच की कि कोई भी मरीज "अभ्यास" समूह और "फाइनल एग्जाम" समूह दोनों में तो नहीं था, और यहाँ तक कि उन्होंने छवियों के डिजिटल कोड को भी स्कैन किया ताकि यह सुनिश्चित हो सके कि कोई भी दो तस्वीरें गुप्त रूप से जुड़वा (identical twins) न हों। वे यह देखना चाहते थे कि क्या इन चालाकी भरे शॉर्टकट को रोकने के बाद कंप्यूटर का प्रदर्शन गिर जाएगा।

जिस कंप्यूटर का उन्होंने परीक्षण किया वह DenseNet-121 नामक एक मानक, प्रसिद्ध AI मॉडल था, जो एक बहुत ही बुद्धिमान लेकिन बुनियादी छात्र की तरह है। शोधकर्ताओं ने इस छात्र को तीन अलग-अलग "रैंडम सीड्स" (सोचिए ये छात्र के मस्तिष्क के लिए अलग-अलग शुरुआती बिंदु हैं) का उपयोग करके तीन बार परीक्षा दी, ताकि यह देखा जा सके कि परिणाम कितने सुसंगत हैं। उन्होंने बाकी सब कुछ बिल्कुल समान रखा: वही तस्वीरें, वही नियम, और ग्रेडिंग का वही तरीका।

यहाँ उन्हें क्या मिला। डेटा को सभी डुप्लिकेट और ओवरलैपिंग छवियों से पूरी तरह साफ करने के बाद, कंप्यूटर का समग्र स्कोर बहुत कम बदला। इसने 0.80976 ± 0.00027 का मैक्रो ROC-AUC प्राप्त किया। इसे समझने के लिए, मूल, थोड़े "गंदे" संस्करण वाले टेस्ट का स्कोर 0.81030 था। अंतर बहुत मामूली था—केवल -0.00054। यह सुझाव देता है कि इस विशिष्ट कंप्यूटर और इस विशिष्ट डेटासेट के लिए, "धोखाधड़ी" वास्तव में स्कोर को बहुत अधिक नहीं बढ़ा रही थी। कंप्यूटर स्थिर था; डेटा चाहे अव्यवस्थित हो या पूरी तरह से साफ, उसे एक ही परिणाम मिला।

हालाв, इस पेपर में एक बहुत महत्वपूर्ण "लेकिन" है। जबकि कंप्यूटर बीमारियों को रैंक करने में अच्छा था (यह कहना कि "इस मरीज में उस मरीज की तुलना में गांठ होने की संभावना अधिक है"), यह वास्तविक संभावनाएँ (probabilities) देने में बहुत बुरा था। जब कंप्यूटर कहता था कि बीमारी की "70% संभावना" है, तो वास्तव में वह 70% नहीं होती थी। शोधकर्ताओं ने इसे "टेम्परेचर स्केलिंग" नामक तकनीक के साथ ठीक करने की कोशिश की, जो कंप्यूटर के आत्मविश्वास के थर्मोस्टेट को समायोजित करने जैसा है, लेकिन इस सुधार के बाद भी, संख्याएँ गलत ही रहीं। "ब्रायर स्किल" (Brier skill) स्कोर, जो यह मापता है कि औसत अनुमान लगाने की तुलना में एक भविष्यवाणी कितनी अच्छी है, गहराई से नकारात्मक (-1.32902) था। इसका अर्थ है कि कंप्यूटर का आत्मविश्वास वाला नंबर वास्तविक चिकित्सा निर्णय लेने के लिए उपयोगी होने के बजाय बेकार से भी बदतर था।

अध्ययन ने विशिष्ट बीमारियों को भी देखा। Effusion (फेफड़ों में तरल पदार्थ) जैसी सामान्य चीज़ के लिए, कंप्यूटर ठीक था। लेकिन Hernia जैसी दुर्लभ चीज़ों के लिए, कंप्यूटर ने 0.91302 के स्कोर के साथ अद्भुत प्रदर्शन किया, लेकिन शोधकर्ता चेतावनी देते हैं कि यह भ्रामक है क्योंकि टेस्ट ग्रुप में केवल 86 पॉजिटिव केस थे—एक बहुत छोटी संख्या जो स्कोर को अस्थिर और अविश्वसनीय बनाती है। इसी तरह, Pneumonia के लिए, बीमारी को खोजने की कंप्यूटर की क्षमता (Average Precision) बहुत कम थी, जो लगभग 0.05258 के आसपास थी, जो टेस्ट सेट में पॉजिटिव केस की कमी को देखते हुए रैंडम अनुमान लगाने से मुश्किल से बेहतर है।

लेखक स्पष्ट रूप से बताते हैं कि यह पेपर क्या नहीं है। वे स्पष्ट रूप से कहते हैं कि यह कोई चिकित्सा संबंधी बड़ी उपलब्धि (medical breakthrough) नहीं है। उन्होंने यह साबित नहीं किया है कि यह कंप्यूटर एक डॉक्टर की जगह ले सकता है, और न ही उन्होंने दिखाया है कि यह वास्तविक अस्पताल में मरीजों पर काम करता है। वास्तव में, उन्होंने दस विशिष्ट सीमाएँ सूचीबद्ध की हैं, जिनमें यह तथ्य शामिल है कि "लेबल" (बीमारी के नाम) रेडियोलॉजी रिपोर्ट से आए थे जो मनुष्यों द्वारा लिखी गई थीं, न कि विशेषज्ञ डॉक्टरों द्वारा हर एक छवि की दोबारा जाँच करने के बाद। उन्होंने यह भी स्वीकार किया कि उन्होंने कंप्यूटर का किसी अन्य डेटासेट पर परीक्षण नहीं किया, इसलिए हमें नहीं पता कि क्या यह कहीं और काम करेगा।

अंत में, Cethraian-X चिकित्सा क्षेत्र के लिए एक "रियलिटी चेक" है। यह दिखाता है कि भले ही हम अपने डेटा को पूरी तरह से साफ और अपने प्रयोगों को पूरी तरह से पुनरुत्पादक (reproducible) बना सकते हैं, फिर भी अंतर्निहित कंप्यूटर मॉडल वास्तविक जीवन की चिकित्सा के लिए भरोसेमंद संख्याएँ देने में संघर्ष करता है। कंप्यूटर तस्वीरों को क्रम में रख सकता है, लेकिन वह अभी डॉक्टर को यह नहीं बता सकता कि, "मुझे 90% यकीन है कि यह मरीज बीमार है।" फिलहाल, यह कार्य शोधकर्ताओं के लिए उनके भविष्य के विचारों का परीक्षण करने के लिए एक ठोस, स्वच्छ बेंचमार्क के रूप में खड़ा है, लेकिन यह एक स्पष्ट रेखा खींचता है: हम अभी इन मशीनों को नैदानिक निर्णय लेने के लिए तैयार नहीं हैं।