Native image geometry and cross-partition patient overlap in a checksum-identified public liver ultrasound release: an audit of SMC-LUD

एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटरों को चिकित्सा चित्रों में बीमारियों को देखना सिखाया जा रहा है, जो डॉक्टरों के लिए आँखों के एक दूसरे जोड़े के रूप में कार्य करते हैं। इसके लिए सबसे आम उपकरणों में से एक अल्ट्रासाउंड है, जो ध्वनि तरंगों का उपयोग करके शरीर के अंदर के चित्र बनाता है, जैसे कि लिवर (यकृत)। क्योंकि ये मशीनें व्यापक रूप से उपलब्ध और अपेक्षाकृत सस्ती हैं, इसलिए वैज्ञानिकों ने आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) को प्रशिक्षित करने के लिए इन चित्रों के विशाल संग्रह एकत्र किए हैं। उम्मीद यह है कि ये कंप्यूटर प्रोग्राम केवल चित्रों को देखकर खतरनाक ट्यूमर, जैसे कि लिवर कैंसर, या सौम्य गांठों, जैसे कि हानिरहित उभारों को पहचानना सीख सकते हैं। इस प्रशिक्षण के सफल होने के लिए, कंप्यूटर को वास्तविक बीमारी को पहचानना सीखना चाहिए, न कि केवल उन विवरणों को कि चित्र कैसे लिया गया था। यदि कंप्यूटर एक शॉर्टकट सीख जाता है—जैसे कि ट्यूमर के आकार के बजाय इमेज फ़ाइल के आकार के आधार पर उत्तर का अनुमान लगाना—तो वह एक वास्तविक अस्पताल में नए रोगी से मिलने पर विफल हो जाएगा।

शोधकर्ताओं की एक टीम ने हाल ही में लिवर अल्ट्रासाउंड चित्रों के एक प्रसिद्ध संग्रह पर बारीकी से नज़र डालने का निर्णय लिया, जिसे वैज्ञानिकों के उपयोग के लिए सार्वजनिक किया गया था। यह संग्रह, जिसे SMC-LUD के रूप में जाना जाता है, इन कंप्यूटर प्रोग्रामों के परीक्षण के लिए एक 'गोल्ड स्टैंडर्ड' (मानक) माना जाता था। मूल विवरण में कहा गया था कि ये चित्र एक हजार से अधिक विभिन्न रोगियों से आए थे और डेटा को समूहों में सावधानीपूर्वक विभाजित किया गया था ताकि कोई भी रोगी एक से अधिक समूह में दिखाई न दे। यह अलगाव अत्यंत महत्वपूर्ण है; यदि किसी रोगी के चित्र प्रशिक्षण समूह और परीक्षण समूह दोनों में दिखाई देते हैं, तो कंप्यूटर उस विशिष्ट व्यक्ति की शारीरिक संरचना को याद कर सकता है, बजाय इसके कि वह बीमारी को पहचानना सीखे। शोधकर्ताओं ने पूरा संग्रह डाउनलोड किया और एक सूक्ष्म ऑडिट (लेखापरीक्षा) शुरू किया, यह जाँचने के लिए कि क्या वास्तविकता वादे से मेल खाती है।

उन्होंने जो पाया वह आश्चर्यों की एक श्रृंखला थी जिसने हमें इस डेटासेट को देखने के तरीके के बारे में सोचने पर मजबूर कर दिया। सबसे पहले, उन्होंने पाया कि कंप्यूटर बिना लिवर को देखे, केवल चित्र के आकार को देखकर पूर्ण सटीकता के साथ बीमारी की पहचान कर सकता था। कैंसरयुक्त ट्यूमर का प्रत्येक चित्र एक पूर्ण वर्ग (स्क्वायर) था, जबकि सौम्य वृद्धि का प्रत्येक चित्र एक आयत (रेक्टेंगल) था। यह ऐसा था जैसे फ़ाइलों पर "कैंसर" या "कैंसर नहीं" लेबल वाला एक छिपा हुआ स्टैम्प लगा दिया गया हो, जो पूरी तरह से उनके आयामों (डायमेंशन) पर आधारित था। इसका अर्थ यह था कि एक कंप्यूटर प्रोग्राम केवल यह जाँचकर कि चित्र वर्गाकार है या नहीं, परीक्षण में पूर्ण अंक प्राप्त कर सकता था, जिससे वह चिकित्सा सामग्री को पूरी तरह से अनदेखा कर देता। यह एक तकनीकी शॉर्टकट का उत्कृष्ट उदाहरण है, जहाँ मशीन चिकित्सा वास्तविकता के बजाय डेटा संग्रह प्रक्रिया में एक पैटर्न सीख लेती है।

ऑडिट से यह भी पता चला कि डेटा उतना अलग नहीं था जितना दावा किया गया था। मूल रिपोर्ट में कहा गया था कि रोगियों को अलग-अलग समूहों में रखा गया था, लेकिन जब शोधकर्ताओं ने अपने कंप्यूटरों पर वास्तविक फोल्डरों की गिनती की, तो उन्होंने पाया कि साठ प्रतिशत से अधिक रोगी प्रशिक्षण, परीक्षण और सत्यापन (वैलिडेशन) समूहों में बिखरे हुए थे। वास्तव में, परीक्षण समूह के लगभग सभी रोगियों के चित्र प्रशिक्षण समूह में भी मौजूद थे। यह एक छात्र को ऐसी परीक्षा देने जैसा है जिसमें प्रश्न उसके होमवर्क की किताब में पहले से ही देखे गए हैं। जब शोधकर्ताओं ने केवल उन रोगियों का उपयोग करके कंप्यूटर परीक्षणों को फिर से चलाया जो केवल एक ही समूह में दिखाई दिए थे, तो कंप्यूटर का प्रदर्शन गिर गया, हालांकि यह काफी उच्च बना रहा। हालाँकि, जब उन्होंने कंप्यूटर को चित्र के आकार को अनदेखा करने और सभी चित्रों के साथ समान व्यवहार करने के लिए मजबूर किया, तो प्रदर्शन वापस बढ़कर पूर्ण हो गया। इससे यह संकेत मिला कि यहाँ तक कि मूल आकार के संकेतों को हटाने के बाद भी, छवियों को सहेजने के अन्य सूक्ष्म तकनीकी विवरण अभी भी कंप्यूटर को अनुचित लाभ दे रहे थे।

शोधकर्ताओं ने यह भी पाया कि आधिकारिक विवरण में दी गई संख्याएँ उनके द्वारा डाउनलोड की गई फ़ाइलों से मेल नहीं खाती थीं। विवरण में दावा किया गया था कि एक हजार से अधिक रोगियों के पाँच हजार से अधिक चित्र हैं, लेकिन वास्तविक फ़ाइलों में थोड़ी अलग गणना और रोगियों की संख्या दिखाई दी। कुछ रोगी नाम जिनका कोई चित्र नहीं था, जबकि कुछ इमेज फोल्डर का कोई नाम सूची में नहीं था। ये विसंगतियाँ बताती हैं कि डेटा को जारी करने से पहले सावधानीपूर्वक जाँच नहीं की गई थी। इस अध्ययन ने यह सिद्ध नहीं किया कि मूल डॉक्टरों ने अपने चिकित्सा कार्य में गलतियाँ कीं, लेकिन इसने यह दिखाया कि उनके द्वारा जारी किया गया डिजिटल पैकेज अव्यवस्थित था और इसमें छिपे हुए सुराग थे जो आर्टिफिशियल इंटेलिजेंस को धोखा दे सकते थे।

यह जांच एक शक्तिशाली अनुस्मारक है कि जब हम कंप्यूटर लर्निंग के लिए चिकित्सा डेटा साझा करते हैं, तो हमें अत्यंत सावधान रहना चाहिए। लक्ष्य मशीनों को बीमारी को समझना सिखाना है, न कि किसी विशिष्ट कैमरे की विचित्रताओं या किसी विशिष्ट तकनीशियन की आदतों को पहचानना। शोधकर्ताओं ने निष्कर्ष निकाला कि भविष्य में चिकित्सा छवियों को जारी करते समय बहुत अधिक पारदर्शी होना चाहिए। वे सुझाव देते हैं कि जो कोई भी ऐसा डेटा जारी करता है, उसे एक स्पष्ट, अपरिवर्तनीय सूची प्रदान करनी चाहिए जो प्रत्येक छवि को एक विशिष्ट रोगी से जोड़ती हो और पुष्टि करती हो कि कोई भी रोगी दो बार दिखाई नहीं देता है। वे यह जाँचने का भी सुझाव देते हैं कि क्या सभी चित्र आकार और प्रारूप के मामले में समान दिखते हैं, ताकि कोई भी छिपा हुआ पैटर्न अंदर न आ सके। इन सुरक्षा उपायों के बिना, कंप्यूटर परीक्षणों में दिखने वाले उच्च स्कोर एक भ्रम हो सकते हैं, और यह तकनीक डॉक्टरों को वास्तविक दुनिया में जीवन बचाने में मदद करने के लिए तैयार नहीं हो सकती है।