Data leakage inflates reported accuracy of deep learning for kidney stone detection on CT: a leakage-free, calibrated and uncertainty-aware reassessment across three centers
यह अध्ययन प्रदर्शित करता है कि सीटी (CT) पर किडनी स्टोन डिटेक्शन के लिए डीप लर्निंग मॉडल्स में इमेज-लेवल डेटा स्प्लिटिंग, डेटा लीकेज के कारण रिपोर्ट की गई सटीकता को लगभग नौ प्रतिशत अंकों से कृत्रिम रूप से बढ़ा देता है, और विश्वसनीय नैदानिक प्रदर्शन सुनिश्चित करने के लिए पेशेंट-वाइज (रोगी-वार), कैलिब्रेटेड और अनसर्टेनिटी-अवेयर (अनिश्चितता-जागरूक) मूल्यांकन प्रोटोकॉल की वकालत करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मेडिकल इमेजिंग की दुनिया में, कंप्यूटरों से तेजी से ऐसे कार्य करने को कहा जा रहा है जिनके लिए कभी मानवीय आंखों की आवश्यकता होती थी। ऐसा ही एक कार्य है किडनी स्टोन (गुर्दे की पथरी) को पहचानना, जो खनिज के छोटे और दर्दनाक जमाव होते हैं जो मूत्र के प्रवाह को रोक सकते हैं। इन पत्थरों को खोजने के लिए, डॉक्टर कंप्यूटेड टोमोग्राफी, या सीटी स्कैन (CT scans) पर भरोसा करते हैं, जो शरीर के सैकड़ों क्रॉस-सेक्शनल चित्र लेते हैं। एक रेडियोलॉजिस्ट को पत्थर का संकेत देने वाले छोटे, चमकीले धब्बों को खोजने के लिए इन स्लाइसों को देखना पड़ता है, जो एक समय लेने वाली प्रक्रिया है और जिसमें मानवीय त्रुटि की संभावना बनी रहती है। इसी कारण से, शोधकर्ताओं ने आर्टिफिशियल इंटेलिजेंस (AI) को स्वचालित रूप से इन पत्थरों को पहचानने के लिए प्रशिक्षित करने में वर्षों बिताए हैं। इसका लक्ष्य एक ऐसा डिजिटल सहायक बनाना है जो पत्थरों को तुरंत चिह्नित कर सके, जिससे डॉक्टरों को तेजी से और अधिक सटीकता से काम करने में मदद मिल सके। हालांकि, इस तकनीक पर भरोसा करने के लिए, कंप्यूटर को यह साबित करना होगा कि वह उस पत्थर को पहचान सकता है जिसे उसने पहले कभी नहीं देखा है, न कि केवल उस तस्वीर को याद रख सकता है जिसका उसने पहले अध्ययन किया है।
नाइजीरिया के शोधकर्ताओं के एक नए अध्ययन ने यह खुलासा किया है कि इन कई कंप्यूटर प्रोग्रामों का परीक्षण करने के तरीके में एक गंभीर खामी है। वर्षों से, रिपोर्टों ने दावा किया है कि आर्टिफिशियल इंटेलिजेंस मॉडल लगभग पूर्ण सटीकता के साथ किडनी स्टोन का पता लगा सकते हैं, जो अक्सर 98 प्रतिशत से अधिक की सफलता दर का हवाला देते हैं। इन नंबरों ने सुझाव दिया कि यह तकनीक क्लिनिक के लिए लगभग तैयार थी। हालांकि, शोधकर्ताओं ने पाया कि ये उच्च स्कोर काफी हद तक परीक्षण प्रक्रिया में हुई एक गलती के कारण पैदा हुआ एक भ्रम था। जब उन्हीं कंप्यूटर मॉडलों का फिर से एक सख्त और अधिक ईमानदार तरीके से परीक्षण किया गया, तो उनका प्रदर्शन काफी गिर गया। अध्ययन से पता चलता है कि पिछले उच्च स्कोर श्रेष्ठ बुद्धिमत्ता का संकेत नहीं थे, बल्कि इस बात का परिणाम थे कि कंप्यूटर प्रशिक्षण चरण के दौरान टेस्ट सेट से जानकारी प्राप्त कर रहा था।
समस्या इस बात में है कि डेटा को प्रशिक्षण के लिए कैसे तैयार किया जाता है। कंप्यूटर को किडनी स्टोन पहचानना सिखाने के लिए, शोधकर्ता वास्तविक सीटी स्कैन की एक सीमित संख्या लेते हैं और उनकी कई थोड़ी बदली हुई प्रतियां बनाते हैं। वे किसी छवि को तिरछा कर सकते हैं, उसे थोड़ा घुमा सकते हैं, या चमक (brightness) को समायोजित कर सकते हैं। ये बदली हुई प्रतियां, जिन्हें ऑगमेंटेड इमेजेस (augmented images) कहा जाता है, कंप्यूटर को हजारों अद्वितीय रोगियों की आवश्यकता के बिना पत्थर की विशेषताओं को सीखने में मदद करती हैं। त्रुटि तब होती है जब इन मूल छवियों और उनकी बदली हुई प्रतियों को आपस में मिला दिया जाता है और फिर प्रशिक्षण और परीक्षण समूहों में विभाजित किया जाता है। यदि कंप्यूटर प्रशिक्षण चरण के दौरान एक मूल छवि देखता है, और फिर परीक्षण चरण के दौरान उसी छवि की लगभग समान बदली हुई प्रति देखता है, तो उसे यह सीखने की आवश्यकता नहीं है कि पत्थर कैसा दिखता है। वह केवल उस पैटर्न को पहचान लेता है जिसे उसने पहले ही याद कर लिया है। यह एक ऐसे छात्र की तरह है जिसने अभ्यास क्विज़ के उत्तर याद कर लिए हैं और फिर उसी प्रश्नों के थोड़े बदले हुए रूप के साथ अंतिम परीक्षा देता है; वह पूर्ण अंक प्राप्त करेगा, लेकिन उसने वास्तव में विषय को नहीं सीखा है।
इस अध्ययन के शोधकर्ताओं ने तीन अलग-अलग अस्पतालों के 201 रोगियों के चित्रों वाला एक डेटासेट लिया। उन्होंने पहले पिछले अध्ययनों में उपयोग किए गए परीक्षण तरीके को पुन: बनाया, जिसमें मूल और बदली हुई छवियों को प्रशिक्षण और परीक्षण में विभाजित करने से पहले एक साथ मिला दिया गया था। इन परिस्थितियों में, कंप्यूटर मॉडल ने 99.1 प्रतिशत की सटीकता हासिल की और 1.000 का स्कोर प्राप्त किया, जहाँ 1.000 पूर्ण प्रदर्शन का प्रतिनिधित्व करता है। यह परिणाम पहले के शानदार वैज्ञानिक पत्रों में मिली रिपोर्टों से मेल खाता था। हालांकि, शोधकर्ताओं ने नियम बदल दिए। उन्होंने यह सुनिश्चित किया कि यदि कंप्यूटर ने प्रशिक्षण के दौरान किसी भी रोगी की कोई भी छवि देखी है, तो उसे परीक्षण चरण के दौरान उस रोगी की किसी भी छवि को देखने की अनुमति नहीं दी जाएगी। इसका मतलब यह था कि टेस्ट सेट का प्रत्येक चित्र एक ऐसे रोगी का था जिससे कंप्यूटर पहले कभी नहीं मिला था।
जब मॉडल को इस सख्त चुनौती का सामना करने के लिए मजबूर किया गया, तो परिणाम नाटकीय रूप रूप से बदल गए। सटीकता गिरकर 90.5 प्रतिशत हो गई, और प्रदर्शन स्कोर घटकर 0.946 रह गया। हालांकि यह अभी भी एक मजबूत परिणाम है, लेकिन यह पहले चर्चित लगभग पूर्ण आंकड़ों से बहुत दूर है। लगभग नौ प्रतिशत अंकों का अंतर उस चीज़ के बीच एक विशाल अंतर है जो रिपोर्ट किया गया था और जो वास्तविक है। अध्ययन ने दिखाया कि पिछले उच्च स्कोर कंप्यूटर की बीमारी का निदान करने की क्षमता का प्रतिबिंब नहीं थे, बल्कि एक परीक्षण प्रोटोकॉल का प्रतिबिंब थे जिसने कंप्यूटर को प्रशिक्षण के दौरान टेस्ट सेट से जानकारी का उपयोग करने की अनुमति दी थी। यह निष्कर्ष बताता है कि मेडिकल आर्टिफिशियल इंटेलिजेंस के क्षेत्र में देखे जाने वाले कई प्रभावशाली आंकड़े इसी गलती के कारण बढ़े हुए हो सकते हैं।
शोधकर्ताओं ने यह भी जांचा कि क्या इस समस्या को हल करने के लिए अधिक जटिल कंप्यूटर आर्किटेक्चर की आवश्यकता है। उन्होंने अपने मुख्य मॉडल की तुलना, जो दो अलग-अलग प्रकार के उन्नत कंप्यूटिंग स्ट्रक्चर को जोड़ता है, एक सरल, मानक मॉडल के विरुद्ध की। उन्होंने पाया कि निष्पक्ष रूप से परीक्षण किए जाने पर जटिल मॉडल ने सरल मॉडल की तुलना में कोई वास्तविक लाभ नहीं दिया। वास्तव में, एक मॉडल जो मानक आधार के बिना केवल अधिक जटिल संरचना पर निर्भर था, उसने रैंडम गेसिंग (random guessing) से बेहतर प्रदर्शन नहीं किया। यह इंगित करता है कि सफलता की कुंजी डिजाइन की नवीनता नहीं, बल्कि परीक्षण पद्धति की ईमानदारी थी। अध्ययन ने यह भी देखा कि कंप्यूटर अनिश्चितता को कैसे संभालता है। उन्होंने पाया कि मॉडल अक्सर अति-आत्मविश्वासी था, जब वह गलत था तब भी वह निश्चित होने का दावा कर रहा था। मॉडल को यह सिखाने के बाद कि वह कब अनिश्चित है और कठिन मामलों को मानव डॉक्टर को सौंप दे, उसके द्वारा हल किए गए मामलों की सटीकता बढ़कर 95.2 प्रतिशत हो गई। यह सुझाव देता है कि ऐसे उपकरण की सबसे उपयोगी भूमिका डॉक्टर को बदलने की नहीं है, बल्कि एक ऐसी दूसरी जोड़ी आँखों के रूप में कार्य करने की है जो जानती है कि मदद के लिए कब पूछना है।
इस कार्य के निहितार्थ किडनी स्टोन से परे हैं। यह अध्ययन मेडिकल आर्टिफिशियल इंटेलिजेंस के पूरे क्षेत्र के लिए एक चेतावनी के रूप में कार्य करता है। यह प्रदर्शित करता है कि एक मॉडल एक शोध पत्र में शानदार दिख सकता है जबकि दोषपूर्ण परीक्षण के कारण वास्तविक दुनिया के रोगियों पर विफल हो सकता है। शोधकर्ताओं ने जोर देकर कहा कि इन उपकरणों को अस्पतालों में सुरक्षित और प्रभावी होने के लिए, उन्हें ऐसे डेटा पर परीक्षण किया जाना चाहिए जो वास्तव में नए, अनदेखे रोगियों का प्रतिनिधित्व करता हो। उन्होंने यह भी नोट किया कि उनके द्वारा उपयोग किए गए डेटासेट में सीमाएं थीं, जैसे कि विस्तृत रोगी जानकारी की कमी और यह तथ्य कि छवियों को इस तरह से प्रोसेस किया गया था जिससे कुछ कच्चा डेटा (raw data) हट गया जिसे डॉक्टर निर्णय लेने के लिए उपयोग करते हैं। इन सीमाओं के बावजूद, मुख्य संदेश स्पष्ट है: विश्वसनीय मेडिकल AI के लिए कठोर, लीकेज-मुक्त परीक्षण की आवश्यकता है। जब तक क्षेत्र इन सख्त मानकों को नहीं अपनाता, तब तक इन तकनीकों की रिपोर्ट की गई सफलता दर एक अतिरंजित अनुमान बनी रहेगी, जो संभावित रूप से उन उपकरणों के बारे में झूठा विश्वास पैदा कर सकती है जो अभी क्लिनिक के लिए तैयार नहीं हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।