Performance uncertainty in medical image analysis: a large-scale investigation of confidence intervals
यह अध्ययन विभिन्न कॉन्फिडेंस इंटरवल (confidence interval) विधियों की विश्वसनीयता और सटीकता का मूल्यांकन करने के लिए 24 मेडिकल इमेजिंग कार्यों में एक बड़े पैमाने पर अनुभवजन्य विश्लेषण करता है, जो यह प्रकट करता है कि नमूना आकार, मेट्रिक्स और एकत्रीकरण रणनीतियाँ जैसे कारक अनिश्चितता मात्रा निर्धारण को कैसे प्रभावित करते हैं और भविष्य के रिपोर्टिंग मानकों को मार्गदर्शन देने के लिए एक व्यावहारिक निर्णय वृक्ष (decision tree) प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
चिकित्सा इमेजिंग की तेजी से बदलती दुनिया में, आर्टिफिशियल इंटेलिजेंस (AI) वह देखने के लिए सीख रहा है जो मानवीय आँखें शायद चूक सकती हैं। ये कंप्यूटर प्रोग्राम एक्स-रे, एमआरआई (MRI) और सीटी (CT) स्कैन को स्कैन करके ट्यूमर का पता लगाने, फ्रैक्चर की पहचान करने या कोशिकाओं की गिनती करने के लिए उपयोग किए जा सकते हैं, और उनकी गति तथा निरंतरता विशेषज्ञ रेडियोलॉजिस्ट्स के बराबर होती है। हालाँकि, इन उपकरणों पर अस्पताल में भरोसा करने के लिए, डॉक्टरों को केवल एक संख्या की आवश्यकता नहीं है जो यह बताए कि सिस्टम कितनी अच्छी तरह काम करता है। उन्हें यह जानने की आवश्यकता है कि यदि सिस्टम का परीक्षण रोगियों के एक अलग समूह पर किया जाए, तो वह संख्या कितनी बदल सकती है। क्योंकि प्रत्येक परीक्षण सेट मानव रोग की विशाल और जटिल वास्तविकता का केवल एक छोटा सा नमूना होता है, इसलिए प्रदर्शन के किसी भी स्कोर के साथ त्रुटि की एक संभावना (margin of error) जुड़ी होती है। इस अनिश्चितता को संप्रेषित करने के लिए, वैज्ञानिक 'कॉन्फिडेंस इंटरवल' (confidence interval) नामक उपकरण का उपयोग करते हैं। इसे एक प्रदर्शन स्कोर के चारों ओर खींची गई सुरक्षा जाल (safety net) के रूप में समझें; यह उन मूल्यों की एक सीमा है जिसमें AI की वास्तविक, वास्तविक दुनिया की क्षमता होने की संभावना है। यदि यह जाल बहुत चौड़ा है, तो यह डॉक्टर को बताता है कि सिस्टम अविश्वसनीय है; यदि यह बहुत संकीर्ण है, तो यह सुरक्षा का एक झूठा अहसास दे सकता है। इस जाल को सही ढंग से कैसे बनाया जाए, यह प्रश्न लंबे समय से इस क्षेत्र में भ्रम और संभावित त्रुटि का स्रोत रहा है।
यूरोप के विभिन्न संस्थानों के शोधकर्ताओं की एक बड़ी टीम ने यह पता लगाने के लिए कि ये कॉन्फिडेंस इंटरवल वास्तव में कैसे व्यवहार करते हैं, एक व्यापक और व्यवस्थित जांच आयोजित करके इस भ्रम को हल करने का प्रयास किया। उन्होंने केवल सैद्धांतिक अनुमानों या छोटे, अलग-थलग उदाहरणों पर भरोसा नहीं किया। इसके बजाय, उन्होंने सैकड़ों वास्तविक दुनिया के परिदृश्यों वाला एक आभासी प्रयोगशाला (virtual laboratory) बनाया। उन्होंने बारह अलग-अलग चिकित्सा कार्यों को लिया, जिनमें एमआरआई स्कैन में मस्तिष्क के ट्यूमर की पहचान करने से लेकर तस्वीरों में त्वचा के घावों को वर्गीकृत करना तक शामिल था, और प्रत्येक पर उन्नीस अलग-अलग एआई (AI) मॉडल लागू किए। इससे परीक्षण मामलों का एक विशाल संग्रह बना जिसमें इमेज के भीतर विशिष्ट आकृतियों को खोजने के कार्य, जिसे 'सेगमेंटेशन' (segmentation) कहा जाता है, और छवियों को श्रेणियों में वर्गीकृत करने के कार्य, यानी 'क्लासिफिकेशन' (classification), दोनों शामिल थे। मॉडल और कार्य के प्रत्येक संयोजन के लिए, उन्होंने यह देखने के लिए हजारों अलग-अलग टेस्ट सेट्स का अनुकरण (simulate) किया कि कॉन्फिडेंस इंटरवल दबाव में कैसे टिकते हैं। उन्होंने कॉन्फिडेंस इंटरवल की गणना करने के विभिन्न तरीकों का परीक्षण किया, जिसमें मानक सांख्यिकीय सूत्र और कंप्यूटर-गहन रीसैंपलिंग तकनीकें शामिल थीं, साथ ही टेस्ट सेट्स के आकार और सफलता को मापने के लिए उपयोग किए जाने वाले विशिष्ट मेट्रिक्स को भी बदला गया।
जांच से पता चला कि इन अंतरालों की गणना करने के लिए कोई एक सार्वभौमिक विधि नहीं है जो हर स्थिति में अच्छी तरह काम करती हो। शोधकर्ताओं ने पाया कि विधि का चुनाव अध्ययन के विशिष्ट विवरणों पर बहुत अधिक निर्भर करता है। उदाहरण के लिए, कार्य का प्रकार महत्वपूर्ण है। जब AI को एक श्रेणी में छवि को वर्गीकृत करने के लिए कहा जाता है, जैसे कि "रोग" या "रोग नहीं", तो सेगमेंटेशन की तुलना में जब AI को किसी अंग की सटीक रूपरेखा खींचने के लिए कहा जाता है, तो विश्वसनीय होने के लिए वर्गीकरण कार्यों में बहुत बड़े टेस्ट सेट्स की आवश्यकता होती है। वर्गीकरण कार्यों में, शोधकर्ताओं ने पाया कि अंतरालों को भरोसेमंद होने के लिए अक्सर सैकड़ों मामलों की आवश्यकता होती है, जबकि सेगमेंटेशन कार्यों में कभी-कभी बहुत कम मामलों की आवश्यकता होती है। इसके अलावा, कई श्रेणियों से परिणामों को जोड़ने का तरीका भी एक महत्वपूर्ण भूमिका निभाता है। यदि कोई डॉक्टर यह जानना चाहता है कि AI दुर्लभ बीमारियों पर कैसा प्रदर्शन करता है, तो उन्हें प्रत्येक बीमारी के प्रदर्शन को अलग से देखना चाहिए और फिर परिणामों का औसत निकालना चाहिए। अध्ययन ने दिखाया कि यह दृष्टिकोण, जिसे 'मैक्रो-एवरेजिंग' (macro-averaging) कहा जाता है, सभी डेटा को एक साथ मिलाने (जिसे 'माइक्रो-एवरेजिंग' कहा जाता है) की तुलना में एक विश्वसनीय सुरक्षा जाल बनाने के लिए काफी अधिक डेटा की मांग करता है।
प्रदर्शन को मापने के लिए उपयोग किया जाने वाला विशिष्ट मेट्रिक भी कॉन्फिडेंस इंटरवल के व्यवहार को नाटकीय रूप से बदल देता है। कुछ मेट्रिक्स, जो यह मापते हैं कि AI एक संदर्भ आकृति के साथ कितनी अच्छी तरह ओवरलैप होता है, स्थिर और अनुमानित अंतराल उत्पन्न करते हैं। अन्य, जो AI की रूपरेखा और वास्तविक सीमा के बीच की दूरी को मापते हैं, बहुत अधिक अनियमित होते हैं और उन्हें स्थिर होने के लिए बड़े नमूना आकार की आवश्यकता होती है। शोधकर्ताओं ने पाया कि डेटा वितरण का आकार, विशेष रूप से यह कितना विषम (skewed) या असंतुलित है, अस्थिरता का एक प्रमुख चालक है। जब डेटा अत्यधिक विषम होता है, तो मानक विधियाँ अक्सर वास्तविक प्रदर्शन को पकड़ने में विफल रहती हैं, जिससे ऐसे अंतराल बनते हैं जो या तो बहुत संकीर्ण और भ्रामक होते हैं या बहुत चौड़े होकर उपयोगी नहीं रहते।
शायद सबसे महत्वपूर्ण बात यह है कि अध्ययन ने सॉफ्टवेयर के डिफ़ॉल्ट सेटिंग्स का आँख मूंदकर पालन करने की सामान्य प्रथा को चुनौती दी। डेटा विश्लेषण के लिए कई लोकप्रिय कंप्यूटर प्रोग्रामों में कॉन्फिडेंस इंटरवल की गणना के लिए एक "डिफ़ॉल्ट" सेटिंग होती है, जो अक्सर एक विशिष्ट जटिल विधि को प्राथमिकता देती है। शोधकर्ताओं ने पाया कि चिकित्सा इमेजिंग के लिए यह डिफ़ॉल्ट अक्सर गलत विकल्प होता है। कई मामलों में, एक सरल विधि बेहतर प्रदर्शन करती थी, जबकि अन्य मामलों में, डिफ़ॉल्ट विधि पूरी तरह विफल रही, विशेष रूप से जब डेटा में आउटलेयर्स (outliers) थे या जब सारांश सांख्यिकी (summary statistic) औसत के बजाय माध्यिका (median) थी। उन्होंने यह भी पाया कि कुछ व्यापक रूप से उपयोग की जाने वाली विधियों ने ऐसे अंतराल उत्पन्न किए जो इतने चौड़े थे कि वे व्यावहारिक रूप से बेकार थे, जबकि अन्य इतने संकीर्ण थे कि वे वास्तविक मान को पूरी तरह से छोड़ गए।
चिकित्सा समुदाय को इन जटिलताओं को समझने में मदद करने के लिए, शोधकर्ताओं ने अपने निष्कर्षों को एक व्यावहारिक 'डिसीजन ट्री' (decision tree) में अनुवादित किया। यह मार्गदर्शिका एक शोधकर्ता को अपनी विशिष्ट स्थिति को देखने की अनुमति देती है—चाहे वे सेगमेंटेशन या क्लासिफिकेशन कर रहे हों, वे किस मेट्रिक का उपयोग कर रहे हैं, और उनके पास कितने रोगी हैं—और तुरंत देख सकते हैं कि कॉन्फिडेंस इंटरवल की गणना करने के लिए कौन सी विधि विश्वसनीय होने की संभावना है। अध्ययन निष्कर्ष निकालता है कि हालांकि एआई के सुरक्षित नैदानिक उपयोग के लिए प्रदर्शन अनिश्चितता की गणना करना आवश्यक है, लेकिन यह 'एक ही आकार सबके लिए उपयुक्त' (one-size-fits-all) वाली समस्या नहीं है। सुरक्षा जाल की विश्वसनीयता पूरी तरह से संदर्भ पर निर्भर करती है, और सही विधि चुनने के लिए डेटा की विशिष्ट विशेषताओं को समझना आवश्यक है। इन निर्भरताओं को मैप करके, यह कार्य शोधकर्ताओं को अपने परिणामों को उस ईमानदारी और सटीकता के साथ रिपोर्ट करने के लिए एक स्पष्ट मार्ग प्रदान करता है जिसकी नैदानिक अभ्यास मांग करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।