Real-World Diagnostic Accuracy of Fully Autonomous, FDA-Approved Artificial Intelligence Systems for Diabetic Retinopathy Screening in the United States: A Systematic Review and Meta-Analysis
108,000 से अधिक स्क्रीनिंग मुठभेड़ों वाले पांच वास्तविक दुनिया के अमेरिकी अध्ययनों का यह व्यवस्थित समीक्षा और मेटा-विश्लेषण प्रकट करता है कि जबकि डायबिटिक रेटिनोपैथी के लिए पूर्णतः स्वायत्त, एफडीए-अनुमोदित एआई सिस्टम उच्च संवेदनशीलता (95.8%) बनाए रखते हैं, उनकी विशिष्टता (83.5%) नैदानिक सेटिंग्स में पर्याप्त परिवर्तनशीलता प्रदर्शित करती है, जो यह संकेत देती है कि महत्वपूर्ण परीक्षण प्रदर्शन समान रूप से वास्तविक दुनिया के अभ्यास में सामान्यीकृत नहीं हो सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपकी आँखें एक हाई-डेफिनिशन कैमरे की तरह हैं जो कभी सोती नहीं हैं, और लगातार आपके आस-पास की दुनिया को कैद करती रहती हैं। लेकिन मधुमेह (डायबिटीज) से पीड़ित लाखों लोगों के लिए, "डायबिटिक रेटिनोपैथी" नामक एक चालाक चोर धीरे-धीरे उस कैमरे के लेंस को खरोंच रहा है। यदि इसे अकेला छोड़ दिया गया, तो यह चोर तस्वीर को धुंधला कर सकता है जब तक कि वह हमेशा के लिए गायब न हो जाए। अच्छी खबर क्या है? यह चोर आमतौर पर धीमा और अनुमान लगाने योग्य होता है। यदि हम साल में एक बार कैमरे के लेंस की जांच करें, तो हम उन खरोंचों को जल्दी पकड़ सकते हैं और उन्हें स्थायी होने से पहले ठीक कर सकते हैं।
हालाँकि, लेंस की जांच करना आसान नहीं है। इसके लिए एक विशेष डॉक्टर, महंगे उपकरण और बहुत अधिक समय की आवश्यकता होती है। कई लोग अपनी नियुक्तियों (अपॉइंटमेंट) को मिस कर देते हैं, और वास्तव में पर्याप्त संख्या में नेत्र रोग विशेषज्ञ उपलब्ध नहीं हैं। यहाँ "डिजिटल डिटेक्टिव" यानी कृत्रिम बुद्धिमत्ता (AI) का प्रवेश होता है। ये कंप्यूटर प्रोग्राम हैं जिन्हें आँख के पिछले हिस्से की तस्वीरों को देखने और किसी भी इंसान से तेज़ गति से खरोंचों को पहचानने के लिए प्रशिक्षित किया गया है। हाल ही में, एफडीए (सरकार के नियम बनाने वाले) ने दो विशिष्ट डिजिटल डिटेक्टिव्स को हरी झंडी दी है जो बिना किसी इंसान डॉक्टर के दोबारा जांच किए, अपने आप काम कर सकते हैं। उन्होंने वादा किया है कि वे बेहद सटीक होंगे, लगभग एक वीडियो गेम में परफेक्ट स्कोर की तरह।
लेकिन यहाँ एक मोड़ है: वीडियो गेम नियंत्रित वातावरण में खेले जाते हैं जहाँ रोशनी एकदम सही होती है और कोई व्याकुलता नहीं होती। वास्तविक जीवन अस्त-व्यस्त है। क्या होता है जब इन डिजिटल डिटेक्टिव्स को वास्तविक दुनिया में, व्यस्त क्लीनिकों में भेजा जाता है जहाँ कम रोशनी है, कर्मचारी थके हुए हैं और मरीज शायद पूरी तरह से स्थिर नहीं बैठे हैं? क्या वे अभी भी हर एक खरोंच को पकड़ पाते हैं, या वे भ्रमित होने लगते हैं? यह वह बड़ा सवाल है जिसका जवाब एक युवा शोधकर्ता श्रेया पारिमू ने देने का फैसला किया।
असली दुनिया में डिजिटल डिटेक्टिव्स
श्रेया का प्रोजेक्ट एक जासूसी कहानी की तरह था, लेकिन अपराध सुलझाने के बजाय, वह इस रहस्य को सुलझा रही थी कि दो विशिष्ट एआई सिस्टम—जिनके नाम लुमिनेटिक्सकोर (LumineticsCore - पूर्व नाम IDx-DR) और आईआर्ट (EyeArt) हैं—वास्तविक अमेरिकी क्लीनिकों में वास्तव में कैसे काम करते हैं।
आप सोच सकते हैं, "यदि सरकार ने उन्हें मंजूरी दी है, तो वे निश्चित रूप से पूर्ण होंगे!" लेकिन श्रेया उन शानदार लैब परीक्षणों से परे देखना चाहती थीं जहाँ सब कुछ सही रहता है। वह देखना चाहती थीं कि क्या होता है जब इन एआई सिस्टम का उपयोग डॉक्टर के कार्यालय की अव्यवस्थित, वास्तविक दुनिया में किया जाता है। उन्होंने पाँच अलग-अलग अध्ययनों से डेटा एकत्र किया जिसमें 108,000 से अधिक नेत्र जांच शामिल थीं। यह बहुत सारी आँखें हैं!
मुख्य निष्कर्ष: पकड़ने में महान, लेकिन कभी-कभी बहुत 'जंपी' (अस्थिर)
कहानी ने क्या खुलासा किया:
1. "एक भी चीज़ न छोड़ने वाली" महाशक्ति
एआई डिटेक्टिव्स बीमारी को न छोड़ने में अविश्वसनीय रूप से अच्छे हैं। वास्तविक दुनिया में, उन्होंने बीमारी वाले आँखों को 95.8% सटीकता से पकड़ा। इसे हवाई अड्डे के मेटल डिटेक्टर की तरह समझें। यदि आप मेटल डिटेक्टर को बहुत संवेदनशील सेट करते हैं, तो यह बेल्ट बकल, चाबी या सिक्के के लिए भी बीप करेगा। यह गैर-हथियारों के लिए बहुत अधिक बीप कर सकता है, लेकिन यह हथियारों को कभी भी फिसलने नहीं देगा। ये एआई सिस्टम बिल्कुल वैसा ही करते हैं। वे समस्याओं को पहचानने में इतने अच्छे हैं कि वे शायद ही कभी किसी मामले को चूकते हैं। यदि एआई कहता है, "यह आँख ठीक दिख रही है," तो आप विश्वास कर सकते हैं कि वह वास्तव में ठीक है।
2. "बहुत जंपी" होने की समस्या
हालाँकि, एक पेंच है। जबकि वे बीमारी को न छोड़ने में महान हैं, लेकिन जब वे यह कहने के मामले में आते हैं कि "सब कुछ ठीक है," तो वे थोड़े बहुत 'जंपी' (अति-संवेदनशील) हो जाते हैं। वास्तविक दुनिया में, एआई ने 83.5% बार कहा कि आँख स्वस्थ थी जब वह वास्तव में स्वस्थ थी। लेकिन कुछ स्थानों पर, यह संख्या गिरकर 60.3% तक पहुँच गई।
अपने किचन में एक स्मोक अलार्म (धुआं पहचानने वाला यंत्र) की कल्पना करें। यदि आप इसे बहुत संवेदनशील सेट करते हैं, तो यह तब भी "आग!" चिल्लाएगा जब आपने बस ब्रेड को थोड़ा ज्यादा सेंक लिया हो। वह असली आग नहीं है, लेकिन अलार्म इतना संवेदनशील है कि वह उसे आग समझ लेता है। यही बात कुछ क्लीनिकों में एआई के साथ हुई। इसने ऐसी चीजों को देखा जो खरोंच जैसी लग रही थीं लेकिन वास्तवियाँ नहीं थीं, और इसने स्वस्थ आँखों को "डॉक्टर की आवश्यकता है" के रूप में चिह्नित कर दिया। इसे "फॉल्स पॉजिटिव" (गलत सकारात्मक) कहा जाता है।
कारण क्या है? अस्त-व्यस्त वास्तविक दुनिया
श्रेया ने पाया कि एआई ने अपना दिमाग नहीं बदला; बल्कि दुनिया बदल गई। उन शानदार लैब परीक्षणों में जहाँ एआई को "A+" ग्रेड मिला था, तस्वीरें विशेषज्ञों द्वारा आदर्श रोशनी और विशेष बूंदों (ड्रॉप्स) के साथ ली गई थीं। वास्तविक दुनिया में, तस्वीरें अक्सर नियमित क्लीनिकों में नर्सों या तकनीशियनों द्वारा ली जाती थीं, जहाँ कभी-कभी पुतलियाँ छोटी होती थीं या आँखें धुंधली (जैसे धुंधली खिड़की से देखना) होती थीं।
क्योंकि तस्वीरें हमेशा आदर्श नहीं होती थीं, इसलिए एआई थोड़ा भ्रमित हो गया। इसने छाया को खरोंच समझने की शुरुआत कर दी। साथ ही, कुछ क्लीनिकों ने एआई का उपयोग अलग तरह से किया। उन्होंने एआई को निर्देश दिया, "अत्यधिक सावधान रहें! यदि आप सुनिश्चित नहीं हैं, तो इसे चिह्नित करें!" इसने एआई को और भी अधिक समस्याओं को पकड़ने में मदद की, लेकिन इसने अधिक स्वस्थ आँखों को भी समस्या के रूप में चिह्नित कर दिया।
निर्णय: एक बेहतरीन उपकरण, लेकिन जादू नहीं
तो, अंतिम स्कोर क्या है? पेपर यह निष्कर्ष निकालता है कि ये एआई सिस्टम बीमारी को खारिज करने के लिए उत्कृष्ट हैं। यदि एआई कहता है कि आप सुरक्षित हैं, तो आप लगभग निश्चित रूप से सुरक्षित हैं। यह एक बड़ी जीत है क्योंकि इसका मतलब है कि हम इन उपकरणों का उपयोग स्वस्थ लोगों को जल्दी से अलग करने के लिए कर सकते हैं ताकि नेत्र डॉक्टर उन लोगों पर ध्यान केंद्रित कर सकें जिन्हें वास्तव में मदद की आवश्यकता है।
हालाँकि, यह पेपर हमें चेतावनी भी देता है कि हम एआई से हर जगह पूर्ण होने की अपेक्षा न करें। "जंपी" व्यवहार का अर्थ है कि कुछ क्लीनिकों में, एआई बहुत से लोगों को दूसरी बार देखने के लिए नेत्र डॉक्टर के पास भेज सकता है। इससे शेड्यूल में भीड़ बढ़ सकती है और लोगों को लंबा इंतजार करना पड़ सकता है। अध्ययन ने पाया कि एआई का प्रदर्शन इस बात पर बहुत अधिक निर्भर करता है कि इसका उपयोग कहाँ और कैसे किया जा रहा है।
निचोड़
श्रेया का शोध हमें बताता है कि हालांकि ये एफडीए-अनुमोदित एआई डिटेक्टिव शक्तिशाली उपकरण हैं जो हमारी दृष्टि बचा सकते हैं, लेकिन वे जादू की छड़ी नहीं हैं जो हर कमरे में एक ही तरह से काम करती हैं। वे एक अति-संवेदनशील स्मोक अलार्म की तरह हैं: वे आपको असली आग से बचाएंगे, लेकिन वे तब भी चिल्ला सकते हैं जब आप बस टोस्ट बना रहे हों।
अध्ययन दिखाता है कि हम इन सिस्टमों पर गलत सूचनाओं (खतरों) को खोजने के लिए भरोसा कर सकते हैं, लेकिन हमें "गलत अलार्म" को संभालने के बारे में सावधान रहने की जरूरत है। इसे हर जगह लागू करने से पहले, क्लीनिकों को अपने विशिष्ट वातावरण में इनका परीक्षण करने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि वे बहुत अधिक 'जंपी' न हो जाएं। तकनीक तैयार है, लेकिन वास्तविक दुनिया के सेटअप को अभी भी थोड़ा ट्यून करने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि हर किसी को बिना किसी गलत अलार्म के व्यवधान के आवश्यक देखभाल मिले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।