Deep Learning for Retinal Degeneration Assessment: A Comprehensive Analysis of the MARIO Challenge
यह शोध पत्र MICCAI 2024 में MARIO चुनौती का एक व्यापक विश्लेषण प्रस्तुत करता है, जो विस्तार से बताता है कि कैसे 35 टीमों ने रेटिनल डिजनरेशन (दृष्टि ह्रास) के मूल्यांकन में AI के प्रदर्शन को बेंचमार्क करने के लिए मल्टी-मोडल OCT और क्लिनिकल डेटा का उपयोग किया, जिससे यह पता चला कि जबकि AI, AMD प्रगति का पता लगाने में चिकित्सक की सटीकता के बराबर है, यह वर्तमान में भविष्य के रोग विकास की भविष्यवाणी करने में पीछे रह जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक बहुत ही सूक्ष्म और जटिल शहर के भीतर एक रहस्य सुलझाने की कोशिश कर रहे हैं: मानव आँख। विशेष रूप से, आप रेटिना को देख रहे हैं, जो आँख के पिछले हिस्से में स्थित एक प्रकाश-संवेदनशील स्क्रीन है। कभी-कभी, इस शहर में एक चालाक, लीकी (रिसाव करने वाली) वृद्धि घुस आती है जिसे नियोवैस्कुलर एज-रिलेटेड मैकुलर डिजनरेशन (AMD) कहा जाता है। यह एक प्लंबिंग आपदा की तरह है जहाँ अनचाहे छोटे पाइप उग आते हैं और तरल पदार्थ का रिसाव करने लगते हैं, जिससे आपकी दृष्टि के केंद्र में धुंधलापन आ जाता है। इसे ठीक करने के लिए, डॉक्टर विशेष "एंटी-लीक" इंजेक्शन (anti-VEGF) का उपयोग करते हैं जो उन पाइपों को रोकने के लिए एक सुपर-गोंद की तरह काम करते हैं। लेकिन पेचीदा बात यह है कि रिसाव की स्थिति हर दिन बदलती रहती है। कभी पाइप शांत होते हैं, कभी वे उग्र होते हैं, और कभी वे बस थोड़े नम होते हैं। डॉक्टरों को यह देखने के लिए कि क्या गोंद काम कर रहा है, हर कुछ हफ्तों में आँख की उच्च-रिज़ॉल्यूशन वाली 3D तस्वीरें (जिन्हें OCT स्कैन कहा जाता है) लेनी पड़ती हैं। यदि वे गलत अनुमान लगाते हैं, तो वे या तो ऐसे मरीज को इंजेक्शन दे सकते हैं जिसे इसकी आवश्यकता नहीं है, या इससे भी बुरा, वे उस मरीज के मामले में बहुत देर कर सकते हैं जो बिगड़ रहा है।
लंबे समय से, कंप्यूटर एक एकल तस्वीर को देखकर यह कहने में बहुत अच्छे होते रहे हैं कि, "हे, इस आँख में रिसाव है!" लेकिन असली चुनौती एक स्थिर फोटो के बजाय एक फिल्म देखने जैसी है। कंप्यूटर को दो तस्वीरों को देखना होगा जो कुछ हफ्तों के अंतराल पर ली गई हों और यह तय करना होगा: "क्या रिसाव कम हुआ, स्थिर रहा, या बिगड़ गया?" इससे भी कठिन यह है कि क्या कंप्यूटर आज की केवल एक तस्वीर देखकर यह अनुमान लगा सकता है कि तीन महीने बाद क्या होगा? यह वही सवाल है जो वैज्ञानिकों के एक समूह ने दुनिया के सर्वश्रेष्ठ AI जासूसों से हल करने के लिए पूछा था, जिसे MARIO चैलेंज नामक एक वैश्विक प्रतियोगिता में आयोजित किया गया था। वे जानना चाहते थे कि क्या आर्टिफिशियल इंटेलिजेंस डॉक्टरों के लिए एक विश्वसनीय सहायक बन सकता है, जो उन्हें यह तय करने में मदद करे कि उन्हें ठीक कब इंजेक्शन देना चाहिए और कब मरीज को आराम करने देना चाहिए।
द ग्रेट आई डिटेक्टिव कॉन्टेस्ट (महान नेत्र जासूसी प्रतियोगिता)
2024 में, शोधकर्ताओं की एक टीम ने MARIO चैलेंज (इंटेलिजेंट ऑप्थल्मोलॉजी के साथ एज-रिलेटेड मैकुलर डिजनरेशन की निगरानी) नामक एक विशाल खेल आयोजित किया। उन्होंने दुनिया भर से AI विशेषज्ञों की 35 टीमों को इकट्ठा किया, जिनमें छात्र, विश्वविद्यालय शोधकर्ता और तकनीकी कंपनियां शामिल थीं। लक्ष्य एक कंप्यूटर प्रोग्राम बनाना था जो ऑप्टिकल कोहेरेंस टोमोग्राफी (OCT) स्कैन—जो रेटिना के अत्यंत विस्तृत 3D क्रॉस-सेक्शन हैं—का विश्लेषण करके बीमारी को ट्रैक कर सके।
इस चुनौती के दो स्तर थे, जैसे कि एक वीडियो गेम में 'ईजी मोड' और 'हार्ड मोड' होता है।
लेवल 1: "बदलाव को पहचानें" गेम
इस स्तर में, AI को एक ही आँख की दो तस्वीरें दी गईं जो अलग-अलग समय पर ली गई थीं (मान लीजिए, विज़िट A और विज़िट B)। कंप्यूटर को दोनों को देखना था और निर्णय लेना था: क्या बीमारी कम (Reduced) हुई, स्थिर (Stable) रही, या बिगड़ (Worsened) गई?
इसके परिणाम आश्चर्यजनक रूप से रोमांचक थे। सबसे अच्छी टीम, जिसे MIPLAB कहा गया, ने एक ऐसा मॉडल बनाया जो लगभग 86% बार सही था। इसे समझने के लिए, यह लगभग उतना ही अच्छा है जितना कि दो मानव नेत्र रोग विशेषज्ञ एक-दूसरे से सहमत होते हैं! AI ने दो स्कैनों के बीच तरल पदार्थ के स्तर के सूक्ष्म अंतर को सफलतापूर्वक पहचानना सीख लिया। यह कंप्यूटर को यह नोटिस करना सिखाने जैसा था कि दो तस्वीरों को देखकर फुटपाथ पर फैला हुआ पानी का गड्ढा छोटा हुआ है या बड़ा हुआ है। यह सुझाव देता है कि वर्तमान में उपचार काम कर रहा है या नहीं, यह जाँचने के लिए AI एक सहायक के रूप में तैयार है।
लेवल 2: "क्रिस्टल बॉल" गेम
यह स्तर बहुत, बहुत कठिन था। AI को केवल एक तस्वीर (विज़िट A) दी गई थी और उसे अगले तीन महीनों में होने वाली घटना का अनुमान लगाना था। क्या आँख बेहतर होगी, स्थिर रहेगी, या बिगड़ जाएगी?
यहाँ के परिणाम एक वास्तविकता की जाँच (reality check) थे। सबसे अच्छे AI मॉडल ने केवल 0.30 का स्कोर हासिल किया, जो कि हर बार "स्थिर" होने का अनुमान लगाने से मुश्किल से बेहतर है क्योंकि अधिकांश आँखें वास्तव में स्थिर होती हैं। टीमों के अनुमान एक-दूसरे से इतने अलग थे कि वे संयोग से भी बेहतर तरीके से एक-दूसरे से सहमत नहीं थे। यह ऐसा ही था जैसे AI आज के आसमान की केवल एक तस्वीर का उपयोग करके तीन महीने पहले के मौसम की भविष्यवाणी करने की कोशिश कर रहा हो; उस एक तस्वीर में यह जानने के लिए पर्याप्त जानकारी नहीं थी कि आगे क्या होने वाला है। पेपर निष्कर्ष निकालता है कि एक एकल विज़िट से भविष्य की भविष्यवाणी करना अभी भी एक समस्या है जिसे AI ने हल नहीं किया है।
"विदेशी भाषा" की समस्या
कहानी में एक और मोड़ आया जिसने शोधकर्ताओं को निष्पक्षता और विश्वसनीयता के बारे में एक बहुत ही महत्वपूर्ण सबक सिखाया। मुख्य मरीजों का समूह ब्रेस्ट, फ्रांस से था। लेकिन यह परीक्षण करने के लिए कि क्या AI वास्तव में स्मार्ट है या उसने केवल फ्रांसीसी डेटा को याद कर लिया है, आयोजकों ने अल्जीरिया के टलेमसेन से एक छोटा, गुप्त टेस्ट सेट शामिल किया। उन मरीजों की पृष्ठभूमि अलग थी, और उनके नेत्र स्कैन अलग-अलग उपकरण सेटिंग्स के साथ लिए गए थे।
जब फ्रांसीसी डेटा वाले विजेता AI ने अल्जीरियाई पहेलियों को हल करने की कोशिश की, तो वह बुरी तरह लड़खड़ा गया। जो टीम फ्रांस में पहले स्थान पर आई थी, वह अल्जीरिया में पांचवें स्थान पर पहुँच गई। कुछ टीमों के स्कोर इतने गिर गए कि वे रैंडम गेसिंग (तुक्का मारने) से भी बहुत खराब थे। यह एक ऐसे छात्र की तरह था जिसने एक कक्षा में गणित की परीक्षा में टॉप किया लेकिन पूरी तरह से फेल हो गया जब शिक्षक ने थोड़ा अलग प्रतीकों वाला दूसरा टेक्स्टबुक बदल दिया। इसने दिखाया कि AI मॉडल कहाँ से डेटा आ रहा है, उसके प्रति बहुत संवेदनशील थे। उन्होंने आँख के सार्वभौमिक नियमों को नहीं सीखा था; उन्होंने केवल फ्रांसीसी स्कैन के विशिष्ट "लहजे" को सीखा था।
इसका क्या अर्थ है?
MARIO चैलेंज ने हमें एक स्पष्ट मानचित्र दिया कि हम कहाँ खड़े हैं।
- अल्पकालिक निगरानी संभव है: यदि कोई डॉक्टर जानना चाहता है कि पिछले महीने के स्कैन की तुलना में आँख बेहतर हुई है या खराब, तो AI बहुत अच्छा काम कर सकता है। यह डॉक्टरों का समय बचाने और अनावश्यक इंजेक्शनों को कम करने में मदद करने के लिए तैयार है।
- दीर्घकालिक भविष्यवाणी अभी तैयार नहीं है: यदि कोई डॉक्टर केवल एक स्कैन के आधार पर यह जानना चाहता है कि तीन महीने बाद क्या होगा, तो AI वर्तमान में बेकार है। सिग्नल बहुत कमजोर है, और मॉडल केवल अनुमान लगा रहे हैं।
- एक आकार सभी के लिए उपयुक्त नहीं है: एक AI जो लोगों के एक समूह के लिए पूरी तरह से काम करता है, वह दूसरे समूह के लिए बुरी तरह विफल हो सकता है। इससे पहले कि हम इन उपकरणों पर अस्पतालों में भरोसा कर सकें, हमें यह सुनिश्चित करना होगा कि वे हर किसी के लिए काम करें, चाहे वे कहीं भी रहते हों या उनकी आँखों को किस मशीन ने स्कैन किया हो।
पेपर यह दावा नहीं करता है कि उसने AMD के रहस्य को सुलझा लिया है, लेकिन इसने इस रहस्य को सुलझा लिया है कि AI अभी क्या कर सकता है और क्या नहीं। यह हमें बताता है कि जबकि हमने वर्तमान परिवर्तनों को पहचानने के लिए एक बहुत अच्छा "स्पॉटर" बनाया है, हमें अभी भी भविष्य के लिए एक बहुत अधिक स्मार्ट "प्रोफेट" (भविष्यवक्ता) बनाने की आवश्यकता है। और जब तक हम ऐसा नहीं करते, हमें अपने डिजिटल जासूसों पर तब तक बहुत अधिक भरोसा न करने की सलाह दी जाती है जब तक वे किसी नए पड़ोस में हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।