Development and evaluation of CADe systems in low-prevalence setting: The RARE25 challenge for early detection of Barrett's neoplasia
RARE25 चुनौती अर्ली बैरेट्स नियोप्लासिया डिटेक्शन के लिए एक प्रिवलेंस-अवेयर (प्रचलता-जागरूक) बेंचमार्क स्थापित करती है, जो यह प्रकट करती है कि जबकि वर्तमान CADe सिस्टम मजबूत विभेदक प्रदर्शन प्राप्त करते हैं, वास्तविक कम-प्रचलता वाले परिवेश में उनका निम्न पॉजिटिव प्रेडिक्टिव वैल्यू (सकारात्मक भविष्य कहने वाला मूल्य) नैदानिक उपयोगिता सुनिश्चित करने के लिए मजबूत, प्रिवलेंस-अग्नोस्टिक (प्रचलता-निरपेक्ष) दृष्टिकोणों की महत्वपूर्ण आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल हवाई अड्डे पर एक सुरक्षा गार्ड हैं। आपका काम हर दिन हजारों यात्रियों को स्कैन करना है ताकि उस एक व्यक्ति को खोजा जा सके जो कोई खतरनाक हथियार ले जा रहा हो।
ज्यादातर समय, सभी निर्दोष होते हैं। आप मुस्कुराते हुए चेहरों, सूटकेस और सामान्य लोगों का एक समंदर देखते हैं। लेकिन अगर आप उस एक व्यक्ति को चूक गए, तो परिणाम भयानक होंगे। यदि आप बहुत अधिक निर्दोष लोगों को रोकते हैं, तो इससे अराजकता, गुस्सा और "अलार्म थकान" (जहाँ आप परवाह करना छोड़ देते हैं क्योंकि आप बहुत अधिक गलत अलार्मों के कारण रुक जाते हैं) पैदा होती है।
यह बिल्कुल वही समस्या है जिसका सामना डॉक्टर अन्नप्रणाली (एसोफैगस) में शुरुआती कैंसर (एक स्थिति जिसे बैरेट्स एसोफैगस कहा जाता है) को खोजने के दौरान करते हैं। उन्हें स्वस्थ ऊतकों की हजारों छवियों को स्कैन करना पड़ता है ताकि वे कैंसर के एक छोटे से सूक्ष्म बिंदु को ढूंढ सकें।
यह पेपर एक विशाल प्रयोग का वर्णन करता है जिसे RARE25 (लो-प्रिवेलेंस कैंसर में असामान्यता की पहचान - Recognition of Abnormalities in low-pREvalence cancer) कहा जाता है, जिसे आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करके इस समस्या को हल करने के लिए डिज़ाइन किया गया है।
यहाँ इस चुनौती, प्रतियोगियों और उन्होंने क्या सीखा, इसकी कहानी सरल भाषा में दी गई है।
1. समस्या: "भूसे के ढेर में सुई" का प्रभाव
वर्षों से, AI शोधकर्ता डॉक्टरों को इन सूक्ष्म कैंसर के धब्बों को खोजने में मदद करने के लिए "कंप्यूटर-एडेड डिटेक्शन" (CADe) सिस्टम बनाने के लिए काम कर रहे हैं। लेकिन इन AI सिस्टमों के परीक्षण करने के तरीके में एक बड़ा झूठ शामिल था।
- नकली परीक्षण: शोधकर्ता आमतौर पर अपने AI को ऐसे डेटासेट पर प्रशिक्षित करते थे जहाँ वे संख्या को कृत्रिम रूप से संतुलित करते थे। वे AI को शायद 50 कैंसर की तस्वीरें और 50 स्वस्थ ऊतकों की तस्वीरें दिखाते थे। यह एक सुरक्षा गार्ड को 50 बुरे लोगों और 50 अच्छे लोगों को दिखाकर प्रशिक्षित करने जैसा है। AI इस नकली दुनिया में बुरे लोगों को पहचानने में बहुत कुशल हो जाता है।
- वास्तविक दुनिया: वास्तव में, 10,000 रोगियों में से शायद केवल 100 में ही शुरुआती कैंसर होता है। यह 1% प्रिवेलेंस (व्याप्ति) है।
- परिणाम: जब इन "परफेक्ट" AI को वास्तविक दुनिया में तैनात किया गया, तो वे पागल हो गए। क्योंकि उन्हें अक्सर कैंसर की उम्मीद करने के लिए प्रशिक्षित किया गया था, इसलिए वे हर मामूली धूल के कण पर "कैंसर!" चिल्लाने लगे। उन्होंने इतने सारे गलत अलार्म पैदा किए कि डॉक्टर उन पर भरोसा नहीं कर सके।
2. चुनौती: RARE25
इसे ठीक करने के लिए, आयोजकों ने RARE25 चुनौती बनाई। वे देखना चाहते थे कि क्या AI इस काम की वास्तविक कठिनाई को संभाल सकता है।
- ट्रेनिंग सेट: उन्होंने टीमों को छवियों का एक बड़ा पुस्तकालय (लगभग 3,000) दिया, लेकिन यह अभी भी ज्यादातर स्वस्थ ऊतक था जिसमें बहुत कम कैंसर के धब्बे थे।
- गुप्त परीक्षण: उन्होंने 25,000 से अधिक छवियों का एक विशाल "गुप्त परीक्षण" रोक कर रखा। महत्वपूर्ण बात यह है कि यह टेस्ट सेट वास्तविक जीवन से मेल खाने के लिए सैंपल किया गया था। इसमें कैंसर और स्वस्थ ऊतक का वही छोटा अनुपात था जो वास्तव में अस्पतालों में डॉक्टर देखते हैं।
- लक्षक्य: टीमों को एक ऐसा AI बनाना था जो बाकी चीजों पर "गलत अलार्म" बजाए बिना कैंसर को ढूंढ सके।
3. प्रतियोगी: दुनिया भर से 11 टीमें
जर्मनी, जापान, दक्षिण कोरिया और नीदरलैंड जैसे देशों की ग्यारह टीमों ने अखाड़े में प्रवेश किया। उन्होंने अलग-अलग रणनीतियों का उपयोग किया, जैसे अलग-अलग प्रकार के "मस्तिष्क" (न्यूरल नेटवर्क) और अलग-अलग प्रशिक्षण तकनीकें।
यहाँ उनके कुछ दृष्टिकोण दिए गए हैं:
- "सुपर-एन्सेम्बल" टीम (IMSY): एक स्मार्ट AI के बजाय, उन्होंने 40 अलग-अलग AI की एक टीम बनाई और उनसे वोट देने को कहा। उन्होंने एक "फाउंडेशन मॉडल" (एक प्री-ट्रेन्ड मस्तिष्क जो पहले से ही चिकित्सा छवियों के बारे में बहुत कुछ जानता है) का भी उपयोग किया और उसे फाइन-ट्यून किया। वे प्रतियोगिता जीत गए!
- "सेगमेंटेशन" टीम (Jmees-inc): उन्होंने एक अलग कोण अपनाया। केवल "हाँ/नहीं" कहने के बजाय, उन्होंने पहले संदिग्ध क्षेत्र के चारों ओर एक बॉक्स बनाने की कोशिश की, फिर तय किया कि क्या वह कैंसर है।
- "प्री-ट्रेनिंग" टीमें: कई टीमों ने इस विशिष्ट कैंसर से निपटने से पहले अन्य मेडिकल डेटासेट (जैसे कोलन में पॉलिप्स) पर अपने AI को प्रशिक्षित करने की कोशिश की, इस उम्मीद में कि AI पहले सामान्य चिकित्सा कौशल सीख लेगा।
4. परिणाम: अच्छी खबर और बुरी खबर
जब परिणाम आए, तो यह जीत और वास्तविकता के अहसास का मिश्रण था।
- अच्छी खबर: AI सिस्टम छवियों को रैंक करने में अविश्वसनीय रूप से अच्छे थे। यदि आप उन्हें एक कैंसर और एक स्वस्थ ऊतक दिखाते, तो वे लगभग हमेशा बता सकते थे कि कौन सा क्या है। उनमें उच्च "डिस्क्रिमिनेशन" (भेदभाव करने की क्षमता) थी।
- बुरी खबर (रियलिटी चेक): जब उन्हें वास्तविक दुनिया के टेस्ट सेट (जहाँ कैंसर दुर्लभ है) में कैंसर का पता लगाने के लिए कहा गया, तो पॉजिटिव प्रेडिक्टिव वैल्यू (PPV) अभी भी बहुत कम था।
- अनुवाद: भले ही विजेता टीम ने कहा, "यह कैंसर है," तो वे केवल 3.5% बार ही सही थे। बाकी 96.5% गलत अलार्म थे।
- क्यों? क्योंकि कैंसर इतना दुर्लभ है कि एक छोटी सी गलती भी गलत अलार्म का पहाड़ खड़ा कर देती है।
उपमा: कल्पना कीजिए कि AI एक मेटल डिटेक्टर है। यह इतना संवेदनशील है कि यह एक सिक्के, बेल्ट के बकल और फॉयल के टुकड़े के लिए भी बीप करता है। यह बंदूक को ढूंढ तो सकता है, लेकिन यह बाकी चीजों के लिए भी बीप करता है। 10,000 लोगों की भीड़ में, यदि यह 1,000 बार बीप करता है, तो सुरक्षा गार्ड को एक बुरे आदमी को खोजने के लिए 1,000 निर्दोष लोगों की जांच करनी पड़ती है। वह अभी व्यावहारिक नहीं है।
5. हमने क्या सीखा? ("अहा!" क्षण)
यह पेपर भविष्य के लिए तीन प्रमुख सबक बताता है:
- परीक्षण को फर्जी न बनाएं: आप AI को संतुलित डेटासेट पर प्रशिक्षित और परीक्षण नहीं कर सकते। आपको इसे उस डेटा पर टेस्ट करना चाहिए जो वास्तविक दुनिया जैसा दिखता है, अन्यथा परिणाम अर्थहीन हैं।
- "गलत अलार्म" का जाल: कम प्रिवेलेंस वाले परिवेश में, केवल "सटीक" होना पर्याप्त नहीं है। यदि एक AI बहुत अधिक गलत अलार्म बनाता है, तो वह बेकार हो जाता है क्योंकि वह डॉक्टर को अभिभूत कर देता है।
- लुप्त रणनीति: लगभग हर टीम ने AI को "कैंसर" को पहचानने के लिए सिखाने की कोशिश की। लेकिन किसी ने भी AI को "सामान्य" को पहचानने के लिए नहीं सिखाया।
- भविवी रणनीति: AI को यह सिखाने के बजाय कि कैंसर कैसा दिखता है (जो कि दुर्लभ है), शायद हमें उसे यह सिखाना चाहिए कि स्वस्थ कैसा दिखता है (जो कि हर जगह है)। फिर, यदि AI कुछ ऐसा देखता है जो स्वस्थ नहीं दिखता, तो वह अलार्म बजाता है। इसे "एनोमली डिटेक्शन" (विसंगति का पता लगाना) कहा जाता है, और यह इस समस्या को हल करने की कुंजी हो सकती है।
निष्कर्ष
RARE25 चुनौती एक सफलता थी, इसलिए नहीं कि AI ने समस्या को पूरी तरह से हल कर लिया, बल्कि इसलिए क्योंकि इसने सच्चाई को उजागर किया। इसने हमें दिखाया कि जबकि AI पैटर्न पहचानने में स्मार्ट हो रहा है, हमें अभी भी एक लंबा रास्ता तय करना है जिससे यह बिना गलत अलार्म के आतंक के, वास्तविक अस्पताल में "दूसरी जोड़ी आँखों" के रूप में विश्वसनीय रूप से कार्य कर सके।
यह हमें याद दिलाता है कि चिकित्सा में, संदर्भ (Context) ही सब कुछ है। एक AI जो लैब में काम करता है वह अस्पताल में विफल हो सकता है, और इसे जानने का एकमात्र तरीका इसे वास्तविक दुनिया के दबाव में टेस्ट करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।