TRUE-Colon: Exposing a Consistent Transfer Asymmetry in Real-Time Polyp Detection

कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल, अराजक गोदाम के भीतर छिपे हुए एक विशिष्ट, दुर्लभ प्रकार के खोए हुए खिलौने को खोजने की कोशिश कर रहे हैं। गोदाम चलते हुए कन्वेयर बेल्ट, टिमटिमाती रोशनी, कबाड़ के ढेर और खाली फर्श के लंबे हिस्सों से भरा हुआ है जहाँ कुछ भी दिलचस्प नहीं हो रहा है। अब, कल्पना कीजिए कि अपने जासूस को प्रशिक्षित करने के लिए, आप उसे केवल एक फोटो एल्बम दिखाते हैं। लेकिन यहाँ एक पेंच है: फोटो एल्बम में केवल खोए हुए खिलौनों की एकदम सटीक, ज़ूम-इन की गई तस्वीरें हैं, जो साफ सफेद बैकग्राउंड से घिरी हुई हैं। इसमें कन्वेयर बेल्ट की कोई तस्वीर नहीं है, कोई छाया नहीं है, और न ही खाली फर्श की कोई तस्वीर है। आप सोच सकते हैं कि आपका जासूस एक जीनियस है क्योंकि वह फोटो एल्बम में खिलжно को तुरंत पहचान लेता है। लेकिन जिस क्षण आप उसे वास्तविक, अस्त-व्यस्त गोदाम में भेजते हैं, वह कचरे से घबरा सकता है, खिलौने को इसलिए मिस कर सकता है क्योंकि वह आंशिक रूप से छिपा हुआ है, या हर उस कचरे को देखकर "मिल गया!" चिल्लाना शुरू कर सकता है जो देखने में थोड़ा बहुत खिलौने जैसा लगता है।

यह बिल्कुल वही समस्या है जिसका सामना "कंप्यूटर-एडेड डिटेक्शन" (CADe) के क्षेत्र में हो रही है, विशेष रूप से कोलोनोस्कोपी के मामले में। कोलोनोस्कोपी एक ऐसी प्रक्रिया है जिसमें डॉक्टर का उपयोग शरीर के अंदर पॉलीप्स नामक छोटी वृद्धि को खोजने और उन्हें हटाने के लिए किया जाता है इससे पहले कि वे कैंसर बन जाएं। लक्ष्य यह है कि डॉक्टर को वास्तविक समय में पॉलीप्स खोजने में मदद मिले जबकि कैमरा एक लंबे, घुमावदार और अक्सर गंदे टनल के माध्यम से आगे बढ़ रहा हो। वर्षों से, वैज्ञानिक इन AI "जासूसों" को बनाने के लिए काम कर रहे हैं। वे इन AI को डेटासेट—छवियों और वीडियो के संग्रह—पर प्रशिक्षित करते हैं, जिन्हें सावधानीपूर्वक क्यूरेट (व्यवस्थित) किया गया है। इसका मतलब है कि डेटा को "साफ" किया गया है ताकि यह मुख्य रूप से पॉलीप्स पर ध्यान केंद्रित कर सके, और इसमें उन उबाऊ हिस्सों को काट दिया गया है जहाँ कुछ भी नहीं है। बड़ा सवाल जो यह शोध पत्र पूछता है: यदि आप अपने AI जासूसों को केवल इन साफ, आदर्श फोटो एल्बमों पर प्रशिक्षित करते हैं, तो क्या वे वास्तव में एक पूर्ण चिकित्सा प्रक्रिया के वास्तविक, अस्त-व्यस्त गोदाम में काम करेंगे?

महान "फोटो एल्बम" बनाम "वास्तविक गोदाम" प्रयोग

इस अध्ययन में, यूनिवर्सिटी ऑफ बामबर्ग के शोधकर्ताओं की एक टीम ने इसी परिदृश्य का परीक्षण करने का निर्णय लिया। उन्होंने अपने इस नए परीक्षण क्षेत्र को TRUE-Colon नाम दिया। TRUE-Colon को एक मानकीकृत "स्ट्रेस टेस्ट" के रूप में सोचें। केवल एक सटीक तस्वीर में पॉलीप खोजने की क्षमता की जांच करने के बजाय, TRUE-Colon उन चार चीजों को मापता है जो वास्तविक दुनिया में वास्तव में मायने रखती हैं:

1. क्या यह पॉलीप को ढूंढ सकता है? (लोकेशन सटीकता/Localization accuracy)
2. क्या यह बेवजह शोर मचाता है? (फॉल्स-अलर्ट बोझ: यह कितनी बार "पॉलीप!" चिल्लाता है जब यह केवल त्वचा की एक तह या गंदगी का कण देख रहा होता है?)
3. यह कितनी जल्दी प्रतिक्रिया देता है? (डिटेक्शन लेटेंसी: क्या यह पॉलीप के सामने आते ही उसे पहचान लेता है, या इसे पकड़ने में कुछ सेकंड लग जाते हैं?)
4. क्या यह देखते रहना जारी रखता है? (टेम्पोरल रिलायबिलिटी: एक बार जब यह एक पॉलीप देखता है, तो क्या यह उसे ट्रैक करना जारी रखता है, या यह पलक झपकते ही उसे खो देता है?)

शोधकर्ताओं ने चार लोकप्रिय AI मॉडल (Faster R-CNN, YOLOv8, YOLOv11, और RT-DETR) को लिया और उन्हें दो अलग-अलग प्रशिक्षण शिविरों में डाला। एक शिविर ने पुराने जमाने के "फोटो एल्बमों" (क्यूरेटेड डेटासेट जैसे SUN और PICCOLO) का उपयोग किया, जो पॉलीप की तस्वीरों से भरे हैं लेकिन जिनमें "खाली" फ्रेम बहुत कम हैं। दूसरा शिविर "वास्तविक गोदाम" (REAL-Colon) का उपयोग करता है, जिसमें 60 पूर्ण, अनएडिटेड कोलोनोस्कोपी वीडियो शामिल हैं। ये वास्तविक वीडियो ज्यादातर खाली स्थान हैं (85% से अधिक फ्रेम में कोई पॉलीप नहीं है) और मोशन ब्लर, चमकीली चमक और सर्जिकल उपकरणों जैसे अस्त-व्यस्त आर्टिफैक्ट्स से भरे हुए हैं।

चौंकाने वाली खोज: "ट्रांसफर एसिमेट्री" (स्थानांतरण विषमता)

यहाँ बड़ा खुलासा है, और यह एक प्लॉट ट्विस्ट की तरह है। शोधकर्ताओं ने एक सुसंगत ट्रांसफर एसिमेट्री पाया। यह एक वन-वे स्ट्रीट की तरह है।

जब उन्होंने AI मॉडल को साफ फोटो एल्बमों (क्यूरेटेड डेटा) पर प्रशिक्षित किया और फिर उन्हें अस्त-व्यस्त वास्तविक वीडियो पर टेस्ट किया, तो मॉडल पूरी तरह से विफल हो गए। वे पॉलीप्स खोजने में बहुत खराब हो गए और, इससे भी बदतर, वे मतिभ्रम (hallucinate) करने लगे। वे लगभग हर मलबे या छाया को देखकर "पॉलीप!" चिल्लाने लगे। उदाहरण के लिए, YOLOv11 नामक एक मॉडल, जो साफ फोटो एल्बमों पर एक स्टार परफॉर्मर था (0.724 का स्कोर प्राप्त किया), वास्तविक वीडियो का सामना करते ही 0.164 के निराशाजनक स्तर पर गिर गया। ऐसा लग रहा था जैसे वह जासूस, जिसे केवल साफ फोटो पर प्रशिक्षित किया गया था, वास्तविक दुनिया की अराजकता को बिल्कुल भी नहीं संभाल सका।

हालाँकि, इसका उल्टा भी सच था! जब उन्होंने मॉडलों को अस्त-व्यस्त वास्तविक वीडियो (REAL-Colon) पर प्रशिक्षित किया और फिर वापस साफ फोटो एल्बमों पर टेस्ट किया, तो मॉडल केवल जीवित ही नहीं रहे, बल्कि वे फल-फूल उठे। उन्होंने साफ तस्वीरों पर अपनी उच्च सटीकता बनाए रखी, लेकिन सबसे महत्वपूर्ण बात यह थी कि उन्होंने वास्तविक वीडियो के कचरे को अनदेखा करना सीख लिया। वे यह कहने में बहुत बेहतर हो गए कि "नहीं, यह सिर्फ एक छाया है" बजाय इसके कि "पॉलीप!"।

यह साबित करता है कि "अस्त-व्यस्त" पूर्ण प्रक्रियाओं पर प्रशिक्षण देना वास्तव में वास्तविक दुनिया के लिए तैयार होने का बेहतर तरीका है। "साफ" फोटो एल्बम AI को सुरक्षा का एक झूठा अहसास दे रहे थे, जिससे एक "सफलता का भ्रम" पैदा हो रहा था जो वास्तविक काम शुरू होते ही गायब हो गया।

जासूसों के बीच की दौड़

एक बार जब उन्होंने प्रशिक्षण पद्धति को ठीक कर लिया, तो शोधकर्ताओं ने वास्तविक वीडियो पर चार AI मॉडलों के बीच आमने-सामने मुकाबला कराया, लेकिन एक निष्पक्ष नियम के साथ: उन्होंने सेटिंग्स को इस तरह समायोजित किया कि प्रत्येक मॉडल को समान संख्या में "गलत सूचनाएं" (लगभग 4-5% समय) देने की अनुमति दी गई। इसने यह सुनिश्चित किया कि वे केवल उनके आत्मविश्वास के स्तर की तुलना नहीं कर रहे हैं, बल्कि उनके वास्तविक कौशल की तुलना कर रहे हैं।

• द ट्रांसफॉर्मर डिटेक्टिव (RT-DETR): यह मॉडल सबसे संवेदनशील और तेज़ था। इसने अन्य मॉडलों की तुलना में पॉलीप को जल्दी खोजा और उन्हें लंबे समय तक ट्रैक करता रहा। यह एक ऐसे जासूस की तरह था जिसकी आँखें बाज जैसी थीं और जो कभी पलक नहीं झपकाता। हालाँकि, इसके लिए अधिक कंप्यूटिंग पावर की आवश्यकता थी।
• द कन्वोल्यूशनल डिटेक्टिव्स (YOLOv8 और YOLOv11): ये मॉडल पॉलीप को पहचानने में थोड़े धीमे थे और उन्हें उतनी दृढ़ता से ट्रैक नहीं कर पाए, लेकिन वे वीडियो को प्रोसेस करने में अविश्वसनीय रूप से तेज़ थे। वे कमरों को स्कैन करने वाले जासूसों की एक टीम की तरह थे, जो ट्रैकिंग की थोड़ी सी पूर्णता के बदले कच्ची गति का व्यापार करते हैं।

पेपर सुझाव देता है कि कोई एक एकल "विजेता" नहीं है। इसके बजाय, यह एक ट्रेड-ऑफ है: यदि आपको सबसे प्रारंभिक पता लगाने की आवश्यकता है और आप अधिक कंप्यूटर पावर का उपयोग करने में सहज हैं, तो ट्रांसफॉर्मर (RT-DET-R) सबसे अच्छा है। यदि आपको वीडियो को बहुत तेज़ी से प्रोसेस करने की आवश्यकता है और आप थोड़े से विलंब को सहन कर सकते हैं, तो YOLO मॉडल बेहतरीन प्रतिस्पर्धी हैं।

मुख्य निष्कर्ष

इस शोध का मुख्य संदेश चिकित्सा AI समुदाय के लिए एक चेतावनी है: अपने AI को केवल साफ, क्यूरेटेड क्लिप्स पर प्रशिक्षित करना और टेस्ट करना बंद करें। यदि आप ऐसा करते हैं, तो आप एक ऐसा जासूस बना रहे हैं जो केवल एक फोटो स्टूडियो में काम करता है, अस्पताल में नहीं। एक ऐसा सिस्टम बनाने के लिए जो वास्तव में डॉक्टरों की मदद करे और जीवन बचाए, आपको पूर्ण, अनएडिटेड प्रक्रियाओं पर प्रशिक्षण और परीक्षण करना होगा जिनमें परीक्षा के सभी उबाऊ, अस्त-व्यस्त और खाली हिस्से शामिल हों। केवल तभी आप वास्तव में जान पाएंगे कि क्या आपका AI मरीजों के लिए एक सुरक्षा जाल बनने के लिए तैयार है, या यह केवल हर धूल के कण पर "गलत अलार्म" बजाकर घबराहट पैदा करने वाला है।

लेखक इस विषमता (asymmetry) के बारे में काफी आश्वस्त हैं क्योंकि उन्होंने कई मॉडलों और डेटासेट्स पर इसका परीक्षण किया है, लेकिन वे यह भी नोट करते हैं कि उनके अध्ययन की सीमाएँ हैं। उदाहरण के लिए, उन्होंने केवल मध्यम-से-बड़े पॉलीप्स को देखा (AI छोटे पॉलीप्स के साथ संघर्ष कर रहा था), और उनका टेस्ट ग्रुप अपेक्षाकृत छोटा था। वे सुझाव देते हैं कि अगला कदम इसे रोगियों के और भी विविध समूहों और विभिन्न अस्पताल सेटिंग्स पर टेस्ट करना है ताकि यह सुनिश्चित हो सके कि यह "मेसी ट्रेनिंग" (अस्त-व्यस्त प्रशिक्षण) का नियम हर जगह लागू होता है। लेकिन फिलहाल, संदेश स्पष्ट है: वास्तविक दुनिया की अस्त-व्यास्तता एक बग नहीं है; यह एक विश्वसनीय AI को प्रशिक्षित करने के लिए सबसे महत्वपूर्ण विशेषता है।