Detecting Potential False-Normal Predictions in AI Analysis of Celiac-Related Duodenal Endoscopy Images

आधुनिक क्लिनिक में, डॉक्टर अक्सर मानव शरीर के भीतर झांकने के लिए एक कैमरे पर निर्भर करते हैं, जो बीमारी के संकेतों को खोजने के लिए छोटी आंत की परत की स्थिर छवियां कैप्चर करता है। ऐसी ही एक स्थिति, सीलिएक रोग (celiac disease), आंत में मौजूद छोटी उंगली जैसी संरचनाओं को चपटा और छोटा कर देती है, एक ऐसा बदलाव जिसे इन तस्वीरों में कभी-कभी पहचाना जा सकता है। हालांकि एक डॉक्टर आमतौर पर प्रयोगशाला परीक्षण के लिए ऊतक का नमूना लेकर निदान की पुष्टि कर सकता है, लेकिन छवि में दृश्य संकेत उस निर्णय का मार्गदर्शन करने के लिए मूल्यवान होते हैं। हाल ही में, कंप्यूटर प्रोग्रामों को इन्हीं छवियों को देखने और यह तय करने के लिए प्रशिक्षित किया गया है कि वे एक स्वस्थ आंत को दर्शाती हैं या सीलिएक रोग से प्रभावित आंत को। उम्मीद यह है कि ये प्रोग्राम आंखों के एक दूसरे जोड़े के रूप में कार्य कर सकते हैं, जो उन सूक्ष्म संकेतों को पकड़ सकें जिन्हें एक इंसान मिस कर सकता है या उन छवियों को चिह्नित कर सकें जिन्हें बारीकी से देखने की आवश्यकता है। हालांकि, एक कंप्यूटर पूर्ण नहीं होता है। कभी-कभी, यह पूरे विश्वास के साथ एक छवि को सामान्य घोषित कर देता है जब लेबल कहता है कि वह वास्तव में रोगग्रस्त है। इस तकनीक का उपयोग करने वाले किसी भी व्यक्ति के लिए महत्वपूर्ण प्रश्न केवल यह नहीं है कि कंप्यूटर कितनी बार सही होता है, बल्कि यह है कि उन विशिष्ट छवियों को कैसे खोजा जाए जहां वह गलत है, इससे पहले कि वे छूट जाएं।

एक शोधकर्ता ने 188 डिजिटल तस्वीरों के संग्रह का उपयोग करके इस समस्या के एक व्यावहारिक समाधान का परीक्षण करने का निर्णय लिया, जो डुओडेनम (ग्रहणी), यानी छोटी आंत के पहले भाग की तस्वीरें थीं। ये छवियां एक सार्वजनिक संग्रह से आई थीं और विशेषज्ञों द्वारा पहले से ही 'सामान्य आंत' या 'सीलिएक रोग' के रूप में लेबल की जा चुकी थीं। कोई भी परीक्षण चलाने से पहले, शोधकर्ता ने डेटा को सावधानीपूर्वक साफ किया, जिसमें पांच छवियों को हटा दिया गया जो दूसरों की सटीक डिजिटल प्रतियां थीं और 24 छवियों को "संदिग्ध" के रूप में अलग रख दिया गया क्योंकि उनकी स्थिति स्पष्ट नहीं थी। इससे काम करने के लिए 159 विशिष्ट छवियों का अंतिम समूह बचा। लक्ष्य यह देखना था कि क्या एक कंप्यूटर प्रोग्राम अपनी गलतियों को खुद पहचानना सीख सकता है। विशेष रूप से, शोधकर्ता जानना चाहता था कि क्या छवि की गुणवत्ता और स्थिरता के लिए सरल जांच जोड़ने से एक मानव समीक्षक को यह प्राथमिकता देने में मदद मिल सकती है कि किन "फॉल्स नॉर्मल" (गलत सामान्य) छवियों का पहले निरीक्षण किया जाए, तुलना में कि केवल इस बात को देखा जाए कि कंप्यूटर अपने उत्तर के प्रति कितना आश्वस्त था।

ऐसा करने के लिए, शोधकर्ता ने एक मानक कंप्यूटर विजन मॉडल, जिसे ResNet-18 नामक सॉफ्टवेयर के रूप में जाना जाता है, को दो प्रकार की छवियों के बीच अंतर करने के लिए प्रशिक्षित किया। प्रशिक्षण इस तरह से किया गया था कि यह सुनिश्चित हो सके कि मॉडल ने उन विशिष्ट छवियों को कभी नहीं देखा जिन पर बाद में इसका परीक्षण किया जाना था, जिससे यह केवल उत्तरों को रटने से बच सके। एक बार जब मॉडल तैयार हो गया, तो इसे टेस्ट सेट की प्रत्येक छवि को वर्गीकृत करने के लिए कहा गया। मॉडल ने अधिकांश छवियों की सही पहचान की, लेकिन इसने एक विशिष्ट प्रकार की त्रुटि की: इसने 13 छवियों को "सामान्य" के रूप में लेबल किया जबकि मूल विशेषज्ञ लेबल उन्हें "सीलिएक" बता रहे थे। ये 13 छवियां प्रयोग का लक्ष्य बनीं। शोधकर्ता ने दो अलग-अलग सूचियाँ बनाईं यह देखने के लिए कि यदि एक मानव केवल कुल छवियों का एक छोटा सा हिस्सा देख सकता है, तो कौन सी विधि इन 13 छिपी हुई त्रुटियों को अधिक पकड़ पाएगी।

पहला तरीका सबसे सरल दृष्टिकोण था: शोधकर्ता ने केवल यह देखा कि जब कंप्यूटर किसी छवि को "सामान्य" कहता है, तो वह कितना आश्वस्त होता है। यदि कंप्यूटर थोड़ा ही आश्वस्त था, तो उस छवि को समीक्षा के लिए चिह्नित कर दिया गया। दूसरा तरीका अधिक स्मार्ट होने की कोशिश करता था जिसमें अतिरिक्त संकेतों को जोड़ा गया। इसने देखा कि क्या कंप्यूटर का उत्तर बदल जाता है यदि छवि को थोड़ा चमकीला या गहरा बनाया जाए, या यदि फ़ाइल को थोड़ी कम गुणवत्ता के साथ सहेजा जाए। इसने तकनीकी खामियों जैसे धुंधलापन, अत्यधिक चमक, या फोटो के केंद्र में चमक (ग्लेयर) के लिए छवि को भी मापा। इन तीन कारकों—कम आत्मविश्वास, अस्थिर उत्तर और खराब छवि गुणवत्ता—को समीक्षा के लिए रैंक करने हेतु एक एकल स्कोर में मिला दिया गया। शोधकर्ता ने एक काल्पनिक परिदृश्य बनाया जहाँ एक मानव केवल छवियों की एक निश्चित संख्या, जैसे कि कुल का 20%, की समीक्षा कर सकता था, यह देखने के लिए कि कौन सी विधि 13 छूटे हुए मामलों को अधिक खोज पाएगी।

परिणाम स्पष्ट और आश्चर्यजनक रूप से सरल थे। जब शोधकर्ता ने "केवल आत्मविश्वास" (confidence only) विधि द्वारा चिह्नित शीर्ष 15 छवियों की समीक्षा की, तो उन्हें छूटे हुए 13 मामलों में से तीन मिले। जब उन्होंने अधिक जटिल "संयुक्त स्कोर" (combined score) विधि द्वारा चिह्नित शीर्ष 15 छवियों की समीक्षा की, तो उन्हें भी 13 के 13 मामलों में से ठीक तीन ही मिले। छवि की गुणवत्ता और स्थिरता के लिए अतिरिक्त जांचों ने सिस्टम को छूटे हुए मामलों को खोजने में अधिक मदद नहीं की, जितना कि केवल कंप्यूटर के आत्मविश्वास स्तर को देखने से मिलता। वास्तव में, एक कम समीक्षा दर पर जहाँ केवल कुछ ही छवियां जांची जा सकती थीं, सरल आत्मविश्वास विधि ने जटिल विधि की तुलना में अधिक त्रुटियां खोजीं। शोधकर्ता ने एक अन्य भिन्नता भी आजमाई जहाँ विश्लेषण से पहले किनारों और सीमाओं को हटाने के लिए छवियों को क्रॉप (काट) दिया गया था, इस उम्मीद में कि क्या कंप्यूटर टेक्स्ट या डिवाइस ओवरले जैसे दृश्य शॉर्टकट का उपयोग कर रहा है, लेकिन इस बदलाव ने भी जटिल स्कोरिंग सिस्टम के प्रदर्शन में सुधार नहीं किया।

अध्ययन यह निष्कर्ष निकालता है कि इस विशिष्ट छवियों के सेट के लिए, तकनीकी गुणवत्ता जांच और स्थिरता परीक्षण जोड़ने से कंप्यूटर की गलतियों को पकड़ने की क्षमता में सुधार नहीं हुआ। अतिरिक्त जटिलता ने अपना लाभ नहीं दिया। इसका मतलब यह नहीं है कि सामान्य तौर पर छवि की गुणवत्ता या स्थिरता महत्वपूर्ण नहीं है, और न ही इसका मतलब यह है कि कंप्यूटर पूर्ण है। इसका सीधा अर्थ केवल यह है कि इस विशिष्ट परीक्षण में, कंप्यूटर का अपना आत्मविश्वास स्तर एक अधिक जटिल प्रणाली की तुलना में, जो छवि के तकनीकी दोषों को मापने की कोशिश करती है, जोखिम भरी छवियों को इंगित करने में उतना ही अच्छा था। शोधकर्ता नोट करते हैं कि डेटासेट छोटा था, जिसमें केवल 159 छवियां थीं, और लेबल छवियों की श्रेणियों पर आधारित थे न कि पुष्ट रोगी बायोप्सी पर, इसलिए निष्कर्ष इस विशिष्ट संग्रह तक सीमित हैं। यह कार्य एक सावधानीपूर्वक, पारदर्शी परीक्षण के रूप में कार्य करता है जो दिखाता है कि हमें यह मान लेना चाहिए कि एक अधिक जटिल सुरक्षा स्कोर सीधे प्रमाण के बिना एक सरल आत्मविश्वास जांच से बेहतर होता है। अंत में, इस मामले में कंप्यूटर की त्रुटियों को खोजने का सबसे प्रभावी तरीका उसकी अपनी अनिश्चितता पर भरोसा करना था, न कि स्वयं चित्र को मापने की कोशिश करना।