Similar discrimination, different behaviour under synthetic occlusion: confidence and attribution reproducibility of deep learning models for intraoral ultrasonography
यद्यपि कई डीप लर्निंग आर्किटेक्चर इंट्राओरलल अल्ट्रासोनोग्राफी के लिए समान रूप से उच्च बेसलाइन भेदभाव प्राप्त करते हैं, फिर भी वे सिंथेटिक ऑक्लूजन (synthetic occlusion) के तहत नाटकीय रूप से भिन्न और अक्सर अविश्वसनीय व्यवहार प्रदर्शित करते हैं, जिसमें अन्य मॉडलों की तुलना में EfficientNet-B0 गंभीर प्रदर्शन पतन, अति-आत्मविश्वास और खराब पुनरुत्पादकता प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
मानव मुख के भीतर, एक विशेष अल्ट्रासाउंड प्रोब बिना किसी विकिरण (रेडिएशन) के कोमल ऊतकों की वास्तविक समय की छवियां कैप्चर कर सकता है। ये छवियां मांसपेशियों और त्वचा की परतों को प्रकट करती हैं, जो सर्जरी की योजना बनाने या ऊतकों के स्वास्थ्य का आकलन करने के लिए उपयोगी शारीरिक संरचना की एक खिड़की प्रदान करती हैं। हालाँकि, इन चित्रों को विश्वसनीय निदान में बदलने के लिए केवल एक स्पष्ट छवि से अधिक की आवश्यकता होती है; इसके लिए एक कंप्यूटर प्रोग्राम, या मॉडल की आवश्यकता होती है जो यह समझ सके कि वह क्या देख रहा है। हाल के वर्षों में, वैज्ञानिकों ने चिकित्सा छवियों में पैटर्न को पहचानने के लिए ऐसे कई कंप्यूटर मॉडल प्रशिक्षित किए हैं। इन मॉडलों को आंकने का एक सामान्य तरीका यह देखना है कि वे परीक्षण छवियों के एक सेट पर कितनी बार सही उत्तर देते हैं। लेकिन एक मानक परीक्षण पर उच्च स्कोर पूरी कहानी नहीं बताता। यह यह प्रकट नहीं करता कि छवि को बदलने पर मॉडल कैसा व्यवहार करता है, क्या गलत होने पर भी वह आत्मविश्वासी बना रहता है, या क्या उसके निर्णय के पीछे दिए गए कारण सुसंगत हैं।
दक्षिण कोरिया के योनसेई विश्वविद्यालय के शोधकर्ताओं के एक दल ने साधारण परीक्षण अंकों से परे देखने का लक्ष्य रखा। उन्होंने एक विशिष्ट कार्य पर ध्यान केंद्रित किया: आंतरिक गाल के दो क्षेत्रों के बीच अंतर करना, जिन्हें 'बकल म्यूकोसा' (buccal mucosa) के रूप में जाना जाता है। एक क्षेत्र चीकबोन (गाल की हड्डी) की मांसपेशियों के ऊपर स्थित है, और दूसरा मुख्य गाल की मांसपेशी के ऊपर। जबकि एक डॉक्टर जानता है कि प्रोब कहाँ रखा गया है, एक कंप्यूटर मॉडल को केवल चित्र देखकर इन दो क्षेत्रों के बीच अंतर करना सीखना होगा। शोधकर्ताओं ने स्वस्थ स्वयंसेवकों से ली गई सैकड़ों छवियों पर पांच अलग-अलग प्रकार के कंप्यूटर मॉडल प्रशिक्षित किए। पांचों मॉडलों ने मानक परीक्षण पर बहुत अच्छा प्रदर्शन किया, और लगभग हर मामले में क्षेत्रों की सही पहचान की। इस उच्च प्रदर्शन ने सुझाव दिया कि वे सभी भविष्य के चिकित्सा उपयोग के लिए समान रूप से अच्छे उम्मीदवार थे।
इन मॉडलों को वास्तव में समान होने की जांच करने के लिए, शोधकर्ताओं ने उन्हें नियंत्रित परिवर्तनों की एक श्रृंखला के अधीन किया। उन्होंने छवियों को लिया और उन्हें एक ठोस, एकसमान ग्रे ब्लॉक से ढक दिया, जिससे प्रभावी रूप से चित्र के ऊपरी या निचले आधे हिस्से की जानकारी मिटा दी गई। 'ओक्लूजन' (occlusion) के रूप में जानी जाने वाली यह प्रक्रिया इस बात का अनुकरण करती है कि क्या होता यदि चित्र का कोई हिस्सा धुंधला या गायब होता। जब शोधकर्ताओं ने छवि का आधा हिस्सा हटाया, तो पांच में से चार मॉडल अच्छा प्रदर्शन करते रहे, जिससे पता चला कि वे शेष हिस्सों में आवश्यक सुराग खोजने में सक्षम हैं। हालाँकि, एक मॉडल ने बहुत अलग प्रतिक्रिया दी। जब उसका आधा हिस्सा ढका गया, तो दोनों क्षेत्रों के बीच अंतर करने की उसकी क्षमता ढह गई, जो कि केवल अनुमान लगाने (रैंडम गेसिंग) के स्तर तक गिर गई।
सबसे आश्चर्यजनक खोज यह नहीं थी कि केवल यह एक मॉडल विफल हुआ, बल्कि यह था कि वह कैसे विफल हुआ। जब अन्य मॉडल गलतियाँ करते थे, तो वे अपने उत्तरों को लेकर अनिश्चित होते थे। इसके विपरीत, विफल होने वाला मॉडल खतरनाक रूपकी आत्मविश्वासी हो गया। भले ही इसकी सटीकता गिरकर संयोग के स्तर पर आ गई थी, फिर भी इसने अपने गलत उत्तरों के लिए अत्यधिक निश्चितता प्रदान करना जारी रखा। यह ऐसा था मानो मॉडल ने अंतर देखने की अपनी क्षमता तो खो दी थी, लेकिन अपने सही होने के विश्वास को नहीं खोया था। यह व्यवहार बताता है कि एक मॉडल एक मानक परीक्षण पर अत्यधिक विश्वसनीय दिख सकता है, जबकि वह छवि के विशिष्ट हिस्सों पर एक नाजुक निर्भरता को छिपाए रखता है, जिसके हटने पर वह पूरी तरह से टूट जाता है।
शोधकर्ताओं ने यह भी जांचा कि मॉडल अपने निर्णयों को कैसे "व्याख्यायित" करते हैं। उस तकनीक का उपयोग करते हुए जो छवि के उन हिस्सों को उजागर करती है जिन पर मॉडल ध्यान केंद्रित करता है, उन्होंने जांचा कि क्या ये व्याख्याएं सुसंगत थीं। उन्होंने पाया कि हाइलाइट किए गए क्षेत्र इस बात पर काफी बदल जाते थे कि मॉडल को कैसे प्रशिक्षित किया गया था, भले ही अंतिम परीक्षण स्कोर समान हों। इसका अर्थ यह है कि मॉडल के एक संस्करण से प्राप्त एकल व्याख्या तर्कसंगत लग सकती है, लेकिन इसे इस बात के स्थिर मार्गदर्शक के रूप में भरोसेमंद नहीं माना जा सकता कि मॉडल वास्तव में क्या सीख रहा है। ध्यान के पैटर्न (patterns of attention) पुनरुत्पादनीय नहीं थे, जिससे मॉडल के तर्क को समझने के लिए इन दृश्य स्पष्टीकरणों पर भरोसा करना कठिन हो गया।
अध्ययन यह निष्कर्ष निकालता है कि दो मॉडल एक मानक रिपोर्ट कार्ड पर समान दिख सकते हैं, फिर भी इनपुट में परिवर्तन होने पर बिल्कुल विपरीत व्यवहार कर सकते हैं। शोधकर्ताओं ने पाया कि समान आधारभूत प्रदर्शन एक ऐसे मॉडल को छिपा सकता है जो लुप्त सूचना के प्रति अत्यधिक संवेदनशील है और आत्मविश्वासी त्रुटियों के प्रति प्रवृत्त है। उन्हें इस कारण से कोई एकल वास्तुशिल्प दोष (architectural flaw) नहीं मिला जिसने इस विफलता का कारण बनाया हो, न ही उन्होंने यह सिद्ध किया कि यह विशिष्ट विफलता वास्तविक रोगियों के साथ वास्तविक नैदानिक सेटिंग में होगी। इसके बजाय, उन्होंने प्रदर्शित किया कि मॉडल का मूल्यांकन करने के लिए केवल उसकी सटीकता की जांच करना पर्याप्त नहीं है। कंप्यूटर की चिकित्सा छवियों की व्याख्या करने की क्षमता को वास्तव में समझने के लिए, आपको यह भी परीक्षण करना चाहिए कि वह लुप्त डेटा को कैसे संभालता है, गलत होने पर वह आत्मविश्वास कैसे व्यक्त करता है, और क्या उसका तर्क सुसंगत रहता है। इन जांचों के बिना, एक मॉडल जो कागज पर पूर्ण दिखता है, वह व्यवहार में अविश्वसनीय हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।