Beyond Accuracy: A Comprehensive Evaluation of ResNet50 and Vision Transformer for Trustworthy Pneumonia Detection from Chest X-Ray Images
यह अध्ययन चेस्ट एक्स-रे से निमोनिया का पता लगाने के लिए ResNet50 और विजन ट्रांसफॉर्मर (ViT-B16) का एक व्यापक मूल्यांकन प्रस्तुत करता है, जो यह प्रकट करता है कि जहाँ ResNet50 बेहतर सटीकता, अंशांकन (कैलिब्रेशन) और दक्षता प्रदान करता है, वहीं ViT-B16 इमेज डिग्रेडेशन के विरुद्ध अधिक मजबूती प्रदर्शित करता है, जिससे विश्वसनीय नैदानिक प्रणालियों के लिए बहुआयामी मूल्यांकन की आवश्यकता पर बल मिलता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो किसी रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन उंगलियों के निशान खोजने के बजाय, आप एक व्यक्ति के सीने के भीतर अदृश्य सुरागों की तलाश कर रहे हैं। यह मेडिकल इमेजिंग की दुनिया है, जहाँ डॉक्टर फेफड़ों की तस्वीरें लेने के लिए विशेष कैमरों का उपयोग करते हैं ताकि यह देख सकें कि वे बीमार हैं या नहीं। लंबे समय तक, सबसे अच्छे जासूस मानव डॉक्टर रहे हैं, लेकिन वे थक जाते हैं, और कभी-कभी सुराग इतने छोटे या धुंधले होते हैं कि सबसे तेज आंखें भी उन्हें देख नहीं पातीं। उनकी मदद करने के लिए, वैज्ञानिकों ने "डिजिटल जासूस" बनाए हैं जो कंप्यूटर विज्ञान की एक शाखा, जिसे डीप लर्निंग (Deep Learning) कहा जाता है, का उपयोग करते हैं। इन डिजिटल जासूसों को ऐसे सुपर-स्मार्ट रोबोट के रूप में समझें जो हजारों तस्वीरों को देखने के बाद खुद से समस्या को पहचानने के लिए सीखते हैं।
इन रोबोट जासूसों के दो मुख्य प्रकार हैं। पहला प्रकार एक सावधान कलाकार की तरह है जो एक तस्वीर को एक समय में एक छोटे ब्रशस्ट्रोक की तरह देखता है, यह नोटिस करता है कि किनारे और बनावट कैसे जुड़ते हैं। इसे कन्वोल्यूशनल न्यूरल नेटवर्क (CNN) कहा जाता है। दूसरा प्रकार एक ऊंचे उड़ते पक्षी की तरह है जो जंगल के ऊपर से उड़ रहा है; वह हर एक पत्ते को नहीं देखता बल्कि यह देखता है कि पूरा जंगल दूर से कैसे जुड़ता और परस्पर क्रिया करता है। इसे विज़न ट्रांसफॉर्मर (ViT) कहा जाता है। दोनों ही अविश्वसनीय रूप से शक्तिशाली हैं, लेकिन डॉक्टरों को यह जानने की जरूरत है कि अस्पताल में भरोसा करने से पहले वास्तव में जीवन बचाने में कौन बेहतर है। केवल तेज़ होना या ज्यादातर समय सही उत्तर देना ही काफी नहीं है; रोबोट को इस बारे में भी ईमानदार होना चाहिए कि वह कितना आश्वस्त है, खराब तस्वीरों को संभालने के लिए पर्याप्त मजबूत होना चाहिए, और एक मानव डॉक्टर के लिए समझाना आसान होना चाहिए।
इस अध्ययन में, भारतीय प्रौद्योगिकी संस्थान गुवाहाटी के एक शोधकर्ता विशाल मंता ने यह देखने के लिए कि कौन सा सबसे भरोसेमंद है, इन दो डिजिटल जासूसों को निमोनिया (फेफड़ों का एक गंभीर संक्रमण) का पता लगाने के लिए एक निष्पक्ष मुकाबले में आमने-सामने रखा। दो दावेदार थे, ResNet50, जो सावधान कलाकार (CNN) है, और ViT-B16, जो ऊंचे उड़ने वाला पक्षी (विज़न ट्रांसफॉर्मर) है। उन्होंने केवल यह नहीं पूछा, "किसने सबसे अधिक उत्तर सही दिए?" बल्कि, उन्होंने सब कुछ परखने के लिए एक विशाल बाधा दौड़ (obstacle course) तैयार की: उनकी सटीकता कैसी थी, वे अपने आत्मविश्वास के बारे में कितने ईमानदार थे, वे कितने तेज़ थे, और वे एक धुंधली या शोर वाली तस्वीर को कितनी अच्छी तरह संभाल सकते थे।
इस दौड़ के परिणाम काफी स्पष्ट थे। जब निमोनिया का पता लगाने के मुख्य काम की बात आई, तो ResNet50 चैंपियन रहा। इसने 84.56% बार निमोनिया के मामलों की सही पहचान की, जबकि विज़न ट्रांसफॉर्मर ने 81.14% सफलता प्राप्त की। शोधकर्ता ने यह सुनिश्चित करने के लिए कि यह केवल एक भाग्यशाली इत्तेफाक नहीं था, मैकनेमर टेस्ट (McNemar's test) नामक एक विशेष सांख्यिकीय परीक्षण का उपयोग किया, और गणित ने पुष्टि की कि ResNet50 वास्तव में काफी बेहतर था। लेकिन कहानी यहीं समाप्त नहीं हुई। अध्ययन में पाया गया कि ResNet50 अधिक ईमानदार जासूस भी था। जब इसने कहा कि यह "90% आश्वस्त" है, तो यह आमतौर पर सही होता था। हालांकि, विज़न ट्रांसफॉर्मर अत्यधिक आत्मविश्वासी (overconfident) होने की प्रवृत्ति रखता था, अक्सर तब भी निश्चित होने का दावा करता था जब वह वास्तव में नहीं था। चिकित्सा की दुनिया में, अत्यधिक आत्मविश्वासी होना खतरनाक है क्योंकि एक डॉक्टर गलत उत्तर पर बहुत अधिक भरोसा कर सकता है।
हालाँकि, विज़न ट्रांसफॉर्मर पूरी तरह से हारने वाला नहीं था; इसके पास एक सुपरपावर थी। जब शोधकर्ताओं ने जानबूझकर तस्वीरों में शोर (static) जोड़कर, उन्हें धुंधला करके या चमक बदलकर परीक्षण को बिगाड़ा, तो विज़न ट्रांसफॉर्मर ने ResNet50 की तुलना में बेहतर स्थिति संभाली। हालांकि खराब तस्वीरों के साथ दोनों मॉडल खराब प्रदर्शन करते थे, लेकिन विज़न ट्रांसफॉर्मर की सटीकता कम गिरी। ऐसा लगता है कि क्योंकि "पक्षी" पूरी तस्वीर को एक साथ देखता है, इसलिए वह धुंधले हिस्सों के बावजूद चीजों को समझ सकता है। लेकिन इस सुपरपावर की एक भारी कीमत भी थी। विज़न ट्रांसफॉर्मर एक विशालकाय मशीन था, जिसे काम करने के लिए 85.80 मिलियन समायोज्य सेटिंग्स (पैरामीटर्स) की आवश्यकता थी, जबकि ResNet50 को केवल 23.51 मिलियन की। इसे सोचने में भी अधिक समय लगा, जिसमें छवियों के एक बैच को प्रोसेस करने के लिए 55.60 सेकंड लगे, जबकि ResNet50 को 38.57 सेकंड लगे, और इसे चलाने के लिए बहुत अधिक कंप्यूटर शक्ति की आवश्यकता थी।
यह सुनिश्चित करने के लिए कि रोबोट वास्तव में फेफड़ों को देख रहे हैं या केवल अनुमान लगा रहे हैं, शोधकर्ता ने ग्रेड-कैम (Grad-CAM) नामक एक उपकरण का उपयोग किया, जो एक हीट मैप की तरह काम करता है और दिखाता है कि रोबोट कहाँ देख रहा है। सावधान कलाकार (ResNet50) ने अपना ध्यान फेफड़ों के बीमार हिस्सों पर केंद्रित किया, जो ठीक वही है जो एक डॉक्टर देखना चाहता है। ऊंचे उड़ने वाले पक्षी (ViT) का ध्यान थोड़ा बिखरा हुआ था। जब रोबोटों ने गलतियाँ कीं, तो उन्होंने ज्यादातर निमोनिया के मामलों को मिस किया, और आत्मविश्वास से "सामान्य" (Normal) कहा जब फेफड़े वास्तव में बीमार थे। यह सुझाव देता है कि हालांकि ये रोबोट बेहतर हो रहे हैं, फिर भी वे बीमारी के सबसे सूक्ष्म और चालाकी भरे मामलों के साथ संघर्ष करते हैं।
अंततः, यह अध्ययन बताता है कि यदि आपको एक ऐसे अस्पताल के लिए एक विश्वसनीय, तेज़ और ईमानदार सहायक की आवश्यकता है जिसके पास सुपर-कंप्यूटर न हो, तो सावधान कलाकार ResNet50 वर्तमान में बेहतर विकल्प है। यह अधिक सटीक, अपने आत्मविश्वास के बारे में अधिक ईमानदार और चलाने में सस्ता है। विज़न ट्रांसफॉर्मर एक कठिन प्रतिद्वंद्वी है जो खराब तस्वीरों को अच्छी तरह संभालता है, लेकिन यह अभी भी कई वास्तविक दुनिया के क्लीनिकों के लिए बहुत भारी और महंगा है। मुख्य निष्कर्ष यह है कि एक भरोसेमंद मेडिकल एआई बनाने का मतलब केवल यह नहीं है कि कौन एक टेस्ट में उच्चतम स्कोर प्राप्त करता है; यह स्मार्ट होने, ईमानदार होने, तेज़ होने और वास्तविक दुनिया के लिए मजबूत होने के बीच सही संतुलन खोजने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।