💻 computer science

Classification of COVID-19 cases from chest CT volumes using hybrid model of 3D CNN and 3D MLP-Mixer

यह शोध पत्र चेस्ट सीटी वॉल्यूम से कोविड-19 के स्वचालित वर्गीकरण के लिए एक हाइब्रिड 3D CNN और 3D MLP-Mixer मॉडल प्रस्तावित करता है, जो स्थानीय और वैश्विक इमेज फीचर्स का प्रभावी ढंग से लाभ उठाकर 79.5% की सटीकता प्राप्त करता है जो पारंपरिक 3D CNN दृष्टिकोणों से बेहतर है।

मूल लेखक: Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori

प्रकाशित 2026-08-03

📖 3 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल, त्रि-आयामी (3D) पहेली बॉक्स के भीतर किसी रहस्य को सुलझाने की कोशिश कर रहे हैं। यह खिलौनों का बॉक्स नहीं है, बल्कि मानव छाती का एक डिजिटल मानचित्र है, जो सीटी स्कैन (CT scans) नामक हजारों छोटी स्लाइस से बना है। वर्षों से, डॉक्टर इन स्कैन का उपयोग समस्याओं को पहचानने के लिए करते आए हैं, जैसे कि फेफड़ों में छिपा हुआ कोई वायरस। लेकिन हर एक स्लाइस को हाथ से देखना थका देने वाला काम है, खासकर तब जब "रहस्य" एक तेजी से फैलने वाला वायरस हो जो अस्पतालों को पंगु बना रहा हो। मदद के लिए, वैज्ञानिकों ने "कंप्यूटर जासूस" बनाए हैं जिन्हें आर्टिफिशियल इंटेलिजेंस (AI) कहा जाता है। ये AI जासूस आमतौर पर दो मुख्य उपकरणों का उपयोग करते हैं: एक जो छोटे, स्थानीय सुरागों को पकड़ने में माहिर है (जैसे कि एक आवर्धक लेंस/मैग्नीफाइंग ग्लास), और दूसरा जो एक साथ पूरी तस्वीर देखने में सक्षम है (जैसे कि ऊपर उड़ता हुआ एक ड्रोन)। बड़ा सवाल यह है कि क्या हम कंप्यूटर को इन दोनों उपकरणों का एक साथ उपयोग करना सिखा सकते हैं ताकि वह पहले की तुलना में अधिक तेज़ी से और अधिक सटीकता से वायरस का पता लगा सके?

यह शोध पत्र एक नए प्रकार के कंप्यूटर जासूस को पेश करता है जिसे विशेष रूप से चेस्ट सीटी स्कैन में COVID-19 के रहस्य को सुलझाने के लिए डिज़ाइन किया गया है। लेखकों ने, जो जापान के शोधकर्ताओं की एक टीम है, एक "हाइब्रिड" मॉडल बनाया है—जो दो अलग-अलग प्रकार के AI मस्तिष्क के बीच एक टीम-अप है। पहला हिस्सा एक 3D CNN (कन्वोल्यूशनल न्यूरल नेटवर्क) है, जो एक सुपर-केंद्रित सूक्ष्मदर्शी (माइक्रोस्कोप) की तरह कार्य करता है। यह फेफड़ों के 3D वॉल्यूम को स्कैन करके सूक्ष्म, स्थानीय विवरणों को खोजता है, जैसे कि धुंधलेपन के छोटे पैच या "ग्राउंड ग्लास" जो अक्सर वायरस के हमले के दौरान दिखाई देते हैं। दूसरा हिस्सा एक 3D MLP-Mixer है, जो एक नए प्रकार का AI है जो एक मास्टर पहेली-सुलझाने वाले (पज़ल-सॉल्वर) की तरह कार्य करता है। केवल एक स्थान को देखने के बजाय, यह उन सभी सुरागों को लेता है जिन्हें सूक्ष्मदर्शी ने खोजा था और पूरे फेफड़े की "बड़ी तस्वीर" को समझने के लिए उन्हें आपस में मिला देता है।

शोधकर्ताओं ने इस नए हाइब्रिड टीम का परीक्षण 1,205 चेस्ट सीटी वॉल्यूम के डेटासेट पर किया, जो जापान के विभिन्न अस्पतालों से एकत्र किए गए थे। उन्होंने डेटा को विभाजित किया, जिसमें 80% का उपयोग AI को प्रशिक्षित करने के लिए और 20% का उपयोग उसके कौशल का परीक्षण करने के लिए किया गया। जब हाइब्रिड मॉडल ने परीक्षा दी, तो उसने 79.5% की सटीकता के साथ सही ढंग से पहचान की कि किसी रोगी में COVID-19 होने की संभावना उच्च है या कम। यह देखने के लिए कि क्या यह नया टीम-अप वास्तव में पुराने तरीके से बेहतर था, लेखकों ने इसकी तुलना एक मानक मॉडल से की जो केवल "सूक्ष्मदर्शी" (3D CNN) और उसके बाद सरल परतों का उपयोग करता था। वह पुराना मॉडल केवल 74.8% सटीकता तक ही पहुँच सका। परिणाम बताते हैं कि "पहेली-सुलझाने वाले" (3D MLP-Mixer) को जोड़ने से कंप्यूटर को सूक्ष्मदर्शी के अकेले उपयोग करने की तुलना में वायरल निमोनिया के जटिल पैटर्न को समझने में वास्तव में मदद मिलती है। हालाँकि, लेखक यह भी नोट करते हैं कि हालांकि यह एक ठोस सुधार है, लेकिन सटीकता अभी भी पूर्ण नहीं है, और इस उपकरण को वास्तविक दुनिया के क्लीनिकों में नियमित रूप से उपयोग करने से पहले अधिक काम—जैसे कि अधिक डेटा और विभिन्न प्रशिक्षण युक्तियों का उपयोग करना—की आवश्यकता है।

तकनीकी सारांश: हाइब्रिड 3D CNN और 3D MLP-Mixer का उपयोग करके चेस्ट CT वॉल्यूम से COVID-19 मामलों का वर्गीकरण

समस्या विवरण
नोवेल कोरोनावायरस डिजीज 2019 (COVID-19) के तेजी से वैश्विक प्रसार ने चिकित्सा संस्थानों में महत्वपूर्ण जनशक्ति की कमी पैदा कर दी है, जिससे कुशल नैदानिक वर्कफ़्लो की आवश्यकता बढ़ गई है। जबकि रिवर्स ट्रांसक्रिपटेस पॉलीमरेज़ चेन रिएक्शन (RT-PCR) मानक नैदानिक उपकरण है, इसकी संवेदनशीलता (sensitivity) केवल 42% और 71% के बीच बताई गई है। इसके विपरीत, चेस्ट CT-आधारित निदान 97% की रिपोर्ट की गई संवेदनशीलता प्रदर्शित करता है, जो इसे वायरल निमोनिया की पहचान करने के लिए एक महत्वपूर्ण माध्यम बनाता है। हालांकि, CT वॉल्यूम की मैन्युअल व्याख्या करने में काफी समय लगता है। मौजूदा स्वचालित कंप्यूटर-एडेड डायग्नोसिस (CAD) सिस्टम अक्सर कन्वोल्यूशनल न्यूरल नेटवर्क (CNNs) पर निर्भर करते हैं, जो अपने रिसेप्टिव फील्ड्स (receptive fields) द्वारा सीमित होते हैं और मुख्य रूप से स्थानीय इमेज फीचर्स का उपयोग करते हैं। इसके विपरीत, विजन ट्रांसफॉर्मर (ViT) ग्लोबल फीचर्स पर विचार करते हैं लेकिन उच्च प्रदर्शन प्राप्त करने के लिए विशाल प्रशिक्षण डेटा की आवश्यकता होती है, जो मेडिकल इमेजिंग के संदर्भ में अक्सर उपलब्ध नहीं होता है। चुनौती एक ऐसी स्वचालित वर्गीकरण पद्धति विकसित करने की है जो 3D CT वॉल्यूम से स्थानीय और वैश्विक दोनों फीचर्स को प्रभावी ढंग से उपयोग कर सके और सीमित प्रशिक्षण डेटा के साथ भी मजबूत बनी रहे।

कार्यप्रणाली (Methodology)
लेखक एक 3D कन्वेन्शनल न्यूरल नेटवर्क (3D CNN) और 3D वर्जन के MLP-Mixer को संयोजित करने वाले एक हाइब्रिड मॉडल का उपयोग करके चेस्ट CT वॉल्यूम के लिए एक स्वचालित वर्गीकरण पद्धति प्रस्तावित करते हैं।

प्री-प्रोसेसिंग (Pre-processing): इनपुट चेस्ट CT वॉल्यूम को फेफड़ों के सेग्मेंटेशन (lung segmentation) के माध्यम से फेफड़ों के क्षेत्रों को अलग करने के लिए संसाधित किया जाता है। फेफड़ों के ऊतकों की कमी वाले एक्सियल स्लाइस को हटा दिया जाता है, और शेष सब-वॉल्यूम को $192 \times 192 \times 128$ वोक्सेल्स के निश्चित रिज़ॉल्यूशन तक स्केल किया जाता है।
3D CNN फीचर एक्सट्रैक्शन: स्केल किए गए सब-वॉल्यूम को स्थानीय इमेज फीचर्स निकालने के लिए 3D CNN द्वारा प्रोसेस किया जाता है। यह सेक्शन डेंस पूलिंग कनेक्शनों का उपयोग करता है, जिसमें सूचना के नुकसान को कम करने और कई स्केल्स पर स्थानिक जानकारी (spatial information) को कैप्चर करने के लिए मैक्स और एवरेज पूलिंग (मिक्स्ड पूलिंग) का संयोजन उपयोग किया जाता है। आउटपुट एक 3D फीचर वॉल्यूम होता है।
3D पैच जनरेशन: 3D फीचर वॉल्यूम से $4 \times 4 \times 4$ वोक्सेल्स के नॉन-ओवरलैपिंग 3D पैच निकाले जाते हैं। प्रत्येक पैच को $C=64$ घटकों वाले 1D वेक्टर के रूप में रीशेप किया जाता है।
3D MLP-Mixer वर्गीकरण: लेखक मूल 2D MLP-Mixer आर्किटेक्चर को 3D वॉल्यूम को संभालने के लिए विस्तारित करते हैं। 3D पैचेस का सेट 3D MLP-Mixer के लिए इनपुट ( $X \in \mathbb{R}^{S \times C}$ $X \in R^{S \times C}$ ) के रूप में कार्य करता है। मॉडल इन इनपुट्स को $L$ $L$ परतों के माध्यम से प्रोसेस करता है, जहाँ प्रत्येक परत में दो मल्टी-लेयर पर्सेप्ट्रॉन (MLP) ब्लॉक्स होते हैं:
1. टोकन-मिक्सिंग (Token-mixing): ग्लोबल कॉन्टेक्स्ट को एकीकृत करने के लिए क्रॉस-पैच फीचर मिक्सिंग करता है।
2. चैनल-मिक्सिंग (Channel-mixing): इंट्रा-पैच फीचर मिक्सिंग करता है।
  अंतिम आउटपुट को बाइनरी क्लासिफिकेशन (COVID-19 की उच्च बनाम निम्न संभावना) उत्पन्न करने के लिए ग्लोबल एवरेज पूलिंग और फुली कनेक्टेड लेयर्स के माध्यम से पास किया जाता है।

प्रमुख योगदान

हाइब्रिड आर्किटेक्चर: यह पेपर एक नया हाइब्रिड मॉडल पेश करता है जो स्थानीय फीचर एक्सट्रैक्शन के लिए 3D CNN को ग्लोबल फीचर इंटीग्रेशन के लिए 3D MLP-Mixer के साथ एकीकृत करता है। यह शुद्ध CNN (लोकल फोकस) और शुद्ध ट्रांसफॉर्मर/MLP-Mixers (डेटा की भूख) की सीमाओं को संबोधित करता है।
3D MLP-Mixer अनुकूलन: लेखकों ने सफलतापूर्वक MLP-Mixer को, जिसे मूल रूप से 2D इमेज के लिए डिज़ाइन किया गया था, पैचिंग और मिक्सिंग मैकेनिज्म को 3D स्पेस में अनुकूलित करके 3D वॉल्यूमेट्रिक डेटा को प्रोसेस करने के लिए संशोधित किया है।
सीमित डेटा के साथ दक्षता: हाइब्रिड दृष्टिकोण को सीमित प्रशिक्षण नमूनों के साथ उच्च वर्गीकरण प्रदर्शन प्राप्त करने के लिए डिज़ाइन किया गया है—जो मेडिकल इमेजिंग में एक सामान्य बाधा है—वैश्विक मिक्सिंग से पहले मजबूत स्थानीय फीचर्स को प्री-एक्सट्रैक्ट करने के लिए 3D CNN का लाभ उठाकर।

प्रायोगिक परिणाम
प्रस्तावित पद्धति का मूल्यांकन जापान के कई चिकित्सा संस्थानों से प्राप्त 1,205 चेस्ट CT वॉल्यूम (COVID-19 और गैर-COVID-19 मामले) के एक डेटासेट पर किया गया। डेटासेट को 80% ट्रेनिंग और 20% टेस्टिंग के लिए विभाजित किया गया था।

प्रदर्शन: प्रस्तावित हाइब्रिड मॉडल ने 79.5% की वर्गीकरण सटीकता प्राप्त की।
तुलना: उसी डेटासेट पर प्रशिक्षित बेसलाइन 3D CNN मॉडल (जिसमें 3D CNN लेयर्स और सरल MLP लेयर्स शामिल थीं) ने 74.8% की सटीकता प्राप्त की।
निष्कर्ष: 4.7% का सुधार यह दर्शाता है कि 3D MLP-Mixer घटक ग्लोबल इमेज फीचर्स का उपयोग करके वर्गीकरण प्रदर्शन में प्रभावी रूप से योगदान देता है।

महत्व और दावे
पेपर का दावा है कि 3D CNN और 3D MLP-Mixer का हाइब्रिड उपयोग 3D वॉल्यूम वर्गीकरण के लिए प्रभावी है, विशेष रूप से वायरल निमोनिया के लिए जहाँ ग्राउंड ग्लास ओपैसिटीज़ (ground glass opacities) और कंसोलिडेशन बड़े क्षेत्रों में होते हैं, जिसके लिए स्थानीय और वैश्विक दोनों फीचर विश्लेषण की आवश्यकता होती है। लेखक इस बात पर जोर देते हैं कि यह हाइब्रिड संरचना शुद्ध MLP-Mixer या ViT मॉडल्स के लिए आवश्यक विशाल प्रशिक्षण डेटासेट के बिना उच्च सटीकता प्राप्त करने की अनुमति देती है।

हालाँकि, लेखक क्लिनिकल डिप्लॉयमेंट के संबंध में एक विनम्र लहजा बनाए रखते हैं। वे कहते हैं कि मॉडल को क्लिनिकल सेटिंग्स में लागू करने से पहले वर्गीकरण सटीकता में और सुधार की आवश्यकता है। लेखकों द्वारा पहचाने गए भविष्य के कार्यों में शारीरिक (anatomical) और तीव्रता (intensity) विविधताओं को बढ़ाने के लिए डेटा ऑग्मेंटेशन का उपयोग, अंतर्राष्ट्रीय डेटासेट्स का समावेश, और एक पूर्ण COVID-19 CAD सिस्टम के निरंतर विकास का उल्लेख है। पेपर यह दावा नहीं करता है कि वर्तमान मॉडल तत्काल क्लिनिकल उपयोग के लिए तैयार है, बल्कि यह इसे उस लक्ष्य की ओर एक आशाजनक कदम के रूप में प्रस्तुत करता है।

तकनीकी सारांश: हाइब्रिड 3D CNN और 3D MLP-Mixer का उपयोग करके चेस्ट CT वॉल्यूम से COVID-19 मामलों का वर्गीकरण

इसी तरह के और पेपर