Vision Foundation Models for Multi-Modal Medical Image Classification
यह शोध पत्र प्रदर्शित करता है कि विजन फाउंडेशन मॉडल्स (जैसे कि DINOv2 और MedSigLIP) का इनिशियलाइजेशन, मल्टी-मोडल मेडिकल इमेज क्लासिफिकेशन में रैंडम इनिशियलाइजेशन की तुलना में काफी बेहतर प्रदर्शन करता है, विशेष रूप से तब जब लेबल किया गया डेटा कम हो या इमेजिंग मोडैलिटीज अनुपलब्ध हों।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक अस्पताल में, एक डॉक्टर निदान करने के लिए शायद ही कभी किसी एक तस्वीर पर निर्भर करता है। इसके बजाय, वे विभिन्न प्रकार के मेडिकल स्कैन से प्राप्त सूचनाओं के ताने-बाने को आपस में बुनते हैं। मस्तिष्क की ट्यूमर से पीड़ित एक मरीज को ट्यूमर के किनारों और उसकी रक्त आपूर्ति को देखने के लिए अलग-अलग सेटिंग्स के साथ लिए गए मैग्नेटिक रेजोनेंस इमेजेस (MRI) की एक श्रृंखला की आवश्यकता हो सकती है। लिवर की बीमारी वाले मरीज को अंगों के माध्यम से कंट्रास्ट डाई के बहने के दौरान अलग-अलग क्षणों में लिए गए स्कैन की आवश्यकता हो सकती है। इसी तरह, ऊतकों (tissue) का परीक्षण करने वाला एक रोगविज्ञानी (pathologist) कैंसर के व्यवहार को समझने के लिए एक ही स्लाइड पर दो अलग-अलग रासायनिक रंगों (stains) को देख सकता है। यह दृष्टिकोण, जिसे मल्टी-मोडल इमेजिंग कहा जाता है, मानक उपचार का हिस्सा है क्योंकि प्रत्येक दृश्य वह चीज़ प्रकट करता है जो दूसरे नहीं देख पाते। हालाँकि, कंप्यूटर को ऐसा करने के लिए सिखाना बेहद कठिन है। कंप्यूटर को पैटर्न पहचानने के लिए प्रशिक्षित करने हेतु, शोधकर्ताओं को आमतौर पर हजारों ऐसे उदाहरणों की आवश्यकता होती है जहाँ प्रत्येक प्रकार का स्कैन मौजूद हो और मानव विशेषज्ञ द्वारा पूरी तरह से लेबल किया गया हो। वास्तविक दुनिया में, ऐसे पूर्ण डेटासेट दुर्लभ हैं। मरीज अक्सर अपॉइंटमेंट मिस कर देते हैं, मशीनें खराब हो जाती हैं, या विभिन्न अस्पताल अलग-अलग स्कैनिंग प्रोटोकॉल का उपयोग करते हैं, जिससे कंप्यूटर के पास अधूरी जानकारी रह जाती है। जब डेटा गायब या कम होता है, तो मानक कंप्यूटर मॉडल अक्सर विफल हो जाते हैं, जिससे गलत निदान हो सकता है।
टेक्निकल यूनिवर्सिटी ऑफ म्यूनिख और टीयूएम यूनिवर्सिटी हॉस्पिटल के शोधकर्ताओं ने इन कंप्यूटर मॉडलों को सिखाने के तरीके को बदलकर इस समस्या को हल करने का प्रयास किया। हर बार जब कोई नया मेडिकल कार्य सामने आता है, तो उसे शून्य से रैंडम सेटिंग्स के साथ सिखाने के बजाय, उन्होंने यह परीक्षण किया कि क्या पहले से ही दुनिया को देखने के लिए सीख चुके एक मॉडल से शुरुआत करना मदद कर सकता है। ये प्री-ट्रेंड मॉडल (pre-trained models), जिन्हें 'फाउंडेशन मॉडल' कहा जाता है, उन छात्रों की तरह हैं जिन्होंने सामान्य छवियों के लाखों उदाहरणों का अध्ययन करके पहले ही वर्षों बिता दिए हैं, और मेडिकल स्कैन देखने से पहले ही आकार, बनावट और संरचनाओं को पहचानना सीख लिया है। टीम ने तीन दृष्टिकोणों की तुलना की: रैंडम सेटिंग्स के साथ शून्य से एक मॉडल को प्रशिक्षित करना, रोजमर्रा की तस्वीरों पर प्रशिक्षित एक सामान्य-उद्देश्य वाले मॉडल से शुरुआत करना, और मेडिकल इमेजेस पर विशेष रूप से प्रशिक्षित मॉडल से शुरुआत करना। उन्होंने इन विधियों का परीक्षण तीन विशिष्ट चिकित्सा चुनौतियों पर किया: कई एमआरआई अनुक्रमों (sequences) से मस्तिष्क के ट्यूमर का वर्गीकरण, युग्मित सूक्ष्मदर्शी स्लाइड्स (microscope slides) से स्तन कैंसर के ऊतकों का स्कोरिंग, और मल्टी-फेज एब्डोमिनल स्कैन से लिवर के घावों (lesions) की पहचान।
परिणामों ने दिखाया कि प्री-ट्रेंड मॉडल के साथ शुरुआत करना लगभग हमेशा बेहतर विकल्प होता है, लेकिन इसका लाभ तब सबसे अधिक नाटकीय हो जाता है जब डेटा अपूर्ण होता है। जब शोधकर्ताओं के पास प्रत्येक मरीज के लिए लेबल की गई छवियों का पूरा सेट उपलब्ध था, तो प्री-ट्रेंड मॉडल ने शून्य से प्रशिक्षित मॉडलों के समान या उनसे थोड़ा बेहतर प्रदर्शन किया। उदाहरण के लिए, लिवर लीजन कार्य में, प्री-ट्रेंड मॉडल का उपयोग करने से बीमारी को सही ढंग से पहचानने की क्षमता 54 प्रतिशत से बढ़कर 76 प्रतिशत हो गई। हालाँकि, इस दृष्टिकोण की असली शक्ति तब सामने आई जब शोधकर्ताओं ने वास्तविक दुनिया की समस्याओं का अनुकरण (simulate) किया। जब उन्होंने प्रशिक्षण के लिए उपलब्ध लेबल किए गए डेटा की मात्रा को कम किया, तो प्री-ट्रेंड मॉडल अपनी स्थिति बनाए रहे जबकि शून्य से प्रशिक्षित मॉडल संघर्ष करते दिखे। यह अंतर तब और भी स्पष्ट हो गया जब उन्होंने आवश्यक स्कैनों में से एक को पूरी तरह से हटा दिया, जो क्लिनिकल प्रैक्टिस में एक आम घटना है। इन लापता-डेटा परिदृश्यों में, शून्य से प्रशिक्षित मॉडल अक्सर विफल हो गए, जिससे लिवर लीजनों का पता लगाने की उनकी क्षमता गिरकर केवल 29 प्रतिशत रह गई। इसके विपरीत, प्री-ट्रेंड ज्ञान से शुरू होने वाले मॉडलों ने लगभग 73 प्रतिशत की संवेदनशीलता (sensitivity) बनाए रखी, जिससे उन्होंने गायब जानकारी को प्रभावी ढंग से अनदेखा किया और सटीक भविष्यवाणियां कीं।
अध्ययन ने यह भी खोजा कि ये मॉडल इस तथ्य को कैसे संभालते हैं कि विभिन्न अस्पताल अलग-अलग मशीनों का उपयोग करते हैं, जो स्कैन के स्वरूप को बदल सकते हैं। उस अस्पताल के डेटा पर परीक्षण किए जाने पर जिसे मॉडल ने पहले कभी नहीं देखा था, प्री-ट्रेंड मॉडलों ने फिर से श्रेष्ठ स्थिरता दिखाई, विशेष रूप से जब उन्हें लेबल किए गए और बिना लेबल वाले दोनों प्रकार के डेटा का उपयोग करने वाली प्रशिक्षण विधि के साथ जोड़ा गया। शोधकर्ताओं ने पाया कि कंप्यूटर जिस तरह से विभिन्न प्रकार की छवियों को जोड़ता है वह महत्वपूर्ण है, लेकिन मॉडल का शुरुआती बिंदु सबसे महत्वपूर्ण कारक है। उन्होंने पाया कि प्री-ट्रेंड मॉडलों ने ऐसी विशेषताओं (features) को सीखा जो खाली जगहों को भरने के लिए डिज़ाइन किए गए विशेष इंजीनियरिंग ट्रिक्स के बिना भी इनपुट की कमी को संभालने के लिए पर्याप्त मजबूत थीं। यह सुझाव देता है कि लाखों छवियों को देखने से प्राप्त सामान्य ज्ञान एक मजबूत आधार प्रदान करता है जो मेडिकल इमेजिंग की जटिल और अक्सर अव्यवस्थित वास्तविकता में अच्छी तरह से स्थानांतरित होता है।
अंततः, शोधकर्ता तर्क देते हैं कि मेडिकल एआई मॉडलों को शून्य से प्रशिक्षित करने का पुराना तरीका अपवाद होना चाहिए, नियम नहीं। एक ऐसे मॉडल से शुरुआत करके जो पहले से ही विजुअल पैटर्न को समझता है, मेडिकल एआई सिस्टम अधिक विश्वसनीय, सीखने के लिए कम लेबल किए गए उदाहरणों की आवश्यकता वाले और दैनिक अभ्यास में रोगी के डेटा के अंतराल को संभालने में सक्षम हो जाते हैं। यह बदलाव उन्नत नैदानिक उपकरणों को अधिक सुलभ और मजबूत बना सकता है, यह सुनिश्चित करते हुए कि एक कंप्यूटर सहायक तब भी मददगार बना रहे जब किसी मरीज का स्कैन अधूरा हो या जब डॉक्टर के पास इसे सिखाने के लिए केवल कुछ ही उदाहरण हों। यह अध्ययन पुष्टि करता है कि चिकित्सा निदान की उच्च-दांव वाली दुनिया में, जहाँ डेटा अक्सर कम और अधूरा होता है, सबसे अच्छी रणनीति यह है कि कंप्यूटर जो पहले से जानता है, उसी पर निर्माण किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।