Searching for Robust Augmentations to Improve Out-of-Domain Generalization in Dermoscopic Skin Cancer Classification

तकनीकी सारांश: डर्मोस्कोपिक स्किन कैंसर वर्गीकरण में आउट-ऑफ-डोमेन सामान्यीकरण (OOD Generalization) में सुधार के लिए सुदृढ़ ऑग्मेंटेशन की खोज

समस्या विवरण
डर्मोस्कोपिक स्किन लीजन वर्गीकरण के लिए डीप लर्निंग मॉडल अक्सर अपने आंतरिक परीक्षण सेटों पर उच्च सटीकता प्राप्त करते हैं, लेकिन नए स्रोतों (आउट-ऑफ-डोमेन, या OOD) से प्राप्त डेटा को लागू करने पर उनके प्रदर्शन में महत्वपूर्ण गिरावट आती है। यह "डोमेन शिफ्ट" विभिन्न क्लीनिकों में इमेजिंग उपकरणों, इल्यूमिनेशन (प्रकाश व्यवस्था), रंग प्रसंस्करण और कैप्चर आर्टिफैक्ट्स (artifacts) के बीच भिन्नता के कारण उत्पन्न होता है। जबकि पूर्व शोध ने आर्किटेक्चर चयन और आंतरिक सत्यापन का व्यापक अध्ययन किया है, इस बात का व्यवस्थित विश्लेषण करने में कमी है कि ऑग्मेंटेशन के कौन से विशिष्ट वर्ग स्रोत-स्तरीय बदलावों के प्रति मजबूती (robustness) को प्रभावी रूप से बढ़ाते हैं। इसके अलावा, मौजूदा ऑग्मेंटेशन अध्ययन अक्सर इन-डोमेन सत्यापन के लिए अनुकूलित होते हैं, जो पूरी तरह से नए अधिग्रहण वातावरणों (acquisition environments) में मॉडल को स्थानांतरित करने की विशिष्ट चुनौती को संबोधित करने में विफल रहते हैं।

कार्यप्रणाली (Methodology)
यह अध्ययन एक बाइनरी मैलिग्नेंट-बनाम-नॉन-मैलिग्नेंट क्लासिफायर के लिए OOD सामान्यीकरण में सुधार के लिए एक डेटा-केंद्रित दृष्टिकोण अपनाता है।

• डेटासेट: प्रशिक्षण और इन-डोमेन मूल्यांकन के लिए ISIC आर्काइव (BCN20000, Derm12345, HIBA, BALD, MILK10k, ISIC 2016–2020) से एक मल्टी-सोर्स संग्रह और Derm7pt का उपयोग किया गया है। एक कठोर OOD मूल्यांकन सुनिश्चित करने के लिए, HAM10000 और ISIC 2019–2020 डेटासेट को पूरी तरह से सोर्स-डिस्जॉइंट (source-disjoint) टेस्ट सेट के रूप में अलग रखा गया था। एक स्वतंत्र, क्लोज्ड क्लिनिकल डेटासेट (Melanoscope) का उपयोग केवल अंतिम बाहरी सत्यापन के लिए किया गया था, जिसका मॉडल चयन को प्रभावित करने में कोई योगदान नहीं था।
• मॉडल आर्किटेक्चर: ImageNet वेट्स के साथ इनिशियलाइज किया गया एक ConvNeXt-Large बैकबोन, एक बाइनरी क्लासिफिकेशन हेड के साथ उपयोग किया गया था।
• ऑग्मेंटेशन खोज (Augmentation Search): लेखकों ने तीन श्रेणियों के ऑग्मेंटेशन के माध्यम से एक व्यवस्थित खोज की:
  1. सिंगल ऑग्मेंटेशन: ज्यामितीय (geometric) और फोटोमेट्रिक रूपांतरणों के व्यक्तिगत परिवर्तन।
  2. फोटोमेट्रिक संयोजन: रंग-आधारित ऑपरेटर्स (जैसे, ColorJitter, PlanckianJitter, HEStain) के निश्चित पेयरिंग या ट्रिपल।
  3. कंपोजिट पॉलिसी: प्रतियोगिता समाधानों और लेखकों के अपने निष्कर्षों से प्रेरित कॉन्फ़िगरेशन (जैसे, mix, kaggle_strong_hestain)।
• मूल्यांकन मेट्रिक्स: प्राथमिक मेट्रिक रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक कर्व के तहत क्षेत्र (Area Under the Receiver Operating Characteristic Curve - ROC-AUC) था। मूल्यांकन में इन-डोमेन टेस्ट, सोर्स-डिस्जॉइंट OOD टेस्ट और स्वतंत्र Melanoscope सेट शामिल थे। सांख्यिकीय महत्व का आकलन बूटस्ट्रैप कॉन्फिडेंस इंटरवल और DeLong टेस्ट द्वारा किया गया। फीचर स्पेस मिक्सिंग और अटेंशन मैप्स का गुणात्मक मूल्यांकन करने के लिए अध्ययन में t-SNE विज़ुअलाइज़ेशन और Grad-CAM का भी उपयोग किया गया।

प्रमुख योगदान

1. OOD के लिए व्यवस्थित ऑग्मेंटेशन खोज: पिछले अध्ययनों के विपरीत, जो इन-डोमेन प्रदर्शन के आधार पर ऑग्मेंटेशन को रैंक करते हैं, यह कार्य स्पष्ट रूप से उन नीतियों की खोज करता है जो स्रोत-स्तरीय होल्ड-आउट टेस्ट सेटों पर प्रदर्शन को अधिकतम करती हैं।
2. फोटोमेट्रिक प्रभुत्व की पहचान: अध्ययन यह पहचानता है कि फोटोमेट्रिक रूपांतरण (रंग और तीव्रता समायोजन) OOD मजबूती के प्राथमिक चालक हैं, जो इस विशिष्ट डोमेन में शुद्ध ज्यामितीय रूपांतरणों की तुलना में बेहतर प्रदर्शन करते हैं।
3. "मिक्स" (Mix) पॉलिसी: लेखक एक विशिष्ट कंपोजिट ऑग्मेंटेशन पॉलिसी प्रस्तावित करते हैं जिसे mix नाम दिया गया है, जो फोटोमेट्रिक और मध्यम ज्यामितीय रूपांतरणों को जोड़ती है। यह नीति दिखाया गया है कि यह इन-डोमेन सटीकता को बनाए रखते हुए उच्चतम OOD लाभ प्रदान करती है।
4. कठोर सत्यापन प्रोटोकॉल: पेपर स्क्रीनिंग परिणामों (सिंगल-रन पॉइंट एस्टीमेट्स) और विस्तारित मूल्यांकनों (मल्टीपल सीड्स, कॉन्फिडेंस इंटरवल और स्वतंत्र बाहरी डेटासेट) के बीच अंतर करता है, जो निष्कर्षों की भिन्नता और सीमाओं का एक पारदर्शी दृश्य प्रदान करता है।

परिणाम

• आउट-ऑफ-डोमेन प्रदर्शन: mix पॉलिसी ने OOD टेस्ट सेट पर सबसे बड़ा लाभ प्राप्त किया, जो स्क्रीनिंग चरण में बेसलाइन के सापेक्ष ROC-AUC में +0.0332 की वृद्धि करता है। विस्तारित मूल्यांकन (होल्ड-आउट स्रोतों से 9,921 चित्र) में, सुधार +0.053 (+0.045 से +0.061, 95% CI, p < 0.001) था।
• इन-डोमेन प्रदर्शन: mix पॉलिसी ने इन-डोमेन सटीकता पर भी सकारात्मक प्रभाव बनाए रखा, जिससे ROC-AUC में +0.0061 की वृद्धि हुई, जो यह दर्शाता है कि मजबूती (robustness) आंतरिक प्रदर्शन की कीमत पर नहीं आई।
• सीड्स केAcross मजबूती: mix पॉलिसी का OOD लाभ चार अलग-अलग रैंडम ट्रेनिंग सीड्स के माध्यम से बना रहा, जिसमें गैर-ओवरलैपिंग ROC-AUC रेंज देखी गई (बेसलाइन: 0.761–0.775; मिक्स: 0.806–0.829)।
• बाहरी सत्यापन (Melanoscope): स्वतंत्र Melanoscope डेटासेट पर, एक सिंगल चेकपॉइंट ने संवेदनशीलता (sensitivity) में 0.591 से 0.818 तक की वृद्धि दिखाई। हालांकि, लेखक नोट करते हैं कि यह परिणाम केवल 22 मैलिग्नेंट मामलों पर आधारित है, AUC में सांख्यिकीय महत्व तक नहीं पहुँचता (p = 0.22), और कई ट्रेनिंग सीड्स के औसत के आधार पर यह लाभ गायब हो जाता है।
• फीचर विश्लेषण: t-SNE विज़ुअलाइज़ेशन ने संकेत दिया कि mix पॉलिसी ने बेसलाइन की तुलना में फीचर स्पेस में स्रोत-विशिष्ट क्लस्टरिंग को कम किया। Grad-CAM विश्लेषण ने सुझाव दिया कि संवर्धित मॉडल (augmented model) परिधीय आर्टिफैक्ट्स के बजाय घाव (lesion) पर अधिक सघन रूप से केंद्रित था।
• निदान-विशिष्ट ब्रेकडाउन: OOD सुधार मुख्य रूप से बेनिन केराटोसेस (फॉल्स पॉजिटिव को कम करके) पर बढ़ी हुई विशिष्टता (specificity) द्वारा संचालित था, न कि मेलानोमा रिकॉल (melanoma recall) में महत्वपूर्ण सुधार द्वारा, जो सभी कॉन्फ़िगरेशन में कम (0.26–0.43) बना रहा।

महत्व और सीमाएं
पेपर का दावा है कि ऑग्मेंटेशन जो वास्तविक डोमेन शिफ्ट (विशेष रूप से फोटोमेट्रिक भिन्नता) को मॉडल करते हैं, वे इन-डोमेन सटीकता को अधिकतम करने या मॉडल आर्किटेक्चर को बदलने की तुलना में OOD सामान्यीकरण के लिए अधिक महत्वपूर्ण हो सकते हैं। mix पॉलिसी को एक सरल, पुनरुत्पादक (reproducible) बेसलाइन स्टेप के रूप में प्रस्तुत किया गया है जिसे क्लिनिकल वैलिडेशन से पहले विचार किया जाना चाहिए।

हालांकि, लेखक स्पष्ट रूप से अपने दावों को सीमित करते हैं:

• चयन पूर्वाग्रह (Selection Bias): पॉलिसी का चयन उन्हीं स्रोतों के डेटा का उपयोग करके किया गया था जिनका उपयोग प्राथमिक OOD मूल्यांकन (HAM10000 और ISIC 2019–2020) के लिए किया गया था। इसलिए, रिपोर्ट किया गया प्रभाव आकार आशावादी रूप से पक्षपाती (optimistically biased) हो सकता है, और परिणाम पूरी तरह से अनदेखे स्रोतों में सामान्यीकरण की स्वतंत्र पुष्टि नहीं करते हैं।
• सीमित बाहरी साक्ष्य: स्वतंत्र Melanoscope डेटासेट पर सुधार सांख्यिकीय रूप से महत्वपूर्ण नहीं था और कई ट्रेनिंग सीड्स में बना नहीं रहा, जो यह दर्शाता है कि ISIC/HAM स्रोतों पर देखी गई मजबूती अभी तक पूरी तरह से अलग क्लिनिकल सेटिंग में स्थानांतरित होने की सिद्ध नहीं हुई है।
• क्लिनिकल उपयोगिता: जबकि विशिष्टता (specificity) में सुधार हुआ, मैलिनेंट रिकॉल का पूर्ण स्तर अभी भी कम है, जो यह सुझाव देता है कि मॉडल वर्तमान में स्वायत्त निदान के बजाय समीक्षा के लिए मामलों को प्राथमिकता देने के लिए अधिक उपयुक्त है।

लेखक निष्कर्ष निकालते हैं कि जबकि mix पॉलिसी एक मजबूत बेसलाइन प्रदान करती है, भविष्य के कार्यों के लिए एक सोर्स-डिस्जॉइंट चयन प्रोटोकॉल (जैसे, लीव-वन-सोर्स-आउट) और पूरी तरह से अनदेखे बाहरी कोहॉर्ट्स पर सत्यापन की आवश्यकता है ताकि निष्पक्ष सामान्यीकरण की पुष्टि की जा सके।