Lightweight attention mechanisms in breast ultrasound lesion segmentation: parameter cost, protocol choice, data leakage, and what the data can resolve

स्तन कैंसर दुनिया भर में मृत्यु का एक प्रमुख कारण है, और इसे जल्दी पहचान लेना अक्सर जीवन और मृत्यु के बीच का अंतर होता है। हालांकि मैमोग्राम मानक स्क्रीनिंग टूल हैं, वे घने स्तन ऊतकों (टिश्यू) के पार देखने में संघर्ष कर सकते हैं। अल्ट्रासाउंड एक सहायक विकल्प प्रदान करता है; यह विकिरण के बजाय ध्वनि तरंगों का उपयोग करता है, व्यापक रूप से उपलब्ध है, और उन कैंसरों को पकड़ सकता है जिन्हें मैमोग्राम मिस कर देते हैं। हालांकि, अल्ट्रासाउंड छवियों को पढ़ना बेहद कठिन होता है। यह काफी हद तक उस व्यक्ति के कौशल पर निर्भर करता है जो प्रोब थामे हुए है, और यहाँ तक कि विशेषज्ञ भी कभी-कभी इस बात पर असहमत होते हैं कि ट्यूमर वास्तव में कहाँ शुरू होता है और कहाँ समाप्त होता है। मदद के लिए, वैज्ञानिक कंप्यूटर को इन ट्यूमर के चारों ओर स्वचालित रूप से रूपरेखा खींचने के लिए प्रशिक्षित कर रहे हैं, जिसे 'सेगमेंटेशन' (segmentation) कहा जाता है। उम्मीद यह है कि एक कंप्यूटर इसे इंसानों की तुलना में अधिक तेज़ी से और निरंतरता के साथ कर सकता है, जिससे डॉक्टरों को एक अतिरिक्त जोड़ी आँखों की सहायता मिल सके।

इन कंप्यूटर प्रोग्रामों को बनाने के लिए, शोधकर्ताओं को छवियों के बड़े संग्रहों की आवश्यकता होती है जिनमें सही उत्तर पहले से ही चिह्नित हों। ऐसा एक संग्रह, जिसे BUSI डेटासेट के रूप में जाना जाता है, इन नए विचारों का परीक्षण करने के लिए एक मानक 'प्लेग्राउंड' बन गया है। इसमें स्तन के घावों (लेशन्स) की सैकड़ों अल्ट्रासाउंड छवियां हैं, जो सौम्य (benign) और घातक (malignant) दोनों प्रकार की हैं, जिनमें विशेषज्ञों द्वारा खींची गई रूपरेखा मौजूद है। पिछले कुछ वर्षों में, दर्जनों शोध टीमों ने इन कंप्यूटर प्रोग्रामों को बेहतर बनाने के नए तरीके प्रस्तावित किए हैं, अक्सर विशेष "अटेंशन" (attention) मॉड्यूल जोड़कर। इन मॉड्यूल्स को ऐसे तरीके के रूप में सोचें जो कंप्यूटर को छवि के विशिष्ट हिस्सों पर अधिक ध्यान केंद्रित करने के लिए कहता है, जैसे कि एक मानव पाठक किसी संदिग्ध स्थान पर ध्यान केंद्रित करता है। धारणा यह रही है कि ये फैंसी जुड़ाव कंप्यूटर को अधिक स्मार्ट और सटीक बनाते हैं। लेकिन एक नया अध्ययन बताता है कि वास्तविकता कहीं अधिक जटिल है, और जो सुधार हम देख रहे हैं, वे शायद उन परीक्षणों द्वारा पैदा किए गए भ्रम हैं जिस तरह से वे चलाए जा रहे हैं।

बीलिक शेख एडेबली विश्वविद्यालय के एक शोधकर्ता ने इन दावों को एक कठोर परीक्षण के अधीन करने का निर्णय लिया। केवल विभिन्न अध्ययनों के अंतिम स्कोर की तुलना करने के बजाय, उन्होंने एक एकल, सख्त परीक्षण वातावरण बनाया और एक कंप्यूटर प्रोग्राम के ग्यारह अलग-अलग संस्करणों को इसके माध्यम से चलाया। उन्होंने समान छवियों, डेटा को विभाजित करने के समान नियमों और प्रत्येक परीक्षण के लिए सफलता को मापने के समान तरीके का उपयोग किया। इस दृष्टिकोण ने उन्हें ठीक से यह पहचानने की अनुमति दी कि वास्तव में क्या बदल रहा था और किसी भी प्रदर्शन अंतर का वास्तविक कारण क्या था। उन्होंने विशेष रूप से पांच अलग-अलग प्रकार के "अटेंशन" तंत्रों पर ध्यान केंद्रित किया, जो एक बहुत ही सरल तंत्र (जिसने प्रोग्राम में केवल बारह छोटे टुकड़े जोड़े) से लेकर एक बहुत अधिक जटिल तंत्र (जिसने तीस हज़ार से अधिक टुकड़े जोड़े) तक विस्तृत थे।

परिणाम आश्चर्यजनक थे। शोधकर्ताओं ने पाया कि इन अटेंशन तंत्रों को जोड़ने की लागत, मिलने वाले लाभ के अनुरूप नहीं थी। सबसे महंगा तंत्र, जिसने कंप्यूटर प्रोग्राम में सबसे अधिक जटिलता जोड़ी, उसने सटीकता में लगभग कोई सुधार नहीं किया। वास्तव में, सबसे सरल तंत्र, जिसने कोड के सबसे कम टुकड़े जोड़े, उसने प्रदर्शन में सबसे बड़ी वृद्धि की। हालांकि, जब शोधकर्ताओं ने आंकड़ों को करीब से देखा, तो उन्हें एहसास हुआ कि यह सबसे अच्छा सुधार भी इतना छोटा था कि डेटा स्वयं इसकी पुष्टि नहीं कर सका कि यह वास्तविक था। अंतर परीक्षण परिणामों की प्राकृतिक भिन्नता से भी कम था। दूसरे शब्दों में, कंप्यूटर थोड़ा बेहतर हो गया था, या वह उस विशिष्ट सेट की छवियों पर केवल भाग्यशाली था; अध्ययन इतना बड़ा नहीं था कि अंतर बता सके। शोधकर्ताओं ने निष्कर्ष निकाला कि इस विशिष्ट डेटासेट के लिए, अन्य अध्ययनों द्वारा प्रस्तावित संरचनात्मक परिवर्तन इतने सूक्ष्म थे कि उन्हें उपलब्ध डेटा द्वारा सिद्ध नहीं किया जा सकता था।

जबकि फैंसी अटेंशन तंत्र स्पष्ट लाभ दिखाने में विफल रहे, अध्ययन में पाया गया कि दो अन्य कारकों का बहुत बड़ा प्रभाव था। पहला, कंप्यूटर प्रोग्राम को बस अधिक गहरा बनाना—यानी इसकी संरचना में अधिक परतें जोड़ना—एक स्पष्ट, मापने योग्य सुधार प्रदान करता था जो अटेंशन मॉड्यूल्स से देखे गए किसी भी प्रभाव से तीन गुना बड़ा था। दूसरा, और शायद अधिक महत्वपूर्ण, शोधकर्ताओं ने पाया कि परीक्षण कैसे आयोजित किया गया, यह प्रोग्राम के डिज़ाइन से अधिक मायने रखता था। उन्होंने पाया कि यदि कोई शोधकर्ता अपने प्रोग्राम के सर्वश्रेष्ठ संस्करण को अंतिम जांच के लिए डेटा के एक अलग सेट को अलग रखने के बजाय, स्वयं परीक्षण डेटा के आधार पर चुनता है, तो रिपोर्ट की गई सटीकता में उल्लेखनीय उछाल आता है। यह उछाल इतना बड़ा था कि इसे स्पष्ट रूप से देखा जा सकता था, अटेंशन मॉड्यूल्स से होने वाले मामूली लाभों के विपरीत। यह सुझाव देता है कि पिछले अध्ययनों में रिपोर्ट किए गए कई उच्च स्कोर वास्तव में एक बेहतर डिज़ाइन के बजाय इस परीक्षण पद्धति का परिणाम हो सकते हैं।

टीम ने डेटासेट के भीतर एक छिपी हुई समस्या का भी पता लगाया। उन्होंने पाया कि संग्रह की कुछ छवियां एक-दूसरे की लगभग समान प्रतियां थीं, जो संभवतः इसलिए क्योंकि एक ही रोगी का कई बार स्कैन किया गया था या एक ही छवि को दो बार सहेजा गया था। जब ये डुप्लिकेट छवियां अध्ययन के प्रशिक्षण (training) और परीक्षण (testing) दोनों भागों में पहुंच गईं, तो कंप्यूटर प्रोग्राम ने समस्या को हल करना सीखने के बजाय उत्तर को रट लिया। जब शोधकर्ताओं ने इन डुप्लिकेट्स को हटाया, तो समग्र स्कोर गिर गया, जिससे पुष्टि हुई कि पिछले परिणाम थोड़े बढ़े हुए थे। हालांकि, विभिन्न कंप्यूटर प्रोग्रामों के बीच सापेक्ष अंतर काफी हद तक समान रहा, जिसका अर्थ है कि डेटा को साफ करने के बाद भी अटेंशन मॉड्यूल्स के बारे में निष्कर्ष बना रहा।

शायद अध्ययन का सबसे खुलासा करने वाला हिस्सा उनके अपने कंप्यूटर कोड का ऑडिट था। शोधकर्ता पूरी तरह से आश्वत होना चाहते थे कि उन्होंने दूसरों की आलोचना करने वाली गलतियाँ नहीं की हैं। उन्होंने अपने कोड की जांच की ताकि यह सुनिश्चित हो सके कि कंप्यूटर ने अंतिम मूल्यांकन से पहले परीक्षण छवियों को नहीं देखा। कोड एकदम सही था। लेकिन जब उन्होंने अपनी हार्ड ड्राइव पर फाइलों को देखा, तो उन्हें कुछ अलग दिखाई दिया: कंप्यूटर ने गलती से परीक्षण छवियों की प्रतियां एक फोल्डर में सहेज ली थीं जो प्रशिक्षण के लिए बनाया गया था। यदि वे अपने काम का न्याय डिस्क पर मौजूद फाइलों को देखकर करते, न कि स्वयं कोड को देखकर, तो वे अपने ही सिस्टम पर अनुचित डेटा हैंडलिंग का झूठा आरोप लगाते। इसने एक महत्वपूर्ण सबक दिया: आप हार्ड ड्राइव पर जो देखते हैं उस पर भरोसा नहीं कर सकते यदि वह प्रक्रिया जिसे उसने बनाया है, सत्यापित न हो। फाइलें झूठ बोल सकती हैं, लेकिन निर्देश जो उन्हें बनाते हैं, वे सच बताते हैं।

अंततः, यह अध्ययन चिकित्सा इमेजिंग के क्षेत्र के लिए एक वास्तविकता की जाँच (reality check) के रूप में कार्य करता है। यह दिखाता है कि वर्तमान बेंचमार्क पर, जटिल अटेंशन मॉड्यूल्स जोड़ने से दावा किए गए सूक्ष्म सुधार वास्तविक होने के लिए बहुत छोटे हैं। डेटा अभी इतना तीक्ष्ण नहीं है कि इन सूक्ष्म परिवर्तनों को यादृच्छिक शोर (random noise) से अलग कर सके। अध्ययन सुझाव देता है कि शोधकर्ताओं को अधिक जटिल विशेषताएं जोड़ने के बजाय, अपने परीक्षण तरीकों को स्वच्छ और ईमानदार बनाने पर अधिक ध्यान देना चाहिए। सबसे बड़े लाभ सरल चीजों से आते हैं जैसे प्रोग्राम को गहरा बनाना या यह सुनिश्चित करना कि परीक्षण डेटा वास्तव में प्रशिक्षण डेटा से अलग है। जब तक डेटा इन सूक्ष्म अंतरों को स्पष्ट करने के लिए पर्याप्त बड़ा नहीं हो जाता, तब तक किसी नई पद्धति को परखने का सबसे सटीक तरीका उसका अंतिम स्कोर नहीं, बल्कि यह है कि उसका परीक्षण कितनी सावधानी से किया गया था।