Calibration and Threshold Selection of Machine Learning Classifiers for Breast Tumour Diagnosis: A Decision-Support Study for Al-Driven Clinical Screening

मेडिकल स्क्रीनिंग की दुनिया में, लक्ष्य अक्सर सरल रूप से सही उत्तर प्राप्त करना होता है: क्या स्तन में गांठ एक हानिरहित वृद्धि है या एक खतरनाक कैंसर? दशकों से, वैज्ञानिकों ने कंप्यूटर प्रोग्राम बनाए हैं ताकि वे कोशिकाओं के बायोप्सी से ली गई छवियों का विश्लेषण करके डॉक्टरों को यह अंतर करने में मदद कर सकें। ये प्रोग्राम, जिन्हें मशीन लर्निंग क्लासिफायर (machine learning classifiers) कहा जाता है, दर्जनों सूक्ष्म मापों—जैसे कि कोशिका के केंद्रक (nucleus) का आकार या उसकी सतह की बनावट—को देखते हैं ताकि एक भविष्यवाणी की जा सके। हालाँकि, एक कंप्यूटर के लिए डॉक्टर के क्लिनिक में वास्तव में एक उपयोगी साथी बनने के लिए, उसे केवल अधिकांश समय सही होने से कहीं अधिक कुछ करना होगा। उसे अपनी निश्चितता के बारे में भी ईमानदार होना चाहिए। जब एक कंप्यूटर कहता है कि कैंसर होने की नब्बे प्रतिशत संभावना है, तो उस संख्या को केवल एक अनुमान नहीं, बल्कि वास्तविकता को प्रतिबिंबित करना चाहिए। इसके अलावा, वह बिंदु जिस पर कंप्यूटर को अलार्म बजाने का निर्णय लेना चाहिए, उसे सावधानीपूर्वक चुना जाना चाहिए। चिकित्सा में, कैंसर को पहचानने में चूक जाना, एक गलत अलार्म (false alarm) उठाने की तुलना में कहीं अधिक महंगा पड़ता है, इसलिए सिस्टम को एक ऐसा नियम चाहिए जो हर संभव मामले को पकड़ने को प्राथमिकता दे, भले ही इसका अर्थ कुछ स्वस्थ लोगों की अधिक बारीकी से जांच करना ही क्यों न हो।

संजिवनी यूनिवर्सिटी, भारत के कार्तिक फोपासे द्वारा किया गया एक हालिया अध्ययन 'विस्कॉन्सिन डायग्नोस्टिक ब्रेस्ट कैंसर' नामक एक प्रसिद्ध मेडिकल डेटासेट का उपयोग करके ठीक इन्हीं दो महत्वपूर्ण प्रश्नों की खोज करता है। इस डेटासेट में 569 रोगियों की जानकारी शामिल है, जिसमें उनकी कोशिकाओं की डिजिटल छवियों से लिए गए माप दिए गए हैं। शोधकर्ता यह देखना चाहते थे कि क्या विभिन्न प्रकार के कंप्यूटर लर्निंग मॉडल भरोसेमंद प्रायिकता (probability) संख्याएँ उत्पन्न करते हैं और क्या उनके द्वारा उपयोग किए जाने वाले नियम, जो यह तय करते हैं कि किसी रोगी को "जोखिम में" के रूप में चिह्नित किया जाए, नए और अनदेखे लोगों पर परीक्षण के दौरान भी टिक पाएंगे। उन्होंने चार अलग-अलग प्रकार के लर्निंग एल्गोरिदम की तुलना की, जो सरल सांख्यिकीय विधियों से लेकर सैकड़ों निर्णय वृक्षों (decision trees) का निर्माण करने वाली जटिल प्रणालियों तक विस्तृत थे। उन्होंने इसे दो स्थितियों के तहत परखा: एक जिसमें कोशिकाओं के केवल दस औसत मापों का उपयोग किया गया, और दूसरा जिसमें सभी तीस उपलब्ध मापों का उपयोग किया गया।

अध्ययन की शुरुआत इन कंप्यूटर मॉडलों को डेटा के एक बड़े हिस्से पर प्रशिक्षित (training) करके और फिर उन्हें रोगियों के एक अलग समूह पर परीक्षण करके हुई, जिन्हें उन्होंने पहले कभी नहीं देखा था। परिणामों ने दिखाया कि सभी मॉडल कैंसरयुक्त और गैर-कैंसरयुक्त कोशिकाओं के बीच अंतर करने में अविश्वसनीय रूप से कुशल थे। वास्तव में, वे इतने अच्छे थे कि उनके बीच का अंतर सांख्यिकीय रूप से महत्वपूर्ण होने के लिए बहुत छोटा था। चाहे कंप्यूटर ने केवल दस औसत मापों का उपयोग किया हो या सभी तीस विस्तृत विवरणों का, शीर्ष प्रदर्शन करने वाले मॉडल दोनों समूहों को अलग करने की क्षमता में लगभग समान थे। यह निष्कर्ष बताता है कि इस विशिष्ट प्रकार के डेटा के लिए, यह चुनना कि किस जटिल एल्गोरिदम का उपयोग किया जाए, यह सुनिश्चित करने से कम महत्वपूर्ण है कि सिस्टम को सही ढंग से सेट किया गया है। शोधकर्ताओं ने पाया कि अधिक विस्तृत माप जोड़ने से स्कोर में थोड़ा सुधार हुआ, लेकिन सुधार इतना मामूली था कि इसने समग्र निष्कर्ष को नहीं बदला: तकनीक इस विशिष्ट कार्य के लिए पहले से ही अपने चरम के करीब है।

अधिक आश्चर्यजनक और व्यावहारिक खोज यह थी कि ये कंप्यूटर अपनी आत्मीयता (confidence) को कितनी अच्छी तरह संप्रेषित करते हैं। इस क्षेत्र में एक सामान्य धारणा है कि आप हमेशा एक कंप्यूटर के कच्चे आउटपुट (raw output) को एक गणितीय सूत्र के साथ समायोजित कर सकते हैं ताकि प्रायिकता अधिक सटीक हो सके। शोधकर्ताओं ने अपने मॉडलों के भविष्यवाणियों को लेकर और दो अलग-अलग समायोजन विधियों को लागू करके इसका परीक्षण किया। उन्होंने पाया कि कुछ मॉडलों के लिए, विशेष रूप से सरल सांख्यिकीय मॉडलों के लिए, कच्ची संख्याएँ पहले से ही भरोसेमंद थीं। उन्हें समायोजित करने का प्रयास करने से भविष्यवाणियाँ वास्तव में बदतर हो गईं, जिससे अधिक त्रुटियाँ पैदा हुईं। अधिक जटिल मॉडलों के लिए, जो कई निर्णय वृक्ष बनाते हैं, एक अलग प्रकार के समायोजन ने थोड़ा सुधार किया, लेकिन सुधार मामूली था। मुख्य निष्कर्ष यह है कि कोई सार्वभौमिक समाधान (universal fix) नहीं है। एक सिस्टम जो पहले से ही अच्छी तरह से कैलिब्रेटेड है, उसे "री-ट्यून" करने की आवश्यकता नहीं है, और प्रत्येक सिस्टम पर एक मानक समायोजन लागू करना कभी-कभी फायदे से अधिक नुकसान पहुँचा सकता है।

अध्ययन का शायद सबसे महत्वपूर्ण सबक 'डिसीजन थ्रेशोल्ड' (decision threshold) से संबंधित है, वह विशिष्ट बिंदु जहाँ कंप्यूटर "संभवतः सौम्य" (likely benign) से "संभवतः घातक" (likely malignant) कहने के बीच स्विच करता है। शोधकर्ताओं ने एक ऐसा नियम सेट करने की कोशिश की जो सभी कैंसर मामलों में से कम से कम नब्बे प्रतिशत मामलों को पकड़ सके, जो कि एक बहुत उच्च सुरक्षा मानक है। उन्होंने इस नियम को प्रशिक्षण डेटा (training data) का उपयोग करके ट्यून किया, जहाँ कंप्यूटर पहले से ही उत्तरों को जानता था। जब उन्होंने इसी नियम को रोगियों के नए, अनदेखे समूह पर लागू किया, तो यह लक्ष्य को पूरा करने में विफल रहा। नब्बे प्रतिशत कैंसर मामलों को पकड़ने के बजाय, इसने लगभग तिरानवे प्रतिशत मामलों को पकड़ा। यह अंतर इसलिए आया क्योंकि परीक्षण समूह में कैंसर के मामलों की कम संख्या के कारण, एक भी मामला छूट जाने से प्रतिशत में महत्वपूर्ण बदलाव आया। अध्ययन यह प्रदर्शित करता है कि एक नियम जो प्रशिक्षण डेटा पर एकदम सही दिखता है, वह वास्तविक दुनिया में समान रूप से काम करने की गारंटी नहीं देता है। छोटे सैंपल साइज (sample size) में निहित अनिश्चितता का अर्थ है कि डॉक्टर सुरक्षा की गारंटी के लिए केवल एक संख्या पर भरोसा नहीं कर सकते।

अंततः, यह शोध स्वास्थ्य सेवा के लिए आर्टिफिशियल इंटेलिजेंस टूल्स बनाने के लिए एक चेतावनी मार्गदर्शिका के रूप में कार्य करता है। यह दिखाता है कि जबकि कंप्यूटर पैटर्न पहचानने में उत्कृष्ट हो सकते हैं, एक उच्च स्कोर से एक विश्वसनीय चिकित्सा उपकरण तक की यात्रा सूक्ष्म जालियों से भरी है। अध्ययन पुष्टि करता है कि इस विशिष्ट डेटासेट के लिए, मॉडल पहले से ही अत्यधिक सटीक हैं, लेकिन उनका वास्तविक मूल्य इस बात पर निर्भर करता है कि उनकी प्रायिकता कैसे रिपोर्ट की जाती है और उनके अलार्म थ्रेशोल्ड को कैसे सेट किया जाता है। लेखक का सुझाव है कि भविष्य के सिस्टम को केवल एक जोखिम संख्या रिपोर्ट नहीं करनी चाहिए, बल्कि यह भी दिखाना चाहिए कि उस संख्या के प्रति वे कितने अनिश्चित हैं। उनका तर्क है कि प्रशिक्षण डेटा के एक छोटे समूह के आधार पर सुरक्षा लक्ष्य निर्धारित करना जोखिम भरा है, और किसी भी नियम का उपयोग जो मेडिकल अलर्ट को ट्रिगर करता है, उसका स्वतंत्र डेटा पर परीक्षण किया जाना चाहिए, इस स्पष्ट समझ के साथ कि यह बिल्कुल वैसा प्रदर्शन नहीं कर सकता जैसा अपेक्षित है। आगे का रास्ता केवल स्मार्टतम एल्गोरिदम खोजने में नहीं है, बल्कि इस बात का कठोर परीक्षण करने में है कि जब दांव पर वास्तविक जीवन हो और डेटा नया हो, तो वह एल्गोरिदम कैसा व्यवहार करता है।