Comparative Evaluation of Machine Learning Models for Heart Disease Prediction: Performance, Calibration, Threshold Selection, and Explainability

हृदय रोग दुनिया में मृत्यु का प्रमुख कारण बना हुआ है, जो सालाना लाखों लोगों की जान लेता है, और इसका असमान बोझ कम और मध्यम आय वाले देशों पर पड़ता है। आधुनिक युग में, डॉक्टर और शोधकर्ता तेजी से मशीन लर्निंग की ओर मुड़ रहे हैं ताकि उन सूक्ष्म पैटर्नों को पहचाना जा सके जो संकट आने से पहले जोखिम के बढ़ते संकेतों को दर्शाते हैं। ये कंप्यूटर प्रोग्राम जटिल चिकित्सा इतिहासों को छानने के लिए शक्तिशाली उपकरणों के रूप में कार्य करते हैं, जो उम्र, रक्तचाप और कोलेस्ट्रॉल के स्तर जैसे कारकों के बीच संबंधों को खोजकर यह अनुमान लगाते हैं कि किसे हृदय रोग हो सकता है। हालांकि, जबकि ये उपकरण बहुत आशाजनक हैं, उनका वास्तविक दुनिया में मूल्य पूरी तरह से इस बात पर निर्भर करता है कि उनका परीक्षण कैसे किया जाता है। एक मॉडल जो मरीजों के एक छोटे, विशिष्ट समूह पर अच्छा प्रदर्शन करता है, वह अलग आबादी पर लागू होने पर पूरी तरह विफल हो सकता है। वास्तव में उपयोगी होने के लिए, एक भविष्यवाणी उपकरण को न केवल पर्याप्त बार सही अनुमान लगाना चाहिए, बल्कि विश्वसनीय संभावनाएं भी प्रदान करनी चाहिए और विभिन्न प्रकार के लोगों के लिए निरंतर कार्य करना चाहिए।

युगांडा और विक्टोरिया के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने हृदय स्वास्थ्य के रिकॉर्ड के एक प्रसिद्ध संग्रह का उपयोग करके पांच अलग-अलग मशीन लर्निंग दृष्टिकोणों का परीक्षण करने का लक्ष्य रखा। उनका लक्ष्य केवल सबसे सटीक कंप्यूटर प्रोग्राम खोजना नहीं था, बल्कि यह समझना भी था कि ये प्रोग्राम कैसे व्यवहार करते हैं, वे निर्णय कैसे लेते हैं, और क्या वे डेटा में थोड़ा बदलाव होने पर भी विश्वसनीय रहते हैं। उन्होंने 303 रोगी रिकॉर्डों वाले एक डेटासेट के साथ काम किया, जिसमें प्रत्येक व्यक्ति की आयु, रक्तचाप, कोलेस्ट्रॉल, हृदय गति और विशिष्ट कार्डिएक परीक्षणों के परिणाम शामिल थे। शोधकर्ताओं ने इस डेटा को दो समूहों में विभाजित किया: एक बड़ा समूह कंप्यूटर प्रोग्रामों को यह सिखाने के लिए कि उन्हें क्या देखना है, और एक छोटा, अलग समूह यह परीक्षण करने के लिए कि प्रोग्राम उन रोगियों पर कैसा प्रदर्शन करते हैं जिन्हें उन्होंने पहले कभी नहीं देखा था। उन्होंने यह सुनिश्चित किया कि विभाजन निष्पक्ष हो, जिससे दोनों समूहों में बीमार और स्वस्थ रोगियों का अनुपात समान रहे।

पांच अलग-अलग मॉडलों को प्रशिक्षित करने के बाद, शोधकर्ताओं ने पाया कि 'लॉजिस्टिक रिग्रेशन' नामक एक विधि सबसे संतुलित और विश्वसनीय प्रदर्शन करने वाली बनकर उभरी। इस दृष्टिकोण ने परीक्षण समूह के प्रत्येक 100 रोगियों में से लगभग 85 रोगियों में हृदय रोग की सही पहचान की। इससे भी महत्वपूर्ण बात यह है कि इसने उच्च स्तर की सटीकता के साथ ऐसा किया, जिसका अर्थ है कि इसने स्वस्थ लोगों को बीमार के रूप में बहुत कम बार चिह्नित किया, और यह वास्तव में बीमारी के मामलों को पकड़ने में भी बहुत सक्षम था। जबकि अन्य मॉडल, जैसे कि रैंडम फॉरेस्ट और डिसीजन ट्री, आशाजनक थे, लेकिन वे या तो बीमार रोगियों की पहचान करने में अधिक गलतियाँ करते थे या स्वस्थ लोगों से उन्हें प्रभावी ढंग से अलग करने में संघर्ष करते थे। एक मॉडल, जिसे 'बेयस' के रूप में जाना जाता है, बीमार रोगियों को खोजने में उत्कृष्ट था लेकिन खतरे का अलार्म बजाने के लिए बहुत अधिक उत्सुक था, जिससे कई स्वस्थ लोगों को भी गलत तरीके से हृदय रोग से ग्रस्त बताया गया। लॉजिस्टिक रिग्रेशन मॉडल इसलिए अलग खड़ा हुआ क्योंकि इसने बीमारी को पकड़ने और गलत चेतावनियों से बचने का सबसे अच्छा समग्र संयोजन पेश किया।

अध्ययन ने इस बात पर भी बारीकी से नज़र डाली कि ये मॉडल अपने अंतिम हाँ-या-ना के निर्णय कैसे लेते हैं। डिफ़ॉल्ट रूप से, कई कंप्यूटर प्रोग्राम किसी मरीज को बीमार घोषित कर देते हैं यदि उनका गणना किया गया जोखिम स्कोर 50 प्रतिशत से ऊपर होता है। शोधकर्ताओं ने परीक्षण किया कि क्या इस कटऑफ पॉइंट को थोड़ा उच्च संख्या में बदलकर परिणामों में सुधार किया जा सकता है। उन्होंने पाया कि कटऑफ बढ़ाने से मॉडल की समग्र सटीकता में सुधार नहीं हुआ; इसने केवल संतुलन को बदल दिया। इसने मॉडल को गलत चेतावनियों से बचने में थोड़ा बेहतर बनाया लेकिन वास्तविक मामलों को पकड़ने में थोड़ा कमजोर कर दिया। यह सुझाव देता है कि इस विशिष्ट डेटासेट के लिए, मानक सेटिंग पहले से ही काफी अच्छी तरह से ट्यून की गई थी, और केवल नंबरों में बदलाव करने से डेटा की अंतर्निहित सीमाओं का समाधान नहीं हुआ।

कच्ची सटीकता से परे, शोधकर्ताओं ने यह भी जांचा कि मॉडल भविष्यवाणियां करने के लिए किन कारकों पर सबसे अधिक भरोसा करते हैं। डेटा को व्यवस्थित रूप से बदलकर यह देखने के लिए कि कौन से हिस्से सबसे महत्वपूर्ण थे, उन्होंने पाया कि एंजियोग्राम में दिखाई देने वाली प्रमुख रक्त वाहिकाओं की संख्या, रोगी द्वारा बताया गया सीने के दर्द का विशिष्ट प्रकार, और थैलियम स्ट्रेस टेस्ट के परिणाम सबसे शक्तिशाली भविष्यवक्ता थे। ये निष्कर्ष स्थापित चिकित्सा ज्ञान के अनुरूप हैं, जो पुष्टि करते हैं कि कंप्यूटर मॉडल यादृच्छिक शोर के बजाय सबसे चिकित्सकीय रूप से प्रासंगिक संकेतों से सीख रहे हैं। अध्ययन ने यह भी पता लगाया कि मॉडल विभिन्न समूहों में कैसा प्रदर्शन करते हैं, यह देखते हुए कि सिस्टम महिलाओं के लिए पुरुषों की तुलना में थोड़ा बेहतर काम करता है और विभिन्न आयु समूहों में अलग-अलग पैटर्न दिखाता है, हालांकि कुछ श्रेणियों में मरीजों की कम संख्या के कारण ये अवलोकन प्रारंभिक स्तर के हैं।

शोध का एक महत्वपूर्ण हिस्सा यह परीक्षण करना था कि यदि इन मॉडलों को अधिक डेटा पर प्रशिक्षित किया जाए तो वे कैसा व्यवहार करेंगे। शोधकर्ताओं ने प्रशिक्षण के दौरान मॉडल को दी जाने वाली जानकारी को धीरे-धीरे बढ़ाकर इसका अनुकरण किया। उन्होंने देखा कि जैसे-जैसे प्रशिक्षण सेट बढ़ता गया, मॉडल अधिक सुसंगत और विश्वसनीय होते गए, जिससे पता चलता है कि वर्तमान प्रदर्शन एल्गोरिदम की खामी के बजाय उपलब्ध डेटा के छोटे आकार के कारण सीमित था। अध्ययन निष्कर्ष निकालता है कि हालांकि इस विशिष्ट डेटासेट के लिए लॉजिस्टिक रिग्रेशन सबसे मजबूत उपकरण है, लेकिन इन परिणामों को तुरंत सभी आबादी पर लागू नहीं किया जा सकता है। उपयोग किया गया डेटा एक विशिष्ट ऐतिहासिक संग्रह से आया था और यह उप-सहारा अफ्रीका या अन्य क्षेत्रों में पाई जाने वाली विविध रोगी आबादी का प्रतिनिधित्व नहीं करता है। इससे पहले कि इन उपकरणों का उपयोग लोगों के नए समूहों के लिए नैदानिक निर्णय लेने हेतु किया जा सके, उन्हें बड़े, स्वतंत्र डेटासेट पर परखा जाना चाहिए जो रोगियों की वास्तविक दुनिया की विविधता को दर्शाते हों। तब तक, ये निष्कर्ष एक कठोर बेंचमार्क के रूप में कार्य करते हैं, जो दिखाते हैं कि सावधानीपूर्वक मूल्यांकन और पारदर्शिता, सटीकता के आंकड़ों जितने ही महत्वपूर्ण हैं।