Beyond AUROC: External Validation, Calibration, and Explainability of Machine Learning Models for 30-Day Hospital Readmission Using Electronic Health Records—A Rapid Systematic Review

हर साल, लाखों मरीज अस्पताल से छुट्टी लेकर घर तो लौट जाते हैं, लेकिन अक्सर एक महीने के भीतर वापस आ जाते हैं, क्योंकि या तो उनकी रिकवरी रुक गई होती है या उनकी देखभाल की योजना विफल हो जाती है। पुन: भर्ती (readmission) का यह चक्र स्वास्थ्य प्रणालियों पर एक बड़ा बोझ है, जो लागत बढ़ाता है और इस बात का संकेत देता है कि अस्पताल से घर तक के संक्रमण (transition) में कुछ गलत हुआ है। इसे रोकने के लिए, अस्पतालों ने मशीन लर्निंग की ओर रुख किया है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ सॉफ्टवेयर डेटा की विशाल मात्रा में पैटर्न खोजने के लिए सीखता है। इन कार्यक्रमों को इलेक्ट्रॉनिक हेल्थ रिकॉर्ड्स—डिजिटल फाइलें जिनमें लैब परिणाम, दवाओं की सूची और डॉक्टरों के नोट्स शामिल होते हैं—में फीड करके, शोधकर्ता ऐसे उपकरण बनाने की उम्मीद करते हैं जो उन मरीजों की पहचान कर सकें जिनके वापस आने की संभावना सबसे अधिक है और उन्हें जाने से पहले अतिरिक्त सहायता भेज सकें। वर्षों से, वैज्ञानिक समुदाय इन उपकरणों को एक एकल संख्या से आंकता रहा है: एक स्कोर जो यह मापता है कि मॉडल मरीजों को निम्न जोखिम से उच्च जोखिम के क्रम में कितनी अच्छी तरह व्यवस्थित करता है। यदि कोई मॉडल सही ढंग से कह सकता है कि "यह मरीज उस मरीज की तुलना में अधिक जोखिम में है," तो उसे उच्च स्कोर मिलता है, और इसे ही सफलता घोषित करने के लिए पर्याप्त माना जाता रहा है।

हालाँकि, एक नया विश्लेषण बताता है कि यह एकल स्कोर केवल आधी कहानी बताता है। चित्तगाँव यूनिवर्सिटी ऑफ इंजीनियरिंग एंड टेक्नोलॉजी के शोधकर्ताओं द्वारा किए गए एक तीव्र व्यवस्थित समीक्षा (systematic review) में 2020 से 2026 के बीच प्रकाशित 156 अध्ययनों की जांच की गई, जिन्होंने 30-दिवसीय अस्पताल पुन: भर्ती की भविष्यवाणी करने के लिए मशीन लर्निंग का उपयोग किया था। टीम ने पाया कि हालांकि ये मॉडल कागज पर प्रभावशाली दिखते हैं, लेकिन वे अक्सर यह साबित करने में विफल रहते हैं कि वे वास्तविक दुनिया में काम करेंगे। शोधकर्ताओं ने पाया कि लगभग सभी अध्ययन आंतरिक परीक्षण (internal testing) पर निर्भर थे, जहाँ मॉडल की जांच उसी अस्पताल के डेटा के विरुद्ध की जाती है जिसने इसे बनाया है। बहुत कम अध्ययनों ने यह परीक्षण किया कि क्या मॉडल किसी अन्य अस्पताल में या बाद के समय के डेटा के साथ काम करेगा। इसके अलावा, अध्ययनों ने शायद ही कभी यह जांचा कि मॉडलों द्वारा दिए गए जोखिम प्रतिशत वास्तव में कितने सटीक थे, या मॉडलों द्वारा अपनी भविष्यवाणियों के लिए दिए गए कारण मानव डॉक्टरों के लिए कितने तर्कसंगली थे। समीक्षा निष्कर्ष निकालती है कि यह क्षेत्र चमकदार नई विशेषताओं को अपनाने में बहुत तेज रहा है, जबकि उन बुनियादी जांचों की अनदेखी की गई है जो यह सुनिश्चित करने के लिए आवश्यक हैं कि ये उपकरण मरीजों के लिए सुरक्षित और विश्वसनीय हों।

मुख्य मुद्दा जो पहचाना गया है वह यह है कि एक मॉडल मरीजों को रैंक करने में तो अच्छा हो सकता है, लेकिन वास्तविक परिणामों की भविष्यवाणी करने में अच्छा नहीं हो सकता। कल्पना कीजिए कि एक मौसम ऐप आपको सही ढंग से बताता है कि मंगलवार को सोमवार की तुलना में बारिश होने की संभावना अधिक है, लेकिन यह बताने में विफल रहता है कि दोनों दिनों में बारिश की संभावना शून्य प्रतिशत है। अस्पताल की पुन: भर्ती के संदर्भ में, यह अंतर महत्वपूर्ण है। अस्पतालों को यह जानने की आवश्यकता होती है कि मरीज के वापस आने की वास्तविक संभावना क्या है ताकि वे तय कर सकें कि कितने संसाधन आवंटित करने हैं। यदि कोई मॉडल एक ऐसे मरीज के लिए 90 प्रतिशत पुन: भर्ती की संभावना बताता है जिसकी संभावना केवल 10 प्रतिशत है, तो अस्पताल उस मरीज पर सीमित संक्रमणकालीन देखभाल सेवाओं को बर्बाद कर सकता है जबकि उन अन्य लोगों को छोड़ सकता जिन्हें वास्तव में इसकी आवश्यकता है। समीक्षा में पाया गया कि जबकि 85 प्रतिशत अध्ययनों ने रैंकिंग स्कोर की रिपोर्ट की, केवल लगभग 15 प्रतिशत ने यह उल्लेख किया कि क्या उनकी भविष्यवाणियां वास्तविकता से मेल खाती हैं, और केवल एक अध्ययन ने इस सटीकता को मापने के लिए डिज़ाइन किए गए विशिष्ट मीट्रिक का उपयोग किया।

सटीकता के अलावा, शोधकर्ताओं ने यह भी देखा कि क्या ये मॉडल यात्रा कर सकते हैं (यानी अन्य स्थानों पर लागू हो सकते हैं)। एक मॉडल जो एक शहर के बड़े शहरी शिक्षण अस्पताल के डेटा पर बनाया गया है, वह दूसरे राज्य के ग्रामीण क्लिनिक में पूरी तरह से विफल हो सकता है, केवल इसलिए क्योंकि वहां की रोगी आबादी और चिकित्सा पद्धतियां अलग हैं। इसे 'एक्सटर्नल वैलिडेशन' (external validation) कहा जाता है। समीक्षा में पाया गया कि केवल 12 प्रतिशत अध्ययनों ने नए परिवेश या बाद के समय में अपने मॉडलों का परीक्षण किया। जिन कुछ अध्ययनों ने ये परीक्षण किए, उन्होंने जब अपने परिणाम साझा किए, तो नए वातावरण में मॉडल का प्रदर्शन लगभग हमेशा खराब रहा। पांच मामलों में जहाँ शोधकर्ताओं ने अपने होम अस्पताल बनाम एक नए अस्पताल में मॉडल के प्रदर्शन की तुलना की, वहां मरीजों को सही ढंग से रैंक करने की क्षमता हर एक मामले में गिर गई। यह सुझाव देता है कि कई मॉडल अपने विशिष्ट स्थानीय डेटा के प्रति अत्यधिक अनुकूलित (overfitted) हैं, जो सार्वभौमिक जोखिम के संकेतों के बजाय एक अस्पताल की विशिष्टताओं को पकड़ लेते हैं।

शोध का एक अन्य बड़ा अंतराल 'व्याख्यात्मकता' (explainability) है। जैसे-जैसे मशीन लर्निंग मॉडल अधिक जटिल होते गए हैं, शोधकर्ताओं ने यह समझाने के लिए उपकरण उपयोग करना शुरू कर दिया है कि मॉडल ने एक विशिष्ट भविष्यवाणी क्यों की, जिसमें अक्सर उन कारकों को हाइलाइट किया जाता है, जैसे उच्च रक्तचाप या एक विशिष्ट दवा, जिन्होंने जोखिम स्कोर में सबसे अधिक योगदान दिया। समीक्षा ने नोट किया कि स्पष्टीकरण उपकरणों का उपयोग तेजी से बढ़ा है, जो समीक्षा अवधि के शुरुआती वर्षों में 6 प्रतिशत से कम से बढ़कर हाल के वर्षों में लगभग 30 प्रतिशत हो गया है। हालाँकि, शोधकर्ताओं ने पाया कि जबकि अध्ययन इन स्पष्टीकरणों को दिखाने में तत्पर थे, उन्होंने लगभग कभी भी यह परीक्षण नहीं किया कि क्या वे स्पष्टीकरण वास्तव में सही या स्थिर थे। एक मॉडल किसी विशिष्ट लैब मान को उच्च जोखिम के कारण के रूप में इंगित कर सकता है, लेकिन यदि डेटा में थोड़ा सा बदलाव करने पर वह कारण बेतरतीब ढंग से बदल जाता है, तो वह स्पष्टीकरण भरोसेमंद नहीं है। समीक्षा में ऐसा कोई एब्स्ट्रैक्ट (abstract) नहीं मिला जिसने यह मूल्यांकन किया हो कि क्या प्रदान किए गए स्पष्टीकरण विश्वसनीय थे या क्या डॉक्टर उन्हें उपयोगी पाते हैं।

अध्ययन ने यह भी जांचा कि क्या ये मॉडल विभिन्न समूहों के लोगों के साथ निष्पक्ष व्यवहार करते हैं। पुन: भर्ती की दर शुद्ध जीव विज्ञान के अलावा अन्य कारकों से भी प्रभावित हो सकती है, जैसे परिवहन तक पहुंच या दवा खरीदने की क्षमता। यदि कोई मॉडल ऐतिहासिक डेटा से सीखता है जो इन असमानताओं को दर्शाता है, तो यह कुछ समूहों को केवल इसलिए उच्च जोखिम वाला चिह्नित कर सकता है क्योंकि उनके पास देखभाल तक कम पहुंच है, न कि इसलिए कि वे चिकित्सकीय रूप से अधिक बीमार हैं। समीक्षा में पाया गया कि केवल एक बहुत छोटा हिस्सा, लगभग 4.5 प्रतिशत, ने नस्ल, लिंग या आयु के आधार पर विभिन्न समूहों के बीच इन विसंगतियों की जांच की। जांच की इस कमी का अर्थ है कि अस्पताल अनजाने में ऐसे उपकरणों को तैनात कर सकते हैं जो स्वास्थ्य सेवा प्रणाली में मौजूदा पूर्वाग्रहों को सुदृढ़ करते हैं।

शोधकर्ताओं ने निष्कर्ष निकाला कि यह क्षेत्र गलत चीजों को प्राथमिकता दे रहा है। जटिल स्पष्टीकरण उपकरणों के उपयोग में तेजी से वृद्धि ने नए स्थानों में मॉडल के परीक्षण या उनकी सटीकता को सत्यापित करने जैसी मौलिक सुरक्षा जांचों की तुलना में अधिक गति पकड़ ली है। लेखकों का तर्क है कि इससे पहले कि इन मॉडलों का उपयोग रोगी देखभाल के बारे में वास्तविक निर्णय लेने के लिए किया जाए, उन्हें मानदंडों के एक न्यूनतम सेट को पास करना चाहिए। इन मानकों में एक अलग अस्पताल या समय अवधि के डेटा पर मॉडल का परीक्षण करना, यह जांचना कि अनुमानित जोखिम वास्तविक परिणामों से मेल खाते हैं या नहीं, और यह सुनिश्चित करना शामिल है कि मॉडल विशिष्ट समूहों के खिलाफ भेदभाव नहीं करता है। समीक्षा का सुझाव है कि इस क्षेत्र में अगली सफलता अधिक जटिल एल्गोरिदम बनाने से नहीं, बल्कि यह साबित करने में बेहतर काम करने से आएगी कि हमारे पास जो उपकरण पहले से मौजूद हैं वे सबके लिए सुरक्षित, सटीक और निष्पक्ष हैं।