📊 statistics

Clinical Risk-Weighted Evaluation of ICU Mortality Prediction Models on MIMIC-IV

यह शोध पत्र क्लिनिकल रिस्क-वेटेड स्कोर (CRWS) का प्रस्ताव करता है, जो एक नवीन मीट्रिक है जो नैदानिक प्राथमिकताओं को बेहतर ढंग से दर्शाने के लिए फॉल्स नेगेटिव और फॉल्स पॉजिटिव के दंड को अलग करता है, और MIMIC-IV विश्लेषण के माध्यम से यह प्रदर्शित करता है कि यह मॉडल रैंकिंग को महत्वपूर्ण रूप से बदल देता है और पारंपरिक F1 स्कोर की तुलना में शीर्ष प्रदर्शन करने वाले एल्गोरिदम के लिए अधिक नैदानिक लाभ प्रकट करता है।

मूल लेखक: Aman Chandra H, Abhijna Shivaprakash, Amrutha Sachin Nagvekar, Spandana Sujay, Nagaraja J

प्रकाशित 2026-07-29

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aman Chandra H, Abhijna Shivaprakash, Amrutha Sachin Nagvekar, Spandana Sujay, Nagaraja J

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक हलचल भरे शहर में रहस्य सुलझाने की कोशिश कर रहे हैं। आपका काम हजारों की भीड़ में से उस एक व्यक्ति को पहचानना है जो अपराध करने वाला है, ताकि आप उसे होने से पहले ही रोक सकें। चिकित्सा की दुनिया में, विशेष रूप से गहन देखभाल इकाइयों (ICU) में, डॉक्टर एक समान भूमिका निभाते हैं। वे रोगी के डेटा को देखने और यह भविष्यवाणी करने के लिए कंप्यूटर प्रोग्रामों का उपयोग करते हैं कि कौन बहुत बीमार हो सकता है या दम तोड़ सकता है। यह "खतरे को पहचानने" का एक उच्च-दांव वाला खेल है।

लेकिन पेच यहाँ है: आप यह कैसे जानेंगे कि आपका जासूस वास्तव में अच्छा है? आमतौर पर, हम उन्हें उनके द्वारा कुल मिलाकर कितनी बार सही उत्तर दिए गए, इसके आधार पर आंकते हैं। लेकिन एक अस्पताल में, सभी गलतियाँ एक जैसी नहीं होती हैं। कल्पना कीजिए कि दो प्रकार की त्रुटियाँ हैं:

गलत अलार्म (फॉल्स पॉजिटिव): कंप्यूटर उस मरीज के लिए "खतरा!" चिल्लाता है जो वास्तव में ठीक है। डॉक्टर दौड़कर आते हैं, मरीज की जांच करते हैं, देखते हैं कि सब कुछ ठीक है, और आह भरते हैं। यह कष्टप्रद है और समय बर्बाद करता है, लेकिन इससे किसी को नुकसान नहीं पहुँचता।
छूटा हुआ सुराग (फॉल्स नेगेटिव): कंप्यूटर "सब ठीक है" कहता है जबकि एक मरीज वास्तव में मर रहा होता है। डॉक्टर चले जाते हैं, और मरीज उस त्रासदी का शिकार हो जाता है जिसे रोका जा सकता था।

लंबे समय से, वैज्ञानिक इन कंप्यूटर प्रोग्रामों को ग्रेड देने के लिए F1 स्कोर नामक एक मानक स्कोर का उपयोग करते रहे हैं। F1 स्कोर को एक स्कूल रिपोर्ट कार्ड की तरह समझें जो एक "गलत अलार्म" और एक "छूटे हुए सुराग" को बिल्कुल एक जैसा ग्रेड देता है। यह कहता है, "आपने दो गलतियाँ कीं, इसलिए आपको C मिला।" लेकिन एक अस्पताल में, एक छूटा हुआ सुराग एक आपदा है, जबकि एक गलत अलार्म केवल एक व्यवधान है। यह शोध पत्र तर्क देता है कि इन दोनों बहुत अलग गलतियों को समान मानने वाले रिपोर्ट कार्ड का उपयोग करना वैसा ही है जैसे एक अग्निशमन कर्मी को इस बात के लिए समान रूप से ग्रेड देना कि उसने गलती से बगीचे पर पानी छिड़क दिया या घर को जलते हुए छोड़ दिया।

नया स्कोरकार्ड: CRWS

इस अध्ययन में, भारत के आरवी यूनिवर्सिटी (RV University) के शोधकर्ताओं की एक टीम ने इस ग्रेडिंग प्रणाली को ठीक करने का निर्णय लिया। उन्होंने क्लिनिकल रिस्क-वेटेड स्कोर (CRWS) नामक एक नया स्कोर बनाया। आप CRWS को एक "सुरक्षा-प्रथम रिपोर्ट कार्ड" के रूप में देख सकते हैं। सभी गलतियों को समान मानने के बजाय, यह कंप्यूटर को तब भारी दंड देता है जब वह किसी मृत्यु को पहचानने में विफल रहता है, जबकि गलत अलार्म उठाने पर यह बहुत अधिक उदार रहता है।

इस नए स्कोर का परीक्षण करने के लिए, शोधकर्ताओं ने वास्तविक अस्पताल रिकॉर्ड के एक विशाल, गुमनाम डेटाबेस का उपयोग किया जिसे MIMIC-IV कहा जाता है। इस डेटाबेस में उन 65,366 रोगियों की जानकारी है जो ICU में रहे थे। इस समूह में से 10.84% (लगभग 7,086 लोग) मृत्यु को प्राप्त हुए। यह 100 कंचों के एक थैले जैसा है जिसमें केवल 11 लाल कंचे हैं (वे जो मर गए) और बाकी नीले हैं (जो जीवित बचे)। कंप्यूटर का काम उन लाल कंचों को खोजना था।

शोधकर्ताओं ने चार अलग-अलग प्रकार के कंप्यूटर "जासूसों" (जिन्हें क्लासिफायर कहा जाता है: लॉजिस्टिक रिग्रेशन, रैंडम फॉरेस्ट, XGBoost, और न्यूरल नेटवर्क) को लाल कंचों को पहचानने के लिए प्रशिक्षित किया। फिर उन्होंने पुराने F1 स्कोर बनाम नए CRWS का उपयोग करके तुलना की कि इन जासूसों ने कैसा प्रदर्शन किया।

बड़ा आश्चर्य: "सबसे अच्छा" जासूस वास्तव में सबसे खराब था

यहाँ कहानी दिलचस्प हो जाती है। जब शोधकर्ताओं ने पुराने F1 स्कोर का उपयोग किया, तो रैंडम फॉरेस्ट (Random Forest) जासूस एक स्टार छात्र की तरह दिखा। इसकी सटीकता (accuracy) 87.23% थी, जो सबसे अधिक थी। यह अद्भुत लगता है, है ना? इसने लगभग 10 में से 9 रोगियों के लिए सही उत्तर दिया।

लेकिन जब उन्होंने करीब से देखा, तो उन्हें एक डरावना रहस्य पता चला। भले ही रैंडम फॉरेस्ट की सटीकता सबसे अधिक थी, लेकिन इसने सबसे अधिक मौतों को मिस किया। यह 1,220 रोगियों को पहचानने में विफल रहा जो वास्तव में मर गए थे। यह गलत अलार्म देने से इतना डर गया था कि इसने लगभग सभी के लिए यह अनुमान लगाने का फैसला किया कि "सब जीवित रहेंगे"। इसने इसकी सटीकता को बहुत अच्छा बना दिया, लेकिन एक अस्पताल में, 1,220 मौतों को मिस करना एक विनाशकारी विफलता है। नए CRWS के तहत, जो मौतों को मिस करने से नफरत करता है, रैंडम फॉरेस्ट रैंकिंग में सबसे नीचे गिर गया जिसका स्कोर 0.147 था।

दूसरी ओर, XGBoost जासूस पुराने रिपोर्ट कार्ड पर थोड़ा अव्यवस्थित दिखा। इसकी सटीकता 59.32% कम थी क्योंकि इसने बहुत सारे गलत अलार्म दिए (इसने डॉक्टरों को उन मरीजों की जांच करने के लिए कहा जो वास्तव में ठीक थे)। हालाँकि, इसने केवल 289 मौतों को मिस किया। यह वास्तव में मुसीबत में पड़े लोगों को पकड़ने में बहुत बेहतर था। जब शोधकर्ताओं ने नए CRWS को लागू किया, तो XGBoost शीर्ष पर पहुँच गया जिसका स्कोर 0.596 था।

यह क्यों मायने रखता है

यह शोध पत्र दिखाता है कि सफलता को मापने का तरीका बदल जाता है कि हम किसे "सर्वश्रेष्ठ" उपकरण मानते हैं।

पुराने नियमों के तहत (F1): XGBoost नंबर 1 था, लेकिन रैंडम फॉरेस्ट अभी भी दौड़ में था।
नए नियमों के तहत (CRWS): XGBoost स्पष्ट रूप रूप से विजेता है, और रैंडम फॉरेस्ट को खतरनाक के रूप में उजागर किया गया है क्योंकि यह बहुत अधिक महत्वपूर्ण मामलों को मिस करता है।

शोधकर्ताओं ने यह भी परीक्षण किया कि क्या यह परिणाम महज एक इत्तेफाक था। उन्होंने संख्याओं को 500 बार चलाया (एक विधि जिसे बूटस्ट्रैप कहा जाता है) और मैकनेमार टेस्ट (McNemar's test) नामक एक सांख्यिकीय परीक्षण का उपयोग किया। परिणाम स्पष्ट थे: मॉडलों के बीच का अंतर कोई भाग्यशाली अनुमान नहीं था। रैंकिंग में बदलाव वास्तविक था, और सर्वश्रेष्ठ और सबसे खराब मॉडलों के बीच का अंतर सांख्यिकीय रूप से महत्वपूर्ण था (p-वैल्यू 0.001 से कम था)।

उन्होंने यह भी आजमाया कि क्या वे अपने नए स्कोर में "दंड" को बदल सकते हैं। उन्होंने पूछा, "क्या होगा यदि हम मृत्यु को मिस करने के बारे में और भी अधिक परवाह करें?" या "क्या होगा यदि हम गलत अलार्म के बारे में थोड़ा अधिक परवाह करें?" उन्होंने पाया कि चाहे वे सेटिंग्स को कैसे भी बदलें, XGBoost शीर्ष पर रहा और रैंडम फॉरेस्ट सबसे नीचे रहा। यह साबित करता है कि नया स्कोर मजबूत और विश्वसनीय है।

निष्कर्ष

यह शोध पत्र यह दावा नहीं करता है कि इसने एक आदर्श अस्पताल रोबोट बनाया है। वास्तव में, लेखक बहुत सावधानी से कहते हैं कि उन्होंने प्रयोग को साफ रखने के लिए केवल 10 सरल विशेषताओं (features) (जैसे आयु, लिंग और रोगी ICU में कितने समय तक रहा) का उपयोग किया है। वे यह नहीं कह रहे हैं कि यह विशिष्ट कंप्यूटर प्रोग्राम कल वास्तविक अस्पताल में जीवन बचाने के लिए तैयार है।

इसके बजाय, वे यह कह रहे हैं: "अपने मेडिकल AI को ऐसे रिपोर्ट कार्ड से ग्रेड देना बंद करें जो सभी गलतियों को एक समान मानता है।"

यदि आप एक ऐसा सिस्टम बना रहे हैं जो भविष्यवाणी करता है कि किसकी मृत्यु हो सकती है, तो आपको एक ऐसे स्कोर की आवश्यकता है जो "FAIL" चिल्लाए यदि सिस्टम किसी मृत्यु को मिस कर देता है, भले ही सिस्टम की समग्र सटीकता बहुत अधिक हो। क्लिनिकल रिस्क-वेटेड स्कोर (CRWS) वही नया उपकरण है। यह डॉक्टरों और वैज्ञानिकों को सच्चाई देखने में मदद करता है: कि एक मॉडल जिसकी सटीकता कम है लेकिन मिस की गई मौतें कम हैं, वह वास्तव में जीवन बचाने के लिए एक सुरक्षित और बेहतर विकल्प है।

तकनीकी सारांश: MIMIC-IV पर ICU मृत्यु दर भविष्यवाणी मॉडलों का नैदानिक जोखिम-भारित मूल्यांकन

समस्या विवरण
इंटेंसिव केयर यूनिट (ICU) मृत्यु दर भविष्यवाणी में, भविष्यवाणी त्रुटियों के नैदानिक परिणाम विषम (asymmetric) होते हैं। एक फॉल्स नेगेटिव (FN)—यह भविष्यवाणी करना कि एक रोगी जीवित रहेगा जबकि वास्तव में उसकी मृत्यु हो जाती है—जीवन रक्षक हस्तक्षेप के एक छूटे हुए अवसर का प्रतिनिधित्व करता है और चिकित्सकीय रूप से विनाशकारी है। इसके विपरीत, एक फॉल्स पॉजिटिव (FP)—एक जीवित रहने वाले रोगी के लिए अनावश्यक अलर्ट ट्रिगर करना—संसाधन-गहन है लेकिन आम तौर पर तत्काल हानिकारक नहीं है। हालांकि, मानक मूल्यांकन मेट्रिक्स, विशेष रूप से F1 स्कोर, FN और FP त्रुटियों को समान रूप से लागतपूर्ण मानते हैं। यह शोध पत्र तर्क देता है कि नैदानिक AI में ऐसे सममित (symmetric) मेट्रिक्स पर निर्भर रहना, जो समग्र सटीकता या F1 स्कोर को अधिकतम करने के प्रयास में सबसे महत्वपूर्ण मामलों (मृत्यु) का पता लगाने में विफल रहते हैं, नैदानिक जोखिम का गलत प्रतिनिधित्व कर सकता है, इससे मॉडल का चयन गलत हो सकता है।

कार्यप्रणाली
यह अध्ययन MIMIC-IV v3.1 डेटासेट का उपयोग करता है, जिसमें 65,366 अद्वितीय वयस्क रोगी शामिल हैं जिनकी इन-हॉस्पिटल मृत्यु दर 10.84% है। प्रयोगात्मक सेटअप दस स्थिर सारणीबद्ध विशेषताओं (जैसे आयु, ICU में रहने की अवधि, प्रवेश का प्रकार) के एक निश्चित सेट पर चार क्लासिफायर (लॉजिस्टिक्स रिग्रेशन, रैंडम फॉरेस्ट, XGBoost, और मल्टी-लेयर पर्सेप्ट्रॉन) को प्रशिक्षित करके मूल्यांकन मेट्रिक्स के व्यवहार को अलग करता है। क्लास असंतुलन को संबोधित करने के लिए, प्रशिक्षण सेट को SMOTE का उपयोग करके संतुलित किया गया था, जबकि परीक्षण सेट ने मूल असंतुलित वितरण को बनाए रखा।

मुख्य पद्धतिगत योगदान क्लिनिकल रिस्क-वेटेड स्कोर (CRWS) है, जो F- $\beta$ स्कोर का एक दो-पैरामीटर सामान्यीकरण है। मानक F- $\beta$ स्कोर के विपरीत, जो रिकॉल (recall) बनाम प्रिसिजन (precision) को भारित करने के लिए एक एकल पैरामीटर ( $\beta$ ) का उपयोग करता है, CRWS फॉल्स नेगेटिव ( $w_{FN}$ ) और फॉल्स पॉजिटिव ( $w_{FP}$ ) के दंड को अलग करता है।

सूत्र: $CRWS = \frac{\alpha TP}{\alpha TP + w_{FN}^2 FN + w_{FP} FP}$ , जहाँ $\alpha = 1 + w_{FN}^2$ ।
पैरामीटर्स: लेखक $w_{FN}=3$ और $w_{FP}=1$ के प्राथमिक सेटिंग को अपनाते हैं, जो 3:1 लागत अनुपात को दर्शाता है जहाँ छूटी हुई मौतों को गलत अलार्म की तुलना में तीन गुना अधिक दंडित किया जाता है।
सैद्धांतिक गुण: CRWS, F1 स्कोर में बदल जाता है जब $w_{FN}=w_{FP}=1$ हो, और मानक F- $\beta$ स्कोर में बदल जाता है जब $w_{FP}=1$ हो। $w_{FP}$ को शामिल करने से फॉल्स अलार्म दंडों को स्वतंत्र रूप से ट्यून करने की अनुमति मिलती है, जो F- $\beta$ में अनुपलब्ध क्षमता है।

मूल्यांकन प्रोटोकॉल में F1, F2, MCC, बैलेंस्ड एक्यूरेसी, AUPRC, और AUROC के विरुद्ध CRWS का व्यापक तुलनात्मक अध्ययन शामिल था। संवेदनशीलता विश्लेषण (varying $w_{FN}$ और $w_{FP}$ ), थ्रेशोल्ड ऑप्टिमाइजेशन, बूटस्ट्रैप कॉन्फिडेंस इंटरवल ( $n=500$ ), और क्लास वेटिंग के विरुद्ध एब्लेशन स्टडी के माध्यम से मजबूती (robustness) को सत्यापित किया गया। मॉडल रैंकिंग की सांख्यिकीय सार्थकता का आकलन मैकनेमार टेस्ट (McNemar's test) का उपयोग करके किया गया।

प्रमुख परिणाम
CRWS के अनुप्रयोग ने मानक मेट्रिक्स की तुलना में मॉडल रैंकिंग में महत्वपूर्ण बदलाव प्रकट किए:

रैंकिंग इनवर्जन (Ranking Inversion): F1 स्कोर के तहत, XGBoost प्रथम (0.298) स्थान पर रहा, उसके बाद MLP, लॉजिस्टिक रिग्रेशन (LR), और रैंडम फॉरेस्ट (RF) रहे। CRWS ( $w_{FN}=3$ ) के तहत, XGBoost प्रथम (0.596) बना रहा, लेकिन LR दूसरे (0.480) स्थान पर आ गया, जबकि RF सबसे अंत (0.147) में चला गया।
सटीकता-सुरक्षा विरोधाभास (The Accuracy-Safety Paradox): रैंडम फॉरेस्ट ने उच्चतम सटीकता (87.23%) प्राप्त की लेकिन इसने सबसे अधिक छूटी हुई मौतें (FN = 1,220) उत्पन्न कीं। CRWS ने इस व्यवहार को सही ढंग से दंडित किया, जिससे RF अंतिम स्थान पर आया।
XGBoost प्रदर्शन: XGBoost ने उच्चतम CRWS (0.596) और सबसे कम छूटी हुई मौतें (FN = 289) दर्ज कीं, बावजूद इसके कि इसकी सटीकता (59.32%) कम और फॉल्स पॉजिटिव की संख्या अधिक थी। इसकी उच्च रिकॉल (0.796) और AUROC (0.752) ने अल्पसंख्यक वर्ग (minority class) के प्रति इसकी श्रेष्ठ संवेदनशीलता की पुष्टि की।
थ्रेशोल्ड ऑप्टिमाइजेशन: विशेष रूप से CRWS (बजाय F1 के) के लिए निर्णय थ्रेशोल्ड को अनुकूलित करने से छूटी हुई मौतों में भारी कमी आई। उदाहरण के लिए, रैंडम फॉरेस्ट थ्रेशोल्ड को समायोजित करने से छूटी हुई मौतें 1,220 से घटकर 188 (84.4% की कमी) हो गईं।
सांख्यिकीय सार्थकता: मैकनेमार टेस्ट के माध्यम से युग्मवार (pairwise) तुलनाओं ने पुष्टि की कि सभी मॉडल अंतर सांख्यिकीय रूप से महत्वपूर्ण थे ( $p < 0.001$ )। CRWS के लिए बूटस्ट्रैप कॉन्फिडेंस इंटरवल सभी मॉडलों के बीच गैर-अतिव्यापी (non-overlapping) थे, जबकि F1 इंटरवल ने LR और MLP के बीच आंशिक ओवरलैप दिखाया, जो इंगित करता है कि CRWS इस संदर्भ में बेहतर विभेदात्मक शक्ति प्रदान करता है।

महत्व और दावे
शोध पत्र का दावा है कि CRWS एक चिकित्सकीय रूप से व्याख्या योग्य, पूरक मीट्रिक के रूप में कार्य करता है जो मानक मूल्यांकन द्वारा छिपे हुए रैंकिंग अंतरों को प्रकट करता है। यह प्रदर्शित करता है कि सममित मेट्रिक्स (जैसे F1) के लिए अनुकूलित या मूल्यांकित मॉडल अनजाने में महत्वपूर्ण अल्पसंख्यक वर्ग (मृत्यु) की कीमत पर बहुसंख्यक वर्ग (जीवित रहने वाले) को प्राथमिकता दे सकते हैं।

लेखक इस बात पर जोर देते हैं कि CRWS को F1 के सार्वभौमिक प्रतिस्थापन के रूप में नहीं, बल्कि उन परिदृश्यों के लिए एक उपकरण के रूप में प्रस्तावित किया गया है जहाँ उच्च-जोखिम वाली त्रुटियों को कम करना प्राथमिक परिचालन उद्देश्य है। अध्ययन यह पुष्टि करता है कि:

मानक मेट्रिक्स विषम त्रुटि लागतों को ध्यान में न रखकर नैदानिक जोखिम का गलत प्रतिनिधित्व कर सकते हैं।
CRWS चिकित्सकों को छूटी हुई मौतों और फॉल्स अलार्म के बीच के व्यापार-बंद (trade-off) को स्पष्ट रूप से ट्यून करने की अनुमति देता है।
CRWS के आधार पर मॉडल चयन, F1 या सटीकता के आधार पर चयन की तुलना में अलग और चिकित्सकीय रूप से सुरक्षित परिणाम देता है।

सीमाएं और दायरा
लेखक स्पष्ट रूप रूप से कहते हैं कि परिणाम दस स्थिर सारणीबद्ध विशेषताओं पर आधारित हैं और इन्हें मूल्यांकन मीट्रिक व्यवहार के प्रदर्शन के रूप में देखा जाना चाहिए, न कि एक तैनात करने योग्य (deployment-ready) नैदानिक भविष्यवाणी प्रणाली के रूप में। यह अध्ययन एक एकल डेटासेट (MIMIC-IV), एक एकल कार्य (ICU मृत्यु दर), और एक एकल लागत धारणा (3:1 अनुपात) तक सीमित है। भविष्य के कार्य में CRHS को मल्टी-क्लास सेटिंग्स में विस्तारित करने, गंभीरता स्कोर (जैसे SOFA, APACHE) को अनुकूली भार (adaptive weights) के रूप में शामिल करने, और अतिरिक्त कार्यों पर इसे मान्य करने का प्रस्ताव दिया गया है।

नया स्कोरकार्ड: CRWS

बड़ा आश्चर्य: "सबसे अच्छा" जासूस वास्तव में सबसे खराब था

यह क्यों मायने रखता है

निष्कर्ष

इसी तरह के और पेपर