💻 computer science

Prevalence Shift and ICU Mortality Miscalibration Across Institutions

यह शोध पत्र यह प्रदर्शित करता है कि अस्पताल-स्तरीय व्यापकता बेमेल (prevalence mismatch) क्रॉस-इंस्टीट्यूशनल आईसीयू मृत्यु दर मॉडलों में कैलिब्रेशन विफलता का एक प्रमुख, मात्रात्मक कारण है, जो यह दर्शाता है कि केवल स्थानीय मृत्यु दर का उपयोग करके एक सरल बायेसियन सुधार प्रभावी रूप से लेबल किए गए लक्ष्य डेटा की आवश्यकता के बिना कैलिब्रेशन को बहाल कर सकता है।

मूल लेखक: Aman Chandra H, Stuti Shivhare, Suyash Sahu

प्रकाशित 2026-07-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aman Chandra H, Stuti Shivhare, Suyash Sahu

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मौसम विज्ञानी हैं जिन्होंने बोस्टन में अपने पूर्वानुमानों को सटीक बनाने में वर्षों बिताए हैं। आप जानते हैं कि वहां कितनी बार बारिश होती है। आपका मॉडल उत्कृष्ट है: जब आप कहते हैं कि बारिश की 70% संभावना है, तो वास्तव में 70% समय बारिश होती है। आप "कैलिब्रेटेड" (सटीक) हैं।

अब, कल्पना कीजिए कि आप अपने मौसम मॉडल को पैक करते हैं और एरिजोना चले जाते हैं। एरिजोना में, बहुत कम बारिश होती है। लेकिन आपका मॉडल, जो बोस्टन के इतिहास पर प्रशिक्षित है, अभी भी सोचता है, "खैर, बादल छाए हुए हैं, तो बारिश की 70% संभावना है!"

एरिजोना में, आप लगभग हर बार गलत होंगे। आप लगातार बारिश की भविष्यवाणी करेंगे, लेकिन आसमान साफ रहेगा। आपका मॉडल अभी भी दिनों को "रैंक" करने में अच्छा है (वह जानता है कि कौन से दिन अधिक बादल वाले हैं), लेकिन वह वास्तविक बारिश की संभावना बताने की अपनी क्षमता पूरी तरह से खो चुका है।

यह शोध पत्र बिल्कुल इसी समस्या के बारे में है, लेकिन मौसम के बजाय, यह आईसीयू (ICU) में मरीजों के जीवित रहने की भविष्यवाणी करने के बारे में है।

मुख्य समस्या: "बोस्टन बनाम एरिजोना" प्रभाव

शोधकर्ताओं ने एक मशीन लर्निंग मॉडल लिया जिसे एक अस्पताल (MIMIC-IV, जिसमें मृत्यु दर लगभग 11% थी) के डेटा पर प्रशिक्षित किया गया था और इसका परीक्षण अमेरिका के 185 अलग-अलग अस्पतालों में किया।

उन्होंने पाया कि ये अस्पताल बहुत अलग थे। कुछ अस्पतालों में मृत्यु दर 0% जितनी कम थी, जबकि अन्य में यह 20% तक अधिक थी।

जब इस मॉडल का उपयोग उस अस्पताल में किया गया जहाँ मृत्यु दर 11% से बहुत कम थी, तो इसने मृत्यु की "अति-भविष्यवाणी" (over-predicting) करना शुरू कर दिया। इसने डॉक्टरों से कहा, "इस मरीज के मरने की 20% संभावना है," जबकि वास्तव में, संभावना केवल 5% थी। यह खतरनाक है क्योंकि इससे अनावश्यक, आक्रामक उपचारों की ओर ले जाया जा सकता है।

बड़ी हैरानी: "स्पीडोमीटर" बनाम "थर्मामीटर"

आमतौर पर, जब वैज्ञानिक यह जांचते हैं कि क्या कोई मॉडल काम कर रहा है, तो वे AUROC नामक एक मीट्रिक देखते हैं। AUROC को एक स्पीडोमीटर के रूप में सोचें। यह आपको बताता है कि क्या मॉडल मरीजों को रैंक करने में अच्छा है (उदाहरण के लिए, "क्या मरीज A, मरीज B से अधिक बीमार है?")।

शोधपत्र में पाया गया कि स्पीडोमीटर (AUROC) ठीक था। मॉडल अभी भी मरीजों को "बीमार" से "कम बीमार" के क्रम में रैंक करने में बेहतरीन था, भले ही वह नए अस्पतालों में हो।

हालाँकि, थर्मामीटर (जिसे कैलिब्रेशन या ECE कहा जाता है) टूट गया था। थर्मामीटर गलत तापमान बता रहा था। मॉडल कह रहा था "तापमान 100 डिग्री है" जबकि वास्तव में यह "50 डिग्री" था।

मुख्य निष्कर्ष: केवल इसलिए कि एक मॉडल मरीजों को रैंक करने में अच्छा है (स्पीडोमीटर), इसका मतलब यह नहीं है कि वह सही संभावनाएँ (थर्मामीटर) देता है। वास्तव में, शोधपत्र दिखाता है कि नए अस्पताल में मृत्यु दर जितनी अधिक भिन्न होगी, थर्मामीटर उतना ही अधिक खराब हो जाएगा।

समाधान: एक सरल "गणितीय समायोजन"

शोधकर्ताओं ने पाया कि मॉडल इसलिए खराब नहीं था क्योंकि वह "मूर्ख" था; वह इसलिए खराब था क्योंकि वह एक गलत "पूर्व धारणा" (बोस्टन की 11% मृत्यु दर) को पकड़े हुए था।

उन्होंने एक सरल, मुफ्त समाधान खोजा। यह एक गणितीय अनुवादक की तरह है।

यदि आप अपने स्थानीय अस्पताल की वास्तविक मृत्यु दर जानते हैं (मान लीजिए कि यह 5% है), तो आप इस एक संख्या को एक सरल सूत्र में डाल सकते हैं। यह सूत्र तुरंत मॉडल की भविष्यवाणियों को "री-ट्यून" (पुन: ट्यून) कर देता है।

पहले: मॉडल कहता है "मृत्यु की 20% संभावना है।"
सुधार के बाद: मॉडल कहता है "मृत्यु की 5% संभावना है।"

यह अद्भुत क्यों है?

इसके लिए किसी नए डेटा की आवश्यकता नहीं है: आपको मॉडल में हजारों नए मरीज रिकॉर्ड डालने की आवश्यकता नहीं है। आपको बस अपने अस्पताल की वर्तमान मृत्यु दर की आवश्यकता है (एक ऐसी संख्या जिसे अस्पताल पहले से ही ट्रैक करते हैं)।
यह तुरंत काम करता है: आपको मॉडल को फिर से प्रशिक्षित करने या डेटा साइंटिस्ट को काम पर रखने की आवश्यकता नहीं है।
यह महंगे तरीकों के समान ही प्रभावी है: शोधपत्र ने दिखाया कि यह सरल सुधार उन तरीकों के लगभग बराबर काम करता है जिनमें विशेषज्ञों द्वारा 30% मरीजों को मैन्युअल रूप से लेबल और चेक करने की आवश्यकता होती है।

"क्यों" और "कितना"

यह साबित करने के लिए कि यह केवल एक संयोग नहीं था, शोधकर्ताओं ने एक "नकली" परिदृश्य बनाया जहाँ उन्होंने कंप्यूटर सिमुलेशन में केवल मृत्यु दर को बदला, बाकी सब कुछ बिल्कुल समान रखा। मॉडल की भविष्यवाणियां केवल इसलिए खराब हुईं क्योंकि मृत्यु दर बदल गई थी। इसने साबित कर दिया कि मृत्यु दर में अंतर ही टूटी हुई भविष्यवाणियों का एकमात्र कारण था।

उन्होंने यह भी गणना की कि अच्छी तरह से डिज़ाइन किए गए मॉडलों के लिए, लगत लगभग 60% भविष्यवाणियों की त्रुटियां केवल मृत्यु दर में इस अंतर के कारण थीं। शेष 40% अन्य अंतरों के कारण था (जैसे अलग उपकरण या मरीज के प्रकार), जिन्हें ठीक करना कठिन है।

सारांश

समस्या: एक अस्पताल में प्रशिक्षित AI मॉडल दूसरे अस्पताल में उपयोग किए जाने पर गलत संभावना का अनुमान देते हैं क्योंकि "मृत्यु दर" अलग होती है।
जाल: मानक परीक्षण (AUROC) कहते हैं कि मॉडल ठीक है क्योंकि यह अभी भी मरीजों को सही ढंग से रैंक करता है, जिससे यह तथ्य छिप जाता है कि संभावनाएँ गलत हैं।
समाधान: एक सरल, मुफ्त गणितीय सूत्र जो मॉडल की भविष्यवाणियों को तुरंत ठीक करने के लिए आपके स्थानीय अस्पताल की मृत्यु दर का उपयोग करता है।
परिणाम: यह "जीरो-लेबल" सुधार बिना किसी नए डेटा या पुन: प्रशिक्षण के मॉडल को फिर से सटीक बनाता है, जिससे अस्पताल मरीजों के जोखिम के अति-अनुमान से होने वाले खतरों से बच सकते हैं।

तकनीकी सारांश: संस्थागत स्तर पर प्रवलता बदलाव (Prevalence Shift) और ICU मृत्यु दर का मिसकैलिब्रेशन (Miscalibration)

समस्या विवरण
इंटेंसिव केयर यूनिट (ICU) में अस्पताल में भर्ती होने वाली मृत्यु दर की भविष्यवाणी करने वाले मशीन लर्निंग मॉडल अक्सर अपने प्रशिक्षण डेटा (training data) पर मजबूत विभेदन प्रदर्शन (AUROC द्वारा मापा गया) प्रदर्शित करते हैं, लेकिन विभिन्न अस्पताल प्रणालियों में तैनात होने पर उनके प्रदर्शन में गिरावट आती है। हालांकि "डेटासेट शिफ्ट" (dataset shift) एक ज्ञात चुनौती है, लेकिन प्रवलता बदलाव (prevalence shift) — जिसे लेबल शिफ्ट या प्रायोर प्रोबेबिलिटी शिफ्ट भी कहा जाता है — का मॉडल के कैलिब्रेशन (calibration) पर पड़ने वाला विशिष्ट प्रभाव बड़े पैमाने पर अभी तक पूरी तरह से स्पष्ट नहीं हुआ है।

प्रवलता बदलाव तब होता है जब परिणाम का मार्जिनल डिस्ट्रीब्यूशन, $P(Y)$ , प्रशिक्षण स्रोत और परिनियोजन लक्ष्य (deployment target) के बीच भिन्न होता है, जबकि परिणाम के सापेक्ष विशेषताओं का कंडीशनल डिस्ट्रीब्यूशन, $P(X|Y)$ , स्थिर रहता है। नैदानिक सेटिंग्स में, मिसकैलिब्रेशन अत्यंत महत्वपूर्ण है: अति-अनुमान (overestimation) अनावश्यक हस्तक्षेपों की ओर ले जाता है, जबकि कम-अनुमान (underestimation) आवश्यक देखभाल में देरी करता है। यह शोध पत्र प्रस्तावित करता है कि अस्पताल-स्तरीय मृत्यु दर में भिन्नता कैलिब्रेशन विफलता का एक प्राथमिक यांत्रिक चालक (mechanistic driver) है, फिर भी इस संबंध को वास्तविक दुनिया के विविध संस्थानों के एक बड़े सेट में व्यवस्थित रूप से परिमाणित नहीं किया गया है। इसके अलावा, मानक मेट्रिक्स जैसे कि AUROC, मोनोटोनिक प्रोबेबिलिटी ट्रांसफॉर्मेशन के प्रति अपरिवर्तनीय (invariant) होते हैं और इस प्रकार प्रवलता बदलाव के प्रति असंवेदनशील होते हैं, जिससे एक "ब्लाइंड स्पॉट" (blind spot) पैदा होता है जहाँ मॉडल मजबूत (उच्च AUROC) दिखाई देते हैं लेकिन नैदानिक रूप से अविश्वसनीय (खराब कैलिब्रेशन) होते हैं।

कार्यप्रणाली (Methodology)
यह अध्ययन दो प्रमुख डेटासेट्स का उपयोग करते हुए एक क्रॉस-इंस्टीट्यूशनल परिनियोजन ढांचे का उपयोग करता है:

स्रोत डोमेन (Source Domain): MIMIC-IV (बेथ इसराइल डीकोनेस मेडिकल सेंटर), जिसमें प्रशिक्षण के लिए 45,587 रोगी शामिल हैं।
लक्ष्य डोमेन (Target Domain): eICU कोलैबोरेटिव रिसर्च डेटाबेस, जो 185 विशिष्ट अमेरिकी अस्पतालों और 159,224 रोगियों तक फैला हुआ है।

प्रायोगिक डिजाइन:

मॉडल: चार क्लासिफायर जो विभिन्न परिवारों का प्रतिनिधित्व करते हैं, उन्हें MIMIC-IV पर प्रशिक्षित किया गया था: लॉजिस्टिक रिग्रेशन (LR), रैंडम फॉरेस्ट (RF), XGBoost (XGB), और LightGBM (LGBM)।
मूल्यांकन: मॉडलों का मूल्यांकन eICU के 185 अस्पतालों में किया गया। प्रदर्शन को एरिया अंडर द रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक कर्व (AUROC) और एक्सपेक्टेड कैलिब्रेशन एरर (ECE) का उपयोग करके मापा गया।
सहसंबंध विश्लेषण (Correlation Analysis): अध्ययन ने "प्रवलता अंतराल" ( $|\pi_h - \pi_0|$ , जहाँ $\pi_h$ स्थानीय अस्पताल मृत्यु दर है और $\pi_0$ प्रशिक्षण प्रवलता है) और ECE एवं AUROC के बीच सहसंबंध का विश्लेषण किया।
सुधार रणनीति (Correction Strategy): एक क्लोज्ड-फॉर्म बायेसियन प्रवलता सुधार (Bayesian prevalence correction) लागू किया गया। यह विधि केवल स्थानीय मृत्यु दर ( $\pi_h$ ) और प्रशिक्षण प्रवलता ( $\pi_0$ ) का उपयोग करके अनुमानित संभावनाओं को समायोजित करती है, जिसके लिए किसी लेबल वाले लक्ष्य डेटा या मॉडल पुन: प्रशिक्षण की आवश्यकता नहीं होती है। सूत्र लेबल-शिफ्ट ढांचे से व्युत्पन्न है:
$\hat{p}_h(x) = \frac{\hat{p}(x) \cdot (\pi_h/\pi_0)}{\hat{p}(x) \cdot (\pi_h/\pi_0) + (1-\hat{p}(x)) \cdot \frac{1-\pi_h}{1-\pi_0}}$
तुलनात्मक बेसलाइन: ज़ीरो-लेबल बायेसियन सुधार की तुलना निम्नलिखित से की गई:
- कोई सुधार नहीं (raw predictions)।
- सुपरवाइज्ड विधियाँ (Platt scaling, Isotropic regression, Temperature scaling) जिन्हें प्रति अस्पताल 30% लेबल वाले लक्ष्य डेटा पर फिट किया गया था।
कारण सत्यापन (Causal Validation): सिंथेटिक प्रयोग MIMIC-IV के होल्ड-आउट डेटा पर किए गए जहाँ प्रवलता को कृत्रिम रूप से स्ट्रैटिफाइड रीसैंपलिंग के माध्यम से बदला गया था, जबकि $P(X|Y)$ को सख्ती से संरक्षित रखा गया था। इसने प्रवलता बदलाव को एकमात्र चर के रूप में अलग किया ताकि कारण संबंध (causality) की पुष्टि की जा सके।
एट्रिब्यूशन विश्लेषण (Attribution Analysis): एक अनुभवजन्य मीट्रिक ( $\phi_h$ ) को परिभाषित किया गया जो विशेष रूप से प्रवलता बदलाव के कारण कुल कैलिब्रेशन त्रुटि के अंश को मात्रात्मक रूप से दर्शाता है।

प्रमुख परिणाम

प्रवलता अंतराल और कैलिब्रेशन त्रुटि के बीच मजबूत सहसंबंध: सभी चार मॉडल आर्किटेक्चरों में, ECE ने प्रवलता अंतराल के साथ एक मजबूत सकारात्मक सहसंबंध दिखाया ( $r = 0.52$ से $0.75$, $p < 10^{-14}$ )। स्थानीय और प्रशिक्षण मृत्यु दर के बीच अंतर बढ़ने के साथ, कैलिब्रेशन त्रुटि काफी बढ़ गई।
AUROC/ECE विच्छेद (Dissociation): इसके विपरीत, AUROC ने प्रवलता अंतराल के साथ कमजोर या गैर-महत्वपूर्ण सहसंबंध दिखाया ( $|r| = 0.03$ से $0.22$)। LightGBM के लिए, सहसंबंध प्रभावी रूप से शून्य था ( $r = -0.027$ ), जो पुष्टि करता है कि रैंक-आधारित मेट्रिक्स प्रवलता बदलाव के कारण होने वाले कैलिब्रेशन क्षरण का पता लगाने में विफल रहते हैं।
ज़ीरो-लेबल सुधार की प्रभावशीलता: बायेसियन प्रवलता सुधार ने अच्छी तरह से कैलिब्रेटेड मॉडलों (LR, XGB, LGBM) में औसत ECE को 56% से 65% तक कम कर दिया।
- उदाहरण: LightGBM के लिए, ECE 0.085 से घटकर 0.037 हो गया।
- इसका प्रदर्शन उन सुपरवाइज्ड विधियों (Platt scaling और Isotonic regression) के तुलनीय था जिन्होंने प्रति अस्पताल 30% लेबल वाले लक्ष्य डेटा का उपयोग किया था (ECE $\approx$ 0.022–0.024)।
- रैंडम फॉरेस्ट ने प्रवलता शिफ्ट से असंबंधित अंतर्निहित ओवरकॉन्फिडेंस के कारण कम सुधार (43.7% कमी) दिखाया।
कारण पुष्टि: सिंथेटिक प्रयोगों ने पुष्टि की कि प्रवलता को अकेले बदलने (जबकि $P(X|Y)$ को स्थिर रखना) से वास्तविक दुनिया के परिनियोजन में देखे गए रैखिक ECE वृद्धि को पुनरुत्पादित करने के लिए पर्याप्त था।
एट्रिब्यूशन डिकंपोजिशन: अनुभवजन्य विश्लेषण से पता चला कि अच्छी तरह से कैलिब्रेटेड मॉडलों के लिए प्रवलता बदलाव कुल कैलिब्रेशन त्रुटि का लगभग 55–65% हिस्सा है। शेष त्रुटि फीचर ड्रिफ्ट या माप विषमता (measurement heterogeneity) जैसे अन्य कारकों के कारण है।

महत्व और दावे
यह शोध पत्र बायेसियन सुधार सूत्र के गणितीय व्युत्पन्न की नवीनता का दावा नहीं करता है, जो स्थापित लेबल-शिफ्ट सिद्धांत (Saerens et al., Lipton et al.) पर आधारित है। इसके बजाय, इसके योगदान अनुभवजन्य और मात्रात्मक हैं:

बड़े पैमाने पर मात्रात्मककरण: यह अध्ययन पहली बार है जो 185 वास्तविक संस्थानों और 159,224 रोगियों में अस्पताल-स्तरीय परिणाम प्रवलता और कैलिब्रेशन त्रुटि के बीच संबंध को व्यवस्थित रूप से चित्रित करता है।
ब्लाइंड स्पॉट का प्रदर्शन: यह इस बात के पुख्ता प्रमाण प्रदान करता है कि प्रवलता बदलाव की उपस्थिति में AUROC तैनाती की तैयारी का आकलन करने के लिए अपर्याप्त है, क्योंकि मॉडल उच्च विभेदन बनाए रखते हुए भी गंभीर रूप से मिसकैलिब्रेटेड हो सकते हैं।
व्यावहारिक, ज़ीरो-लेबल समाधान: यह कार्य एक ऐसे व्यावहारिक ढांचे को स्थापित करता है जहाँ अस्पताल बिना लेबल वाले डेटा, पुन: प्रशिक्षण, या मशीन लर्निंग विशेषज्ञता के, केवल एक आसानी से उपलब्ध जनसंख्या सांख्यिकी (स्थानीय मृत्यु दर) का उपयोग करके मिसकैलिब्रेशन को ठीक कर सकते हैं।
कारण एट्रिब्यूशन: यह अनुभवजन्य रूप से प्रमाणित करता है कि प्रवलता बदलाव इस सेटिंग में कैलिब्रेशन त्रुटि का प्रमुख चालक है, जो देखे गए क्षरण के अधिकांश हिस्से की व्याख्या करता है।

लेखकों का निष्कर्ष है कि प्रवलता बेमेल (mismatch) एक विश्लेषणात्मक रूप से सुलभ स्रोत है जिसे प्रस्तावित ज़ीरो-लेबल सुधार का उपयोग करके किसी भी संस्थान द्वारा तुरंत कम किया जा सकता है, जिससे AI-संचालित नैदानिक निर्णय सहायता की सुरक्षा और विश्वसनीयता में सुधार होता है।