Generalizability of a prediction model for walking ability at discharge in older adults after hip fracture surgery: a multicenter study

द ग्रेट हॉस्पिटल गेसिंग गेम (अस्पताल का बड़ा अनुमान लगाने वाला खेल)

कल्पना कीजिए कि आप एक डॉक्टर हैं जो भविष्य की भविष्यवाणी करने की कोशिश कर रहे हैं। विशेष रूप से, आप यह जानना चाहते हैं: "इस मरीज के टूटे हुए कूल्हे का इलाज होने के बाद, क्या वे अपने दम पर अस्पताल से बाहर चल पाएंगे?" यह केवल एक अनुमान लगाने वाला खेल नहीं है; यह एक महत्वपूर्ण उपकरण है जिसे क्लिनिकल प्रेडिक्शन मॉडल (नैदानिक भविष्यवाणी मॉडल) कहा जाता है। इन मॉडलों को आपके शरीर के लिए एक हाई-टेक मौसम पूर्वानुमान की तरह समझें। जिस तरह मौसम विज्ञानी बारिश की भविष्यवाणी करने के लिए तापमान, आर्द्रता और हवा की गति का उपयोग करते हैं, वैसे ही डॉक्टर किसी मरीज की उम्र, याददाश्त और चोट से पहले उनके चलने के तरीके का उपयोग करके उनकी रिकवरी (सुधार) की भविष्यवाणी करते हैं।

लेकिन यहाँ पेचीदा बात यह है कि एक मौसम पूर्वानुमान जो लंदन में पूरी तरह से काम करता है, वह टोक्यो में पूरी तरह से बेकार हो सकता है क्योंकि वहाँ हवा के पैटर्न अलग होते हैं। चिकित्सा के क्षेत्र में, एक अस्पताल में बनाया गया प्रेडिक्शन मॉडल दूसरे अस्पताल में विफल हो सकता है क्योंकि हर अस्पताल का अपना "व्यक्तित्व" होता है—अलग-अलग डॉक्टर, अलग-अलग रिहैब (पुनर्वास) रूटीन और सफलता को मापने के अलग-अलग तरीके। यह पेपर जनरलाइज़ेबिलिटी (सामान्यीकरण क्षमता) की दुनिया में उतरता है, जो कि एक फैंसी शब्द है जिसका अर्थ है यह पूछना कि, "क्या यह भविष्यवाणी उपकरण हर जगह काम करता है, या केवल उसी स्थान पर जहाँ इसका आविष्कार किया गया था?" यदि कोई मॉडल इस बात को लेकर बहुत ज्यादा चयनात्मक है कि उसका उपयोग कहाँ किया जाए, तो वह विभिन्न शहरों के लोगों की मदद नहीं कर सकता, जिससे यह उन लोगों के लिए कम उपयोगी हो जाता है जिन्हें इसकी सबसे अधिक आवश्यकता है।

---

बड़ी परीक्षा: क्या एक नक्शा सभी शहरों के लिए काम कर सकता है?

इस अध्ययन में, शोधकर्ताओं की एक टीम ने एक विशिष्ट प्रेडिक्शन मॉडल को अंतिम परीक्षा में डालने का निर्णय लिया। वे यह देखना चाहते थे कि क्या कूल्हे के फ्रैक्चर सर्जरी के बाद बुजुर्गों के फिर से चलने की क्षमता का अनुमान लगाने के लिए डिज़ाइन किया गया एक टूल जापान के 19 अलग-अलग अस्पतालों में काम करेगा। उन्होंने 2,548 मरीजों का डेटा एकत्र किया, जिनका कूल्हा टूटा था, जिनकी सर्जरी हुई थी, और जो दुर्घटना से पहले स्वतंत्र रूप से चल सकते थे।

परीक्षण को निष्पक्ष और कठिन बनाने के लिए, उन्होंने इंटरनल-एक्सटर्नल क्रॉस-वैलिडेशन (IECV) नामक एक चतुर पद्धति का उपयोग किया। कल्पना कीजिए कि आपके पास एक शहर का नक्शा है। आमतौर पर, आप पूरे शहर के डेटा का उपयोग करके नक्शा बनाते हैं और फिर देखते हैं कि क्या यह काम करता है। लेकिन इस टीम ने कुछ अलग किया: उन्होंने 18 अस्पतालों के डेटा से नक्शा बनाया, और फिर उसे 19वें अस्पताल पर टेस्ट किया। फिर उन्होंने इसे उलट दिया, 18 अलग-अलग अस्पतालों का उपयोग करके एक नया नक्शा बनाया और उस एक को छोड़ दिया जिस पर टेस्ट किया जाना था। उन्होंने यह बार-बार किया, यह बदलते हुए कि कौन सा अस्पताल "टेस्ट सब्जेक्ट" होगा। यह एक वीडियो गेम की रणनीति को गेम के हर लेवल पर टेस्ट करने जैसा है ताकि यह देखा जा सके कि क्या यह हर जगह काम करती है, न कि केवल पहले लेवल पर।

परिणाम: दो परिणामों की एक कहानी

शोधकर्ताओं ने कुछ दिलचस्प चीजें पाईं, लेकिन मुख्य कहानी थोड़ी "हाँ, लेकिन..." वाली है।

अच्छी खबर:
जब उन्होंने देखा कि मॉडल मरीजों के चलने और न चलने के बीच अंतर करने में कितना सक्षम था (एक स्कोर जिसे AUC कहा जाता है), तो इसने औसतन काफी अच्छा प्रदर्शन किया। औसत स्कोर 0.81 था। यदि 1.0 एक पूर्ण क्रिस्टल बॉल (जादुई गोला) है और 0.5 एक सिक्के के उछाल (हेड्स या टेल्स) जैसा है, तो 0.81 एक काफी मजबूत अनुमान है।

बुरी खबर (ट्विस्ट):
यहाँ कहानी जटिल हो जाती है। हालांकि औसत अनुमान अच्छा था, लेकिन विशिष्ट अस्पतालों पर लागू होने पर मॉडल बहुत ही अनिश्चित था। शोधकर्ताओं ने AUC के लिए एक 95% प्रेडिक्शन इंटरवल की गणना की, जो 0.62 से 0.92 के बीच था।

• इसका अर्थ है: कुछ अस्पतालों में, मॉडल एक शानदार भविष्यवक्ता (0.92) था। अन्य में, यह सिक्के उछालने से थोड़ा ही बेहतर (0.62) था।
• कैलिब्रेशन (अंशांकन): मॉडल को संख्याओं को सही करने में भी संघर्ष करना पड़ा। "कैलिब्रेशन स्लोप" (यह कि अनुमानित जोखिम वास्तविक जोखिम से कितनी अच्छी तरह मेल खाता है) बहुत अधिक भिन्न था, जिसकी रेंज 0.34 से 1.58 तक थी। "कैलिब्रेशन इंटरसेप्ट" (एक माप कि मॉडल बहुत आशावादी था या बहुत निराशावादी) की रेंज -1.56 से 1.77 तक थी।

चूंकि परिणाम अस्पताल-दर-अस्पताल इतने अलग थे, इसलिए शोधकर्ताओं ने निष्कर्ष निकाला कि मॉडल की जनरलाइज़ेबिलिटी (सामान्यीकरण क्षमता) सीमित है। दूसरे शब्दों में, आप इस प्रेडिक्शन टूल को बस किसी भी अस्पताल में ले जाकर इस्तेमाल नहीं कर सकते और उम्मीद नहीं कर सकते कि यह एक ही तरह से काम करेगा। "बिटवीन-हॉस्पिटल हेटेरोजेनिटी" (अस्पतालों के बीच का अंतर) बहुत अधिक था।

यह यात्रा करने में क्यों विफल रहा?

लेखकों ने केवल यह कहकर हाथ नहीं झाड़े कि "यह काम नहीं किया।" उन्होंने इसकी गहराई में जाकर जांच की कि क्यों। उन्होंने देखा कि हालांकि अलग-अलग अस्पतालों के मरीज कुछ हद तक समान थे, लेकिन टेस्ट का समय (टाइमिंग) अलग था।

• डिस्चार्ज की दुविधा: मॉडल यह अनुमान लगाने की कोशिश कर रहा था कि डिस्चार्ज के समय मरीज चल पाएगा या नहीं। लेकिन अस्पताल मरीजों को अलग-अलग समय पर डिस्चार्ज करते हैं!
  • अस्पताल A में, मरीज 40 दिनों तक रह सकते हैं। जब तक वे बाहर जाते हैं, तब तक उनके पास रिकवर होने के लिए बहुत समय होता है, इसलिए कई लोग चल पा रहे होते हैं।
  • अस्पताल B में, मरीज केवल 15 दिन ही रुक सकते हैं। वे पूरी तरह से ठीक होने से पहले ही बाहर निकल सकते हैं, इसलिए कम लोग चल पाते हैं।
• सेंसिटिविटी टेस्ट (संवेदनशीलता परीक्षण): यह साबित करने के लिए कि यही असली कारण था, शोधकर्ताओं ने एक "सेंसिटिविटी एनालिसिस" चलाया। उन्होंने एक अलग परिणाम देखा: सर्जरी के ठीक एक सप्ताह बाद चलने की क्षमता। चूंकि एक सप्ताह सभी के लिए एक ही समय है, इसलिए अस्पताल समान स्तर पर थे।
  • परिणाम: जब उन्होंने 1-वीक मार्क (एक सप्ताह के निशान) पर देखा, तो मॉडल बहुत अधिक सुसंगत हो गया! AUC के लिए प्रेडिक्शन इंटरवल सिमटकर 0.78–0.89 हो गया, और कैलिब्रेशन नंबर भी बहुत अधिक स्थिर हो गए।

इससे पता चलता है कि मॉडल मरीजों के मामले में "टूटा" हुआ नहीं था; वह केवल अस्पतालों के अलग-अलग शेड्यूल से भ्रमित हो गया था। यह एक धावक की गति का आकलन करने के लिए पूछने जैसा है, "आपने रुकने के समय कितनी दूर तक दौड़ लगाई?" यदि एक धावक 10 मिनट में रुकता है और दूसरा 30 मिनट में, तो आप उनकी तुलना निष्पक्ष रूप से नहीं कर सकते। लेकिन यदि आप पूछते हैं, "आपने ठीक 10 मिनट में कितनी दूर तक दौड़ लगाई?" तो तुलना निष्पक्ष हो जाती है।

निचोड़ (द बॉटम लाइन)

अध्ययन यह निष्कर्ष निकालता है कि हालांकि हमारे पास एक मॉडल है जो चलने की क्षमता की भविष्यवाणी कर सकता है, लेकिन जब लक्ष्य डिस्चार्ज के समय की स्थिति बताना होता है, तो यह मॉडल अलग-अलग अस्पतालों में अच्छी तरह से यात्रा (ट्रावेल) नहीं कर पाता। मरीजों के अस्पताल में रुकने की अवधि (और कब टेस्ट किया जाता है) की भिन्नता भविष्यवाणियों को बिगाड़ देती है।

लेखक सुझाव देते हैं कि इन उपकरणों को वास्तव में सभी के लिए उपयोगी बनाने के लिए, हमें शायद सफलता को "फिनिश लाइन" यानी डिस्चार्ज (जो हर किसी के लिए अलग है) पर मापने के बजाय, एक निश्चित समय बिंदु पर मापना शुरू करना होगा, जैसे कि सर्जरी के एक सप्ताह बाद। जब तक हम इन टाइमिंग संबंधी समस्याओं को ठीक नहीं करते, तब तक एक नए अस्पताल में मरीज के लिए भविष्य की भविष्यवाणी करने की मॉडल की क्षमता अनिश्चित बनी रहेगी। पेपर यह दावा नहीं करता कि मॉडल बेकार है, लेकिन यह चेतावनी देता है कि हम यह मान नहीं सकते कि यह बिना सावधानीपूर्वक समायोजन के हर जगह एक ही तरह से काम करेगा।