Quantifying the Optimism of Naive Cross-Validation for Binary Outcome Prediction with Repeated-Measures Predictors: A Simulation Study and Clinical Illustration
यह अध्ययन दर्शाता है कि बाइनरी परिणामों वाले रिपीटेड-मेज़र्स डेटा पर ऑब्जर्वेशन-लेवल क्रॉस-वैलिडेशन लागू करने से प्रेडिक्टिव परफॉरमेंस का काफी अधिक अनुमान लगता है, जबकि सब्जेक्ट-लेवल पार्टीशनिंग इस आशावाद के प्राथमिक स्रोत को प्रभावी ढंग से समाप्त कर देती है और कठोर लीव-वन-क्लस्टर-आउट वैलिडेशन के साथ निकटता से मेल खाती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
चिकित्सा अनुसंधान की दुनिया में, वैज्ञानिक अक्सर मॉडल बनाते हैं ताकि यह भविष्यवाणी की जा सके कि क्या किसी रोगी को कोई विशिष्ट स्थिति विकसित होगी, जैसे कि समय से पूर्व जन्मे शिशुओं में एक गंभीर नेत्र रोग। यह जानने के लिए कि ये मॉडल कितने अच्छे हैं, शोधकर्ता क्रॉस-वैलिडेशन नामक एक मानक परीक्षण पद्धति का उपयोग करते हैं। कल्पना कीजिए कि आपके पास कार्डों की एक गड्डी है जो रोगी के डेटा का प्रतिनिधित्व करती है, और आप यह देखना चाहते हैं कि क्या आपका मॉडल उस कार्ड का परिणाम अनुमान लगा सकता है जिसे उसने पहले कभी नहीं देखा है। इसे करने का सामान्य तरीका यह है कि आप कार्डों को फेंटते हैं, कुछ को प्रशिक्षण (training) के ढेर में डालते हैं ताकि मॉडल को सिखाया जा सके, और एक अलग परीक्षण (test) ढेर को उसके काम की जांच के लिए रोक कर रखते हैं। यह प्रक्रिया कई बार दोहराई जाती है, हर बार कार्डों को अलग तरह से फेंटकर, ताकि मॉडल के प्रदर्शन का एक विश्वसनीय औसत स्कोर प्राप्त किया जा सके। यह विधि तब पूरी तरह से काम करती है जब डेक का प्रत्येक कार्ड अद्वितीय और स्वतंत्र होता है, जैसे कि किसी अलग व्यक्ति का एक एकल स्नैपशॉट।
हालाँकि, कई आधुनिक चिकित्सा अध्ययन एकल स्नैपशॉट से नहीं निपटते हैं। इसके बजाय, वे एक ही व्यक्ति से समय के साथ डेटा के निरंतर प्रवाह को एकत्र करते हैं, जैसे कि अस्पताल में हफ्तों तक दर्ज किए गए दैनिक ऑक्सीजन स्तर। इन मामलों में, डेटा बिंदु स्वतंत्र नहीं होते हैं; एक ही बच्चे के मंगलवार के ऑक्सीजन स्तर का संबंध सोमवार के स्तर से बहुत गहरा होता है। जब शोधकर्ता इस प्रकार के डेटा पर मानक शफ़लिंग (shuffling) विधि लागू करते हैं, तो वे अक्सर एक सूक्ष्म लेकिन महत्वपूर्ण गलती करते हैं। वे उसी बच्चे के मंगलवार के डेटा का कुछ हिस्सा प्रशिक्षण ढेर में डाल सकते हैं और उसी बच्चे के बुधवार के डेटा को परीक्षण ढेर में रख सकते हैं। क्योंकि मॉडल ने मंगलवार का डेटा पहले ही देख लिया है, वह बुधवार के डेटा का आसानी से अनुमान लगा सकता है, इसलिए नहीं कि उसने बीमारी के बारे में कोई सामान्य नियम सीखा है, बल्कि इसलिए क्योंकि उसने उस विशिष्ट बच्चे के पैटर्न को याद कर लिया है। यह विश्वास का एक झूठा अहसास पैदा करता है, जिससे मॉडल वास्तव में जितना अच्छा है, उससे कहीं अधिक बेहतर दिखाई देता है।
बेयलर कॉलेज ऑफ मेडिसिन के एक शोधकर्ता, जोसेफ हेगन ने ठीक यह मापने के लिए प्रयास किया कि यह गलती चिकित्सा भविष्यवाणी मॉडलों के स्कोर को कितना बढ़ा देती है। उन्होंने एक सामान्य परिदृश्य पर ध्यान केंद्रित किया जो नवजात देखभाल में आम है: यह भविष्यवाणी करने के लिए दैनिक ऑक्सीजन माप का उपयोग करना कि क्या एक समय से पूर्व जन्मे शिशु को 'रेटिनोपैथी ऑफ प्रीमैचुरिटी' (समय से पूर्व जन्म के कारण होने वाली दृष्टि संबंधी समस्या) विकसित होगी। इसे करने के लिए, उन्होंने पहले 101 शिशुओं के वास्तविक डेटा का अध्ययन किया, उनके दैनिक ऑक्सीजन स्तर और बीमारी के विकास को ट्रैक किया। फिर उन्होंने एक कंप्यूटर सिमुलेशन बनाया जिसने हजारों नकली डेटासेट तैयार किए, जिसमें रोगियों की संख्या, दैनिक मापों के बीच संबंध की मजबूती और बीमारी की व्यापकता जैसे चरों (variables) को सावधानीपूर्वक नियंत्रित किया गया। इससे उन्हें "मानक" विधि (जो व्यक्तिगत दैनिक रिकॉर्ड को फेंटती है) की तुलना "सही" विधि (जो एक ही बच्चे के सभी डेटा को एक साथ रखती है, यह सुनिश्चित करते हुए कि मॉडल केवल उन बच्चों पर परीक्षण किया जाए जिन्हें उसने पहले कभी नहीं देखा है) से करने में मदद मिली।
परिणाम चौंकाने वाले थे। जब शोधकर्ताओं ने 101 शिशुओं के वास्तविक डेटा पर मानक विधि का उपयोग किया, तो मॉडल बीमार और स्वस्थ बच्चों के बीच अंतर करने में उच्च क्षमता वाला दिखाई दिया, जिसने 0.686 का स्कोर प्राप्त किया (एक ऐसे पैमाने पर जहाँ 0.5 का अर्थ है कि यह सिक्के के उछाल से बेहतर नहीं है)। हालाँकि, जब उन्होंने सही विधि का उपयोग किया जो रोगियों के समूह का सम्मान करती है, तो स्कोर गिरकर 0.608 हो गया। यह 0.078 अंकों का अंतर छोटा लग सकता है, लेकिन चिकित्सा भविष्यवाणी की दुनिया में, यह एक ऐसे मॉडल के बीच का अंतर है जो उपयोगी दिखता है और एक ऐसे मॉडल के बीच जो बहुत कम वास्तविक मूल्य प्रदान करता है। सिमुलेशन में, समस्या और भी नाटकीय थी। औसतन, मानक विधि ने मॉडल के प्रदर्शन को 0.213 अंक अधिक दिखाया। सबसे खराब स्थिति में, जहाँ अध्ययन में बहुत कम रोगी थे और दैनिक डेटा अत्यधिक अनुमानित था, मानक विधि ने 0.932 का स्कोर दावा किया, जो लगभग पूर्ण सटीकता का सुझाव देता है, जबकि नए रोगियों की भविष्यवाणी करने की मॉडल की वास्तविक क्षमता केवल 0.569 थी, जो संयोग से थोड़ा ही बेहतर है।
अध्ययन ने यह भी खुलासा किया कि यह अतिरंजित प्रदर्शन एक भ्रामक बोनस के साथ आता है: मानक विधि परिणामों को अविश्वसनीय रूप से सटीक दिखाती है। क्योंकि मॉडल अनिवार्य रूप से प्रशिक्षण और परीक्षण दोनों चरणों में एक ही रोगी के हिस्सों का उपयोग कर रहा है, विभिन्न परीक्षण दौरों के स्कोर लगभग समान होते हैं, जिससे परिणामों की एक संकीकृत, तंग सीमा बनती है जो बहुत स्थिर दिखती है। वास्तव में, यह स्थिरता एक भ्रम है। जब शोधकर्ताओं ने सही विधि का उपयोग किया, तो स्कोर बहुत अधिक भिन्न थे, जो मॉडल के प्रदर्शन की वास्तविक अनिश्चितता को दर्शाते हैं। यह "परिशुद्धता का भ्रम" (precision illusion) खतरनाक है क्योंकि यह शोधकर्ताओं को विश्वास दिलाता है कि उनका मॉडल मजबूत है, जबकि वास्तव में वह नाजुक और पक्षपाती है।
हेगन के काम ने इस त्रुटि के दो अलग-अलग स्रोतों की पहचान की। पहला एक "लीकेज" (leakage) घटक है, जो सीधे तौर पर इस कारण से होता है क्योंकि मॉडल प्रशिक्षण और परीक्षण सेटों में एक ही रोगी के हिस्सों को देख रहा है। यह लीकेज तब बड़ा हो जाता है जब रोगी एक-दूसरे के समान होते हैं और जब उनके दैनिक माप अत्यधिक सह-संबंधित होते हैं। दूसरा घटक एक छोटा, अपरिहार्य अंतर है जो तब भी मौजूद रहता है जब परीक्षण सही ढंग से किया जाता है, केवल इसलिए क्योंकि अध्ययन में बीमारी की जटिलता को पूरी तरह से पकड़ने के लिए पर्याप्त रोगी नहीं थे। जबकि सही परीक्षण विधि लीकेज को पूरी तरह से समाप्त कर देती है, यह छोटे नमूना आकार (sample size) के कारण होने वाले अंतर को नहीं हटा सकती है। हालाँकि, अध्ययन ने पुष्टि की कि सही विधि, जो एक रोगी के सभी डेटा को एक साथ रखती है, अनुमानित प्रदर्शन को वास्तविक प्रदर्शन के बहुत करीब ले आती है, विशेष रूप से जैसे-जैसे रोगियों की संख्या बढ़ती है।
यह शोध निष्कर्ष निकालता है कि किसी भी अध्ययन के लिए जिसमें व्यक्तियों के बार-बार माप शामिल हैं, डेटा को विभाजित करने का मानक तरीका मौलिक रूप से त्रुटिपूर्ण है। समाधान कोई नया, जटिल एल्गोरिदम बनाना नहीं है, बल्कि केवल डेटा को विभाजित करने के तरीके को बदलना है। शोधकर्ताओं को प्रत्येक रोगी के साथ एक एकल इकाई के रूप में व्यवहार करना चाहिए, यह सुनिश्चित करते हुए कि यदि किसी रोगी के डेटा के एक दिन का उपयोग प्रशिक्षण के लिए किया जाता है, तो उसी रोगी के किसी अन्य दिन का डेटा कभी भी परीक्षण सेट में नहीं आना चाहिए। यह दृष्टिकोण, जिसे 'सब्जेक्ट-लेवल पार्टीशनिंग' (subject-level partitioning) कहा जाता है, ईमानदार परिणाम प्राप्त करने के लिए आवश्यक है। इसके बिना, निरंतर निगरानी डेटा पर बने चिकित्सा मॉडल ऐसे प्रतीत हो सकते हैं जैसे वे बड़ी सफलताएँ हैं, जबकि वे वास्तव में केवल अतीत को याद कर रहे होते हैं, जिससे भविष्य के रोगियों की मदद करने की उनकी क्षमता के बारे में गलत निष्कर्ष निकल सकते हैं। यह अध्ययन एक स्पष्ट चेतावनी है कि निरंतर स्वास्थ्य निगरानी के युग में, हमें अपनी भविष्यवाणियों का परीक्षण करने के तरीके को अपने डेटा संग्रह के तरीके के अनुरूप विकसित करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।