When does validation design change the answer? A simulation study and two empirical applications in clustered longitudinal health data
यह अध्ययन प्रदर्शित करता है कि जबकि रो-लेवल वैलिडेशन लीकेज के लिए क्लस्टर-के-भीतर सहसंबंध (within-cluster correlation) आवश्यक है, वास्तविक दुनिया के डेटा में क्लस्टर का आकार एक बाध्यकारी बाधा (binding constraint) के रूप में कार्य करता है, जो यह सुझाव देता है कि शोधकर्ताओं को टेम्पोरल वैलिडेशन (temporal validation) को प्राथमिकता देनी चाहिए और यह निर्धारित करने के लिए प्री-मॉडलिंग डायग्नोस्टिक्स का उपयोग करना चाहिए कि सख्त वैलिडेशन डिज़ाइन वास्तव में कब आवश्यक हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
चिकित्सा भविष्यवाणी की दुनिया में, वैज्ञानिक कंप्यूटर मॉडल बनाते हैं ताकि वे यह अनुमान लगा सकें कि आगे क्या हो सकता है: क्या कोई मरीज दोबारा अस्पताल वापस आएगा, या किसी नए रोग का प्रकोप फैलेगा? यह जानने के लिए कि ये अनुमान कितने सटीक हैं, शोधकर्ताओं को उनका परीक्षण करना होता है। इसे करने का मानक तरीका डेटा के एक ढेर को दो ढेरों में विभाजित करना है: एक मॉडल को सिखाने के लिए, और दूसरा उसका परीक्षण करने के लिए। लेकिन वास्तविक दुनिया का स्वास्थ्य डेटा अव्यवस्थित होता है। यह अक्सर क्लस्टर्ड (समूहीकृत) होता है, जिसका अर्थ है कि कई रिकॉर्ड एक ही स्रोत से आते हैं, जैसे कि एक ही मरीज के कई दौरे या एक ही बीमारी की घटना की कई रिपोर्ट। यदि मॉडल शिक्षण वाले ढेर और परीक्षण वाले ढेर दोनों में एक ही मरीज को देखता है, तो वह ओवरफिटिंग (overfitting) कर सकता है। वह बीमारी को नहीं सीखता; वह बस उस मरीज को याद कर लेता है। यह विश्वास का एक झूठा अहसास देता है, जिससे मॉडल बहुत शानदार दिखने लगता है जबकि वास्तव में वह केवल परिचित चेहरों को पहचानने में अच्छा होता है। वर्षों से, नियम यह रहा है कि परीक्षण के दौरान इन समूहों को हमेशा अलग रखा जाए, चाहे कुछ भी हो।
एक नया अध्ययन इस कठोर नियम को चुनौती देता है। दक्षिण कोरिया के रक्षा मंत्रालय और सियोल नेशनल यूनिवर्सिटी के शोधकर्ताओं ने एक सरल लेकिन महत्वपूर्ण प्रश्न पूछा: क्या यह पृथक्करण का नियम वास्तव में हर एक डेटासेट के लिए मायने रखता है, या हम कुछ मामलों में व्यर्थ प्रयास कर रहे हैं? वे यह जानना चाहते थे कि डेटा को विभाजित करने का चुनाव वास्तव में कब अंतिम उत्तर को बदल देता है, और कितना बदल देता है। उन्होंने दो बहुत अलग वास्तविक स्थितियों को देखा: वैश्विक रोग प्रकोप रिपोर्टों का एक विशाल संग्रह और मधुमेह रोगियों के अस्पताल के रिकॉर्ड का एक बड़ा संग्रह। नियंत्रित सिमुलेशन चलाकर और फिर इन वास्तविक अभिलेखों पर अपने परीक्षण लागू करके, उन्होंने पाया कि पुराना नियम हमेशा आवश्यक नहीं है। वास्तव में, जिन दो डेटासेट्स का उन्होंने परीक्षण किया, उनके लिए सख्त अलगाव से अंतिम स्कोर पर लगभग कोई फर्क नहीं पड़ा। उन्होंने पाया कि असली खतरा क्लस्टरिंग (समूहीकरण) नहीं था, बल्कि समय का बीतना था।
टीम ने समस्या की कार्यप्रणाली को समझने के लिए कंप्यूटर पर हजारों नकली डेटासेट बनाना शुरू किया। वे तीन विशिष्ट घटकों को कम या ज्यादा कर सकते थे: एक समूह के भीतर विशेषताओं (features) के बीच कितनी समानता थी, एक समूह के लिए परिणाम (outcome) कितना समान था, और खेल के नियम समय के साथ कितने बदले। उन्होंने पाया कि जब डेटा स्थिर था और समूह छोटे थे, तो ओवरफिटिंग न्यूनतम थी। लेकिन जब समूह बड़े थे और समूह के सभी लोगों के लिए परिणाम एक जैसा था, तो ओवरफिटिंग गंभीर हो गई, जिससे मॉडल का स्कोर बीस अंकों से अधिक बढ़ गया। हालांकि, उन्होंने एक चौथा, अक्सर अनदेखा किया जाने वाला कारक भी पाया: समूह का आकार। भले ही एक समूह के भीतर का डेटा पूरी तरह से समान हो, यदि समूह में केवल एक या दो प्रविष्टियाँ थीं, तो मॉडल के पास ओवरफिट होने के लिए कुछ भी नहीं था।
इस समझ के साथ, शोधकर्ताओं ने अपना पहला वास्तविक परीक्षण किया: विश्व स्वास्थ्य संगठन (WHO) की रोग प्रकोप रिपोर्टों का चौबीस साल का संग्रह। इस डेटासेट में, एक एकल रिपोर्ट विभिन्न देशों के लिए डेटा की कई पंक्तियाँ उत्पन्न कर सकती है। शोधकर्ता एक मॉडल का परीक्षण कर रहे थे कि क्या कोई रिपोर्ट खतरनाक जैविक एजेंटों की एक विशिष्ट श्रेणी का उल्लेख करती है। यहाँ डेटा सैद्धांतिक रूप से ओवरफिटिंग के लिए आदर्श था: प्रत्येक रिपोर्ट के लिए परिणाम समान था, और विशेषताएँ अत्यधिक सह-संबंधित (correlated) थीं। पुराने नियमों के अनुसार, यह एक मानक परीक्षण के लिए आपदा होना चाहिए था। फिर भी, जब उन्होंने गणना की, तो एक मानक परीक्षण और एक सख्त परीक्षण के बीच का अंतर बहुत कम था, एक प्रतिशत से भी कम। इसका कारण सरल था: संग्रह में अधिकांश रिपोर्ट एकल प्रविष्टियाँ थीं। सूचना लीक करने के लिए कोई दोहराई गई पंक्तियाँ नहीं थीं। मॉडल के पास समूह को याद करने का कोई मौका नहीं था क्योंकि समूह लगभग हमेशा अकेले थे।
इसके बाद उन्होंने दूसरा डेटासेट टेस्ट किया, इस बार मधुमेह रोगियों के अस्पताल में पुनः भर्ती होने के मामले देखे गए। यहाँ, प्राकृतिक समूह व्यक्तिगत मरीज थे, जो कई बार भर्ती हुए थे। इस मामले में, एक ही मरीज के लिए विशेषताएँ कुछ हद तक समान थीं, लेकिन परिणाम नहीं थे। क्या एक मरीज एक महीने बाद दोबारा भर्ती हुआ या नहीं, इससे यह भविष्यवाणी नहीं होती थी कि वह अगली बार कब भर्ती होगा। यह डेटासेट स्पेक्ट्रम के दूसरे छोर पर था: समूह दोहराए गए थे, लेकिन परिणाम साझा नहीं किए गए थे। फिर से, सख्त अलगाव के नियम ने अंतिम स्कोर पर लगभग कोई प्रभाव नहीं डाला। मॉडल ओवरफिट नहीं हो सका क्योंकि मरीज को जानना उसे परिणाम का अनुमान लगाने में मदद नहीं करता था।
सबसे चौंकाने वाला निष्कर्ष तब आया जब शोधकर्ताओं ने समय को देखा। रोग प्रकोप संग्रह में, उन्होंने अतीत के डेटा बनाम भविष्य के डेटा पर मॉडल के प्रदर्शन की तुलना की। जबकि समूहों के सख्त अलगाव ने स्कोर को बहुत कम बदला, डेटा को समय के आधार पर अलग करने से सब कुछ बदल गया। एक मॉडल जो आंतरिक परीक्षणों पर उत्कृष्ट दिख रहा था, बाद की अवधि के डेटा पर परीक्षण किए जाने पर नाटकीय रूप रूप से गिर गया। स्कोर 0.96 के उच्च स्तर से गिरकर 0.62 के निम्न स्तर पर आ गया, एक विशाल अंतर जिसने खुलासा किया कि मॉडल भविष्य के बदलावों के अनुकूल होने में विफल रहा। शोधकर्ताओं ने पाया कि समूहों को अलग करने की विफलता की तुलना में, समय के बदलाव (drift) ने मॉडल की विश्वसनीयता को चालीस गुना अधिक नुकसान पहुँचाया।
अध्ययन यह निष्कर्ष निकालता है कि सख्त समूह पृथक्करण का स्वचालित, अंधाधुंध अनुप्रयोग हमेशा सही कदम नहीं है। यह एक ऐसा उपकरण है जिसका उपयोग केवल तभी किया जाना चाहिए जब तीन विशिष्ट स्थितियाँ पूरी हों: डेटा में समूहों के भीतर दोहराई गई प्रविष्टियाँ होनी चाहिए, विशेषताओं में समूह की पहचान होनी चाहिए, और परिणाम उस समूह के भीतर साझा किया जाना चाहिए। यदि इनमें से कोई भी गायब है, तो समूहों को अलग करने का प्रयास बहुत कम लाभ देता है। इसके बजाय, शोधकर्ता 'टेम्पोरल वैलिडेशन' (समय-आधारित सत्यापन) पर ध्यान केंद्रित करने का तर्क देते हैं। जब डेटा एक बदलती दुनिया से आता है, तो सबसे महत्वपूर्ण परीक्षण यह देखना है कि क्या मॉडल भविष्य के डेटा पर काम करता है, न कि केवल पिछले डेटा पर जो कि केवल शफल (shuffle) किया गया है। एक मॉडल बनाने से पहले समूहों के आकार और परिणामों की निरंतरता की जाँच करके, वैज्ञानिक यह तय कर सकते हैं कि उन्हें समूहों को अलग करने में अपनी ऊर्जा लगानी चाहिए या समय के परीक्षण में। अध्ययन किए गए दो मामलों में, उत्तर स्पष्ट था: समय का परीक्षण महत्वपूर्ण था, और समूह का परीक्षण नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।