The declared winner of a clinical prediction model comparison is often decided by the random split: a simulation study
यह सिमुलेशन अध्ययन यह प्रदर्शित करता है कि क्लिनिकल प्रेडिक्शन मॉडल तुलनाओं में विशिष्ट छोटे प्रभाव आकारों (effect sizes) पर, घोषित "विजेता" अक्सर वास्तविक मॉडल श्रेष्ठता के बजाय यादृच्छिक डेटा विभाजन (random data splitting) द्वारा निर्धारित होता है, जिससे प्रदर्शन मार्जिन में अत्यधिक वृद्धि होती है और एक ही डेटा का उपयोग करने वाले विश्लेषकों के बीच महत्वपूर्ण असहमति उत्पन्न होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
चिकित्सा अनुसंधान की दुनिया में, वैज्ञानिक लगातार ऐसे नए उपकरण बनाते हैं जो यह भविष्यवाणी कर सकें कि किसे बीमारी होगी और कौन स्वस्थ रहेगा। ये उपकरण, जिन्हें क्लिनिकल प्रेडिक्शन मॉडल (नैदानिक भविष्यवाणी मॉडल) कहा जाता है, मानव शरीर के लिए एक परिष्कृत मौसम पूर्वानुमान की तरह होते हैं, जो भविष्य की घटना की संभावना का अनुमान लगाने के लिए रोगी के डेटा का उपयोग करते हैं। यह तय करने के लिए कि कौन सा उपकरण सबसे अच्छा है, शोधकर्ता आमतौर पर उन्हें परीक्षण डेटा के एक सेट पर एक-दूसरे के विरुद्ध खड़ा करते हैं। वे एक ऐसा स्कोर निकालते हैं जो यह मापता है कि उपकरण कितनी बार भविष्यवाणी को सही करता है, और जिस मॉडल का स्कोर अधिक होता है उसे विजेता घोषित कर दिया जाता है। यह प्रक्रिया इस क्षेत्र को आगे बढ़ाने का मानक तरीका है, जहाँ नए अध्ययन अक्सर यह घोषणा करते हैं कि एक नया मशीन लर्निंग एल्गोरिदम एक पुराने, सरल तरीके को हरा चुका है। हालाँकि, इन उपकरणों के बीच का अंतर अक्सर अविश्वसनीय रूप से कम होता है, कभी-कभी केवल एक प्रतिशत के बहुत छोटे हिस्से के बराबर। जब दो मॉडलों के बीच का अंतर इतना कम होता है, तो सवाल उठता है कि: क्या घोषित विजेता वास्तव में बेहतर है, या वह केवल उस विशिष्ट रोगियों के समूह के कारण भाग्यशाली रहा जिस पर उसका परीक्षण किया गया था?
अनन्या शर्मा द्वारा किया गया एक हालिया सिमुलेशन अध्ययन इसी अनिश्चितता की जांच करता है। इस शोध में वास्तविक रोगियों या नए चिकित्सा डेटा का उपयोग नहीं किया गया है; इसके बजाय, यह हजारों नकली परिदृश्यों को उत्पन्न करने के लिए एक कंप्यूटर का उपयोग करता है जहाँ दो भविष्यवाणी मॉडलों की तुलना की जाती है। लक्ष्य यह देखना था कि मॉडल जो प्रतियोगिता जीतता है, वह वास्तव में कितना श्रेष्ठ है, और कितनी बार परिणाम केवल उस रैंडम (यादृच्छिक) तरीके का परिणाम था जिससे डेटा को विभाजित किया गया था। इन सिमुलेशन में, शोधकर्ताओं ने दो ऐसे मॉडल बनाए जो परिणामों की भविष्यवाणी करने की अपनी वास्तविक क्षमता में लगभग समान थे। फिर उन्होंने हजारों तुलनाएँ कीं, परीक्षण समूहों के आकार और डेटा के विशिष्ट रैंडम विभाजन को बदला, यह देखने के लिए कि "विजेता" कितनी बार बदलता है या रिपोर्ट किया गया लाभ कितना बढ़ा-चढ़ाकर बताया गया है।
निष्कर्ष वर्तमान में इन तुलनाओं को आयोजित करने के तरीके में अस्थिरता के एक चौंकाने वाले स्तर को प्रकट करते हैं। जब दो मॉडलों के बीच का वास्तविक अंतर बहुत कम होता है, जो वास्तविक दुनिया के चिकित्सा अध्ययनों में एक सामान्य मामला है, तो घोषित विजेता अक्सर केवल संयोग का परिणाम होता है। एक परिदृश्य में जहाँ मॉडल कौशल में लगभग समान थे, दो अलग-अलग शोधकर्ता बिल्कुल एक ही डेटा का विश्लेषण कर रहे थे लेकिन अलग-अलग रैंडम विभाजन का उपयोग कर रहे थे, और उन्होंने लगभग आधी बार अलग-अलग विजेताओं की घोषणा की। यहाँ तक कि जब एक मॉडल वास्तव में थोड़ा बेहतर था, तब भी एक छोटा परीक्षण समूह होने के कारण, "बेहतर" मॉडल की पहचान केवल दो-तिहाई बार ही सही ढंग से की जा सकी। इसका अर्थ यह है कि प्रकाशित अध्ययनों की एक महत्वपूर्ण संख्या में, यह निष्कर्ष कि एक उपकरण दूसरे से बेहतर है, गलत हो सकता है, क्योंकि परीक्षण सेट के लिए चुने गए विशिष्ट रोगी संयोगवश एक मॉडल के पक्ष में रहे होंगे।
एक अन्य प्रमुख खोज जीत के अंतर (वर्चस्व मार्जिन) से संबंधित है। जब कोई मॉडल जीतता है, तो अध्ययन में पाया गया कि रिपोर्ट किया गया प्रदर्शन अंतर लगभग हमेशा बढ़ा-चढ़ाकर बताया जाता है, जिससे अंतर वास्तविक मूल्य से कहीं अधिक बड़ा दिखाई देता है। उदाहरण के लिए, यदि दो मॉडलों के बीच वास्तविक अंतर बहुत कम था, तो जीतने वाला मॉडल अक्सर वास्तविक मूल्य से दोगुने से अधिक का अंतर रिपोर्ट करेगा। ऐसा इसलिए होता है क्योंकि विजेता चुनने की प्रक्रिया स्वाभाविक रूप से उस मॉडल का चयन करती है जिसे उस विशिष्ट परीक्षण में सबसे अनुकूल रैंडम शोर (नॉइज़) मिला। यह सिक्का उछालने जैसा है: यदि आप दस बार सिक्का उछालते हैं और छह बार 'हेड्स' आता है, तो आप दावा कर सकते हैं कि सिक्का पक्षपाती है, लेकिन परिणाम केवल एक रैंडम उतार-चढ़ाव है। इन मेडिकल मॉडलों के संदर्भ में, "विजेता का अभिशाप" (विनर्स कर्स) का अर्थ है कि रिपोर्ट की गई सफलता वास्तविक कौशल और सांख्यिकीय भाग्य के एक बड़े हिस्से का मिश्रण है, जिससे शोधकर्ताओं को यह विश्वास होता है कि उन्होंने एक बड़ी सफलता खोज ली है जबकि उन्होंने वास्तव में केवल एक रैंडम स्पाइक (अचानक उछाल) खोजा होता है।
अध्ययन ने यह भी जांचा कि क्या समस्या मॉडलों के निर्माण में है या डेटा के परीक्षण में। मॉडलों को स्थिर रखते हुए और केवल परीक्षण समूह को बदलते हुए, और प्रत्येक नए विभाजन पर मॉडलों को पुनः प्रशिक्षित करके, शोधकर्ताओं ने पाया कि अस्थिरता लगभग पूरी तरह से परीक्षण समूह से आती है। यह सुझाव देता है कि मॉडलों को अधिक जटिल या स्थिर बनाने से समस्या हल नहीं होगी; मुद्दा यह है कि कई अध्ययनों में उपयोग किए जाने वाले परीक्षण समूह प्रदर्शन के बीच अंतर करने के लिए बहुत छोटे हैं। जब परीक्षण समूह छोटा होता है, तो डेटा का रैंडम शोर वास्तविक अंतर के सूक्ष्म संकेत को दबा देता है।
अंततः, यह शोध सुझाव देता है कि एक एकल परीक्षण रन के आधार पर एक विजेता घोषित करने की वर्तमान आदत अक्सर भ्रामक होती है। अध्ययन अनुशंसा करता है कि शोधकर्ता एक एकल तुलना को अंतिम निर्णय मानने के बजाय, अंतर के आसपास अनिश्चितता की सीमा (रेंज) की रिपोर्ट करें और, सबसे महत्वपूर्ण बात यह है कि, विभिन्न रैंडम विभाजनों के साथ परीक्षण को कई बार दोहराएं ताकि यह देखा जा सके कि मॉडल कितनी बार जीतता है। यदि एक मॉडल कई दोहरावों में आधे से थोड़ा अधिक समय जीतता है, तो ईमानदार निष्कर्ष यह है कि दोनों मॉडल वर्तमान डेटा के साथ एक समान हैं। जब तक परीक्षण समूह इस यादृच्छिकता (रैंडमनेस) को पार करने के लिए पर्याप्त बड़े नहीं हो जाते, या जब तक अध्ययन इन अधिक कठोर रिपोर्टिंग विधियों को नहीं अपनाते, तब तक क्लिनिकल प्रेडिक्शन प्रतियोगिताओं के "विजेता" चिकित्सा सत्य के बजाय पासे के खेल (डाइस रोल) का प्रतिबिंब अधिक होंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।