Dataset-structured evidence synthesis for machine-learning prediction models: a methodological framework and worked example
यह शोध पत्र एक डेटासेट-संरचित ढांचे का प्रस्ताव और प्रदर्शन करता है जो मशीन-लर्निंग प्रेडिक्शन मॉडल साक्ष्य को संश्लेषित करने के लिए है, जो साक्ष्य इकाइयों को प्रकाशनों से बदलकर सत्यापन अभ्यासों (validation exercises) के रूप में पुनर्परिभाषित करता है, जिससे पारंपरिक पूलिंग विधियों से उत्पन्न स्वतंत्रता और प्रदर्शन के गलत निरूपणों को सुधारा जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक अस्पतालों में, डॉक्टर भविष्य में मरीज के साथ क्या हो सकता है, इसका पूर्वानुमान लगाने के लिए तेजी से कंप्यूटर प्रोग्रामों पर निर्भर होते जा रहे हैं। ये प्रोग्राम, जिन्हें अक्सर मशीन-लर्निंग मॉडल कहा जाता है, पिछले चिकित्सा रिकॉर्ड के विशाल डेटा पर प्रशिक्षित किए जाते हैं ताकि उन पैटर्नों को पहचाना जा सके जो यह संकेत देते हैं कि किसी मरीज को गंभीर संक्रमण हो सकता है, उसे एक विशिष्ट उपचार की आवश्यकता हो सकती है, या उसे किसी जटिलता का सामना करना पड़ सकता है। इसका लक्ष्य अनुमान लगाने से हटकर 'जानने' की ओर बढ़ना है, ताकि जीवन-मरण के निर्णयों के लिए डेटा का उपयोग किया जा सके। इन उपकरणों पर भरोसा करने के लिए, चिकित्सा समुदाय उनके बारे में उपलब्ध हर अध्ययन को एकत्र करता है और उनके परिणामों को संयोजित करने का प्रयास करता है, ठीक वैसे ही जैसे एक जूरी किसी फैसले पर पहुँचने के लिए गवाहों के बयानों को तौलता है। यह प्रक्रिया, जिसे 'सिस्टमैटिक रिव्यू' (व्यवस्थित समीक्षा) कहा जाता है, आमतौर पर यह गिनती करती है कि कितने शोध पत्र मौजूद हैं और उनमें रिपोर्ट की गई सफलता की दरों का औसत निकालती है। यदि दस अलग-अलग अध्ययन कहते हैं कि एक मॉडल अच्छी तरह काम करता है, तो निष्कर्ष अक्सर यह निकाला जाता है कि मॉडल उपयोग के लिए तैयार है। हालाँकि, इस पारंपरिक गिनती पद्धति में एक छिपा हुआ दोष है: यह मान लेती है कि प्रत्येक शोध पत्र एक पूरी तरह से नया और स्वतंत्र परीक्षण है। वास्तव में, कई अध्ययन मरीज के डेटा के बिल्कुल एक ही समूह का उपयोग करते हैं, या वे एक ही समूह के लोगों पर एक ही मॉडल के विभिन्न संस्करणों का परीक्षण करते हैं। जब इन ओवरलैपिंग (एक दूसरे से जुड़े) परीक्षणों को अलग-अलग साक्ष्य के रूप में गिना जाता है, तो एक मॉडल वास्तव में कितनी अच्छी तरह काम करता है, इसका चित्र विकृत हो सकता है, जिससे वह उपकरण वास्तव में जितना विश्वसनीय है, उससे कहीं अधिक विश्वसनीय दिखाई देने लगता है।
शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए साक्ष्यों को देखने के तरीके को बदलकर एक समाधान प्रस्तावित किया। शोध पत्रों को गिनने के बजाय, उन्होंने वास्तविक प्रयोगों और उनके पीछे मौजूद मरीजों के विशिष्ट समूहों को गिनने का प्रस्ताव दिया। उन्होंने एक नया ढांचा विकसित किया जो "वैलिडेशन एक्सरसाइज" (सत्यापन अभ्यास)—अर्थात, एक विशिष्ट डेटा सेट पर एक विशिष्ट मॉडल के परीक्षण के क्षण—को साक्ष्य की वास्तविक इकाई मानता है। यह देखने के लिए कि क्या यह दृष्टिकोण काम करता है, उन्होंने इसे एक वास्तविक उदाहरण पर लागू किया: वेंटिलेटर-एसोसिएटेड निमोनिया (सांस की मशीन पर रखे मरीजों में होने वाला खतरनाक फेफड़ों का संक्रमण) की भविष्यवाणी करने के लिए डिज़ाइन किए गए अध्येशनों का एक संग्रह। शोधकर्ताओं ने एक प्रकाशित समीक्षा ली जिसने दावा किया था कि उसने दस अलग-अलग अध्ययन खोजे हैं, और उन्होंने साक्ष्य को बुनियादी स्तर से फिर से निर्मित करना शुरू किया। उन्होंने शीर्षकों और सारांशों से आगे बढ़कर अंतर्निहित डेटा स्रोतों, मरीजों के विशिष्ट समूहों और परीक्षणों की सटीक प्रकृति की पहचान की।
उन्होंने पाया कि यह कहानी मूल शोध पत्र द्वारा बताई गई कहानी से बहुत अलग थी। जहाँ पारंपरिक समीक्षा ने दस रिपोर्टों को सूचीबद्ध किया, वहीं नए विस्तृत पुनर्निर्माण ने खुलासा किया कि ये रिपोर्टें केवल सात अद्वितीय रोगी समूहों पर आधारित थीं। इससे भी महत्वपूर्ण बात यह है कि शोधकर्ताओं ने पाया कि 'MIMIC-III' नामक एक सार्वजनिक डेटाबेस का उपयोग उन चार रिपोर्टों में किया गया था। पुराने गिनती के तरीके में, ये चार रिपोर्टें चार अलग-अलग अस्पतालों में चार अलग-अलग परीक्षणों की तरह दिखती थीं। नए दृष्टिकोण में, उन्हें एक ही अंतर्निहित डेटासेट के चार अलग-अलग विश्लेषणों के रूप में पहचाना गया। शोधकर्ताओं ने यह भी पाया कि कई अध्ययन वास्तव में स्वतंत्र नहीं थे; कुछ ने एक ही मरीजों पर कई एल्गोरिदम का परीक्षण किया, जबकि अन्य ने एक ही मॉडल का उपयोग करके अलग-अलग समय अंतराल के परिणाम बताए। जब उन्होंने इन आश्रित परिणामों को अलग किया, तो वास्तव में स्वतंत्र परीक्षणों की संख्या काफी कम हो गई। वास्तव में, एक नए वातावरण में वास्तविक परीक्षण को परिभाषित करने के लिए सख्त नियमों को लागू करने के बाद, उन्होंने पाया कि पूरे संग्रह में एक भी अध्ययन पूर्ण 'एक्सटर्नल वैलिडेशन' (बाहरी सत्यापन) के मानक को पूरा नहीं करता था। इसका अर्थ यह है कि किसी भी मॉडल को पूरी तरह से अलग अस्पताल या चिकित्सा रिकॉर्ड के अलग सेट में विश्वसनीय रूप से काम करने के लिए सिद्ध नहीं किया गया था।
इस बदलाव के निहितार्थ अत्यंत गहरे हैं। मूल समीक्षा ने सुझाव दिया था कि मॉडलों की सटीकता उच्च है और वे नैदानिक उपयोग के लिए तैयार हैं। हालाँकि, नए विश्लेषण ने दिखाया कि हालांकि मॉडल उस डेटा पर परीक्षण करते समय अच्छा प्रदर्शन करते थे जिस पर उन्हें प्रशिक्षित किया गया था, लेकिन नए, वास्तविक दुनिया के परिवेश में काम करने की उनकी क्षमता अभी भी अपुष्ट है। शोधकर्ताओं ने यह भी नोट किया कि अध्ययन मुख्य रूप से बीमार और स्वस्थ मरीजों के बीच अंतर करने की मॉडल की क्षमता, जिसे 'डिस्क्रिमिनेशन' (भेदभाव/विभेदन) कहा जाता है, पर केंद्रित थे। उन्हें 'कैलिब्रेशन' (अंशांकन) के संबंध में लगभग कोई साक्ष्य नहीं मिला, जो कि किसी घटना की सटीक संभावना बताने की क्षमता है—जो डॉक्टरों के लिए उपचार संबंधी निर्णय लेने हेतु एक महत्वपूर्ण कारक है। इस जानकारी के बिना, एक मॉडल सही ढंग से पहचान कर सकता है कि मरीज जोखिम में है, लेकिन वह डॉक्टर को यह बताने में विफल हो सकता है कि जोखिम वास्तव में कितना अधिक है। टीम ने निष्कर्ष निकाला कि निमोनिया भविष्यवाणी उपकरणों का साक्ष्य आधार पहले की तुलना में बहुत छोटा और कम परिपक्व है। मॉडल आशाजनक दिखते हैं, लेकिन उन्हें व्यापक नैदानिक तैनाती के लिए भरोसेमंद बनाने के लिए पर्याप्त रूप से परखा नहीं गया है।
यह कार्य यह सुझाव नहीं देता है कि चिकित्सा में मशीन लर्निंग विफल हो रही है; बल्कि, यह तर्क देता है कि हमें सफलता को मापने के बारे में अधिक सावधान रहना चाहिए। शोध पत्रों के बजाय डेटासेट और प्रयोगों को गिनकर, शोधकर्ता एक ही डेटा के पुन: उपयोग से उत्पन्न होने वाले प्रगति के भ्रम से बच सकते हैं। यह अध्ययन दर्शाता है कि एक एकल सम्मिलित संख्या, जो यह सुझाव दे सकती है कि एक मॉडल अत्यधिक प्रभावी है, भ्रामक हो सकती है जब इसमें एक ही रोगियों और एक ही डेटा स्रोतों के परिणाम मिश्रित हों। आगे का मार्ग ऐसे समीक्षाओं की मांग करता है जो आंतरिक परीक्षणों और वास्तविक बाहरी सत्यापन के बीच अंतर करें, और जो किसी उपकरण को बेडसाइड (मरीज के पास) उपयोग के लिए तैयार घोषित करने से पहले 'कैलिब्रेशन' के साक्ष्य की मांग करें। जब तक ये मानक पूरे नहीं हो जाते, चिकित्सा समुदाय को इन भविष्यवाणी मॉडलों को संभावित उपकरणों के रूप में देखना चाहिए, न कि सिद्ध समाधानों के रूप में। शोधकर्ताओं ने अन्य वैज्ञानिकों के लिए एक स्पष्ट, व्यावहारिक तरीका प्रदान किया है जिसे वे अपने स्वयं के क्षेत्रों में इसी तरह की कठोर जांच के लिए लागू कर सकें, जिससे यह सुनिश्चित हो सके कि चिकित्सा भविष्यवाणी का भविष्य ठोस, स्वतंत्र साक्ष्य पर आधारित है, न कि एक ही कहानी की बार-बार गिनती पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।