CHARMS and PROBAST+AI: an updated template for Data Extraction and Risk of Bias Assessment in systematic reviews of prediction models

आधुनिक चिकित्सा परिदृश्य में, डॉक्टर भविष्य में रोगी के स्वास्थ्य की भविष्यवाणी करने के लिए गणितीय उपकरणों पर तेजी से निर्भर होते जा रहे हैं। ये उपकरण, जिन्हें क्लिनिकल प्रेडिक्शन मॉडल (नैदानिक भविष्यवाणी मॉडल) कहा जाता है, किसी व्यक्ति के लक्षणों, परीक्षण परिणामों और इतिहास का विश्लेषण करके बीमारी की संभावना या उपचार की सफलता का अनुमान लगाते हैं। वर्षों से, शोधकर्ताओं ने इन मॉडलों को बनाने के लिए मानक सांख्यिकीय विधियों का उपयोग किया है, लेकिन यह क्षेत्र तेजी से बदल रहा है। आज, डेटा की विशाल मात्रा से सीखने में सक्षम शक्तिशाली कंप्यूटर सिस्टम—जिन्हें अक्सर आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) कहा जाता है—अधिक जटिल भविष्यवाणियां करने के लिए उपयोग किए जा रहे हैं। हालांकि इन नई विधियों में बहुत अधिक संभावनाएं हैं, लेकिन वे त्रुटियों के आने के नए तरीके भी पेश करती हैं। एक मॉडल अपने प्रशिक्षण डेटा पर पूरी तरह से काम करता हुआ प्रतीत हो सकता है, लेकिन वास्तविक रोगियों पर लागू होने पर बुरी तरह विफल हो सकता है, यह समस्या अक्सर तब होती है जब कंप्यूटर अनजाने में "परीक्षा शुरू होने से पहले ही उत्तर देख लेता है।" इन उपकरणों को सुरक्षित और विश्वसनीय बनाने के लिए, वैज्ञानिकों को यह कड़ाई से जांचना चाहिए कि उन्हें कैसे बनाया और परीक्षण किया गया है। इस प्रक्रिया को व्यवस्थित समीक्षा (सिस्टमैटिक रिव्यू) कहा जाता है, जहाँ विशेषज्ञ किसी विषय पर उपलब्ध सभी अध्ययनों को एकत्र करते हैं और सख्त चेकलिस्ट का उपयोग करके उनकी गुणवत्ता का मूल्यांकन करते हैं।

इन समीक्षकों के लिए चुनौती यह रही है कि पुराने सांख्यिकीय मॉडलों की जांच करने के नियम आधुनिक आर्टिफिशियल इंटेलिजेंस की बारीकियों को पूरी तरह से ध्यान में नहीं रखते थे। ग्लासगो विश्वविद्यालय और अरब अमेरिकन यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने एक नया, अपडेटेड डिजिटल टूल बनाकर इस अंतर को दूर किया है, जिसे इस महत्वपूर्ण कार्य को सुव्यवस्थित करने के लिए डिज़ाइन किया गया है। उन्होंने एक मौजूदा स्प्रेडशीट टेम्पलेट लिया, जिसका उपयोग पहले डेटा को व्यवस्थित करने और पूर्वाग्रह (बायस) की जांच करने के लिए किया जाता था, और इसे आर्टिफिशियल इंटेलिजेंस के मूल्यांकन के नवीनतम दिशानिर्देशों के अनुरूप पूरी तरह से नया रूप दिया है। इसका परिणाम एक परिष्कृत लेकिन उपयोगकर्ता के अनुकूल एक्सेल फ़ाइल है जो शोधकर्ताओं को मॉडल कैसे बनाया गया इसके मूल्यांकन को, मॉडल का परीक्षण कैसे किया गया इसके मूल्यांकन से अलग करने की अनुमति देती है। यह अंतर महत्वपूर्ण है क्योंकि एक मॉडल उच्च गुणवत्ता वाले डेटा के साथ बनाया जा सकता है लेकिन फिर उसका परीक्षण अपर्याप्त तरीके से किया जा सकता है, या इसके विपरीत। इन दोनों मूल्यांकनों को अलग रखकर, नया टूल यह सुनिश्चित करता है कि समीक्षक उन सूक्ष्म दोषों को न चूक जाएं जो एक चिकित्सा भविष्यवाणी उपकरण को खतरनाक या बेकार बना सकते हैं।

इस नए टेम्पलेट का मुख्य नवाचार इसकी मशीन लर्निंग की विशिष्ट कमियों को संभालने की क्षमता है, जिसके लिए समीक्षक का कंप्यूटर वैज्ञानिक होना आवश्यक नहीं है। स्प्रेडशीट में अब विशिष्ट प्रश्न शामिल हैं कि क्या कंप्यूटर को प्रशिक्षण चरण के दौरान टेस्ट डेटा को देखने की अनुमति दी गई थी, जिसे 'डेटा लीकेज' नामक गलती कहा जाता है। यह यह भी पूछता है कि क्या शोधकर्ताओं ने मॉडल को ठीक से समायोजित किया था यदि उनके पास उपयोग किए गए डेटा में स्वस्थ और बीमार लोगों का मिश्रण असमान था, जो कि एक सामान्य मुद्दा है जो परिणामों को पक्षपाती बना सकता है। इसके अलावा, टूल यह जांचता है कि क्या मॉडल बनाने की पूरी प्रक्रिया को परीक्षण के दौरान सही ढंग से दोहराया गया था, जिससे यह सुनिश्चित हो सके कि अंतिम आंकड़े वास्तविकता को दर्शाते हैं न कि किसी आकस्मिक त्रुटि को। ये प्रश्न सीधे स्प्रेडशीट में बुने गए हैं ताकि जैसे ही एक समीक्षक अध्ययन के बारे में जानकारी दर्ज करता है, टूल स्वचालित रूप से हाइलाइट कर दे कि अध्ययन कहाँ गलत हुआ होगा।

यह टूल विशेष रूप से शक्तिशाली कैसे बनता है, इसका कारण यह है कि यह सूचना के प्रवाह को कैसे प्रबंधित करता है। समीक्षक को एक ही जानकारी खोजने के लिए विभिन्न दस्तावेजों के बीच बार-बार जाने के लिए मजबूर करने के बजाय, स्प्रेडशीट सब कुछ आपस में जोड़ देती है। जब एक समीक्षक एक अनुभाग में प्रतिभागियों या उपयोग किए गए डेटा के बारे विवरण दर्ज करता है, तो वह जानकारी स्वचालित रूप से उन अनुभागों में दिखाई देती है जहाँ मॉडल की गुणवत्ता का मूल्यांकन किया जा रहा है। यह मानवीय त्रुटि की संभावना को कम करता है और महत्वपूर्ण समय बचाता है। इस टूल को एक ही फ़ाइल में तीस अलग-अलग प्रेडिक्शन मॉडल को संभालने के लिए डिज़ाइन किया गया है, जिससे यह बड़े पैमाने की समीक्षाओं के लिए उपयुक्त बन जाता है। जैसे-जैसे समीक्षक चेकलिस्ट पर काम करता है, स्प्रेडशीट स्वचालित रूप से सारांश तालिकाएं और चार्ट बनाती है जो दिखाती है कि कितने मॉडल गुणवत्ता जांच में पास हुए और कितने विफल रहे। ये दृश्य सारांश तुरंत अपडेट होते हैं, जिससे शोध टीम को उनके द्वारा समीक्षा किए जा रहे साक्ष्यों की स्पष्ट, वास्तविक समय की तस्वीर मिलती है।

शोधकर्ता इस बात पर जोर देते हैं कि यह टूल केवल आर्टिफिशियल इंटेलिजेंस तक सीमित नहीं है; यह पारंपरिक सांख्यिकीय मॉडलों के लिए भी उतना ही प्रभावी ढंग से काम करता है। यह सार्वभौमिकता महत्वपूर्ण है क्योंकि कई चिकित्सा समीक्षाओं में अब पुराने और नए दोनों तरीकों का मिश्रण शामिल होता है। एक एकल, मानकीकृत ढांचा प्रदान करके, यह टूल सुनिश्चित करता है कि एक सरल समीकरण से बने मॉडल का मूल्यांकन भी उसी कठोर मानक से किया जाए जिससे एक जटिल न्यूरल नेटवर्क से बने मॉडल का किया जाता है। यह स्प्रेडशीट डाउनलोड करने और उपयोग करने के लिए मुफ्त है, और यह बिना किसी जटिल कंप्यूटर प्रोग्रामिंग कोड की आवश्यकता के काम करती है, जिससे यह उन शोधकर्ताओं के लिए सुलभ हो जाती है जिनके पास उन्नत तकनीकी कौशल नहीं है। लेखक बताते हैं कि जबकि यह टूल डेटा संगठन और गणना के भारी काम को स्वचालित करता है, यह मानवीय निर्णय की आवश्यकता को प्रतिस्थापित नहीं करता है। समीक्षक को अभी भी उत्तरों की व्याख्या करनी होगी और यह तय करना होगा कि वे सुरक्षा और विश्वसनीयता के लिए क्या मायने रखते हैं।

अंत में, यह अपडेटेड टेम्पलेट चिकित्सा साक्ष्य एकत्र करने और सत्यापित करने के तरीके में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। यह स्वीकार करता है कि चिकित्सा भविष्यवाणी का परिदृश्य बदल रहा है और यह तालमेल बनाए रखने के लिए आवश्यक बुनियादी ढांचा प्रदान करता है। मॉडल निर्माण के मूल्यांकन को मॉडल परीक्षण से अलग करके और आर्टिफिशियल इंटेलिजेंस के अद्वितीय जोखिमों के लिए विशिष्ट जांच जोड़कर, यह टूल यह सुनिश्चित करने में मदद करता है कि रोगी देखभाल का मार्गदर्शन करने वाले प्रेडिक्शन मॉडल ठोस आधार पर बने हैं। शोधकर्ताओं की आशा है कि इन मॉडलों की जांच करने की प्रक्रिया को आसान और अधिक सुसंगत बनाकर, वे अधिक गहन समीक्षाओं को प्रोत्साहित करेंगे और अंततः, दुनिया भर के रोगियों के लिए सुरक्षित और अधिक प्रभावी चिकित्सा उपकरण बनाने में मदद करेंगे।