Protocol for the development of a tool (INSPECT-IPD) to identify problematic randomised controlled trials when individual participant data are available
यह शोधपत्र INSPECT-IPD विकसित करने के प्रोटोकॉल की रूपरेखा प्रस्तुत करता है, जो एक नया उपकरण है जिसे अनुभवजन्य परीक्षण और अंतर्राष्ट्रीय विशेषज्ञ सर्वसम्मति के संयोजन के माध्यम से व्यक्तिगत प्रतिभागी डेटा पर फॉरेंसिक जाँच का मूल्यांकन और कार्यान्वयन करके समस्याग्रस्त रैंडमाइज्ड कंट्रोल्ड ट्रायल्स की पहचान करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो दुनिया का सबसे बेहतरीन सूप बनाने की कोशिश कर रहे हैं। ऐसा करने के लिए, आप सैकड़ों अलग-अलग रसोइयों से रेसिपी इकट्ठा करते हैं (ये रैंडमाइज्ड कंट्रोल्ड ट्रायल्स (RCTs) हैं)। आप यह देखने के लिए कि सूप काम कर रहा है या नहीं, प्रत्येक रेसिपी का थोड़ा सा हिस्सा चखते हैं। आमतौर पर, आप बस उस रेसिपी कार्ड को पढ़ते हैं जो रसोइये ने लिखा है।
लेकिन क्या होगा अगर उनमें से कुछ रसोइयों ने झूठ बोला हो? क्या होगा अगर उन्होंने सामग्री की सूची बना ली हो, या उन्होंने वास्तव में सूप बनाने का नाटक ही किया हो? केवल रेसिपी कार्ड पढ़ने से कभी-कभी झूठ बोलने वाले को पकड़ा नहीं जा सकता।
यह पेपर एक नया, सुपर-पावर्ड आवर्धक लेंस (magnifying glass) बनाने के बारे में है जिसे INSPECT-IPD कहा जाता है। यह कैसे काम करता है, यहाँ इसके सरल चरणों का विवरण दिया गया है:
समस्या: "रेसिपी कार्ड" काफी नहीं है
लेखकों ने पहले से ही एक उपकरण बनाया है जिसे INSPECT-SR कहा जाता है, जो रेड फ्लैग्स (चेतावनी के संकेतों) के लिए रेसिपी कार्ड की जांच करता है। लेकिन उन्होंने महसूस किया कि कभी-कभी, यह सुनिश्चित करने के लिए कि रसोइया सच बोल रहा है या नहीं, आपको वास्तव में सूप के बर्तन—यानी कच्चे, व्यक्तिगत सामग्रियों—को देखने की आवश्यकता होती है।
विज्ञान की दुनिया में, इस "सूप के बर्तन" को इंडिविजुअल पार्टिसिपेंट डेटा (IPD) कहा जाता है। यह अध्ययन के हर एक व्यक्ति से प्राप्त कच्चा डेटा है। पेपर में उल्लेख किया गया है कि जब वैज्ञानिक इस कच्चे डेटा को देख पाते हैं, तो उन्हें नकली या खराब अध्ययन बहुत अधिक बार मिलते हैं (जैसे कि केवल रेसिपी कार्ड देखने पर 2% के मुकाबले, कच्चे डेटा में 44% नकली अध्ययन मिलना)।
लक्ष्य: "फोरेंसिक किचन" टूल बनाना
टीम एक नया टूल, INSPECT-IPD बनाना चाहती है, जो वैज्ञानिकों को इस कच्चे डेटा की जांच करने में मदद करे। लेकिन वे केवल अंदाज़ा लगाकर यह तय नहीं कर सकते कि किन जांचों का उपयोग करना है। उन्हें एक "मेन्यू" बनाने की आवश्यकता है जो वास्तव में काम करती हो।
इसे करने के लिए, वे एक पांच-चरणीय परियोजना चला रहे हैं:
चरण 1: उपकरण इकट्ठा करना
सबसे पहले, वे कच्चे डेटा की जांच करने के हर संभव तरीके की एक विशाल सूची बना रहे हैं। यह हर संभव किचन गैजेट को इकट्ठा करने जैसा है: तराजू, थर्मामीटर, सूक्ष्मदर्शी (microscopes), और यहाँ तक कि AI डिटेक्टर भी। उन्हें यह सूची विशेषज्ञों और पिछले शोधों से मिली है।
चरण 2: "नकली बनाम असली" परीक्षण
इसके बाद, वे इन गैजेट्स का परीक्षण करेंगे।
- वे 15 वास्तविक डेटासेट (असली सूप रेसिपी) लेंगे।
- वे AI (जैसे ChatGPT) का उपयोग करके 15 नकली डेटासेट बनाएंगे जो यह दर्शाएंगे कि एक झूठा व्यक्ति डेटा कैसे बना सकता है।
- वे 30 अलग-अलग विशेषज्ञों से इन गैजेट्स का उपयोग इन डेटासेट्स पर करने के लिए कहेंगे।
- लक्ष्य: यह देखना कि कौन से गैजेट्स वास्तव में नकली सूप को पकड़ लेते हैं और कौन से भ्रमित करने वाले या बेकार हैं। वे जानना चाहते हैं: क्या यह जांच समझने में आसान है? क्या यह वास्तव में खराब डेटा को पकड़ लेती है?
चरण 3: विशेषज्ञ वोट (डेल्फी सर्वे)
एक बार जब उन्हें पता चल जाएगा कि कौन से गैजेट्स काम करते हैं, तो वे एक बड़े अंतरराष्ट्रीय विशेषज्ञों के समूह (सांख्यिकीविद्, डॉक्टर, संपादक और यहाँ तक कि मरीज़) से उन पर वोट देने के लिए कहेंगे।
- वे प्रत्येक जांच को 1 से 9 के पैमाने पर रेट करेंगे: "यह कितनी उपयोगी है?" और "इसे समझना कितना आसान है?"
- वे केवल उन्हीं जांचों को रखना चाहते हैं जिन पर लगभग सभी लोग इस बात पर सहमत हों कि वे दोनों रूप से उपयोगी और उपयोग में आसान हैं।
चरण 4: अंतिम मेन्यू
विशेषज्ञ अंतिम सूची तय करने के लिए (वर्चुअली) मिलेंगे।
- यदि कोई जांच झूठ पकड़ने में बहुत अच्छी है लेकिन समझने में बहुत कठिन है, तो वे उसे "स्पेशलिस्ट सेक्शन" में डाल सकते हैं या उसके लिए एक बेहतर निर्देश पुस्तिका लिख सकते हैं।
- परिणाम एक ड्राफ्ट INSPECT-IPD टूल होगा—कच्चे डेटा की जांच करने के लिए एक चरण-दर-चरण मार्गदर्शिका।
चरण 5: "टेस्ट ड्राइव"
अंत में, वे वास्तविक उपयोगकर्ताओं को इस टूल को आज़माने देंगे।
- वे उन लोगों को बुलाएंगे जो सिस्टमैटिक रिव्यूज (सूप शेफ) लिखते हैं और जर्नल एडिटर्स (रेस्टोरेंट हेल्थ इंस्पेक्टर) को, ताकि वे वास्तविक अध्ययनों पर इस टूल का उपयोग करें।
- वे पूछेंगे: "क्या यह उपयोग में आसान था? क्या इसने आपको अध्ययन के भरोसेमंद होने का निर्णय लेने में मदद की?"
- उनके फीडबैक के आधार पर, वे सार्वजनिक रूप से जारी करने से पहले टूल में एक आखिरी बार सुधार करेंगे।
खेल के महत्वपूर्ण नियम
पेपर इस बारे में बहुत स्पष्ट है कि यह टूल क्या नहीं है:
- यह झूठ पकड़ने वाला यंत्र (lie detector test) नहीं है: यह नहीं कहेगा कि "यह व्यक्ति अपराधी है।" यह बस कहता है, "यह डेटा संदिग्ध लग रहा है, इसलिए सावधान रहें।"
- यह सबके लिए नहीं है: आप इसका उपयोग तभी कर सकते हैं जब आपके पास कच्चे डेटा (IPD) तक पहुंच हो। यदि आपके पास केवल प्रकाशित पेपर है, तो आपको पुराने टूल (INSPECT-SR) का उपयोग करना होगा।
- यह कोई जादुई छड़ी नहीं है: लेखक स्वीकार करते हैं कि जैसे-जैसे AI बेहतर होता जाएगा, टूल को अपडेट करने की आवश्यकता होगी, ठीक वैसे ही जैसे एंटीवायरस सॉफ़्टवेयर को अपडेट की आवश्यकता होती है।
बड़ी तस्वीर
लेखकों का मानना है कि यदि हमारे पास कच्चे डेटा की जांच करने के लिए एक अच्छा, आसान-से-उपयोग वाला टूल है, तो जर्नल्स वैज्ञानिकों से अपना कच्चा डेटा अधिक बार साझा करने की मांग करना शुरू कर सकते हैं। इससे विज्ञान अधिक ईमानदार बन सकता है, क्योंकि यदि आप जानते हैं कि कोई आपके "सूप के बर्तन" को आवर्धक लेंस से जांचने वाला है, तो आप उसे नकली बनाने की कम संभावना रखते हैं।
संक्षेप में: यह पेपर एक नए, हाई-टेक क्वालिटी कंट्रोल किट को बनाने का ब्लूप्रिंट है, जिसे केवल रेसिपी कार्ड को देखने के बजाय कच्चे अवयवों (ingredients) को देखकर नकली डेटा को पकड़ने के लिए डिज़ाइन किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।