When the record makes the result: exposure-linked recording of a continuous outcome can manufacture a spurious treatment effect in real- world evidence
यह अध्ययन प्रदर्शित करता है कि विजुअली अनुमानित रक्त हानि जैसे निरंतर परिणामों की एक्सपोज़र-लिंक्ड विभेदक रिकॉर्डिंग, वास्तविक नैदानिक अंतरों के बजाय व्यवस्थित मापन त्रुटि के माध्यम से वास्तविक दुनिया के साक्ष्यों में बड़े, सुदृढ़ दिखने वाले उपचार प्रभावों का निर्माण कर सकती है, जिसके लिए विशिष्ट नैदानिक जांच और स्पूरियस (मिथ्या) निष्कर्षों से बचने के लिए वस्तुनिष्ठ मापों पर निर्भरता आवश्यक है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डेटा में छिपा जाल: जब "अंदाजा लगाना" नकली विज्ञान बना देता है
कल्पना कीजिए कि आप एक जासूस हैं जो पुलिस रिपोर्टों के विशाल ढेर का उपयोग करके एक रहस्य को सुलझाने की कोशिश कर रहे हैं। आप जानना चाहते हैं कि क्या एक नए प्रकार का ताला पुराने प्रकार की तुलना में चोरी को बेहतर तरीके से रोकता है। आधुनिक विज्ञान की दुनिया में, शोधकर्ता बिल्कुल ऐसा ही कुछ करते हैं। पुलिस रिपोर्टों के बजाय, वे "रियल-वर्ल्ड एविडेंस" (वास्तविक दुनिया के साक्ष्य) का उपयोग करते हैं—जैसे अस्पतालों के इलेक्ट्रॉनिक मेडिकल रिकॉर्ड्स से प्राप्त विशाल डिजिटल रिकॉर्ड—यह देखने के लिए कि क्या नए उपचार वास्तव में काम करते हैं। यह एक शक्तिशाली उपकरण है क्योंकि यह प्रयोगशाला के नियंत्रित वातावरण के बजाय वास्तविक जीवन के रोगियों पर आधारित होता है।
लेकिन इसमें एक पेंच है। कभी-कभी, रिपोर्ट लिखने वाले लोग पैमाने (रूलर) का उपयोग नहीं कर रहे होते; वे अपनी आँखों से अंदाज़ा लगा रहे होते हैं। यदि किसी डॉक्टर को यह अंदाज़ा लगाना पड़ता है कि मरीज ने कितना रक्त खोया है, या घाव कितना बड़ा है, तो वे एक सटीक सत्य के बजाय वह संख्या लिख सकते हैं जो उन्हें "सही" लगती है। वैज्ञानिक इसे "अनुमान" (estimation) कहते हैं। आमतौर पर, हम सोचते हैं कि ये अंदाज़े केवल थोड़ा सा शोर (noise) जोड़ते हैं, जैसे रेडियो पर स्टेटिक। लेकिन क्या होगा अगर यह शोर यादृच्छिक (random) नहीं है? क्या होगा अगर डॉक्टर के अंदाज़ा लगाने का तरीका इस बात पर निर्भर करता है कि मरीज ने कौन सी दवा ली थी? यही वह डरावना सवाल है जो यह शोध पत्र पूछता है। यह एक छिपे हुए जाल की जांच करता जहाँ जिस तरह से हम परिणामों को लिखते हैं, वह अनजाने में एक ऐसे चमत्कारिक इलाज का आविष्कार कर सकता है जो वास्तव में अस्तित्व में ही नहीं है।
उस "जादुई" दवा का मामला जो वास्तव में नहीं थी
इस अध्ययन में, शोधकर्ताओं ने ताइवान के एक एकल अस्पताल के 8 वर्षों के अस्पताल रिकॉर्ड के विशाल संग्रह का विश्लेषण किया। वे कारबेटोसिन (carbetocin) नामक एक दवा की जांच कर रहे थे, जिसका उपयोग बच्चे के जन्म के बाद रक्तस्राव को रोकने में मदद करने के लिए किया जाता है। यहाँ एक मोड़ है: यह दवा बीमा द्वारा कवर नहीं थी, इसलिए मरीजों को इसके लिए खुद भुगतान करना पड़ता था। इसका मतलब था कि डॉक्टर जानते थे कि किसे दवा मिली और किसे नहीं, जिससे यह देखने के लिए एक आदर्श "प्राकृतिक प्रयोग" बन गया कि क्या दवा काम करती है।
शोधकर्ताओं ने एक विशिष्ट परिणाम पर ध्यान केंद्रित किया: योनि प्रसव (vaginal delivery) के दौरान माँ ने कितना रक्त खोया। कई अस्पतालों में, यह संख्या किसी तराजू से नहीं मापी जाती है; इसे डॉक्टर या नर्स द्वारा दृष्टिगत रूप से अनुमानित (visually estimated) किया जाता है। वे रक्त देखते हैं और एक संख्या लिखते हैं, जैसे "150 मिलीलीटर" या "200 मिलीलीटर।"
जब शोधकर्ताओं ने आंकड़ों को "मानक" तरीके से चलाया, तो परिणाम अविश्वसनीय दिखे। डेटा ने सुझाव दिया कि दवा ने रक्त की हानि को भारी 62% तक कम कर दिया। इस संख्या में विश्वास इतना अधिक था कि यह एक बड़ी वैज्ञानिक खोज जैसा लग रहा था। ऐसा लग रहा था कि उपचार प्राप्त समूह में लगभग कोई रक्त नहीं बहा, जबकि नियंत्रण समूह (control group) में बहुत अधिक रक्त बहा।
लेकिन इस पेपर के लेखकों ने वहीं नहीं रोका। उन्होंने जासूसी करना शुरू किया और सुरागों की तलाश की कि कहीं कुछ गड़बड़ तो नहीं है।
"गोल संख्या" का सुराग
पहली चीज़ जो उन्होंने देखी, वह संख्याओं में एक अजीब पैटर्न था, जैसे अपराध स्थल पर छोड़ा गया कोई फिंगरप्रिंट। उस समूह में जिसने दवा ली थी, दर्ज किए गए रक्त हानि के मूल्यों में से लगभग 60% ठीक 30 मिलीलीटर या 50 मिलीलीटर थे। इसके विपरीत, नियंत्रण समूह के केवल 2.4% में ये सटीक कम संख्याएँ थीं।
ऐसा होता है कि डॉक्टरों की अक्सर गोल संख्याओं (जैसे 50 या 100) में अपने अंदाज़ों को लिखने की आदत होती है। लेकिन यहाँ, डॉक्टरों के पास एक गुप्त नियम लगता था: यदि रोगी ने दवा ली थी, तो वे लगभग हमेशा "50 मिलीलीटर" लिखते थे, भले ही वास्तविक हानि अधिक रही हो। ऐसा लग रहा था जैसे डॉक्टरों के पास एक टेम्पलेट था कि "यदि उन्होंने जादुई गोली ली है, तो '50' लिखें।" इसे "डिजिट प्रेफरेंस" (digit preference) या "वैल्यू हीपिंग" (value heaping) कहा जाता है। उपचारित समूह केवल कम रक्त नहीं खो रहा था; उन्हें रिकॉर्डिंग की आदत के कारण कम रक्त खोता हुआ दर्ज किया जा रहा था।
"टाइम ट्रैवल" टेस्ट
यह सुनिश्चित करने के लिए कि यह केवल एक इत्तेफाक नहीं है, शोधकर्ताओं ने जाँच की कि क्या यह पैटर्न समय के साथ बदलता है। यदि दवा वास्तव में काम करती, तो प्रभाव हर साल सुसंगत होना चाहिए। और यह था! 2019 से 2025 तक, दवा समूह के लिए औसत रक्त हानि हर साल ठीक 50 मिलीलीटर पर टिकी हुई थी। इस बीच, नियंत्रण समूह 150 मिलीलीटर और 200 मिलीलीटर के बीच घूम रहा था।
यह एक बहुत बड़ा रेड फ्लैग है। वास्तविक जैविक प्रभाव आमतौर पर सात वर्षों तक लगातार एक ही संख्या पर स्थिर नहीं रहते। इस तरह की कठोरता एक रिकॉर्डिंग नियम का सुझाव देती है, न कि किसी जैविक चमत्कार का। शोधकर्ताओं ने मानक सांख्यिकीय तरीकों (जैसे वर्ष या रोगी के स्वास्थ्य के लिए समायोजन) का उपयोग करके डेटा को ठीक करने की कोशिश की, लेकिन "62% की कमी" बिल्कुल वैसी ही बनी रही। इसने साबित कर दिया कि समस्या यह नहीं थी कि समूह अलग थे; समस्या यह थी कि परिणामों को लिखने का तरीका अलग था।
"थ्रेशोल्ड" (सीमा) वास्तविकता की जाँच
सबसे निर्णायक सबूत तब आया जब उन्होंने एक अलग नज़रिए से संख्याओं को देखा। उन्होंने पूछा: "वास्तव में कितनी महिलाओं को खतरनाक रक्तस्राव (Postpartum Hemorrhage) हुआ, जिसे 500 मिलीलीटर या उससे अधिक रक्त हानि के रूप में परिभाषित किया गया है?"
जब उन्होंने इस बाइनरी "हाँ या ना" वाले प्रश्न को देखा, तो जादू गायब हो गया।
- दवा समूह: 3.2% में भारी रक्तस्राव हुआ।
- नियंत्रण समूह: 4.2% में भारी रक्तस्राव हुआ।
- परिणाम: कोई महत्वपूर्ण अंतर नहीं था।
"62% की कमी" केवल उन अनुमानित संख्याओं में मौजूद थी। जब उन्होंने खतरे के वास्तविक थ्रेशोल्ड को देखा, तो दवा ने बिल्कुल भी मदद नहीं की। वास्तव में, अत्यधिक स्थिति में (1,000 मिलीलीटर या उससे अधिक रक्त हानि), दवा समूह में नियंत्रण समूह की तुलना में थोड़े अधिक मामले थे, जो कि एक चमत्कारिक दवा के बिल्कुल विपरीत है।
सिमुलेशन: भ्रम को सिद्ध करना
यह साबित करने के लिए कि केवल यह रिकॉर्डिंग की आदत इतने बड़े नकली परिणाम को कैसे बना सकती है, शोधकर्ताओं ने एक कंप्यूटर सिमुलेशन बनाया। उन्होंने एक काल्पनिक दुनिया बनाई जहाँ दवा ने बिल्कुल कुछ नहीं किया (वास्तविक प्रभाव शून्य था)। उन्होंने कंप्यूटर को उसी पूर्वाग्रह के साथ उपचारित समूह के रक्त हानि को रिकॉर्ड करने के लिए प्रोग्राम किया: कम मानों को 30 या 50 मिलीलीटर पर स्थिर करना, जबकि नियंत्रण समूह को अधिक प्राकृतिक छोड़ना।
परिणाम क्या रहा? कंप्यूटर ने एक नकली "62% की कमी" उत्पन्न की जो वास्तविक डेटा की तरह ही प्रभावशाली और सांख्यिकीय रूप से महत्वपूर्ण दिख रही थी। इसने पुष्टि की कि विभेदक रिकॉर्डिंग (differential recording) अकेले ही शून्य से एक विशाल, सम्मोहक उपचार प्रभाव का निर्माण करने के लिए पर्याप्त थी।
निष्कर्ष: पैमाने (रूलर) पर भरोसा करें, अंदाज़े पर नहीं
यह पेपर यह नहीं कह रहा है कि दवा निश्चित रूप से काम नहीं करती है; यह कह रहा है कि अनुमानित रक्त हानि के आंकड़ों में पाया गया "62% की कमी" संभवतः उस झूठ का परिणाम है जो डॉक्टरों के डेटा लिखने के तरीके से पैदा हुआ है।
लेखक निष्कर्ष निकालते हैं कि जब हम वास्तविक दुनिया के डेटा का उपयोग करते हैं, तो हमें उन परिणामों के प्रति सावधान रहना चाहिए जो केवल "अनुमानित" या "अंदाजे" पर आधारित हैं। यदि डेटा रिकॉर्ड करने का तरीका इस आधार पर बदल जाता है कि किसे उपचार मिला था, तो हम अनजाने में एक इलाज का आविष्कार कर सकते हैं।
भविष्य के लिए सबक:
- "राउंडिंग" की जाँच करें: अनुमानित डेटा से मिलने वाले बड़े परिणाम पर विश्वास करने से पहले, देखें कि क्या एक समूह अपने नंबरों को 50 या 100 पर राउंड कर रहा है जबकि दूसरा नहीं।
- "वास्तविक" थ्रेशोल्ड को देखें: केवल औसत संख्या पर भरोसा न करें। जाँच करें कि क्या उपचार वास्तव में लोगों को खतरे की रेखा (जैसे 500 मिलीलीटर रक्तस्राव की सीमा) को पार करने में मदद करता है।
- वस्तुनिष्ठ माप (Objective Measures) का उपयोग करें: जहाँ भी संभव हो, उन मापों का उपयोग करें जो मशीनें बनाती हैं (जैसे हीमोग्लोबिन रक्त परीक्षण) न कि मानव अनुमानों का।
संक्षेप में, मानव अनुमानों पर आधारित अध्ययन में एक बड़ा, सटीक दिखने वाला प्रभाव केवल डॉक्टर की कलम का प्रतिबिंब हो सकता है, न कि रोगी के शरीर का। "जादू" नोटबुक में था, दवा में नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।