Citation language changes little after findings fail to replicate: a longitudinal analysis
15,000 से अधिक उद्धृत वाक्यों के एक अनुदैर्ध्य विश्लेषण से पता चलता है कि आगामी शोध पत्र शायद ही कभी विफल प्रतिकृति (replications) को दर्शाने के लिए अपनी भाषा में बदलाव करते हैं या विरोधाभासी साक्ष्यों का उल्लेख करते हैं, जिससे पाठकों को इस बात का बहुत कम संकेत मिलता है कि क्या मूल निष्कर्षों को सफलतापूर्वक पुनरुत्पादित किया गया है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
विज्ञान को अक्सर एक स्व-सुधार करने वाली मशीन के रूप में कल्पित किया जाता है, जहाँ नया साक्ष्य स्वतः ही दुनिया के बारे में हमारी समझ को अद्यतित (update) कर देता है। जब किसी अध्ययन को दोहराया जाता है और वह समान परिणाम देने में विफल रहता है, तो यह अपेक्षा की जाती है कि वैज्ञानिक समुदाय इसे नोट करेगा, रुकेगा, और उस मूल निष्कर्ष के बारे में बात करने के अपने तरीके को समायोजित करेगा। यह प्रक्रिया उस भाषा पर निर्भर करती है जिसका उपयोग शोधकर्ता पिछले कार्य का उल्लेख करते समय करते हैं। यदि कोई दावा संदिग्ध पाया गया है, तो नए शोध पत्रों में उस दावे का वर्णन करने वाले वाक्य आदर्श रूप से अधिक सतर्क होने चाहिए, या कम से कम यह उल्लेख करना चाहिए कि मूल परिणाम की पुष्टि नहीं की जा सकी। ज्ञान का विकास इसी तरह होना चाहिए: अतीत को मिटाकर नहीं, बल्कि इस बात के विवरण को परिष्कृत करके कि हम क्या जानते हैं और क्या नहीं जानते।
शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए काम शुरू किया कि क्या यह स्व-सुधार वास्तव में उसी तरह होता है जैसा हम अपेक्षा करते हैं। उन्होंने एक विशिष्ट प्रश्न पर ध्यान केंद्रित किया: जब किसी प्रसिद्ध अध्ययन को दोहराने का एक प्रमुख, पूर्व-नियोजित प्रयास विफल हो जाता है, तो क्या बाद के शोध पत्रों के लेखक उस मूल निष्कर्ष का वर्णन करने के लिए उपयोग किए जाने वाले शब्दों को बदलते हैं? उत्तर खोजने के लिए, उन्होंने मनोविज्ञान, अर्थशास्त्र और सामाजिक विज्ञान के वैज्ञानिक दावों के एक बड़े संग्रह का अध्ययन किया। उन्होंने 110 मूल अध्ययनों की पहचान की जो तीन प्रमुख प्रतिकृति (replication) परियोजनाओं का हिस्सा थे। इन प्रत्येक अध्ययनों के लिए, उन्होंने बाद के शोध पत्रों से हजारों वाक्य एकत्र किए जिन्होंने मूल कार्य का उल्लेख किया था। फिर उन्होंने इन वाक्यों को पढ़ने और उन्हें निश्चितता के पैमाने पर स्कोर करने के लिए उन्नत कंप्यूटर मॉडल का उपयोग किया, जिससे यह मापा जा सके कि लेखकों ने मूल दावे को कितनी निर्णायक रूप से प्रस्तुत किया। उन्होंने सफल प्रतिकृति वाले निष्कर्षों के लिए उपयोग की गई भाषा की तुलना विफल प्रतिकृति वाले निष्कर्षों के लिए उपयोग की गई भाषा से की।
परिणामों ने बदलाव की एक चौंकाने वाली कमी को प्रकट किया। शोधकर्ताओं ने पाया कि विफल निष्कर्षों का वर्णन करने के लिए उपयोग की जाने वाली शब्दावली सफल निष्कर्षों के लिए उपयोग की जाने वाली शब्दावली के लगभग समान बनी रही। वर्षों बीत जाने के बाद भी, जब एक प्रतिकृति प्रयास ने दिखाया कि मूल परिणाम को पुनरुत्पादित नहीं किया जा सकता था, तब भी बाद के शोध पत्रों ने उन निष्कर्षों को उसी स्तर के विश्वास के साथ प्रस्तुत करना जारी रखा। कंप्यूटर मॉडल ने अधिक सतर्क भाषा की ओर किसी महत्वपूर्ण बदलाव का पता नहीं लगाया। वास्तव में, दोनों समूहों के बीच निश्चितता का अंतर इतना कम था कि वह सांख्यिकीय रूप से शून्य से अलग नहीं था। अध्ययन ने विफलता के स्पष्ट उल्लेखों की भी तलाश की। उन्होंने पाया कि विशाल बहुमत के मामलों में, लेखकों ने विफलता का उल्लेख बिल्कुल नहीं किया। हर सौ वाक्यों में से केवल लगभग तीन से पांच वाक्यों ने ही यह स्वीकार किया कि मूल निष्कर्ष को चुनौती दी गई थी या उसका खंडन किया गया था।
यह पैटर्न समय के साथ बना रहा। शोधकर्ताओं ने प्रतिकृति परिणामों के प्रकाशन के बाद के आठ से ग्यारह वर्षों तक भाषा का पता लगाया। उन्होंने सावधानी की ओर किसी क्रमिक झुकाव को नहीं पाया। विफल दावों का वर्णन करने वाले वाक्य समय बीतने के साथ नरम या अधिक योग्य (qualified) नहीं हुए। अध्ययन के लेखक सुझाव देते हैं कि ऐसा इसलिए हो सकता है क्योंकि शोधकर्ता अक्सर मूल साक्ष्य को दोबारा पढ़े बिना या नए, विरोधाभासी डेटा की जांच किए बिना स्थापित वाक्यांशों का पुन: उपयोग करते हैं। किसी निष्कर्ष का मूल विवरण एक निश्चित भाग बन सकता है, जिसे एक मानक संदर्भ के रूप में एक शोध पत्र से दूसरे तक पहुँचाया जाता है, चाहे उसके अंतर्निहित साक्ष्य को कितना भी हिला दिया गया हो।
यह अध्ययन यह दावा नहीं करता कि वैज्ञानिक जानबूझकर साक्ष्य की अनदेखी कर रहे हैं, बल्कि यह कि शोध के संचार के तरीके में एक प्रकार की जड़ता (inertia) है। भले ही कोई निष्कर्ष अविश्वसनीय पाया जाए, नए शोध में उसके वर्णन का तरीका अक्सर अपरिवर्तित रहता है। इसके हमारे विज्ञान को पढ़ने और इसे समझने के लिए उपकरण बनाने के तरीके के बारे में गंभीर निहितार्थ हैं। यदि विज्ञान की भाषा स्वतः यह प्रतिबिंबित नहीं करती है कि कोई निष्कर्ष विफल रहा है, तो पाठक, संपादक और यहाँ तक कि कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ भी इस भ्रम में पड़ सकती हैं कि कोई दावा वास्तव में जितना ठोस है, उससे कहीं अधिक मजबूत है। शोधकर्ता निष्कर्ष निकालते हैं कि यदि विज्ञान को वास्तव में स्व-सुधार करना है, तो हमें मूल अध्ययनों को उनके प्रतिकृति परिणामों से सीधे जोड़ने के बेहतर तरीकों की आवश्यकता हो सकती है, यह सुनिश्चित करते हुए कि किसी निष्कर्ष की कहानी में उसकी प्रारंभिक सफलता के साथ-साथ उसकी विफलताओं का भी समावेश हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।