The Difference Between "Replicable" and "Not replicable" is not Itself Scientifically Replicable

यहाँ देवेज़र और बुज़बास के शोध पत्र "The Difference Between 'Replicable' and 'Not replicable' is not Itself Scientifically Replicable" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वर्तमान मेटावैज्ञानिक प्रथाओं में पुनरावृत्ति दरों (replicability rates) के संबंध में एक मौलिक दोष को संबोधित करता है। वैज्ञानिक समुदाय अक्सर किसी क्षेत्र या विशिष्ट परिणाम के लिए औसत पुनरावृत्ति दर ($\mu$) का अनुमान लगाने के लिए कई अध्येशनों से प्राप्त बाइनरी निर्णयों (पुनरावृत्त बनाम पुनरावृत्त नहीं) को एकत्रित करता है। इस दर का उपयोग फिर "विश्वसनीय" परिणामों को "संदिग्ध" परिणामों से अलग करने या "पुनरावृत्ति संकट" (replication crisis) घोषित करने के लिए किया जाता है।

लेखकों का तर्क है कि यह अभ्यास सांख्यिकीय रूप से त्रुटिपूर्ण है क्योंकि:

1. गैर-सटीकता (Non-exactness): वास्तविक दुनिया की पुनरावृत्तियाँ शायद ही कभी "सटीक" (संदर्भ के सांख्यिकीय रूप से समतुल्य) होती हैं। वे विषय समूहों (subject pools), प्रक्रियाओं और संदर्भों में भिन्न होती हैं, जिससे विषमता (heterogeneity) उत्पन्न होती है।
2. डेटा संरचना की सीमा (Data Structure Limitation): मानक पुनरावृत्ति अध्ययन प्रति प्रयोग केवल एक बाइनरी निर्णय (binary verdict) रिपोर्ट करते हैं। इस डेटा संरचना में सैंपलिंग शोर (sampling noise) और प्रयोगों के बीच की विषमता (between-experiment heterogeneity) के बीच अंतर करने के लिए आवश्यक जानकारी का अभाव है।
3. मुख्य दावा: "पुनरावृत्त" परिणाम (उच्च $\mu$) और "पुनरावृत्त नहीं" परिणाम (निम्न $\mu$) के बीच का अंतर वर्तमान विधियों का उपयोग करके विश्वसनीय रूप से स्पष्ट नहीं किया जा सकता है, भले ही पुनरावृत्तियों की संख्या अधिक क्यों न हो। इन निर्णयों को उत्पन्न करने वाली सांख्यिकीय मशीनरी गैर-सटीकता की वास्तविक स्थितियों में अपनी विभेदन क्षमता खो देती है।

2. कार्यप्रणाली (Methodology)

लेखक गैर-सटीकता के ऑन्टोलॉजिकल स्रोतों को पकड़ने के लिए दो अलग-अलग सांख्यिकीय मॉडलों का उपयोग करके समस्या को औपचारिक रूप देते हैं:

A. बेंचमार्क मॉडल (साझा गुप्त दर - Shared Latent Rate)

• मान्यता: सभी $m$ पुनरावृत्तियाँ विनिमेय (exchangeable) हैं और एक एकल गुप्त पुनरावृत्ति दर $\phi$ पर निर्भर करती हैं, जो माध्य $\mu$ और इंट्राक्लास सहसंबंध $\rho$ वाले जनसंख्या वितरण से ली गई है।
• तंत्र: कुल सफलताओं की संख्या एक बीटा-बाइनोमियल वितरण (Beta-Binomial distribution) का पालन करती है।
• मुख्य अंतर्दृष्टि: भले ही $\rho$ (विषमता की डिग्री) ज्ञात हो, $\hat{\mu}$ के अनुमानित माध्य का विचरण (variance) $m \to \infty$ होने पर भी एक अपरिहार्य विचरण फ्लोर (irreducible variance floor) रखता है:
  $$\lim_{m \to \infty} V(\hat{\mu}) = \mu(1-\mu)\rho$$
  इसका अर्थ है कि अधिक पुनरावृत्तियाँ जोड़ने से अनिश्चितता को समाप्त नहीं किया जा सकता यदि $\rho > 0$ है। उच्च और निम्न पुनरावृत्ति शासन (regimes) के विश्वास अंतराल (confidence intervals) ओवरलैप होंगे, जिससे उन्हें अलग करना असंभव हो जाएगा।

B. परिचालन मॉडल (सशर्त स्वतंत्र दरएं - Conditionally Independent Rates)

• मान्यता: यह मॉडल वास्तविक अभ्यास को दर्शाता है जहाँ प्रत्येक $i$ प्रयोग अद्वितीय (गैर-सटीक) है और उसकी अपनी पुनलावृत्ति दर $\phi_i$ है, जो स्वतंत्र रूप से एक जनसंख्या वितरण से ली गई है।
• डेटा संरचना: प्रत्येक प्रयोग $i$ ठीक एक बाइनरी निर्णय ($k_i = 1$) योगदान देता है।
• मुख्य अंतर्दृष्टि: जब $k_i = 1$ होता है, तो $\rho$ (विषमता) डेटा से अनिर्धारित (non-identifiable) हो जाता है। बाइनरी परिणामों का संयुक्त वितरण एक सरल बाइनोमियल वितरण $Bin(m, \mu)$ में सिमट जाता है, चाहे $\rho$ का वास्तविक मान कुछ भी हो।
• परिणाम: शोधकर्ता यह नहीं बता सकते कि वे कम-विषमता वाले शासन में काम कर रहे हैं (जहाँ अधिक पुनरावृत्तियाँ मदद करती हैं) या उच्च-विषमता वाले शासन में (जहाँ वे मदद नहीं करती हैं)। डेटा संरचना अनिश्चितता को व्यवस्थित रूप से कम करके दिखाती है।

C. संख्यात्मक उदाहरण और पुनर्रचना (Numerical Examples and Reanalysis)

लेखक अपने सिद्धांत को सत्यापित करने के लिए निम्नलिखित का उपयोग करते हैं:

1. जेनरेटिव मॉडल: (a) सैंपल विषमता (विभिन्न विषय आबादी) और (b) उत्तेजना/खुराक विषमता (डिलीवरी त्रुटियां और पूर्वाग्रह) से उत्पन्न विषमता का अनुकरण करना। वे दिखाते हैं कि ये भौतिक स्रोत उच्च $\rho$ मानों से कैसे मानचित्रित होते हैं।
2. केस स्टडी (Many Labs 4): "टेरर मैनेजमेंट थ्योरी" पुनरावृत्ति परियोजना का पुनर्रचना विश्लेषण।
   • उन्होंने निरंतर प्रभाव आकार (Hedges' $g$) पर एक सहायक नॉर्मल रैंडम-इफेक्ट्स मॉडल का उपयोग करके निहित $\rho$ का अनुमान लगाया।
   • उन्होंने इन अनुमानों को बेंचमार्क मॉडल में मैप किया ताकि यह प्रदर्शित किया जा सके कि परिणामी विचरण अंतराल इतने व्यापक हैं कि बाइनरी वर्गीकरण असंभव है।

3. मुख्य योगदान (Key Contributions)

• अनिर्धारणीयता का औपचारिकीकरण (Formalization of Non-Identifiability): यह शोध पत्र सिद्ध करता है कि मानक "प्रति प्रयोग एक बाइनरी निर्णय" डिजाइन के तहत, गैर-सटीकता की डिग्री ($\rho$) गणितीय रूप से अनिर्धारित है। फलस्वरूप, माध्य पुनलावृत्ति दर की सटीकता का आकलन नहीं किया जा सकता है।
• अपरिहार्य विचरण फ्लोर (The Irreducible Variance Floor): यह स्थापित करता है कि विषमता सटीकता पर एक कठिन सीमा बनाती है। सैंपलिंग त्रुटि के विपरीत, जो $N$ के साथ घटती है, विषमता-प्रेरित विचरण पुनरावृत्तियों की संख्या के बावजूद स्थिर रहता है।
• "पुनरावृत्ति विरोधाभास" (The "Replication Paradox"): लेखक दर्शाते हैं कि विषम सेटिंग में पुनरावृत्तियों की संख्या बढ़ाने से या तो झूठी सटीकता का आभास होता है (यदि $\rho$ को अनदेखा किया जाता है) या केवल उच्च/निम्न पुनलावृत्ति के बीच अंतर करने में विफल रहता है (यदि $\rho$ को स्वीकार किया जाता है)।
• एकत्रीकरण की आलोचना (Critique of Aggregation): उनका तर्क है कि विविध साहित्य (जैसे, "मनोविज्ञान के रूप में संपूर्ण मनोविज्ञान") में पुनलावृत्ति दरों को एकत्रित करना एक अर्थहीन औसत उत्पन्न करता है जो असंगत प्रयोगात्मक व्यवस्थाओं को मिला देता है।

4. मुख्य परिणाम (Key Results)

• विभेदन क्षमता की हानि (Loss of Discriminability): यथार्थवादी विषमता (जैसे, $\rho = 0.15$) के तहत, "उच्च" पुनलावृत्ति दर (जैसे, $\mu=0.80$) और "निम्न" दर (जैसे, $\mu=0.20$) के लिए 95% उच्चतम घनत्व अंतराल (HDI) महत्वपूर्ण रूप से ओवरलैप होते हैं, भले ही $m=50$ पुनरावृत्तियाँ हों।
• प्रभावी नमूना आकार (Effective Sample Size): जैसे-जैसे $\rho$ बढ़ता है, स्वतंत्र पुनरावृत्तियों की प्रभावी संख्या ($m_e$) नाटकीय रूप से गिर जाती है। उदाहरण के लिए, यदि Reproducibility Project: Psychology ($m=100$) में $\rho=0.20$ है, तो अनुमानित भार केवल 5 सटीक पुनरावृत्तियों के बराबर है।
• Many Labs 4 विश्लेषण:
  • ML4 अनुक्रम के लिए अनुमानित $\rho$ उच्च था (पोस्टीरियर माध्य $\approx 0.37$ से $0.59$)।
  • इस स्तर की विषमता पर, अनुमानित पुनलावृत्ति दर के लिए 95% HDI लगभग पूरे [0, 1] अंतराल में फैला हुआ है।
  • डेटा यह अंतर नहीं कर सकता कि अंतर्निहित प्रभाव वास्तव में पुनरावृत्त है या नहीं; यह अनुक्रम "गैर-नैदानिक" (non-diagnostic) है।
• पूर्वाग्रह और शोर (Bias and Noise): व्यवस्थित पूर्वाग्रह (जैसे, उत्तेजनाओं का कम वितरण) माध्य $\mu$ को बदल देता है, जबकि शोर $\rho$ को बढ़ाता है। दोनों ही स्पष्ट पुनलावृत्ति दर को विकृत करते हैं और बाइनरी निर्णय लेने की क्षमता को कमजोर करते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

• "संकट" के आख्यान का खंडन (Refutation of the "Crisis" Narrative): लेखक तर्क देते हैं कि वर्तमान विधियों द्वारा "पुनरावृत्ति संकट" को स्थापित नहीं किया जा सकता है क्योंकि आधार दर (base rate) और विषमता की डिग्री अज्ञात है। एक निम्न पुनलावृत्ति दर (जैसे, 36%) एक स्वस्थ साहित्य जो छोटे, शोर वाले अध्येशनों से भरा है, से सांख्यिकीय रूप से अलग नहीं की जा सकती।
• सीमांकन की विफलता (Demarcation Failure): बाइनरी अंतर—"पुनरावृत्त" और "पुनरावृत्त नहीं"—वर्तमान कार्यप्रणालियों के तहत किसी परिणाम का वैज्ञानिक रूप से पुनरावृत्त गुण नहीं है।
• अभ्यास के लिए सिफारिशें (Recommendations for Practice):
  • बाइनरी निर्णयों को रोकें: शोधकर्ताओं को सीमांकन उद्देश्यों के लिए पुनरावृत्ति परिणामों को सरल "सफलता/विफलता" गणनाओं में बदलने से बचना चाहिए।
  • समृद्ध डेटा संरचनाएं (Richer Data Structures): विषमता के बारे में जानकारी प्राप्त करने के लिए, अध्येशनों को निरंतर परिणामों, प्रति प्रयोग कई मापों ($k > 1$), या पदानुक्रमित डिजाइनों की आवश्यकता है।
  • ध्यान का बदलाव: पुनरावृत्ति का उपयोग व्यक्तिगत परिणामों के सत्य को परखने के लिए एक "न्यायालय" के रूप में करने के बजाय, प्रभाव परिमाण का अनुमान लगाने, परिवर्तनशीलता को चरित्रित करने और प्रक्रियाओं को कैलिब्रेट करने के लिए किया जाना चाहिए।
• सैद्धांतिक प्रगति: यह शोध पत्र सुझाव देता है कि पुनरावृत्ति के मुद्दों को हल करने के लिए या तो मजबूत सैद्धांतिक भविष्यवाणियों (एंकर को परिभाषित करने के लिए) या केवल यादृच्छिक संदर्भ अध्येशनों के आसपास प्रोटोकॉल को मानकीकृत करने के बजाय "न्यूनतम व्यवहार्य प्रयोगों" की पहचान करने की आवश्यकता है।

निष्कर्षतः, यह शोध पत्र एक कठोर सांख्यिकीय प्रमाण प्रदान करता है कि बाइनरी पुनरावृत्ति निर्णयों को एकत्रित करने वाला वर्तमान प्रतिमान, अपरिहार्य विषमता की उपस्थिति में उच्च और निम्न पुनलाविरत्ति के बीच अंतर करने में मौलिक रूप से अक्षम है।