Critical Values Robust to P-hacking

तकनीकी सारांश: P-हैकिंग के प्रति सुदृढ़ क्रिटिकल वैल्यूज़ (Critical Values)

समस्या विवरण
P-हैकिंग—सांख्यिकीय रूप से महत्वपूर्ण परिणामों की रिपोर्ट करने की संभावना बढ़ाने के लिए व्यवहारों में संलग्न होने का अभ्यास—वैज्ञानिक अनुसंधान में प्रचलित है लेकिन शास्त्रीय परिकल्पना परीक्षण सिद्धांत (classical hypothesis testing theory) में अनुपस्थित है। फलस्वरूप, शास्त्रीय क्रिटिकल वैल्यूज़ के तहत, वास्तविक शून्य परिकल्पनाओं (null hypotheses) को नाममात्र के महत्व स्तर ($\alpha$) की तुलना में अधिक बार खारिज किया जाता है। ऐसा इसलिए होता है क्योंकि वैज्ञानिकों के पास महत्व खोजने के लिए (प्रकाशन, करियर उन्नति के कारण) मजबूत प्रोत्साहन होते हैं और उनके पास डेटा संग्रह और विश्लेषण में पर्याप्त लचीलापन होता है जिससे वे मानदंडों का उल्लंघन किए बिना ऐसा कर सकते हैं। मल्टीपल टेस्टिंग के लिए शास्त्रीय सुधार (जैसे बोनफेरोनी) इस समस्या को हल करने में विफल रहते हैं क्योंकि वे प्रयोगों की संख्या को स्थिर मानते हैं। वास्तव में, वैज्ञानिक नए मानकों के जवाब में अपने व्यवहार को समायोजित करते हैं; यदि कोई सुधार महत्व प्राप्त करना कठिन बना देता है, तो वे केवल एक महत्वपूर्ण परिणाम मिलने तक अधिक प्रयोग करेंगे, जिससे वे सुधार को विफल कर देंगे।

कार्यप्रणाली (Methodology)
लेखक हाइपोथेसिस टेस्टिंग का एक संरचनात्मक मॉडल विकसित करते हैं जो 'ऑप्टिमल स्टॉपिंग थ्योरी' (optimal stopping theory) का उपयोग करके स्पष्ट रूप से p-हैकिंग व्यवहार को शामिल करता है।

1. वैज्ञानिक का परिवेश: एक वैज्ञानिक एक शून्य परिकल्पना ($H_0$) का एक वैकल्पिक परिकल्पना ($H_1$) के विरुद्ध परीक्षण करता है। वैज्ञानिक को एक महत्वपूर्ण परिणाम के लिए उच्च प्रतिफल ($v_s$) और एक महत्वहीन परिणाम के लिए कम प्रतिफल ($v_i$) प्राप्त होता है।
2. संसाधन बाधाएं: प्रयोग करने में सीमित संसाधनों (समय, पैसा, क्षमता) की खपत होती है। कुल संसाधन सीमा $L$ एक एक्सपोनेंशियल डिस्ट्रीब्यूशन का पालन करती है। प्रत्येक प्रयोग की लागत यादृच्छिक (random) होती है। एक वैज्ञानिक तब तक प्रयोग करता है जब तक संसाधन समाप्त न हो जाएं ($K$) या जब तक एक महत्वपूर्ण परिणाम न मिल जाए।
3. P-हैकिंग रणनीति: वैज्ञानिक क्रमवार रूप से प्रयोग करता है ($n=1, 2, \dots$)। यदि परिणाम महत्वहीन है और संसाधन शेष हैं, तो वैज्ञानिक अगले प्रयोग की ओर बढ़ता है। यदि परिणाम महत्वपूर्ण है, तो वह रुक जाता है और उसे रिपोर्ट करता है। यदि महत्व तक पहुँचने से पहले संसाधन समाप्त हो जाते हैं, तो वह अब तक प्राप्त सर्वोत्तम (अधिकतम) सांख्यिकी को रिपोर्ट करता है, जो अनिवार्य रूप से महत्वहीन होती है।
4. पूर्णता की संभावना ($\gamma$): मॉडल $\gamma$ को उस संभावना के रूप में परिभाषित करता है कि पहला प्रयोग संसाधनों के समाप्त होने से पहले पूरा हो जाता है। यह पैरामीटर अनुसंधान करने की सुगमता और संसाधन बाधाओं की व्यापकता को दर्शाता है।
5. सुदृढ़ क्रिटिकल वैल्यूज़ का व्युत्पन्न (Derivation):
   • लेखक एक वैज्ञानिक द्वारा संचालित प्रयोगों की अपेक्षित संख्या $E(N(z))$ का व्युत्पन्न निकालते हैं जब $H_0$ सत्य हो।
   • वे वास्तविक टाइप I एरर की संभावना ($S^*(z)$) की गणना करते हैं, जो कि रिपोर्ट की गई सांख्यिकी के $z$ से अधिक होने की संभावना है। इसे $S^*(z) = S(z) \times E(N(z))$ के रूप में दिखाया गया है, जहाँ $S(z)$ शास्त्रीय सर्वाइवल फंक्शन है।
   • सुदृढ़ क्रिटिकल वैल्यू ($z^*$) को उस मान के रूप में परिभाषित किया गया है जो $S^*(z^*) = \alpha$ को संतुष्ट करता है। यह सुनिश्चित करता है कि भले ही वैज्ञानिक नए मानक के अनुसार अपने p-हैकिंग व्यवहार को अनुकूलित करें, फिर भी गलत अस्वीकृति (false rejections) की आवृत्ति वांछित महत्व स्तर $\alpha$ के स्तर पर बनी रहे।

मुख्य योगदान और परिणाम

• इष्टतम स्टॉपिंग व्यवहार (Optimal Stopping Behavior): मॉडल यह प्रदर्शित करता है कि एक वैज्ञानिक के लिए इष्टतम रणनीति यह है कि जब तक महत्वपूर्ण परिणाम न मिल जाए या संसाधन समाप्त न हो जाएं, तब तक प्रयोग करना जारी रखा जाए। इससे स्टॉपिंग टाइम का एक ज्यामितीय वितरण (geometric distribution) होता है।
• सुदृढ़ क्रिटिकल वैल्यू फॉर्मूला: शोध पत्र एक गैर-मानक बोनफेरोनी सुधार व्युत्पन्न करता है। महत्व स्तर $\alpha$ के लिए सुदृढ़ क्रिटिकल वैल्यू $z^*$, कम किए गए महत्व स्तर $\alpha^*$ के शास्त्रीय क्रिटिकल वैल्यू के बराबर है, जहाँ:
  $$\alpha^* = \frac{\alpha}{E(N(z^*))}$$
  महत्वपूर्ण रूप से, $E(N(z^*))$ सुदृढ़ क्रिटिकल वैल्यू $z^*$ के तहत प्रयोगों की अपेक्षित संख्या है, न कि शास्त्रीय एक की। लेखक दिखाते हैं कि $z^*$ निम्न द्वारा निहित रूप से परिभाषित है:
  $$z^* = Z\left( \alpha \cdot \frac{1 - \gamma}{1 - \alpha\gamma} \right)$$
  जहाँ $Z$ टेस्ट स्टैटिस्टिक का इनवर्स सर्वाइवल फंक्शन है।
• व्यवहार संबंधी प्रतिक्रिया: पिछले सुधारों के विपरीत, यह दृष्टिकोण व्यवहार संबंधी प्रतिक्रिया को ध्यान में रखता है: जैसे-जैसे क्रिटिकल वैल्यू अधिक सख्त होती जाती है, वैज्ञानिक अधिक p-हैकिंग करते हैं (अर्थात $E(N)$ बढ़ जाता है)। सुदृढ़ क्रिटिकल वैल्यू इस बढ़ी हुई प्रयोगशीलता की भरपाई करने के लिए हमेशा शास्त्रीय क्रिटिकल वैल्यू से बड़ी होती है।
• सामान्यीकरण (Generalizability): स्वतंत्र प्रयोगों की धारणा के तहत व्युत्पन्न सुदृढ़ क्रिटिकल वैल्यू अन्य p-हैकिंग रणनीतियों (जैसे डेटा पूलिंग, आउटलेर्स हटाना, स्पेसिफिकेशन खोजना) के लिए भी वैध रहती है, बशर्ते कि ये रणनीतियाँ टेस्ट स्टैटिस्टिक्स के बीच सकारात्मक निर्भरता (positive dependence) उत्पन्न करती हों।

संख्यात्मक चित्रण और अंशांकन (Numerical Illustration and Calibration)
लेखक अध्ययनों के जीवन चक्र के संबंध में चिकित्सा विज्ञान (Dwan et al., 2008) के डेटा का उपयोग करके मॉडल का अंशांकन करते हैं।

• अंशांकन: वे स्वीकृत अध्ययनों के उस अंश का विश्लेषण करके पूर्णता की संभावना $\gamma$ का अनुमान लगाते हैं जो कभी शुरू नहीं किए गए या जल्दी रोक दिए गए। अनुमानित पूर्णता संभावना $\gamma = 80\%$ है।
• नियम (Rule of Thumb): $\gamma = 0.8$ के साथ, 5% टाइप I एरर दर बनाए रखने के लिए आवश्यक प्रभावी महत्व स्तर लगभग $\alpha/5$ है।
  • एक वन-साइडेड z-टेस्ट के लिए $\alpha=5\%$ के साथ, सुदृढ़ क्रिटिकल वैल्यू 2.33 है (बनाम शास्त्रीय 1.64)।
  • एक टू-साइडेड z-टेस्ट के लिए $\alpha=5\%$ के साथ, सुदृढ़ क्रिटिकल वैल्यू 2.58 है (बनाम शास्त्रीय 1.96)।
• संवेदनशीलता (Sensitivity): सुदृढ़ क्रिटिकल वैल्यूज़ $\gamma$ के उतार-चढ़ाव के प्रति अपेक्षाकृत कम संवेदनशील हैं। भले ही $\gamma$ 70% और 90% के बीच बदलता है, टू-साइडेड टेस्ट के लिए क्रिटिकल वैल्यूज़ 2.42 और 2.79 के बीच रहती हैं।

महत्व और दावे
शोध पत्र का दावा है कि यह p-हैकिंग को ध्यान में रखते हुए महत्व के मानकों को समायोजित करने के लिए एक सैद्धांतिक आधार प्रदान करता है।

• विश्वसनीयता की बहाली: सुदृढ़ क्रिटिकल वैल्यूज़ का उपयोग करके, वैज्ञानिक समुदाय यह सुनिश्चित कर सकता है कि गलत सकारात्मक (False Positives/Type I errors) की दर घोषित महत्व स्तर से अधिक न हो, भले ही इष्टतम p-हैकिंग मौजूद हो।
• विकल्पों के साथ तुलना: उनका दृष्टिकोण प्री-एनालिसिस प्लान रजिस्ट्रेशन (pre-analysis plan registration) के विपरीत है। जबकि पंजीकरण कुछ प्रकार के p-हैकिंग को रोकता है, यह खोजपूर्ण डेटा विश्लेषण (exploratory data analysis) को बाधित कर सकता है। सुदृढ़ क्रिटिकल वैल्यूज़ अन्वेषण की अनुमति देते हुए सांख्यिकीय वैधता बनाए रखते हैं। इसके अलावा, पंजीकरण यह नहीं रोकता कि वैज्ञानिक महत्वपूर्ण परिणाम मिलने तक प्रयोगों को दोहराते रहें; सुदृढ़ क्रिटिकल वैल्यूज़ इस विशिष्ट सीमा को संबोधित करते हैं।
• प्रस्तावों के साथ सैद्धांतिक लिंक: यह विश्लेषण महत्व स्तरों को कम करने के प्रस्तावों (जैसे बेंजामिन एट अल., 2018 द्वारा सुझाया गया 5% से 0.5% तक) को एक सैद्धांतिक आधार प्रदान करता है। यह दिखाता है कि आवश्यक कमी का परिमाण क्षेत्र की पूर्णता की संभावना (completion probability) पर निर्भर करता है। 10-गुना कमी, 90% की पूर्णता संभावना के अनुरूप है, जबकि 5-गुना कमी, 80% के अनुरूप है।

शोध पत्र निष्कर्ष निकालता है कि जहाँ वैज्ञानिकों के पास महत्व खोजने के प्रोत्साहन और अवसर हैं, वहाँ हाइपोथेसिस टेस्ट की सूचनात्मकता बनाए रखने के लिए सुदृढ़ क्रिटिकल वैल्यूज़ एक आवश्यक उपकरण हैं।