Hypothesizing an effect size by considering individual variation

यहाँ जेलमैन (Gelman) और अन्य द्वारा लिखित शोध पत्र "Hypothesizing an effect size by considering individual variation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र प्रयोगात्मक डिजाइन और सांख्यिकीय अनुमान में एक महत्वपूर्ण अंतराल को संबोधित करता है: शोधकर्ताओं द्वारा अध्ययन करने से पूर्व औसत उपचार प्रभाव (Average Treatment Effects - ATE) के संबंध में यथार्थवादी परिकल्पनाएँ (hypotheses) बनाने में आने वाली कठिनाई।

• वर्तमान सीमाएँ: प्रभाव आकार (effect size) की परिकल्पना करने के मौजूदा दृष्टिकोण त्रुटिपूर्ण हैं:
  • मेटा-एनालिसिस/साहित्य समीक्षा (Meta-analysis/Literature Review): प्रकाशन पूर्वाग्रह (publication bias) और सांख्यिकीय सार्थकता के आधार पर चयन के कारण यह "कचरा-इन-कचरा-आउट" (garbage-in-garbage-out) की समस्या से ग्रस्त है।
  • विशेषज्ञ उद्धारण (Expert Elicitation): विशेषज्ञ अक्सर पक्षपाती साहित्य या व्यक्तिगत आशाओं पर निर्भर करते हैं, जिससे अति-आत्मविश्वास पैदा होता है।
  • कोहेन की परंपराएँ (Cohen's Conventions): मानक लेबल (छोटा, मध्यम, बड़ा) आधुनिक संदर्भों में, जहाँ क्रमिक सुधार (incremental improvement) होता है, अक्सर अत्यधिक आशावादी होते हैं।
  • पायलट अध्ययन (Pilot Studies): छोटे पायलट अध्यनों से प्राप्त अनुमान इतने शोर (noisy) वाले होते हैं कि वे पावर कैलकुलेशन के लिए उपयोगी नहीं होते, जिससे अक्सर आवश्यक सैंपल साइज का गंभीर रूपव कम आकलन और पावर का अत्यधिक आकलन होता है।
  • बेयसियन "क्रिंज" (Bayesian "Cringe"): प्रतिबंधात्मक धारणाएँ बनाने के प्रति सांस्कृतिक अरुचि अत्यधिक विसरित (diffuse) प्रायर्स (priors) और अवास्तविक बड़े प्रभाव आकार की अपेक्षाओं की ओर ले जाती है।
• परिणाम: ये त्रुटिपूर्ण परिकल्पनाएँ अध्ययनों में कम सांख्यिकीय पावर, बढ़े हुए टाइप M (परिमाण) और टाइप S (चिह्न) त्रुटियों का कारण बनती हैं, और पुनरावृत्ति संकट (replication crisis) में योगदान देती हैं। शोधकर्ता अक्सर एक एकल औसत प्रभाव संख्या पर ध्यान केंद्रित करते हैं, और व्यक्तिगत प्रतिक्रियाओं की अंतर्निहित विषमता (heterogeneity) को अनदेखा कर देते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक प्रतिमान परिवर्तन (paradigm shift) का प्रस्ताव करते हैं: औसत प्रभाव के लिए एक एकल स्केलर मान (scalar value) की परिकल्पना करने के बजाय, शोधकर्ताओं को व्यक्तिगत उपचार प्रभावों के वितरण (distribution of individual treatment effects) की परिकल्पना करनी चाहिए। यह दृष्टिकोण व्यक्तिगत भिन्नता को मॉडल करने के एक बड़े और अधिक सुलभ कार्य में औसत का अनुमान लगाने की विशिष्ट समस्या को समाहित करता है।

प्रस्तावित प्रोटोकॉल (एंकरिंग और एडजस्टमेंट)

यह विधि प्रभावों के वितरण का निर्माण करने के लिए "एंकरिंग और एडजस्टमेंट" (anchoring and adjustment) के एक ह्यूरिस्टिक का उपयोग करती है:

1. एंकर (एक संभावित प्रभाव आकार): एक यथार्थवादी प्रभाव आकार ($X$) से शुरुआत करें, यह मानते हुए कि उपचार एक उत्तरदायी व्यक्ति के लिए इच्छित रूप से काम करता है (साहित्य या विषय-वस्तु संबंधी तर्क के आधार पर)।
2. रेंज (सीमा) निर्धारित करें: वास्तविक दुनिया की स्थितियों के तहत प्रभावों की सीमा पर विचार करें (जैसे, 0 से $X$, या संभावित रूप से नकारात्मक मान)।
3. वितरण का निर्माण करें: इस सीमा को एक संभाव्यता वितरण (probability distribution) में बदलें (जैसे, $X$ के $0.5X$ पर केंद्रित एक सामान्य वितरण)।
4. "शुद्ध शून्य" (Pure Nulls) का अनुमान लगाएं: उस जनसंख्या के अनुपात ($p_{null}$) की परिकल्पना करें जिनके लिए प्रभाव बिल्कुल शून्य है (जैसे, गैर-अनुपालन करने वाले, मेटाबॉलिक रूप से प्रतिक्रिया देने में असमर्थ लोग, या वे जो तंत्र से अप्रभावित हैं)।
5. ATE की गणना करें: अपेक्षित औसत उपचार प्रभाव (ATE) इस प्रकार प्राप्त किया जाता है:
   $$ATE \approx (1 - p_{null}) \cdot 0.5X$$
   • नियम (Rule of Thumb): प्रत्यक्ष हस्तक्षेपों के लिए, संभावित प्रभाव को 4 से विभाजित करें। अप्रत्यक्ष हस्तक्षेपों (जैसे, मार्केटिंग) के लिए, इसे 20 या उससे अधिक से विभाजित करें।

फॉर्मेटिव इंटरव्यू (Formative Interviews)

लेखकों ने तीन शोधकर्ताओं (चिकित्सा/इंजीनियरिंग) के साथ इस प्रोटोकॉल का परीक्षण किया। उन्होंने पाया कि जबकि शोधकर्ता सबसे बड़े और सबसे छोटे प्रभावों वाले व्यक्तियों की पहचान आसानी से कर सकते थे, उन्हें बीच में आने वाली जनसंख्या के अनुपात का अनुमान लगाने में कठिनाई हुई। इसने शोधकर्ता के संज्ञानात्मक भार (cognitive load) को "शुद्ध शून्य" के अनुपात का अनुमान लगाने पर केंद्रित करके, चरम सीमाओं द्वारा सीमा निर्धारित करने के दृष्टिकोण को मान्य किया।

3. मुख्य योगदान और परिणाम

यह शोध पत्र तीन डोमेन में इस ढांचे के अनुप्रयोग को प्रदर्शित करता है, जो यह दिखाता है कि यह कैसे अत्यधिक आशावादी अपेक्षाओं को ठीक करता है:

• चिकित्सा (बाइनरी परिणाम):

  • परिदृश्य: एक दवा जो मृत्यु को रोकने के लिए लक्षित है।
  • अंतर्दृष्टि: एक प्रभावकारिता परीक्षण (efficacy trial - कड़ाई से नियंत्रित) में, नमूने को "बचाने योग्य" रोगियों के साथ समृद्ध किया जा सकता है, जिससे उच्च ATE (जैसे, 0.65) प्राप्त होता है। हालांकि, एक प्रभावशीलता परीक्षण (effectiveness trial - व्यापक आबादी) में, नमूने में कई "बचाने योग्य नहीं" (Type 3) और "पहले से सुरक्षित" (Type 1) व्यक्ति शामिल होते हैं।
  • परिणाम: वही दवा वास्तविक दुनिया के परिवेश में 0.20 का ATE दिखा सकती है। यह ढांचा शोधकर्ताओं को रोगी प्रकारों के मिश्रण को स्पष्ट रूप से मॉडल करने के लिए मजबूर करता है, जिससे प्रभावकारिता परीक्षण के परिणामों का व्यापक आबादी में अनियंत्रित हस्तांतरण रुक जाता है।

• राजनीति विज्ञान (संख्यात्मक डेटा):

  • परिदृश्य: समलैंगिक विवाह के प्रति दृष्टिकोण पर एक समलैंगिक व्यक्ति को जानने का प्रभाव।
  • अंतर्दृष्टि: कई उत्तरदाता पैमाने के चरम (1 या 5) पर हैं और हिल नहीं सकते। केवल जनसंख्या का एक अंश ही "परिवर्तनीय" (malleable) है।
  • परिणाम: जनसंख्या को स्थिर और परिवर्तनीय विचारों के मिश्रण के रूप में मॉडल करके, लेखकों ने 5-पॉइंट स्केल पर 0.1 का एक यथार्थवादी ATE निकाला, जो यह समझाता है कि पिछले अध्ययनों ने क्यों बहुत छोटे, मुश्किल से सार्थक प्रभाव पाए।

• प्रकाशित साहित्य की आलोचना:

  • परिदृश्य: एक अध्ययन जो बचपन के हस्तक्षेप से वयस्क आय में 42% की वृद्धि का दावा करता है।
  • अंतर्दृष्टि: 42% का औसत प्रभाव यह संकेत देता है कि यदि प्रभाव वास्तविक रूप से भिन्न होता (कुछ शून्य के करीब और कुछ बहुत अधिक), तो "सफल" मामलों को >100% लाभ दिखाना पड़ता, जो कि अवास्तविक है।
  • परिणाम: फ्रेमवर्क सुझाव देता है कि रिपोर्ट किया गया 42% कम पावर और चयन पूर्वाग्रह (selection bias) द्वारा संचालित एक बहुत बड़ा अति-अनुमान है।

4. महत्व और निहितार्थ

यह शोध पत्र इस बात का मौलिक पुनर्मूल्यांकन प्रदान करता है कि सांख्यिकीय शक्ति (statistical power) और प्रायर्स (priors) को कैसे समझा जाना चाहिए:

1. कार्यप्रवाह का उलटाव (Inversion of Workflow): औसत प्रभाव से शुरू करने और यह पूछने के बजाय कि क्या इसमें भिन्नता है, शोधकर्ताओं को प्रभावों के वितरण और नमूने की संरचना से शुरू करना चाहिए। औसत प्रभाव इन धारणाओं का एक व्युत्पन्न परिणाम बन जाता है।
2. अध्ययन के उद्देश्य का संदर्भ: पेपर यह रेखांकित करता है कि "सही" प्रभाव आकार अध्ययन के लक्ष्य पर निर्भर करता है:
   • प्रूफ ऑफ कॉन्सेप्ट (Proof of Concept): उस उप-जनसंख्या पर ध्यान केंद्रित करें जिसमें सबसे बड़ा प्रभाव हो (पावर को अधिकतम करना)।
   • जनसंख्या औसत (Population Average): विषमता को ध्यान में रखने के लिए प्रतिनिधि नमूनाकरण या पोस्ट-स्ट्रैटिफिकेशन की आवश्यकता होती है।
   • तंत्र की समझ (Mechanism Understanding): प्रभाव के स्वयं के विचरण (variance) का अनुमान लगाने के लिए नमूनाकरण की आवश्यकता होती है।
3. पुनरावृत्ति संकट को संबोधित करना (Addressing the Replication Crisis):
   • यह ढांचा "विफल पुनरावृत्तियों" को गैर-अस्तित्व के प्रमाण के रूप में नहीं, बल्कि विभिन्न आबादी या संदर्भों में विषम उपचार प्रभावों (heterogeneous treatment effects) के प्रमाण के रूप में समझाता है।
   • यह क्षेत्र को "क्या प्रभाव है?" (शून्य परिकल्पना सार्थकता परीक्षण) के बाइनरी से हटाकर रिस्पॉन्स सरफेस (response surfaces) और गतिशील संबंधों के मॉडलिंग की ओर ले जाता है।
4. व्यावहारिक डिजाइन: "शुद्ध शून्य" और व्यक्तिगत प्रतिक्रियाओं की सीमा पर शोधकर्ताओं को स्पष्ट रूप से विचार करने के लिए मजबूर करके, यह विधि स्वाभाविक रूप से अधिक रूढ़िवादी (और यथार्थवादी) प्रभाव आकार अनुमानों की ओर ले जाती है, जिससे "विनर का अभिशाप" (winner's curse) से बचा जा सकता है जहाँ कम पावर के कारण महत्वपूर्ण निष्कर्षों का अत्यधिक आकलन किया जाता है।

निष्कर्ष

जेलमन और अन्य का तर्क है कि उपचार प्रभावों को एक एकल अंतर्निहित मात्रा मानना एक वैचारिक त्रुटि है। एकल संख्या के बजाय प्रभावों के वितरण की परिकल्पना करके, शोधकर्ता अधिक मजबूत प्रायर्स का निर्माण कर सकते हैं, उचित पावर के साथ अध्ययन डिजाइन कर सकते हैं, और जनसंख्या विषमता के संबंध में आवश्यक सूक्ष्मता के साथ परिणामों की व्याख्या कर सकते हैं। यह दृष्टिकोण प्रभाव आकार अनुमान को एक अनुमान से बदलकर वास्तविक दुनिया की भिन्नता को मॉडल करने के एक संरचित अभ्यास में बदल देता है।