Prior-Free Sample Size Design for Test-and-Roll Experiments

तकनीकी सारांश: टेस्ट-एंड-रोल प्रयोगों के लिए प्रायोर-मुक्त (Prior-Free) नमूना आकार डिजाइन

समस्या का निरूपण
यह शोध पत्र एक परिमित जनसंख्या (finite population) के आकार $N$ के भीतर आयोजित "टेस्ट-एंड-रोल" प्रयोगों के लिए नमूना-आकार डिजाइन समस्या को संबोधित करता है। इस सेटिंग में, एक निर्णय लेने वाला पहले $m$ इकाइयों पर एक रैंडमाइज्ड कंट्रोल्ड ट्रायल (RCT) आयोजित करता है (जिसमें $m/2$ इकाइयों को उपचार (treatment) और $m/2$ को नियंत्रण (control) के लिए आवंटित किया जाता है)। देखे गए परिणामों के आधार पर, निर्णय लेने वाला शेष $N-m$ इकाइयों को उस उपचार पक्ष (treatment arm) में आवंटित करता जिसने प्रयोग में बेहतर प्रदर्शन किया हो।

उद्देश्य पूरी जनसंख्या पर अपेक्षित कुल कल्याण (expected total welfare) $E[\sum_{i=1}^N Y_i]$ को अधिकतम करना है। यह एक मौलिक अन्वेषण-दोहन (exploration–exploitation) ट्रेड-ऑफ पैदा करता है:

1. अन्वेषण लागत (Exploration Cost): $m$ को बढ़ाने से श्रेष्ठ उपचार की पहचान करने की सटीकता में सुधार होता है, लेकिन यह प्रयोगात्मक इकाइयों पर कल्याण संबंधी हानि भी थोपता है, क्योंकि प्रयोग के बाद (ex post) उनमें से आधी इकाइयाँ अनिवार्य रूप से निम्नतर उपचार को आवंटित की जाती हैं।
2. दोहन जोखिम (Exploitation Risk): $m$ को कम करने से प्रयोगात्मक इकाइयों पर तत्काल कल्याण हानि कम होती है, लेकिन यह एक त्रुटिपूर्ण रोलआउट निर्णय लेने का जोखिम बढ़ाता है, जिससे बड़ी शेष जनसंख्या ($N-m$) को गलत उपचार आवंटित होने की संभावना बढ़ जाती है।

केंद्रीय चुनौती यह है कि वास्तविक उपचार प्रभाव (true treatment effects) पूर्व में अज्ञात होते हैं। यह शोध पत्र एक ऐसा डिजाइन नियम seeks करता है जो प्रायोर-मुक्त (prior-free) हो, जो मौजूदा कल्याण-आधारित दृष्टिकोणों की विशेषता वाले व्यक्तिपरक बेयसियन प्रायर्स (subjective Bayesian priors) या मनमाने हाइपरपैरामीटर्स की संवेदनशीलता से बचता है।

कार्यप्रणाली और मौजूदा मानदंडों की आलोचना
लेखक पहले मानक एब्सोल्यूट मिनिमैक्स रिग्रेट (Absolute Minimax Regret) मानदंड का विश्लेषण करते हैं, जो एक ऐसे ऑरेकल (oracle) के सापेक्ष वर्स्ट-केस रिग्रेट (worst-case regret) को न्यूनतम करने के लिए नमूना आकार $m$ का चयन करता है जिसे वास्तविक उपचार प्रभावों का ज्ञान है।

• सीमा: शोध पत्र यह प्रदर्शित करता है कि यह मानदंड अत्यधिक छोटे प्रयोगात्मक नमूना आकार की ओर ले जाता है (उदाहरण के लिए, $N=10,000$ के लिए $m/N \approx 2.3\%$)।
• विफलता का तंत्र: एब्सोल्यूट मिनिमैक्स फ्रेमवर्क के तहत वर्स्ट-केस एडवरसरी (adversary) उन पैरामीटर मानों पर केंद्रित होती है जो पूर्ण उपचार प्रभाव ($|\tau|$) को अधिकतम करते हैं। ऐसे चरम मामलों में, अन्वेषण लागत ($m/2 \cdot |\tau|$), रिग्रेट फंक्शन पर हावी हो जाती है, जिससे यह मानदंड अन्वेषण को अत्यधिक दंडित करता है और नमूना आकार को शून्य के करीब दबा देता है।

इस समस्या को हल करने के लिए, लेखक वर्स्ट-केस मार्जिनल बेनिफिट (Worst-case Marginal Benefit - WMB) नियम प्रस्तावित करते हैं।

• मुख्य अवधारणा: कुल वर्स्ट-केस रिग्रेट को कम करने के बजाय, WMB नियम मार्जिन पर ट्रेड-ऑफ का मूल्यांकन करता है। यह प्रयोग में एक अतिरिक्त मैच किए गए जोड़े को जोड़ने के वर्स्ट-केस मार्जिनल बेनिफिट की तुलना उसके संबंधित मार्जिनल अन्वेषण लागत से करता है।
• स्टॉपिंग रूल (Stopping Rule): प्रयोग तब तक जारी रहता है जब तक कि एक अतिरिक्त जोड़े का वर्स्ट-केस मार्जिनल बेनिफिट, मार्जिनल लागत से अधिक रहता है। इष्टतम नमूना आकार $\hat{m}_{WMB}$ वह सबसे छोटा सम संख्या $m$ है जहाँ वर्स्ट-केस मार्जिनल बेनिफिट अनुपात $\eta(m, \mu_1, \mu_0)$ घटकर 1 या उससे नीचे आ जाता है।
• परिभाषा:
  $$\hat{m}_{WMB} = \min \left\{ m \in \{0, 2, \dots, N-2\} : \max_{(\mu_1, \mu_0) \in [0,1]^2} \eta(m, \mu_1, \mu_0) \leq 1 \right\}$$
  जहाँ $\eta$ अतिरिक्त अन्वेषण लागत प्रति इकाई, कम किए गए अपेक्षित रोलआउट त्रुटियों (बचाई गई इकाइयों) को मापता है।

प्रमुख परिणाम

1. रूल-ऑफ-थर्ड्स (Rule-of-Thirds) बेंचमार्क:
   यह शोध पत्र इष्टतम नमूना आकार के लिए एक सरल, प्रायोर-मुक्त बेंचमार्क स्थापित करता है:
   $$\hat{m} \approx \frac{N}{3}$$
   यह परिणाम दो अलग-अलग स्थितियों के तहत मान्य है:

   • बर्नौली परिणाम (Bernoulli Outcomes): गाऊसी अनुमान (Gaussian approximation) के माध्यम से, WMB मानदंड $\hat{m} \approx N/3$ प्रदान करता है। लेखक कठोरता से सिद्ध करते हैं कि सटीक बर्नौली समस्या के लिए एक "बाउंड्री रेयर-इवेंट पैथोलॉजी" (जहाँ एक आर्म में शून्य विचरण है और दूसरे में $O(1/N)$ की क्रम की सफलता की संभावना है) को बाहर निकालना आवश्यक है। इस पैथोलॉजिकल मामले में, इष्टतम नमूना आकार $N/2$ के करीब पहुँच जाता है। हालाँकि, नियमित आंतरिक अवस्थाओं (interior states) के लिए (जहाँ उपचार प्रभाव गैर-अपभ्रष्ट हैं), सबसे प्रतिकूल पैरामीटर विकर्ण ($\mu_1 \approx \mu_0$) के पास केंद्रित होते हैं, और गाऊसी अनुमान वैध हो जाता है, जिससे $N/3$ का नियम प्राप्त होता है।
   • गाऊसीय परिणाम (ज्ञात विचरण के साथ): ज्ञात सामान्य विचरण (common variance) के साथ गाऊसीय वितरण वाले परिणामों के लिए, यह $N/3$ बेंचमार्क बिना किसी एसिम्प्टोटिक सन्निकटन या बाउंड्री केस को बाहर रखे सटीक रूप से उत्पन्न होता है। मार्जिनल अनुपात फलन का निरंतर विश्रांति (continuous relaxation) एक क्लोज्ड-फॉर्म समाधान देता है जहाँ वर्स्ट-केस मार्जिनल बेनिफिट $\leq 1$ तभी होता है जब $m \geq N/3$ हो।

2. एडवरसरी का व्यवहार:
   WMB नियम के तहत, एडवरसरी (adversary) एब्सोल्यूट मिनिमैक्स रिग्रेट के तहत की तुलना में अलग व्यवहार करती है। कुल रिग्रेट को अधिकतम करने के लिए चरम उपचार प्रभावों को चुनने के बजाय, एडवरसरी उन पैरामीटर मानों को चुनती है जो निरंतर प्रयोग के मार्जिनल लाभ को अधिकतम करते हैं। आंतरिक शासन (interior regime) में, ये सबसे प्रतिकूल अवस्थाएँ विकर्ण ($\mu_1 \approx \mu_0$) के पास केंद्रित होती हैं, जहाँ उपचारों के बीच अंतर करना सबसे कठिन होता है।

3. संख्यात्मक सत्यापन (Numerical Validation):
   संख्यात्मक अध्ययन पुष्टि करते हैं कि छोटे $N$ के लिए, बाउंड्री प्रभाव नमूना आकार को $N/2$ की ओर धकेल सकते हैं। जैसे-जैसे $N$ बढ़ता है, सबसे प्रतिकूल पैरामीटर बाउंड्री से दूर चले जाते हैं, और इष्टतम नमूना आकार $N/3$ के करीब स्थिर हो जाता है।

महत्व और योगदान
यह शोध पत्र कल्याण-आधारित नमूना-आकार डिजाइन के लिए एक व्यावहारिक रूप से लागू करने योग्य, प्रायोर-मुक्त मार्गदर्शिका प्रदान करने का दावा करता है।

• व्यावहारिकता: परिणामी नियम ($m \approx N/3$) केवल कुल जनसंख्या आकार $N$ पर निर्भर करता है। इसके लिए निर्णय लेने वाले को व्यक्तिपरक प्रायर्स, प्रायर वेरिएंस या अन्य ट्यूनिंग पैरामीटर्स निर्दिष्ट करने की आवश्यकता नहीं है, जिन्हें अक्सर व्यवहार में न्यायसंगत ठहराना कठिन होता है।
• सैद्धांतिक मजबूती: कुल-रिग्रेट न्यूनीकरण से मार्जिनल-बेनिफिट विश्लेषण की ओर स्थानांतरित होकर, यह शोध पत्र मानक मिनिमैक्स रिग्रेट मानदंडों में निहित अन्वेषण के "अत्यधिक दंड" (over-penalization) से बचता है।
• कल्याण पर ध्यान (Welfare Focus): पारंपरिक पावर विश्लेषण (जो परिकल्पना परीक्षण के लिए Type I/II त्रुटियों को नियंत्रित करता है) के विपरीत, यह दृष्टिकोण सीधे परिमित जनसंख्या के कल्याण उद्देश्य को अनुकूलित करता है, जो प्रयोग की लागत और दोषपूर्ण रोलआउट के जोखिम के बीच स्पष्ट रूप से संतुलन बनाता है।

लेखक निष्कर्ष निकालते हैं कि WMB नियम परिमित-जनसंख्या टेस्ट-एंड-रोल प्रयोगों में अन्वेषण-दोहन ट्रेड-ऑफ के लिए एक मजबूत समाधान प्रदान करता है, जो एक स्पष्ट, सैद्धांतिक रूप से सुदृढ़ स्टॉपिंग रूल प्रदान करता है जो व्यक्तिपरक पूर्व विश्वासों से स्वतंत्र है।