Design-based theory for causal inference from adaptive experiments

यहाँ शिनरान ली और एंकी झाओ के शोध पत्र "Design-based theory for causal inference from adaptive experiments" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

अनुकूली प्रयोगात्मक डिज़ाइन (जैसे, मल्टी-आर्म्ड बैंडिट्स, कोवेरिएट-एडाप्टिव रैंडमाइजेशन, सीक्वेंशियल रैंडमाइजेशन) संचित डेटा के आधार पर उपचार असाइनमेंट की संभावनाओं को गतिशील रूप से अपडेट करते हैं। व्यवसाय, चिकित्सा और नीति में व्यापक रूप से उपयोग किए जाने के बावजूद, इन डिज़ाइनों के लिए मौजूदा कारण अनुमान (causal inference) सिद्धांत महत्वपूर्ण सीमाओं का सामना करते हैं:

• सुपरपॉपुलेशन धारणा (Superpopulation Assumption): अधिकांश वर्तमान साहित्य यह मानता है कि इकाइयाँ एक सुपरपॉपुलेशन से स्वतंत्र और समान रूप से वितरित (i.i.d.) हैं। यह धारणा तब विफल हो जाती है जब इकाइयों का वितरण समय के साथ बदलता है (गैर-विनिमय इकाइयाँ/non-exchangeable units), जिससे अनुमान पक्षपाती (biased) हो जाते हैं।
• रूढ़िवादी विचरण अनुमान (Conservative Variance Estimation): परिमित-जनसंख्या अनुमान (डिज़ाइन-आधारित) अक्सर सुपरपॉपुलेशन अनुमान की तुलना में अधिक रूढ़िवादी होता है। मौजूदा पद्धतियाँ सटीक विचरण अनुमान प्रदान करने में संघर्ष करती हैं, विशेष रूप से जटिल "ब्लैक-बॉक्स" परिणाम मॉडल (जैसे, मशीन लर्निंग) का उपयोग करते समय।
• गैर-अभिसारी संभावनाएँ (Non-converging Probabilities): कई अनुकूली डिज़ाइन (जैसे, $\epsilon$-greedy बैंडिट्स) में उपचार की संभावनाएँ एक स्थिर मान की ओर अभिसरित नहीं होती हैं, जिससे एसिम्प्टोटिक विश्लेषण जटिल हो जाता है।
• गैर-अनुकूली विश्लेषण की सीमाएँ (Nonadaptive Analysis Limitations): गैर-अनुकूली प्रयोगों के लिए मानक कोवेरिएट समायोजन विधियों को लचीले मशीन लर्निंग मॉडल का उपयोग करते समय मजबूत धारणाओं (जैसे, सही मॉडल विनिर्देश या बोनफेरोनी सुधारों के साथ क्रॉस-फिटिंग) की आवश्यकता होती है ताकि वैध अनुमान सुनिश्चित किया जा सके।

2. कार्यप्रणाली और ढांचा (Methodology and Framework)

लेखक एक परिमित-जनसंख्या, डिज़ाइन-आधारित ढांचे का प्रस्ताव करते हैं जहाँ संभावित परिणामों (potential outcomes) और कोवेरिएट्स को स्थिर माना जाता है, और यादृच्छिकता (randomness) केवल उपचार असाइनमेंट तंत्र से उत्पन्न होती है।

A. अनुमानक (Estimators)

यह शोध पत्र परिमित-जनसंख्या औसत उपचार प्रभाव (या इसके रैखिक संयोजन, $\tau_C$) के लिए दो प्राथमिक अनुमानकों पर ध्यान केंद्रित करता है:

1. इन्वर्स-प्रोपेंसिटी-वेटेड (IPW):
   $$\hat{Y}_{ipw}(z) = \frac{1}{T} \sum_{t=1}^T \frac{\mathbb{I}(Z_t=z)}{e_t(z)} Y_t$$
   जहाँ $e_t(z)$ प्रोपेंसिटी स्कोर (इतिहास $H_t$ दिए पर समय $t$ पर उपचार $z$ की संभावना) है।
2. ऑगमेंटेड IPW (AIPW):
   $$\hat{Y}_{aipw}(z) = \frac{1}{T} \sum_{t=1}^T \left[ \frac{\mathbb{I}(Z_t=z)}{e_t(z)} Y_t + \left(1 - \frac{\mathbb{I}(Z_t=z)}{e_t(z)}\right) \hat{m}_t(z) \right]$$
   जहाँ $\hat{m}_t(z)$ संभावित परिणाम $Y_t(z)$ का एक अनुकूली अनुमानक है जो केवल $H_t$ (समय $t$ तक के इतिहास) की जानकारी का उपयोग करके बनाया गया है। यह ब्लैक-बॉक्स मशीन लर्निंग मॉडल के एकीकरण की अनुमति देता है।

B. सैद्धांतिक उपकरण (Theoretical Tools)

• मार्टिंगेल संरचना (Martingale Structure): लेखक इस तथ्य का लाभ उठाते हैं कि अनुमान त्रुटियाँ इतिहास $H_t$ के सापेक्ष एक मार्टिंगेल डिफरेंस सीक्वेंस बनाती हैं। यह मार्टिंगेल सेंट्रल लिमिट थ्योरम (CLT) के अनुप्रयोग की अनुमति देता है।
• विचरण अनुमान (Variance Estimation):
  • वे एक मानक सैंपल कोवेरिएंस अनुमानक ($\hat{V}_{aipw}$) व्युत्पन्न करते हैं जो सामान्यतः रूढ़िवादी (अपवर्ड बायस्ड) होता है।
  • वे एक शार्प कोवेरिएंस अनुमानक ($\tilde{V}_{aipw}$) का प्रस्ताव करते हैं जो अवशेषों (residuals) ($Y_t - \hat{m}_t$) के सैंपल कोवेरिएंस को घटाता है। यह अनुमानक तब शार्प (अर्थात, निष्पक्ष) हो जाता है जब अवशेष इकाइयों में योगात्मक (additive) होते हैं, जिससे रूढ़िवादिता काफी कम हो जाती है।

C. विस्तार (Extensions)

• ब्लॉक अनुकूली डिज़ाइन (Block Adaptive Designs): सिद्धांत को उन सेटिंग्स में विस्तारित किया गया है जहाँ इकाइयाँ ब्लॉकों (समूहों) में आती हैं, और रैंडमाइजेशन पिछले ब्लॉक इतिहास के आधार पर ब्लॉकों के भीतर होता है (जैसे, सीक्वेंशियल रैंडमाइजेशन)।
• गैर-अनुकूली डिज़ाइन (Nonadaptive Designs): लेखक गैर-अनुकूली डिज़ाइनों को अनुकूली डिज़ाइन की तरह मानने का प्रस्ताव करते हैं, जिसमें $\hat{m}_t(z)$ को क्रमबद्ध तरीके से बनाया जाता है। यह एक मार्टिंगेल संरचना को प्रेरित करता है जो क्रॉस-फिटिंग या मजबूत स्थिरता धारणाओं की आवश्यकता के बिना ब्लैक-बॉक्स अनुमानकों के उपयोग को वैध बनाता है।

3. मुख्य योगदान (Key Contributions)

1. परिमित-जनसंख्या डिज़ाइन-आधारित सिद्धांत

यह शोध पत्र अनुकूली प्रयोगों के लिए पहला कठोर डिज़ाइन-आधारित सिद्धांत स्थापित करता है जो निम्नलिखित को समाहित करता है:

• गैर-विनमय इकाइयाँ (Non-exchangeable units): इकाइयाँ समय के साथ विकसित होने वाले वितरण रख सकती हैं।
• गैर-अभिसारी और लुप्त होती संभावनाएँ: सिद्धांत तब भी मान्य रहता है जब $e_t(z)$ एक स्थिर मान की ओर अभिसरित नहीं होता या विशिष्ट दरों (जैसे, $t^{-1/2+\delta}$) पर लुप्त हो जाता है।
• ब्लैक-बॉक्स परिणाम मॉडल: यदि $\hat{m}_t(z)$ विशिष्ट मार्टिंगेल स्थितियों को पूरा करता है, तो AIPW अनुमानकों के लिए वैध अनुमान की गारंटी दी जाती है, भले ही वह एक जटिल, गैर-अभिसारी मशीन लर्निंग मॉडल हो।

2. शार्प विचरण अनुमान (Sharp Variance Estimation)

लेखक एक नया कोवेरिएंस अनुमानक पेश करते हैं जो अनुकूली रिग्रेशन अवशेषों का लाभ उठाता है।

• परिणाम: यह अनुमानक सामान्यतः रूढ़िवादी होता है लेकिन शार्प (अर्थात, विचरण अनुमान वास्तविक विचरण के बराबर होता है) हो जाता है जब कोवेरिएट्स पर संभावित परिणामों के अनुकूली रिग्रेशन से प्राप्त अवशेष इकाइयों में योगात्मक होते हैं। यह परिमित-जनसंख्या अनुमान की अंतर्निहित रूढ़िवादिता को संबोधित करता है।

3. गैर-अनुकूली डिज़ाइनों के लिए अनुकूली कोवेरिएट समायोजन

एक पद्धतिगत योगदान के रूप में, मानक गैर-अनुकूली प्रयोगों का अनुकूली AIPW ढांचे का उपयोग करके विश्लेषण करने का प्रस्ताव है।

• लाभ: $\hat{m}_t(z)$ को क्रमबद्ध रूप से (केवल पिछले डेटा का उपयोग करके) बनाकर, यह विधि एक मार्टिंगेल संरचना को प्रेरित करती है। यह लचीले ब्लैक-बॉक्स मॉडल (जैसे, रैंडम फॉरेस्ट) के साथ वैध अनुमान की अनुमति देता, जिन्हें अन्यथा मानक गैर-अनुकूली विश्लेषण में मजबूत धारणाओं या बोनफेरोनी सुधारों के साथ क्रॉस-फिटिंग की आवश्यकता होती।

4. अनुकूली डिज़ाइनों का एकीकरण

यह ढांचा विविध डिज़ाइनों के सैद्धांतिक उपचार को एकीकृत करता है, जिनमें शामिल हैं:

• मल्टी-आर्म्ड बैंडिट्स (कॉन्टेक्स्टुअल और नॉन-कॉन्टेक्स्टुअल)।
• कोवेरिएट-एडाप्टिव रैंडमाइजेशन (जैसे, बायस्ड कॉइन, मिनिमाइजेशन)।
• सीक्वेंशियल रैंडमाइजेशन (एक ऐसा अंतराल भरना जहाँ सीक्वेंशियल रैंडमाइजेशन के लिए मौजूदा साहित्य में कमी थी)।

4. प्रमुख परिणाम और सैद्धांतिक गारंटी (Key Results and Theoretical Guarantees)

• निष्पक्षता (Unbiasedness): सामान्य अनुकूली रैंडमाइजेशन के तहत IPW और AIPW दोनों अनुमानक परिमित-जनसंख्या औसत उपचार प्रभाव के लिए निष्पक्ष हैं।
• एसिम्प्टोटिक नॉर्मलिटी (Asymptotic Normality): नियमितता शर्तों (विचरण अभिसरण और लिंडेबर्ग स्थितियाँ) के तहत, अनुमानक एक सेंट्रल लिमिट थ्योरम को संतुष्ट करते हैं:
  $$\sqrt{T}(\hat{\tau}_{aipw} - \tau_C) \xrightarrow{d} N(0, \Sigma)$$
  जहाँ एसिम्प्टोटिक विचरण अवशेषों के सशर्त विचरण पर निर्भर करता है।
• विश्वास अंतराल की वैधता (Validity of Confidence Intervals): प्रस्तावित वाल्ड-टाइप (Wald-type) विश्वास अंतराल (शार्प विचरण अनुमानक पर आधारित) नाममात्र कवरेज दर प्राप्त करते हैं।
• वैधता के लिए शर्तें: सिद्धांत प्रोपेंसिटी स्कोर और परिणाम मॉडल के क्षय (decay) के लिए विशिष्ट पर्याप्त स्थितियाँ प्रदान करता है, जो लुप्त होती और गैर-अभिसारी दोनों संभावनाओं को समायोजित करता है।

5. सिमुलेशन और अनुभवजन्य साक्ष्य (Simulation and Empirical Evidence)

शोध पत्र सिमुलेशन के माध्यम से सिद्धांत को सत्यापित करता है:

• अनुकूली कोवेरिएट समायोजन: गैर-अनुकूली सेटिंग्स में, प्रस्तावित अनुकूली AIPW विधि ब्लैक-बॉक्स मॉडल (रैंडम फॉरेस्ट) के साथ मानक विधियों की तुलना में वैध कवरेज (लगभग 95%) और छोटे विश्वास अंतराल प्राप्त करने में सफल रही। इसके विपरीत, रैंडम फॉरेस्ट के साथ मानक गैर-अनुकूली समायोजन स्वतंत्रता धारणाओं के उल्लंघन के कारण गंभीर अंडर-कवरेज (68.7%) की ओर ले गया।
• सीक्वेंशियल रैंडमाइजेशन: विधि को सीक्वेंशियल रैंडमाइजेशन पर लागू किया गया, जिसने पूरी तरह से रैंडमाइज्ड डिज़ाइनों की तुलना में RMSE में 70.6% की कमी और विश्वास अंतराल की लंबाई में 71.3% की कमी प्रदर्शित की, जबकि वैध कवरेज बनाए रखा।
• लुप्त होती संभावनाएँ (Vanishing Probabilities): सिमुलेशन ने पुष्टि की कि जब उपचार की संभावनाएँ $t^{-1/2+\delta}$ ($\delta \ge 0$) की दरों पर लुप्त होती हैं, तो अनुमान वैध रहता है, लेकिन यदि दर बहुत आक्रामक ($\delta < 0$) है, तो यह विफल हो जाता है, जो सैद्धांतिक सीमाओं के अनुरूप है।

6. महत्व (Significance)

यह शोध पत्र निम्नलिखित द्वारा कारण अनुमान (causal inference) में एक बड़ी प्रगति का प्रतिनिधित्व करता है:

1. अंतराल को पाटना: यह अनुकूली प्रयोगात्मक डिज़ाइन (जो अक्सर ऑनलाइन लर्निंग और बैंडिट्स से जुड़ा होता है) और परिमित-जनसंख्या कारण अनुमान (जो रैंडमाइज्ड ट्रायल्स के लिए स्वर्ण मानक है) के क्षेत्रों को जोड़ता है।
2. मशीन लर्निंग को सक्षम बनाना: यह i.i.d. सुपरपॉपुलेशन की अक्सर अवास्तविक धारणा पर निर्भर किए बिना, अनुकूली प्रयोगों में जटिल, डेटा-संचालित परिणाम मॉडल (ब्लैक बॉक्स) के उपयोग के लिए एक कठोर सैद्धांतिक औचित्य प्रदान करता है।
3. दक्षता में सुधार: शार्प विचरण अनुमानकों और गैर-अनुकूली डिज़ाइनों के लिए अनुकूली समायोजन पेश करके, यह वास्तविक दुनिया की सेटिंग्स में विश्वास अंतराल की चौड़ाई को कम करने और कारण अनुमानों की सटीकता में सुधार करने के लिए व्यावहारिक उपकरण प्रदान करता है।
4. सामान्यीकरण क्षमता: यह ढांचा इतने व्यापक है कि यह आधुनिक प्रयोगात्मक डिज़ाइनों के एक विस्तृत स्पेक्ट्रम को कवर करता है, जिससे यह सांख्यिकी, अर्थशास्त्र और कंप्यूटर विज्ञान के शोधकर्ताओं और चिकित्सकों के लिए एक मौलिक संदर्भ बन जाता है।