📈 economics

Anytime-Valid Inference in Adaptive Experiments: Covariate Adjustment and Balanced Power

यह शोधपत्र MADCovar और MADMod को प्रस्तुत करता है, जो Mixture Adaptive Design ढांचे के दो विस्तार हैं जो एडेप्टिव प्रयोगों में कठोर anytime-valid अनुमान गारंटी बनाए रखते हुए, कोवेरिएट-समायोजित औसत उपचार प्रभाव (Average Treatment Effect) अनुमानों की सटीकता को एक साथ बढ़ाते हैं और उपचार भुजाओं (treatment arms) के बीच सांख्यिकीय शक्ति (statistical power) को संतुलित करते हैं।

मूल लेखक: Daniel Molitor, Samantha Gold

प्रकाशित 2026-02-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniel Molitor, Samantha Gold

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं और यह पता लगाने की कोशिश कर रहे हैं कि आपके पाँच नए सूप व्यंजनों में से सबसे अच्छा कौन सा है।

एक पारंपरिक प्रयोग (traditional experiment) में, आप प्रत्येक सूप के 1,000 कटोरे बनाएंगे, उन्हें सभी ग्राहकों को परोसेंगे, और फिर वोटों की गिनती करेंगे। यह निष्पक्ष और सटीक है, लेकिन यह धीमा और बर्बादी भरा है। आप बहुत सारा समय और पैसा उस सूप को बनाने में खर्च कर सकते हैं जिसे हर कोई नापसंद करता है, सिर्फ इसलिए ताकि आप सांख्यिकीय रूप से सुनिश्चित हो सकें।

एक अनुकूली प्रयोग (adaptive experiment) (जैसा कि पेपर में उल्लेखित "मल्टी-आर्म्ड बैंडिट" दृष्टिकोण है) में, आप पाँचों सूप बनाना शुरू करते हैं। लेकिन जैसे ही ग्राहक कहना शुरू करते हैं, "यह वाला बहुत स्वादिष्ट है!" और "वह वाला तो बेकार है!", आप खराब सूप बनाना बंद कर देते हैं और केवल अच्छे सूप बनाना शुरू कर देते हैं। इससे आपका पैसा बचता है और ग्राहकों को जल्दी बेहतर भोजन मिलता है।

हालाँकि, इस "स्मार्ट" दृष्टिकोण के साथ दो बड़ी समस्याएँ हैं:

"विश्वास" की समस्या (The "Trust" Problem): क्योंकि आपने खेल चलते समय नियम बदल दिए, इसलिए मानक गणितीय उपकरण आपको बिल्कुल सटीक रूप से यह नहीं बता सकते कि जीतने वाला सूप कितना बेहतर है। परिणाम अस्थिर दिखते हैं, और आप 100% सुनिश्चित नहीं हो सकते कि अंतर वास्तविक है या केवल किस्मत का खेल।
"उपेक्षा" की समस्या (The "Neglect" Problem): आप खराब सूपों को इतनी जल्दी बनाना बंद कर देते हैं कि आपके पास यह कहने के लिए पर्याप्त डेटा नहीं होता कि वे कितने बुरे हैं। आप गलती से एक ऐसे सूप को फेंक सकते हैं जो केवल "ठीक-ठाक" था, क्योंकि आपने उसे खुद को साबित करने का पर्याप्त मौका नहीं दिया।

यह पेपर इन समस्याओं को हल करने के लिए दो नए "किचन टूल्स" (MADCovar और MADMod) पेश करता है, जबकि अनुकूली दृष्टिकोण की गति को भी बनाए रखता है।

1. MADCovar: "स्मार्ट सू-शेफ" (कोवेरिएट एडजस्टमेंट)

समस्या: अनुकूली पद्धति के साथ भी, आपका गणित थोड़ा "शोर भरा" (noisy) है। यह ऐसा है जैसे धुंधली खिड़की से देखकर सूप के तापमान का अनुमान लगाने की कोशिश करना।

समाधान: MADCovar एक स्मार्ट सू-शेफ (Smart Sous-Chef) को काम पर रखने जैसा है जो आपके ग्राहकों को गहराई से जानता है।

केवल यह पूछने के बजाय कि, "क्या आपको सूप पसंद आया?", सू-शेफ पूछता है, "क्या आपको सूप पसंद आया, और क्या आप भूखे थे? क्या आपको जुकाम था? क्या आपको तीखा खाना पसंद है?"
इस अतिरिक्त जानकारी (जिसे कोवेरिएट्स/covariates कहा जाता है) का उपयोग करके, सू-शेफ यह अनुमान लगा सकता है कि ग्राहक को वह सूप वास्तव में कितना पसंद आना चाहिए था।
जब आप वास्तविक स्वाद की तुलना अनुमानित स्वाद से करते हैं, तो "धुंध" छँट जाती है। आपको बिना अधिक कटोरे बनाए, एक बहुत ही स्पष्ट और सटीक तस्वीर मिलती है कि कौन सा सूप वास्तव में सबसे अच्छा है।

परिणाम: पेपर दिखाता है कि यह टूल आपके परिणामों को 60% अधिक सटीक बना सकता है। यह एक धुंधली फोटो से 4K HD इमेज में अपग्रेड करने जैसा है।

2. MADMod: "निष्पक्ष न्यायाधीश" (संतुलित शक्ति)

समस्या: अनुकूली दृष्टिकोण में, "विजेता" सूप को सारा ध्यान मिलता है, जबकि "हारने वाले" सूपों को अनदेखा कर दिया जाता है। यदि आप जानना चाहते हैं कि क्या "ठीक-ठाक" सूप वास्तव में परोसने के लिए सुरक्षित है (या क्या वह केवल सबसे अच्छे से थोड़ा कम ही है), तो आपके पास उस पर कोई डेटा नहीं होता। यह एक ऐसे न्यायाधीश की तरह है जो केवल विजेता की बात सुनता है और हारने वालों को नजरअंदाज करता है।

समाधान: MADMod एक निष्पक्ष न्यायाधीश (Fair Judge) है जो अंडरडॉग्स (कमजोर दावेदारों) पर भी कड़ी नजर रखता है।

यह अनुकूली प्रणाली को विजेता चुनने देता है, लेकिन यह गुप्त रूप से सिस्टम को कुछ अतिरिक्त कटोरे "हारने वाले" सूपों के बनाने के लिए मजबूर करता है।
यह इस तरह से करता है: "ठीक है, सूप A विजेता है, लेकिन हमें सूप B का अभी भी थोड़ा और परीक्षण करने की आवश्यकता है ताकि हम सुनिश्चित हो सकें कि यह कोई छिपा हुआ रत्न नहीं है।"
यह संतुलन को गतिशील रूप से बदलता है। जैसे ही इसे यकीन हो जाता है कि सूप A विजेता है, यह उसे उतना खिलाना बंद कर देता है और दूसरों को बस इतना खिलाना शुरू कर देता है जिससे एक ठोस उत्तर मिल सके।

परिणाम: यह सुनिश्चित करता है कि आप न केवल यह जानते हैं कि विजेता कौन है, बल्कि आपके पास सभी सूपों के बारे में मजबूत, विश्वसनीय प्रमाण भी होता है। आप उस गलती से बच जाते हैं जहाँ आप एक ऐसे सूप को फेंक देते हैं जो वास्तव में काफी अच्छा था, सिर्फ इसलिए क्योंकि आपने उसका पर्याप्त परीक्षण नहीं किया।

"एनीटाइम-वैलिड" (Anytime-Valid) महाशक्ति

दोनों टूल्स एक विशेष महाशक्ति साझा करते हैं जिसे "एनीटाइम-वैलिड इन्फरेंस" (Anytime-Valid Inference) कहा जाता है।

कल्पना कीजिए कि आप एक दौड़ देख रहे हैं।

पुराना तरीका: आपको दौड़ के 100% खत्म होने तक इंतजार करना पड़ता है ताकि परिणाम देख सकें। यदि आप जल्दी झाँकते हैं, तो गणित कहता है, "आपने धोखाधड़ी की! आपके परिणाम अमान्य हैं!"
नया तरीका (यह पेपर): आप दौड़ को जब चाहें तब देख सकते हैं। आप दौड़ को उसी क्षण रोक सकते हैं जब आप आश्वस्त हों कि कौन जीता है, या जब आप आश्वस्त हों कि अंतर पर्याप्त बड़ा है। गणित गारंटी देता है कि भले ही आपने 1,000 बार झाँककर देखा हो, आपका निष्कर्ष 100% भरोसेमंद रहेगा।

यह क्यों मायने रखता है?

यह केवल सूप के बारे में नहीं है। यह यहाँ लागू होता है:

चिकित्सा (Medicine): नई दवाओं का परीक्षण करना। आप मरीजों को खराब दवा जल्दी देना बंद करना चाहते हैं (दक्षता), लेकिन आपको यह भी पूरी तरह सुनिश्चित होना चाहिए कि नई दवा पुरानी दवा से बेहतर काम करती है (सटीकता) और यह भी जानना कि "औसत दर्जे" की दवाएं कैसा प्रदर्शन करती हैं (शक्ति)।
राजनीति (Politics): मतदाताओं के लिए अलग-अलग संदेशों का परीक्षण करना।
व्यवसाय (Business): यह तय करना कि कौन सा वेबसाइट लेआउट सबसे अधिक उत्पाद बेचता है।

संक्षेप में: यह पेपर शोधकर्ताओं को एक ऐसा तरीका देता है जिससे वे तेज़ (अनुकूली), स्मार्ट (अतिरिक्त डेटा का उपयोग करना), और निष्पक्ष (सबका परीक्षण करना) हो सकें, और यह भी सुनिश्चित कर सकें कि उनके परिणाम 100% भरोसेमंद हों, चाहे वे प्रयोग को कभी भी समाप्त करने का निर्णय लें।

यहाँ डैनियल मोलिटर और सामंथा गोल्ड के शोध पत्र "Anytime-Valid Inference in Adaptive Experiments: Covariate Adjustment and Balanced Power" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एडेप्टिव प्रयोग (Adaptive experiments), जैसे कि मल्टी-आर्म्ड बैंडिट्स (Multi-Armed Bandits - MABs), पारंपरिक रैंडमाइज्ड कंट्रोल्ड ट्रायल्स (RCTs) की तुलना में डायनेमिक रूप से इष्टतम उपचारों (optimal treatments) को नमूने आवंटित करके महत्वपूर्ण दक्षता लाभ प्रदान करते हैं। हालाँकि, वे कारण संबंधी अनुमान (causal inference) के लिए दो गंभीर चुनौतियाँ पेश करते हैं:

अमान्य अनुमान (Invalid Inference): ऐतिहासिक डेटा $\{(W_1, Y_1), ..., (W_{t-1}, Y_{t-1})\}$ पर उपचार असाइनमेंट $W_t$ की निर्भरता मानक औसत उपचार प्रभाव (Average Treatment Effect - ATE) एस्टिमेटर्स (जैसे, डिफरेंस-इन-मीन्स, इनवर्स प्रोपेंसिटी स्कोरिंग) के लिए आवश्यक स्वतंत्रता धारणाओं का उल्लंघन करती है। यह मानक कॉन्फिडेंस इंटरवल्स को अमान्य बना देता है और टाइप I एरर रेट को बढ़ा देता है।
असंतुलित सांख्यिकीय शक्ति (Imbalanced Statistical Power): एडेप्टिव एल्गोरिदम स्वाभाविक रूप से संचयी कल्याण (cumulative welfare) को अधिकतम करने के लिए इष्टतम उपचार भुजा (optimal treatment arm) पर नमूनों को केंद्रित करते हैं। फलस्वरूप, उप-इष्टतम भुजाओं (sub-optimal arms) में सांख्यिकीय शक्ति कम होती है, जिससे उनके बारे में मजबूत सांख्यिकीय निष्कर्ष निकालना कठिन हो जाता है।

हालिया कार्य (जैसे, लियांग और बोजिनोव, 2024) ने मिक्सचर एडेप्टिव डिज़ाइन (Mixture Adaptive Design - MAD) को 'एनीटाइम-वैलिड' अनुमान (Confidence Sequences या CSs का उपयोग करके) सक्षम करने के लिए पेश किया है जो मनमाने एडेप्टिव डिज़ाइनों के तहत भी वैध रहता है, लेकिन MAD अभी भी दो सीमाओं से ग्रस्त है:

कम परिशुद्धता (Low Precision): ATE अनुमानों में अक्सर उच्च विचरण (variance) होता है, जिसके परिणामस्वरूप चौड़े कॉन्फिडेंस सीक्वेंस प्राप्त होते हैं।
शक्ति असंतुलन (Power Imbalance): यह इष्टतम भुजाओं की ओर नमूना आवंटन के पूर्वाग्रह को सक्रिय रूप से ठीक नहीं करता है, जिससे उप-इष्टतम उपचारों में सांख्यिकीय शक्ति कम रह जाती है।

2. कार्यप्रणाली (Methodology)

लेखक इन समस्याओं को हल करने के लिए MAD फ्रेमवर्क के दो विस्तार प्रस्तावित करते हैं: MADCovar और MADMod। दोनों विधियाँ MAD के मूल तंत्र को बनाए रखती हैं, जो एक निश्चित अनुक्रम $\delta_t$ के माध्यम से एक पूर्णतः रैंडम असाइनमेंट पॉलिसी और एक एडेप्टिव पॉलिसी $A$ (जैसे, थॉम्पसन सैंपलिंग) को मिश्रित करती है।

A. MADCovar: कोवेरिएट-एडजस्टेड एस्टीमेशन (Covariate-Adjusted Estimation)

MADCovar, MAD फ्रेमवर्क में कोवेरिएट एडजस्टमेंट को शामिल करके ATE अनुमानों की परिशुद्धता में सुधार करता है।

एस्टिमेटर (Estimator): यह व्यक्तिगत उपचार प्रभावों ( $\hat{\tau}_i$ ) के लिए एक 'डबली रोबस्ट', कोवेरिएट-एडजस्टेड एस्टिमेटर का उपयोग करता है:
$\hat{\tau}_i := \hat{\mu}_1(X_i) - \hat{\mu}_0(X_i) + \frac{\mathbb{I}\{W_i=1\}(Y_i - \hat{\mu}_1(X_i))}{p^{MAD}_i(1)} - \frac{\mathbb{I}\{W_i=0\}(Y_i - \hat{\mu}_0(X_i))}{p^{MAD}_i(0)}$
जहाँ $\hat{\mu}_w(X_i)$ कंडीशनल मीन आउटकम $E[Y_i(w)|X, \mathcal{F}_{i-1}]$ का एक मनमाना एस्टिमेटर है।
सैद्धांतिक गारंटी (Theoretical Guarantee): बाउंडेड आउटकम मॉडल मान्यताओं के तहत, लेखक सिद्ध करते हैं कि अनुक्रम $(\hat{\bar{\tau}}_t \pm \hat{V}_t)$ एक वैध $(1-\alpha)$ एसिम्प्टोटिक कॉन्फिडेंस सीक्वेंस (CS) बनाता है। यह शोधकर्ताओं को वांछित परिशुद्धता या सार्थकता (significance) मिलने तक डेटा संग्रह की निरंतर निगरानी करने की अनुमति देता है, जबकि टाइप I एरर नियंत्रण बना रहता है।
मजबूती (Robustness): यह विधि आउटकम मॉडल में कई अप्रासंगिक कोवेरिएट्स को शामिल करने के बावजूद मजबूत पाई गई है।

B. MADMod: पावर-मॉडिफाइड एलोकेशन (Power-Modified Allocation)

MADMod, कम शक्ति वाली भुजाओं को गतिशील रूप से नमूने पुनर्वितरित करके शक्ति असंतुलन की समस्या को संबोधित करता है।

तंत्र (Mechanism): यह प्रत्येक उपचार भुजा $k$ $k$ के लिए इंपॉर्टेंस वेट्स (importance weights) $w_k(t)$ $w_{k} (t)$ पेश करता है।
- यदि किसी भुजा ने अभी तक सांख्यिकीय सार्थकता (अर्थात, उसका CS 0 को शामिल करता है) प्राप्त नहीं की है, तो $w_k(t) = 1$ होगा।
- यदि कोई भुजा सार्थकता प्राप्त कर लेती है, तो $w_k(t)$ एक शोधकर्ता-निर्धारित फलन (जैसे, पॉलिनॉमियल डिके) के अनुसार घटने लगता है।
री-वेटिंग (Re-weighting): एडेप्टिव असाइनमेंट प्रोबेबिलिटी $p^A_t(k)$ को इन वेट्स द्वारा स्केल किया जाता है। सार्थक भुजाओं से प्राप्त "खोया हुआ" प्रोबेबिलिटी मास आनुपातिक रूप से शेष वेट्स (जो कम शक्ति वाली भुजाओं के हैं) में पुनर्वितरित किया जाता है।
लक्ष्य (Goal): यह सुनिश्चित करता है कि जबकि प्रयोग कुशल बना रहता है (इष्टतम भुजाओं को प्राथमिकता देते हुए), उपचारों के बारे में निष्कर्ष निकालने के लिए उप-इष्टतम भुजाओं को पर्याप्त नमूने आवंटित किए जाते हैं।

3. मुख्य योगदान (Key Contributions)

MADCovar: एक अभिनव एस्टिमेटर जो कोवेरिएट एडजस्टमेंट को एनीटाइम-वैलिड अनुमान के साथ जोड़ता है। यह MAD फ्रेमवर्क की वैधता गारंटी से समझौता किए बिना कॉन्फिडेंस सीक्वेंस की चौड़ाई को काफी कम कर देता है।
MADMod: एडेप्टिव सैंपलिंग में सांख्यिकीय शक्ति और दक्षता के बीच संतुलन बनाने के लिए एक एल्गोरिथमिक संशोधन। यह शोधकर्ताओं को दक्षता (उप-इष्टतम भुजाओं को अधिक नमूने देकर) और शक्ति (सभी उपचारों के प्रभाव का पता लगाने की क्षमता) के बीच ट्रेड-ऑफ करने की अनुमति देता है।
सैद्धांतिक कठोरता (Theoretical Rigor): यह शोध पत्र स्थापित करता है कि दोनों विधियाँ एनीटाइम-वैलिड गुण को संरक्षित करती हैं, जिसका अर्थ है कि शोधकर्ता टाइप I एरर दर को बढ़ाए बिना देखे गए डेटा के आधार पर किसी भी समय डेटा संग्रह रोक सकते हैं।
व्यावहारिक कार्यान्वयन (Practical Implementation): लेखक इन विधियों को लागू करने के लिए एक ओपन-सोर्स पायथन पैकेज (pyssed) के साथ-साथ सभी आकृतियों और तालिकाओं के लिए एक रेप्लिकेशन पैकेज भी प्रदान करते हैं।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने व्यापक सिमुलेशन और एक बड़े पैमाने के वास्तविक अनुप्रयोग के माध्यम से अपने तरीकों को सत्यापित किया।

सिमुलेशन (MADCovar):
- मध्यम से उच्च कोवेरिएट सिग्नल स्ट्रेंथ वाले सेटिंग्स में, MADCovar ने मानक MAD की तुलना में कॉन्फिडेंस सीक्वेंस की चौड़ाई को 40–70% तक कम कर दिया।
- ये लाभ तब भी बने रहे जब आउटकम मॉडल में 50 तक अप्रासंगिक कोवेरिएट्स शामिल थे।
बड़े पैमाने का RCT (MADCovar):
- इसे ~32,000 प्रतिभागियों वाले एक राजनीतिक विज्ञान मेगा-स्टडी (Voelkel et al., 2024) पर लागू किया गया।
- MADCovar ने नॉन-कोवेरिएट-एडजस्टेड बेसलाइन की तुलना में 60–75% परिशुद्धता लाभ प्राप्त किया, जो दर्शाता है कि सिमुलेशन परिणाम वास्तविक दुनिया के डेटा में भी प्रभावी हैं।
सिमुलेशन (MADMod):
- एक 4-आर्म बैंडिट सेटिंग में, MADMod ने मानक MAD की तुलना में उप-इष्टतम उपचारों (भुजा 1 और 2) के लिए टाइप II एरर को काफी कम कर दिया।
- हालांकि MADMod ने उप-इष्टतम भुजाओं को अधिक नमूने आवंटित किए (संचयी रिवॉर्ड दक्षता का त्याग करते हुए), इसके परिणामस्वरूप सभी भुजाओं के लिए संकीर्ण कॉन्फिडेंस बैंड और अधिक विश्वसनीय अनुमान प्राप्त हुए, जिससे यह सुनिश्चित हुआ कि कोई भी उपचार कम शक्ति वाला न रह जाए।

5. महत्व और प्रभाव (Significance and Impact)

अनुप्रयुक्त अनुसंधान के लिए व्यावहारिकता: प्रस्तावित तरीके उन क्षेत्रों के लिए एडेप्टिव प्रयोगों को व्यवहार्य बनाते हैं जहाँ कठोर कारण संबंधी अनुमान (जैसे, स्वास्थ्य सेवा, शिक्षा, सामाजिक नीति) की आवश्यकता होती है, जहाँ अक्सर अनुमान संबंधी चिंताओं के कारण मानक MABs को अस्वीकार कर दिया जाता है।
नैतिक दक्षता (Ethical Efficiency): परिशुद्धता में सुधार करके बिना बड़े नमूना आकार की आवश्यकता के, ये विधियाँ लागत को कम करती हैं और प्रतिभागियों के खराब उपचारों के संपर्क में रहने की अवधि को सीमित करती हैं।
व्यापक अनुमान (Comprehensive Inference): MADMod विशेष रूप से एडेप्टिव डिज़ाइनों के "विजेता-ले-जाता-है" (winner-take-all) पूर्वाग्रह को संबोधित करता है, जिससे यह सुनिश्चित होता है कि शोधकर्ता केवल इष्टतम के बजाय सभी हस्तक्षेपों की प्रभावशीलता का आत्मविश्वास से मूल्यांकन कर सकें।
लचीलापन (Flexibility): कुछ सैद्धांतिक दृष्टिकोणों के विपरीत, जिन्हें विशिष्ट MAB एल्गोरिदम की आवश्यकता होती है, MADMod को लगभग किसी भी मौजूदा एडेप्टिव डिज़ाइन (जैसे, थॉम्पसन सैंपलिंग, UCB) के साथ एकीकृत करने के लिए डिज़ाइन किया गया है, जो शोधकर्ताओं को दक्षता और शक्ति के बीच ट्रेड-ऑफ पर नियंत्रण प्रदान करता है।

निष्कर्षतः, मोलिटर और गोल्ड एक मजबूत टूलकिट प्रदान करते हैं जो एडेप्टिव सैंपलिंग की दक्षता और कारण संबंधी अनुमान की कठोरता के बीच तनाव को हल करता है, जिससे शोधकर्ता ऐसे प्रयोग कर सकते हैं जो सांख्यिकीय रूप से शक्तिशाली और नैतिक रूप से सुदृढ़ दोनों हों।