📈 economics

Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities

यह शोध पत्र अनुकूली प्रयोगों (adaptive experiments) के लिए एक निश्चित-क्षितिज अनुमान विधि (fixed-horizon inference method) प्रस्तावित करता है जो लॉग प्रोपेंसिटीज (logged propensities) और पूर्वानुमेय न्यूसेंस अनुमान (predictable nuisance estimation) का लाभ उठाकर सेंटर्ड AIPW/DML स्कोर्स को एक सटीक मार्टिंगेल डिफरेंस सीक्वेंस (martingale difference sequence) के रूप में स्थापित करता है, जिससे औसत उपचार प्रभाव (average treatment effect) के लिए वैध स्व-सामान्यीकृत आत्मविश्वास अंतराल (self-normalized confidence intervals) सक्षम होते हैं, भले ही विचरण (variance) यादृच्छिक और अप्रत्याशित बना रहे।

मूल लेखक: Gabriel Saco

प्रकाशित 2026-02-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gabriel Saco

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल प्रयोग चला रहे हैं यह देखने के लिए कि वेबसाइट पर एक नया फीचर (जैसे लाल बटन बनाम नीला बटन) लोगों को अधिक चीजें खरीदने के लिए प्रेरित करता है या नहीं।

पुराने दिनों में, आप हर आगंतुक के लिए एक सिक्का उछालते थे: 50% को लाल बटन मिलता, 50% को नीला। आप अंत तक प्रतीक्षा करते, बिक्री गिनते और परिणाम की गणना करते। सरल था।

लेकिन आधुनिक दुनिया में, कंपनियाँ "स्मार्ट" सिस्टम (जैसे AI) का उपयोग करती हैं जो चलते-चलते सीखते हैं। यदि लाल बटन अधिक बिक्री करता हुआ प्रतीत होता है, तो सिस्टम इसे अधिक लोगों को दिखाने के लिए इसे दिखाना शुरू कर सकता है ताकि वह तेजी से सीख सके। इसे एक एडेप्टिव एक्सपेरिमेंट (अनुकूलनशील प्रयोग) कहा जाता है।

यहाँ समस्या यह है: क्योंकि सिस्टम (लाल बटन दिखाने की) संभावना को बदलने के लिए (जो उसने देखा उसके आधार पर) नियमों को बदलता रहता है, इसलिए अंतिम परिणाम की गणना करने वाली गणित जटिल हो जाती है। आपका "वैरिएंस" (परिणामों के उतार-चढ़ाव का माप) अप्रत्याशित हो जाता है। यह एक कार की गति मापने की कोशिश करने जैसा है जबकि सड़क खुद अपना ढलान बदल रही हो।

यदि आप मानक गणितीय सूत्रों का उपयोग करते हैं (जो मानते हैं कि सड़क समतल और स्थिर है), तो आपका अंतिम कॉन्फिडेंस इंटरवल (आपका "मार्जिन ऑफ एरर") औसत रूप से सही लग सकता है, लेकिन वह अभी किए गए विशिष्ट प्रयोग के लिए गलत होगा। आप सोच सकते हैं कि आप अपने उत्तर के बारे में 95% आश्वस्त हैं, लेकिन वास्तव में आप केवल 80% आश्वस्त हैं।

पेपर का समाधान: "सेल्फ-नॉर्मलाइजिंग" कंपास

लेखक, गेब्रियल साको, एक नया तरीका प्रस्तावित करते हैं जिसमें आपको यह अनुमान लगाने की आवश्यकता नहीं है कि सड़क कैसी होगी। वे इसे फिक्स्ड-होराइजन सेल्फ-नॉर्मलाइज्ड इन्फरेंस कहते हैं।

यहाँ अवधारणा को सरल उपमा के साथ समझाया गया है:

1. समस्या: एक चलता-फिरता लक्ष्य

कल्पना कीजिए कि आप धनुष और बाण से लक्ष्य भेदने की कोशिश कर रहे हैं।

पुराना तरीका (मानक गणित): आप मान लेते हैं कि हवा स्थिर है। आप अपने निशाने की गणना एक "मानक हवा की गति" के आधार पर करते हैं। यदि हवा अचानक तेज तूफान में बदल जाती है, तो आपकी गणना गलत हो जाती है, और आप लक्ष्य चूक जाते हैं।
एडेप्टिव वास्तविकता: इन प्रयोगों में, "हवा" (असाइनमेंट प्रोबेबिलिटी) कैसे तीर उड़ रहे हैं इसके आधार पर बदलती रहती है। कभी यह शांत होती है; कभी यह एक तूफान है। आप हवा की भविष्यवाणी नहीं कर सकते।

2. समाधान: "सेल्फ-नॉर्मलाइजिंग" कंपास

पहले से हवा की गति का अनुमान लगाने के बजाय, यह नया तरीका कहता है: "अनुमान मत लगाओ। बस यह देखो कि तीर वास्तव में कैसे उड़े।"

पेपर एक सांख्यिकीय उपकरण का सुझाव देता है जिसे मार्टिंगेल (Martingale) कहा जाता है।

रूपक: एक हाइकर (पगडंडी पर चलने वाला) की कल्पना करें जो कोहरे से भरे जंगल में चल रहा है। हाइकर को आगे के इलाके का पता नहीं है।
- मानक गणित: हाइकर एक ऐसे मानचित्र का उपयोग करने की कोशिश करता है जो मानता है कि जमीन समतल है। यदि जमीन एक खड़ी ढलान में बदल जाती है, तो मानचित्र विफल हो जाता है।
- नया तरीका: हाइकर एक विशेष कंपास ले जाता है जो उस वास्तविक ढलान को मापता है जिस पर वह पहले ही चल चुका है। हर कदम के साथ, कंपास वास्तविक इलाके के आधार पर खुद को पुनर्गठित (recalibrate) करता है। जब तक वे गंतव्य तक पहुँचते हैं (प्रयोग के अंत में), कंपास ने उन सभी पहाड़ियों और घाटियों के लिए खुद को पूरी तरह से समायोजित कर लिया होता है जिनका उन्होंने सामना किया था।

3. दो स्वर्णिम नियम (द "डेटा कॉन्ट्रैक्ट")

इस "स्व-अंशांकन कंपास" के काम करने के लिए, प्रयोग को दो सख्त नियमों का पालन करना चाहिए, जिन्हें लेखक एक ऑडिटेबल कॉन्ट्रैक्ट कहते हैं:

"ब्लैक बॉक्स" लॉग (एक्जीक्यूटेड प्रोपेंसिटीज):
कंप्यूटर सिस्टम को प्रत्येक व्यक्ति के लिए, ठीक वही लिखना चाहिए जो प्रोबेबिलिटी (संभावना) उसने उपचार दिखाने के लिए उपयोग की थी।
- उपमा: यदि AI यह तय करता है कि 80% लोगों को लाल बटन दिखाना है, तो उसे लॉग में "80%" लिखना चाहिए। वह केवल यह नहीं कह सकता कि "मैंने इसे 80% लोगों को दिखाया।" उसे वह सटीक संख्या दर्ज करनी चाहिए जो मशीन ने निर्णय लेने के लिए उपयोग की थी। यदि लॉग झूठ बोलता है या गायब है, तो कंपास टूट जाता है।
"पीकिंग" न करने का नियम (प्रेडिक्टेबल न्यूसेंस):
जब सिस्टम परिणाम की गणना करता है, तो वह एक सहायक मॉडल ("न्यूसेंस" मॉडल) का उपयोग करता है परिणामों की भविष्यवाणी करने के लिए। इस सहायक मॉडल को केवल अतीत के डेटा पर प्रशिक्षित किया जाना चाहिए।
- उपमा: एक शेफ की कल्पना करें जो सूप चख रहा है। सूप का निर्णय लेने के लिए, उसे केवल सूप परोसे जाने के बाद ही चखना चाहिए। वह खाना बनाते समय सामग्री को चखकर भविष्य में क्या होने वाला है, यह नहीं देख सकता, क्योंकि इससे स्वाद बदल जाएगा। प्रयोग में, गणितीय मॉडल वर्तमान व्यक्ति के डेटा का उपयोग उनके बारे में भविष्यवाणी करने के लिए नहीं कर सकता; इसे केवल उन लोगों के डेटा का उपयोग करना चाहिए जो उनसे पहले आए थे।

यह क्यों मायने रखता है

कोई "स्टेबिलाइजेशन" नहीं: पिछले तरीकों ने प्रयोग को "अच्छे व्यवहार" करने के लिए मजबूर करने की कोशिश की (उदाहरण के लिए, "संभावनाओं को बहुत अधिक न बदलें")। यह नया तरीका कहता है, "संभावनाओं को जितना चाहें बदलें! जब तक आप बदलावों को लॉग करते हैं और भविष्य में झांकते नहीं हैं, हमारी गणित इसे संभाल लेगी।"
फिक्स्ड होराइजन: यह तब पूरी तरह से काम करता है जब आप पहले से तय कर लेते हैं कि प्रयोग कब समाप्त करना है (उदाहरण के लिए, "हम 10,000 आगंतुकों के बाद रुकेंगे")।
- चेतावनी: आप परिणामों को देखकर और अच्छा परिणाम दिखने पर प्रयोग को जल्दी समाप्त नहीं कर सकते। इससे गणित टूट जाता है। आपको पूर्व-निर्धारित फिनिश लाइन तक टिके रहना होगा।

निष्कर्ष

यह पेपर प्रयोगकर्ताओं को एक नया, मजबूत टूलकिट प्रदान करता है। यह कंपनियों को स्मार्ट, एडेप्टिव प्रयोग चलाने की अनुमति देता है जहाँ नियम चलते-चलते बदलते हैं, बिना उस गणित को तोड़े जो यह साबित करता है कि नया फीचर वास्तव में काम करता है या नहीं।

यह एक स्थिर मानचित्र (जो इलाके के बदलने पर विफल हो जाता है) से जीपीएस (GPS) में अपग्रेड करने जैसा है जो वास्तविक सड़क स्थितियों के आधार पर वास्तविक समय में अपडेट होता है, बशर्ते आप एक सटीक लॉग रखें और भविष्य को देखकर धोखाधड़ी न करें।

यहाँ गेब्रियल साको के शोध पत्र "Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

अनुकूली यादृच्छिक प्रयोग (जैसे, कॉन्टेक्स्टुअल बैंडिट्स, रिस्पॉन्स-अडैप्टिव क्लिनिकल ट्रायल्स) डेटा संचित होने के साथ उपचार असाइनमेंट की संभावनाओं ( $\pi_t$ ) को अपडेट करते हैं ताकि सीखने और कार्यान्वयन के बीच संतुलन बनाया जा सके। हालाँकि, कई प्लेटफॉर्म अभी भी एक पूर्व-निर्धारित नमूना आकार $n$ पर औसत उपचार प्रभाव (Average Treatment Effect - ATE) के लिए एक शास्त्रीय फिक्स्ड-होराइजन (fixed-horizon) विश्वास अंतराल (confidence interval) की आवश्यकता रखते हैं।

मुख्य चुनौती:
अनुकूली असाइनमेंट के तहत, प्रोपेंसिटी प्रक्रिया $\{\pi_t\}$ डेटा-निर्भर होती है और महत्वपूर्ण रूप से उतार-चढ़ाव कर सकती है। फलस्वरूप, स्कोर इंक्रीमेंट्स (score increments) का प्रेडिक्टेबल क्वाड्रेटिक वेरिएशन (predictable quadratic variation) (जिसका उपयोग AIPW/DML अनुमानकों में किया जाता है) एक एकल नियत (deterministic) दीर्घकालिक विचरण सीमा (long-run variance limit) की ओर अभिसरित (converge) नहीं हो सकता है।

मानक विधियों की विफलता: पारंपरिक वाल्ड सांख्यिकी (Wald statistics) एक नियत विचरण लक्ष्य (deterministic variance target) द्वारा सामान्यीकृत (normalize) होती है (जो अक्सर स्थिरीकरण या डिज़ाइन स्थिरता की धारणा पर आधारित होती है)। यदि वास्तविक विचरण शासन (realized variance regime) इस लक्ष्य से भिन्न होता है (उदाहरण के लिए, नीति के दोलनों या शासन परिवर्तन के कारण), तो वाल्ड सांख्यिकी सशर्त रूप से गलत कैलिब्रेटेड (conditionally miscalibrated) हो जाती है, जिससे मार्जिनल कवरेज (marginal coverage) नाममात्र होने के बावजूद गलत कवरेज प्रायिकता प्राप्त होती है।
लक्ष्य: एक वैध अनुमान प्रक्रिया विकसित करना जो ATE अनुमान के लिए फिक्स्ड-होराइजन (fixed-horizon) बनी रहे, भले ही विचरण एक नियत सीमा तक स्थिर न हो।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक सेल्फ-नॉर्मलाइज्ड मार्टिंगेल इन्फरेंस (Self-Normalized Martingale Inference) ढांचे का प्रस्ताव करता है जो संरचनात्मक बाधाएं लगाने के बजाय दो महत्वपूर्ण "ऑडिटेबल" (auditable) पाइपलाइन शर्तों पर निर्भर करता है।

A. अनुमानक (The Estimator: Predictable AIPW/DML)

लेखक मानक ऑगमेंटेड इनवर्स प्रोपेंसिटी वेटेड (AIPW) या डबली रोबस्ट (DML) सूडो-आउटकम (pseudo-outcome) का उपयोग करते हैं:
$\phi_t(m, \pi) = \frac{A_t}{\pi}(Y_t - m_1(X_t)) - \frac{1-A_t}{1-\pi}(Y_t - m_0(X_t)) + m_1(X_t) - m_0(X_t)$
जहाँ $m_a$ न्यूसेंस रिग्रेशन फलन (nuisance regression functions) हैं।

B. मुख्य तकनीकी आवश्यकताएं (The "Data Contract")

यह सुनिश्चित करने के लिए कि स्कोर इंक्रीमेंट्स एक सटीक मार्टिंगेल डिफरेंस सीक्वेंस (MDS) बनाते हैं, यह शोध पत्र निम्नलिखित को लागू करता है:

लॉग किए गए निष्पादित प्रोपेंसिटीज (Logged Executed Propensities): प्लेटफॉर्म को प्रत्येक इकाई $t$ के लिए सटीक $\pi_t$ को लॉग करना चाहिए जिसे रैंडमाइजेशन डिवाइस को पास किया गया था। यह $\mathcal{G}_t$ -मेज़रेबल (यानी, रैंडमाइजेशन से ठीक पहले मेज़रेबल) होना चाहिए।
प्रेडिक्टेबल न्यूसेंस कंस्ट्रक्शन (Predictable Nuisance Construction): इकाई $t$ $t$ को स्कोर करने के लिए उपयोग किए जाने वाले न्यूसेंस रिग्रेशन $m_{t-1}$ $m_{t - 1}$ को केवल $t$ $t$ से पहले के डेटा ( $\mathcal{F}_{t-1}$ $F_{t - 1}$ ) से निर्मित किया जाना चाहिए।
- कार्यान्वयन: शोध पत्र फॉरवर्ड क्रॉस-फिटिंग (Forward Cross-Fitting) की सिफारिश करता है, जहाँ डेटा को निरंतर ब्लॉकों में विभाजित किया जाता है। न्यूसेंस मॉडल ब्लॉक $1 \dots k-1$ पर प्रशिक्षित किए जाते हैं और ब्लॉक $k$ पर लागू किए जाते हैं। यह भविष्य या समकालीन जानकारी के "लीकेज" (leakage) को रोकता है।

C. इन्फरेंस सांख्यिकी (The Inference Statistic)

एक नियत विचरण लक्ष्य के बजाय, यह विधि स्टूडेंटाइजेशन (studentization) के लिए रियलाइज्ड क्वाड्रेटिक वेरिएशन (Realized Quadratic Variation) (स्कोर का सैंपल वेरियंस) का उपयोग करती है।

स्कोर सम (Score Sum): $S_T = \sum_{t \in T} (\hat{\phi}_t - \theta_0)$
रियलाइज्ड वेरियंस (Realized Variance): $Q_T = \sum_{t \in T} (\hat{\phi}_t - \hat{\theta})^2$
स्टूडेंटाइज्ड स्टैटिस्टिक (Studentized Statistic): $W_n = \frac{\sqrt{n_{eff}}(\hat{\theta} - \theta_0)}{\hat{V}}$ , जहाँ $\hat{V}$ , $Q_T$ से प्राप्त सैंपल स्टैंडर्ड डेविएशन है।

3. मुख्य योगदान (Key Contributions)

ऑडिटेबल मार्टिंगेल स्कोरिंग (Auditable Martingale Scoring):
शोध पत्र एक "लॉगिंग/प्रेडिक्टेबिलिटी कॉन्ट्रैक्ट" को औपचारिक रूप देता है। यह सिद्ध करता है कि लॉग किए गए प्रोपेंसिटीज और प्रेडिक्टेबल न्यूसेंस फिटिंग के तहत, केंद्रित AIPW/DML स्कोर एक सटीक मार्टिंगेल डिफरेंस सीक्वेंस (लेम्मा 5.3) बनाते हैं। यह i.i.d. DML में सामान्य फोल्ड-वाइज स्वतंत्रता (fold-wise independence) के स्थान पर अतीत के सापेक्ष सटीक सशर्त निष्पक्षता (conditional unbiasedness) को प्रतिस्थापित करता है।
फिक्स्ड-होराइजन सेल्फ-नॉर्मलाइज्ड इन्फरेंस (Theorem 5.14):
मुख्य सैद्धांतिक परिणाम यह स्थापित करता है कि स्टूडेंटाइज्ड स्टैटिस्टिक पूर्व-निर्धारित होराइजन पर एक मानक सामान्य वितरण $N(0,1)$ की ओर अभिसरित होता है।

महत्वपूर्ण अंतर: यह तब भी मान्य है जब प्रेडिक्टेबल क्वाड्रेटिक वेरिएशन एक नियत सीमा की ओर अभिसरित नहीं होता है। यह विधि प्रयोग के विशिष्ट पथ (path) के रियलाइज्ड वेरियंस शासन (realized variance regime) के अनुकूल होती है।

स्टूडनाइज़र की व्यवहार्यता (Feasibility of the Studentizer):
लेखक दिखाते हैं कि मानक प्लग-इन सैंपल वेरियंस (जो व्यवहार में उपयोग किया जाता है) रियलाइज्ड क्वाड्रेटिक वेरिएशन का सुसंगत अनुमान (consistent estimate) लगाता है (प्रपोजिशन 4.11), जिससे यह जटिल वेरियंस स्टेबिलाइजेशन तकनीकों के बिना व्यावहारिक रूप से लागू करने योग्य बन जाता है।
ओरेकल बेंचमार्किंग (Oracle Benchmarking):
शोध पत्र कंडीशनल सेकंड मोमेंट (प्रपोजिशन 5.8) का अपघटन (decomposition) प्रदान करता है, जो न्यूसेंस एस्टीमेशन एरर के कारण होने वाले एक गैर-ऋणात्मक ऑग्मेंटेशन टर्म को अलग करता है। यह स्पष्ट करता है कि जबकि न्यूसेंस लर्निंग परिशुद्धता (precision) में सुधार करती है (अंतराल छोटा करती है), यह वैधता (validity) के लिए आवश्यक नहीं है, जब तक कि प्रेडिक्टेबिलिटी कंडीशन बनी रहे।

4. परिणाम (Results)

सैद्धांतिक परिणाम (Theoretical Results)

एसिम्प्टोटिक नॉर्मलिटी (Asymptotic Normality): स्टूडेंटाइज्ड स्टैटिस्टिक बिना वेरियंस स्टेबिलाइजेशन की आवश्यकता के (अर्थात, यह धारणा रखे बिना कि $\pi_t$ एक नियत या नियत फलन की ओर अभिसरित होता है) एसिम्प्टोटिक रूप से $N(0,1)$ है।
मजबूती (Robustness): विधि किसी भी अनुकूली नीति (adaptive policy) के तहत वैध है, बशर्ते लॉग किए गए प्रोपेंसिटीज सटीक हों और न्यूसेंस फिट प्रेडिक्टेबल हों।

सिमुलेशन निष्कर्ष (Simulation Findings)

शोध पत्र चार सिमुलेशन डिजाइनों के माध्यम से सिद्धांत को मान्य करता है:

डिजाइन A (रैंडम लॉन्ग-रन वेरियंस): प्रोपेंसिटी एक बर्न-इन अनुमान के आधार पर दो शासनों के बीच स्विच करती है।
- परिणाम: मानक Fixed- $V$ वाल्ड अंतराल (वास्तविक शासन के आधार पर अंडर-कवर या ओवर-कवर होते हुए) विफल हो जाते हैं। प्रस्तावित सेल्फ-नॉर्मलाइज्ड (SN) अंतराल दोनों शासनों में लगभग नाममात्र 95% कवरेज बनाए रखता है।
डिजाइन B (स्टेबिलाइजेशन बेंचमार्क): प्रोपेंसिटी स्थिर है।
- परिणाम: SN और Fixed- $V$ विधियाँ समान प्रदर्शन करती हैं, जो पुष्टि करती है कि नया तरीका मानक सेटिंग्स में भी काम करता है।
डिजाइन C1 (लीकेज स्ट्रेस टेस्ट): न्यूसेंस मॉडल भविष्य के डेटा का उपयोग करते हैं (प्रेडिक्टेबिलिटी का उल्लंघन)।
- परिणाम: "लीकी" (Leaky) विधि गंभीर अंडर-कवरेज का शिकार होती है (जैसे, $n=250$ पर 82% कवरेज), जो फॉरवर्ड क्रॉस-फिटिंग की महत्वपूर्ण आवश्यकता को प्रदर्शित करती है।
डिजाइन D (अनुकूली नीति और लॉगिंग इंटीग्रिटी): सही लॉगिंग बनाम एक निश्चित प्रोपेंसिटी (जैसे, 0.5) को मानने की तुलना करता है (जब वास्तविक प्रोपेंसिटी अनुकूली थी)।
- परिणाम: गलत प्रोपेंसिटी का उपयोग करना (गलत लॉगिंग) विनाशकारी बायस और लगभग शून्य कवरेज की ओर ले जाता है। SN विधि के साथ लॉग किए गए निष्पादित प्रोपेंसिटी का उपयोग करने से सही कवरेज प्राप्त होता है।

5. महत्व और निहितार्थ (Significance and Implications)

परिचालन सरलता (Operational Simplicity): वैध अनुमान सुनिश्चित करने के लिए इस विधि को अनुकूली नीति (जैसे, बैचिंग, क्लिपिंग या स्टेबिलाइजेशन बाधाओं की आवश्यकता के बिना) को संशोधित करने की आवश्यकता नहीं है। इसके लिए केवल बेहतर लॉगिंग और प्रेडिक्टेबल फिटिंग की आवश्यकता है।
"मिसकैलिब्रेशन" समस्या का समाधान: यह उस समस्या को हल करता है जहाँ मानक वाल्ड सांख्यिकी मार्जिनली वैध दिखाई देते हैं लेकिन वास्तविक वेरियंस शासन के आधार पर सशर्त रूप से विफल हो जाते हैं, जो आधुनिक प्लेटफॉर्म प्रयोगों में एक आम समस्या है।
ऑडिटेबिलिटी (Auditability): यह दृष्टिकोण वैधता के बोझ को नीति के अभिसरण के बारे में जटिल सैद्धांतिक धारणाओं से हटाकर सत्यापन योग्य, ऑडिटेबल डेटा पाइपलाइन स्थितियों (लॉग किए गए प्रोपेंसिटीज और ट्रेनिंग टाइमस्टैम्प) पर स्थानांतरित करता है।
सीमाएँ (Limitations): परिणाम सख्ती से फिक्स्ड-होराइजन के लिए हैं। ये अंतराल एनीटाइम-वैलिड (anytime-valid) नहीं हैं और इनका उपयोग निरंतर निगरानी (continuous monitoring) या ऑप्शनल स्टॉपिंग के लिए नहीं किया जाना चाहिए (जिसके लिए कॉन्फिडेंस सीक्वेंस की आवश्यकता होती है)।

संक्षेप में, यह शोध पत्र मार्टिंगेल लिमिट थ्योरी और सेल्फ-नॉर्मलाइजेशन का लाभ उठाकर अनुकूली प्रयोगों में कारण प्रभावों (causal effects) की रिपोर्टिंग के लिए एक कठोर, व्यावहारिक समाधान प्रदान करता है, बशर्ते कि प्रायोगिक प्लेटफॉर्म "डेटा कॉन्ट्रैक्ट" के सख्त नियमों का पालन करे।