📊 statistics

Causal Inference on Stopped Random Walks in Online Advertising

यह शोध पत्र बजट बाधाओं के तहत राजस्व को एक रुके हुए रैंडम वॉक (stopped random walk) के रूप में मॉडल करके, ऑनलाइन विज्ञापन में दीर्घकालिक उपचार प्रभावों (long-term treatment effects) का अनुमान लगाने के लिए एक कारण अनुमान फ्रेमवर्क (causal inference framework) प्रस्तावित करता है, जिससे i.i.d. धारणा को शिथिल किया जाता है और वैध विश्वास अंतराल (confidence intervals) बनाने के लिए एंस्कोम प्रमेय (Anscombe Theorem) और केंद्रीय सीमा प्रमेय (Central Limit Theorem) का उपयोग किया जाता है।

मूल लेखक: Jia Yuan Yu

प्रकाशित 2026-02-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jia Yuan Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, हलचल भरे डिजिटल टाउन स्क्वायर (जैसे इंस्टाग्राम या टिकटॉक) के मैनेजर हैं। हर दिन हजारों लोग वहां से गुजरते हैं, और आपके पास उन्हें विज्ञापन दिखाने के लिए कुछ सीमित बिलबोर्ड्स (billboards) हैं। आपके पास दुकानदारों (विज्ञापनदाताओं) का एक समूह भी है जो अपने बिलबोर्ड पर साइन लगाने के इच्छुक हैं, लेकिन प्रत्येक दुकानदार की खर्च करने की एक सख्त दैनिक सीमा है।

आपके द्वारा साझा किया गया पेपर एक पेचीदा समस्या के बारे में है: आप यह कैसे पता लगाएं कि आपके बिलबोर्ड की कीमत बदलना लंबे समय में आपको अधिक पैसा कमा कर देगा या नहीं, बिना अनजाने में परीक्षण के दौरान अर्थव्यवस्था को बर्बाद किए?

यहाँ उनके समाधान का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करके।

1. समस्या: "ट्रैफिक पुलिस" का विरोधाभास (The "Traffic Cop" Paradox)

एक सामान्य प्रयोग में (जैसे किसी नई दवा का परीक्षण करना), आप एक समूह को दवा देते हैं और दूसरे को प्लेसबो (placebo) देते हैं, और फिर आप परिणामों को गिनते हैं। लोग केवल इसलिए अपना व्यवहार नहीं बदलते क्योंकि उन्हें देखा जा रहा है।

लेकिन ऑनलाइन विज्ञापन में, मापन (measuring) करने की क्रिया ही परिणाम को बदल देती है।

यदि आप बिलबोर्ड की कीमत बढ़ाते हैं (उपचार/treatment), तो कम लोग विज्ञापन देखते हैं।
क्योंकि कम लोग विज्ञापन देखते हैं, इसलिए दुकानदारों के पास दिन के अंत में कुछ पैसा बच जाता है।
क्योंकि उनके पास पैसा बच जाता है, वे अगले दिन अधिक आक्रामक रूप से बोली (bid) लगा सकते हैं।
साथ भी, यदि विज्ञापन परेशान करने वाले या बहुत महंगे हैं, तो लोग टाउन स्क्वायर से जल्दी बाहर निकल सकते हैं, जिसका अर्थ है कि विज्ञापन दिखाने के लिए "अवसरों" की संख्या ही कम हो जाती है।

लेखक इसे "स्टॉप्ड रैंडम वॉक" (Stopped Random Walk) कहते हैं। एक नशे में धुत व्यक्ति की कल्पना करें जो सड़क पर चल रहा है (यूज़र सेशन)। वह तब रुक जाता है जब वह घर पहुँच जाता है या थक जाता है। "उपचार" (विज्ञापन की कीमत) न केवल यह बदलता है कि वह रास्ते में कितना पैसा खर्च करता है; यह यह भी बदल देता है कि वह चलने से पहले कितनी दूर तक चलता है। यदि आप केवल प्रति कदम होने वाली कमाई को गिनते हैं, तो आप इस तथ्य को मिस कर देते हैं कि व्यक्ति जल्दी रुक गया।

2. समाधान: "परम्यूटेशन ट्रिक" (The "Permutation Trick") (चेकआउट लाइन)

इसके पीछे का गणित अविश्वसनीय रूप से जटिल है क्योंकि लाखों उपयोगकर्ता और सैकड़ों विज्ञापनदाता एक साथ परस्पर क्रिया (interact) कर रहे हैं। यह एक हजार अलग-अलग सुपरमार्केट चेकआउट कन्वेयर बेल्ट पर एक साथ हर एक आइटम को ट्रैक करने जैसा है। डेटा बहुत बड़ा है जिसे विश्लेषण किया जा सके।

लेखक एक चतुर ट्रिक पेश करते हैं जिसे परम्यूटेशन (Permutation) कहा जाता है।

उपमा: एक सुपरमार्केट की कल्पना करें जहाँ ग्राहकों (उपयोगकर्ताओं) को एक ही कन्वेयर बेल्ट पर बारी-बारी से रखा गया है। ग्राहक A एक आइटम रखता है, फिर ग्राहक B, फिर ग्राहक A फिर से।
ट्रिक: लेखक कहते हैं, "मान लीजिए कि हमने बेल्ट को इस तरह से पुनर्व्यवस्थित किया है कि ग्राहक A अपने सभी आइटम पहले रख देता है, फिर ग्राहक B अपने सभी आइटम रखता है।"
यह क्यों काम करता है: वे तर्क देते हैं कि जब तक दुकानदारों (विज्ञापनदाताओं) के पास बड़े बजट हैं जो हफ्तों तक चलते हैं, तब तक इससे कोई फर्क नहीं पड़ता कि वे वस्तुओं को उलझे हुए क्रम में भुगतान करते हैं या व्यवस्थित क्रम में। खर्च किया गया कुल पैसा और बेची गई कुल वस्तुएं लगभग समान रहेंगी। यह उन्हें गणित को एक अराजक मलबे से बदलकर एक प्रबंधनीय, व्यवस्थित रेखा में बदलने की अनुमति देता है।

3. प्रयोग: "बजट विभाजन" (The "Budget Split")

यह परीक्षण करने के लिए कि क्या नया बिलबोर्ड मूल्य काम करता है, वे एक साल तक इंतजार नहीं कर सकते क्योंकि यह बहुत धीमा है और इसमें बहुत पैसा खर्च होता है। इसके बजाय, वे बजट-विभाजन प्रयोग (Budget-Splitting Experiment) का उपयोग करते हैं।

सेटअप: वे पूरी आबादी को लेते हैं और उन्हें यादृच्छिक रूप से दो समूहों में विभाजित करते हैं: समूह A और समूह B।
ट्विस्ट: वे विज्ञापनदाताओं के बजट को भी विभाजित करते हैं। यदि किसी विज्ञापनदाता के पास खर्च करने के लिए $100 है, तो वे$ 50 की "बजट शक्ति" समूह A को और $50 की "बजट शक्ति" समूह B को देते हैं।
परीक्षण:
- समूह A में उच्च कीमत (High Price) वाले विज्ञापन दिखाई देते हैं।
- समूह B में कम कीमत (Low Price) वाले विज्ञापन दिखाई देते हैं।
मापन: वे इसे एक निश्चित समय के लिए चलाते हैं (मान लीजिए कुछ दिन)। वे गिनते हैं:
1. प्रत्येक समूह में कितने विज्ञापन दिखाए गए? (याद रखें, उच्च कीमत वाले समूह में कम विज्ञापन दिखाए जा सकते हैं क्योंकि लोग साइट से जल्दी बाहर निकल जाते हैं)।
2. प्रति विज्ञापन कितनी कमाई हुई?

4. परिणाम: "कॉन्फिडेंस इंटरवल" (The "Confidence Interval")

पेपर एक उत्तर की गणना करने के लिए एक गणितीय सूत्र प्रदान करता है। यह प्रकाशक को बताता है: "हमारे इस छोटे प्रयोग के आधार पर, हम 95% आश्वस्त हैं कि नई कीमत आपके वार्षिक राजस्व को इस विशिष्ट राशि से बढ़ाएगी (या घटाएगी)।"

वे यह गणना करने के लिए उन्नत सांख्यिकीय उपकरणों (जैसे सेंट्रल लिमिट थ्योरम और वाल्ड्स इक्वेशन) का उपयोग करते हैं कि:

टाउन स्क्वायर से गुजरने वाले लोगों की संख्या बदल गई।
दुकानदारों के बजट अलग-अलग समय पर समाप्त हो गए।
"रुकने का समय" (जब यूज़र सेशन समाप्त होता है) प्रत्येक समूह के लिए अलग था।

सारांश

यह पेपर इस समस्या को हल करता है कि एक ऐसे सिस्टम में दीर्घकालिक राजस्व की भविष्यवाणी कैसे की जाए जहाँ खेल के नियम ही खेल खेलने के तरीके को बदल देते हैं।

लाखों उपयोगकर्ताओं और विज्ञापनदाताओं के बीच होने वाली अराजकता से भ्रमित होने के बजाय, वे:

डेटा को पुनर्व्यवस्थित करते हैं (परम्यूटेशन ट्रिक) ताकि इसे गणितीय रूप से हल किया जा सके।
बजट को विभाजित करते हैं (बजट-स्प्लिटिंग) ताकि एक निष्पक्ष, तेज़ प्रयोग चलाया जा सके।
एक विशेष सूत्र का उपयोग करते हैं ताकि अल्पकालिक प्रयोग के परिणामों को दीर्घकालिक वार्षिक राजस्व की विश्वसनीय भविष्यवाणी में बदला जा सके, भले ही परीक्षण के दौरान "ग्राहकों" की संख्या बदल गई हो।

यह एक जटिल, जीवित पारिस्थितिकी तंत्र में एक नई नीति को सुरक्षित रूप से परीक्षण करने का एक तरीका है, बिना उस पारिस्थितिकी तंत्र को नुकसान पहुँचाए जिसे आप देख रहे हैं।

तकनीकी सारांश: ऑनलाइन विज्ञापन में स्टॉपड रैंडम वॉक पर कॉज़ल इन्फरेंस (Causal Inference)

समस्या विवरण
यह शोध पत्र ऑनलाइन विज्ञापन प्लेटफार्मों (पब्लिशर्स) के लिए विशिष्ट एक कॉज़ल इन्फरेंस चुनौती को संबोधित करता है, जहाँ लक्ष्य तंत्र मापदंडों (mechanism parameters), जैसे कि नीलामी के रिजर्व प्राइस (reserve prices) के दीर्घकालिक उपचार प्रभाव (long-term treatment effect) का अनुमान लगाना है। शास्त्रीय सेटिंग्स (जैसे कि दवा परीक्षण) के विपरीत, जहाँ जनसंख्या का आकार स्थिर और उपचार से स्वतंत्र होता है, ऑनलाइन विज्ञापन में पब्लिशर्स, उपयोगकर्ताओं और विज्ञापनदाताओं का एक जटिल, परस्पर जुड़ा हुआ तंत्र शामिल होता है। इस वातावरण में:

उपचार जनसंख्या के आकार को प्रभावित करता है: एक उपचार (जैसे कि उच्च रिजर्व प्राइस) उपयोगकर्ता की अंतःक्रिया प्रक्षेपवक्र (interaction trajectories/session length) को बदल देता है और विज्ञापनदाता के बोली लगाने के व्यवहार (सीमित बजट द्वारा नियंत्रित) को भी बदल देता है, जिससे एक निश्चित समय अवधि में उत्पन्न होने वाले कुल इंप्रेशन अवसरों की संख्या बदल जाती है।
हस्तक्षेप और गतिशीलता (Interference and Dynamics): उपचार प्रभाव को मापने का निर्णय उस प्रणाली को ही बदल देता है जिसे मापा जा रहा है। उपयोगकर्ता सत्रों (user sessions) को मार्कोव चेन (Markov chains) के रूप में मॉडल किया जाता है, और विज्ञापनदाता के बजट पिछले नीलामी परिणामों पर निर्भर दूसरे मार्कोव चेन के रूप में विकसित होते हैं।
मापन पैमाने का बेमेल होना (Measurement Scale Mismatch): लक्षित मीट्रिक दीर्घकालिक राजस्व (जैसे $k$ दिनों में) है, लेकिन अवलोकन की प्राकृतिक इकाई व्यक्तिगत विज्ञापन इंप्रेशन है। एक निश्चित समय विंडो में इंप्रेशन की संख्या एक यादृच्छिक चर (रैंडम वेरिएबल) है (एक स्टॉपिंग टाइम), जो उपचार पर निर्भर करती है।

मुख्य कठिनाई यह है कि मानक सेंट्रल लिमिट थ्योरम (CLT) दृष्टिकोण, जो स्वतंत्र और समान रूप से वितरित (i.i.d.) मापों या निश्चित नमूना आकार को मानते हैं, अपर्याप्त हैं। शोध पत्र संचयी राजस्व को एक स्टॉपड रैंडम वॉक (stopped random walk) के रूप में मॉडल करता है, जहाँ स्टॉपिंग टाइम ( $k$ दिनों में कुल इंप्रेशन) यादृच्छिक और उपचार-निर्भर होता है।

कार्यप्रणाली

1. मॉडलिंग ढांचा
लेखक पब्लिशर, उपयोगकर्ता और विज्ञापनदाता के बीच त्रिपक्षीय अंतःक्रिया को एक डिस्क्रीट-टाइम मार्कोव चेन के रूप में मॉडल करते हैं।

स्टेट स्पेस (State Space): स्टेट में सभी उपयोगकर्ताओं द्वारा देखे गए पेजों का प्रोफाइल ( $X_n$ ), सभी विज्ञापनदाताओं के शेष बजट ( $\Omega_n$ ), और सक्रिय उपयोगकर्ता का इंडेक्स ( $I_n$ ) शामिल है।
गतिशीलता (Dynamics): उपयोगकर्ता पेज ट्रांज़िशन और विज्ञापनदाता बजट अपडेट को स्थिर रणनीतियों (रिजर्व प्राइस फंक्शन और बिडिंग फंक्शन) और उपयोगकर्ता व्यवहार तथा बजट पुनर्भरण (replenishment) का प्रतिनिधित्व करने वाले यादृच्छिक चरों द्वारा नियंत्रित किया जाता है।
राजस्व (Revenue): पब्लिशर का राजस्व रिजर्व प्राइस और जीतने वाली बोली (सेकंड-प्राइस ऑक्शन लॉजिक) का एक गैर-रेखीय (non-linear), संभावित रूप से असंतत (discontinuous) फलन है।

2. आयामी कमी (Dimensionality Reduction): द परम्यूटेशन ट्रिक (The Permutation Trick)
जब $d$ उपयोगकर्ताओं और $m$ विज्ञापनदाताओं को एक साथ मॉडल किया जाता है, तो एक्सपोनेंशियल स्टेट स्पेस साइज एक बड़ी बाधा है। इसे संबोधित करने के लिए, लेखक एक परम्यूटेशन ट्रिक पेश करते हैं:

प्रेरणा (Motivation): इस अवलोकन के आधार पर कि विभिन्न समवर्ती उपयोगकर्ता सत्रों से पेज ट्रांज़िशन के क्रम का कुल बिक्री और कैश फ्लो पर नगण्य प्रभाव पड़ता है, बशर्ते कि उपयोगकर्ता सत्र का टाइमस्केल विज्ञापन अभियान की अवधि की तुलना में बहुत छोटा हो।
तंत्र (Mechanism): लेखक एक परम्यूटेशन $\sigma$ को परिभाषित करते हैं जो इंप्रेशन के अनुक्रम को पुनर्व्यवस्थित करता है ताकि एक ही उपयोगकर्ता सत्र से संबंधित सभी पेज ट्रांज़िशन को एक साथ समूहबद्ध किया जा सके।
परिणाम: यह मूल उच्च-आयामी मार्कोव चेन को एक अनुमानित चेन में बदल देता है जिसका स्टेट स्पेस काफी छोटा ( $\mathcal{X} \times \mathbb{R}^m \times [d]$ ) होता है, जहाँ पूरे उपयोगकर्ता सत्रों को इंटरलीव (interleave) किया जाता है न कि व्यक्तिगत पेज ट्रांज़िशन को। यह सन्निकटन (approximation) असेम्पशन 2.1 पर निर्भर करता है, जो यह दावा करता है कि विज्ञापन अभियान के बजट और अवधि, व्यक्तिगत इंप्रेशन लागत और सत्र लंबाई की तुलना में बड़े हैं।

3. प्रयोगात्मक डिज़ाइन: बजट स्प्लिटिंग (Budget Splitting)
उपचार प्रभाव का अनुमान लगाने के लिए, शोध पत्र एक बजट-स्प्लिटिंग प्रयोगात्मक डिज़ाइन ([LMK21] से प्रेरित) प्रस्तावित करता है:

जनसंख्या विभाजन (Population Split): उपयोगकर्ताओं को $q$ और $1-q$ की संभावनाओं के साथ उप-जनसंख्या $A$ और $B$ में बेतरतीब ढंग से सौंपा जाता है।
उपचार असाइनमेंट (Treatment Assignment): उप-जनसंख्या $A$ को उपचार $v$ (रिजर्व प्राइस $v$ ) प्राप्त होता है और $B$ को उपचार $w$ प्राप्त होता है।
बजट स्प्लिटिंग: प्रत्येक विज्ञापनदाता का बजट आनुपातिक रूप से ( $q$ और $1-q$ ) दोनों उप-जनसंख्याओं के बीच विभाजित किया जाता है। प्रत्येक समूह के विज्ञापनदाता केवल अपने सौंपे गए उप-जनसंख्या की मार्कोव चेन के भीतर प्रतिस्पर्धा करते हैं।
एस्टिमेटर (Estimator): कुल उपचार प्रभाव $\hat{\Delta}$ के लिए एस्टिमेटर को उप-जनसंख्याओं से देखे गए औसत राजस्व और इंप्रेशन काउंट को क्रमशः $1/q$ और $1/(1-q)$ द्वारा स्केल करके बनाया जाता है, जो प्रभावी रूप से उप-जनसंख्या के परिणामों को पूरी जनसंख्या पर एक्सट्रपलेशन (extrapolate) करता है।

4. सैद्धांतिक गारंटी (Theoretical Guarantees)
लेखक निम्नलिखित का उपयोग करके दीर्घकालिक उपचार प्रभाव $\Delta$ के लिए एक कॉन्फिडेंस इंटरवल (confidence interval) व्युत्पन्न करते हैं:

मार्कोव चेन CLT: राजस्व योगों की एसिम्प्टोटिक नॉर्मलिटी (asymptotic normality) स्थापित करने के लिए परम्यूटेड चेन्स पर लागू किया गया है।
वाल्ड-जैसी समीकरण (Wald-like Equation): यादृच्छिक स्टॉपिंग टाइम्स ( $k$ दिनों में कुल इंप्रेशन) को संभालने के लिए उपयोग किया गया है।
एन्स्कोब थ्योरम (Anscombe Theorem): यादृच्छिक नमूना आकार के बावजूद स्टॉपड रैंडम वॉक के नॉर्मल डिस्ट्रीब्यूशन की ओर अभिसरण (convergence) को न्यायोचित ठहराने के लिए उपयोग किया गया है।
एर्गोडिसिटी धारणाएं (Ergodicity Assumptions): विश्लेषण यह मानता है कि अंतर्निहित मार्कोव चेन हैरिस एर्गोडिक (Harris ergodic) और ज्योमेट्रिकली एर्गोडिक हैं, जो इनवेरिएंट डिस्ट्रीब्यूशन के अस्तित्व को सुनिश्चित करते हैं।

प्रमुख योगदान

मॉडलिंग: ऑनलाइन विज्ञापन प्रणालियों में कॉज़ल इन्फरेंस के लिए एक स्टॉपड रैंडम वॉक मॉडल का परिचय, जहाँ जनसंख्या का आकार (इंप्रेशन की संख्या) यादृच्छिक और उपचार-निर्भर है। यह शास्त्रीय कॉज़ल इन्फरेंस का सामान्यीकरण करता है जो आमतौर पर एक स्थिर जनसंख्या मानता है।
विश्लेषणात्मक: मल्टी-यूज़र, मल्टी-एडवरटाइज़र मार्कोवियन सिस्टम में स्टेट स्पेस के आयाम को कम करने के लिए एक परम्यूटेशन ट्रिक का विकास, जो समय-पैमाने (time scales) के संबंध में सौम्य धारणाओं के तहत गणना योग्य विश्लेषण को सक्षम बनाता है।
सांख्यिकीय अनुमान (Statistical Inference): इस जटिल सेटिंग में दीर्घकालिक उपचार प्रभावों के लिए कॉन्फिडेंस इंटरवल का व्युत्पन्न, जो मार्कोवियन CLT, एक वाल्ड-जैसी समीकरण और एन्स्कोब थ्योरम को जोड़ता है। यह प्रयोग की अवधि निर्धारित करने के लिए एक सैद्धांतिक आधार प्रदान करता है।

परिणाम
मुख्य परिणाम (थ्योरम 3.6) स्थापित करता है कि समय-अपरिवर्तनीय रणनीतियों, एर्गोडिसिटी और अभियान के पैमाने के तहत मान्यताओं के अंतर्गत, प्रस्तावित एस्टिमेटर $\hat{\Delta}$ , वास्तविक उपचार प्रभाव $\Delta$ की ओर अभिसरित होता है। विशेष रूप से, शोध पत्र सिद्ध करता है कि:
$\lim_{k \to \infty} P(|\hat{\Delta} - \Delta| \leq \epsilon) \geq 1 - 2\alpha$
जहाँ $\epsilon$ उप-जनसंख्या चेन्स के एसिम्प्टोटिक वेरिएंस और उप-जनसंख्या एवं पूर्ण-जनसंख्या के इनवेरिएंट डिस्ट्रीब्यूशन के बीच के अंतर पर निर्भर एक बाउंड है। शोध पत्र नोट करता है कि व्यवहार में, बड़े उपयोगकर्ता आधार के साथ, ये वितरण अपेक्षित रूप से करीब होते हैं, जिससे एस्टिमेटर प्रभावी हो जाता है।

महत्व और दावे
शोध पत्र का दावा है कि यह ऑनलाइन विज्ञापन प्रणालियों में कॉज़ल इन्फरेंस के लिए एक कठोर ढांचा प्रदान करता है जहाँ "विश्लेषण की इकाई" (उपयोगकर्ता सत्र) और "मापन की इकाई" (इंप्रेशन) अलग-अलग पैमानों पर कार्य करती हैं, और जहाँ उपचार स्वयं डेटा उत्पन्न करने वाले वॉल्यूम को बदल देता है।

यह शास्त्रीय कॉज़ल इन्फरेंस की "फाइनाइट पॉपुलेशन" धारणा से आगे बढ़कर एक यादृच्छिक, उपचार-निर्भर जनसंख्या की ओर बढ़ता है।
यह हस्तक्षेप को नियंत्रित करने के लिए केवल रैंडमाइजेशन तकनीकों पर निर्भर रहने के बजाय, उपयोगकर्ता और विज्ञापनदाता की गतिशीलता को स्पष्ट रूप से मॉडल करके टू-साइडेड मार्केट में "इंटरफेरेंस" की समस्या का व्यावहारिक समाधान प्रदान करता है।
यह एसिम्प्टोटिक वेरिएंस और अवधियों की संख्या $k$ के साथ कॉन्फिडेंस इंटरवल की चौड़ाई को जोड़कर प्रयोग की अवधि पर कार्रवाई योग्य मार्गदर्शन प्रदान करता है।

लेखक सीमाओं को स्वीकार करते हुए, उल्लेख करते हैं कि मॉडल स्थिर रणनीतियों को मानता है और स्पष्ट रूप से गैर-स्थिर (non-stationary) गतिशीलता (जैसे कि सिस्टम में नए विज्ञापनदाताओं का प्रवेश) को नहीं संभालता है। वे यह भी सुझाव देते हैं कि हालांकि बजट-स्प्लिटिंग डिज़ाइन प्रभावी है, यह उन मनमाने हस्तक्षेप प्रभावों को ठीक नहीं कर सकता है जो विशिष्ट मार्कोवियन मॉडल द्वारा कैप्चर नहीं किए गए हैं।

1. समस्या: "ट्रैफिक पुलिस" का विरोधाभास (The "Traffic Cop" Paradox)

2. समाधान: "परम्यूटेशन ट्रिक" (The "Permutation Trick") (चेकआउट लाइन)

3. प्रयोग: "बजट विभाजन" (The "Budget Split")

4. परिणाम: "कॉन्फिडेंस इंटरवल" (The "Confidence Interval")

सारांश

इसी तरह के और पेपर