Multi-Experiment Analysis

यहाँ Reza Hosseini (LinkedIn Corporation) के शोध पत्र "Multi-Experiment Analysis (MEA)" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ऑनलाइन नियंत्रित प्रयोग (A/B टेस्ट) डेटा-संचालित निर्णय लेने के लिए स्वर्ण मानक (gold standard) हैं। हालाँकि, जैसे-जैसे संगठन अपने प्रयोगों की गति (experimentation velocity) बढ़ाते हैं, वे एक महत्वपूर्ण बाधा का सामना करते हैं: साझा उपयोगकर्ता ट्रैफ़िक पर एक साथ ओवरलैपिंग प्रयोग (concurrent overlapping experiments)।

• संघर्ष (The Conflict): ओवरलैप को संभालने के पारंपरिक तरीकों में ट्रैफ़िक स्प्लिटिंग (लेयरिंग), क्रमिक निष्पादन (sequential execution), या फैक्टोरियल डिज़ाइन शामिल हैं।
  • ट्रैफ़िक स्प्लिटिंग/लेयरिंग के लिए जटिल समन्वय की आवश्यकता होती है और यह प्रत्येक परीक्षण के लिए उपलब्ध ट्रैफ़िक को कम कर देता है, जिससे गति धीमी हो जाती है।
  • क्रमिक निष्पादन (Sequential execution) फीचर लॉन्च में देरी करता है।
  • फैक्टोरियल डिज़ाइन के लिए पूर्व-नियोजित समन्वय और संतुलित आवंटन की आवश्यकता होती है, जो उन विभिन्न टीमों के लिए अव्यवहारिक है जो अलग-अलग ट्रिगरिंग स्थितियों और समय-सीमाओं के साथ स्वतंत्र प्रयोग लॉन्च करती हैं।
• परिणाम (The Consequence): जब प्रयोग बिना किसी प्रतिबंध के एक साथ चलते हैं, तो दो समस्याएं उत्पन्न होती हैं:
  1. टकराव (Collisions): एक साथ होने वाले परिवर्तन उपयोगकर्ता अनुभव (UX) को खराब कर देते हैं (जिसे अक्सर ब्लॉकिंग द्वारा रोका जाता है)।
  2. परस्पर क्रिया (Interactions): प्रयोग बिना UX को तोड़े एक साथ चलते हैं, लेकिन उनके प्रभाव आपस में क्रिया करते हैं। उन्हें आइसोलेशन में विश्लेषण करना (यूनिवेरिएट विश्लेषण) पक्षपाती अनुमान (biased estimates) उत्पन्न करता है जो किसी भी कार्रवाई योग्य लॉन्च परिदृश्य (जैसे, फीचर A अकेले लॉन्च करना बनाम फीचर A + फीचर B लॉन्च करना) के अनुरूप नहीं होते हैं। सहज विश्लेषण (Naive analysis) इष्टतम फीचर संयोजनों की पहचान करने या नकारात्मक सिनर्जी का पता लगाने में विफल रहता है।

2. कार्यप्रणाली: मल्टी-एक्सपेरिमेंट एनालिसिस (MEA)

यह शोध पत्र MEA का प्रस्ताव करता है, जो ट्रैफ़िक प्रतिबंधों या पूर्व-नियोजित फैक्टोरियल डिज़ाइनों की आवश्यकता के बिना, ओवरलैपिंग प्रयोगों के सुसंगत संयुक्त अनुमान (consistent joint estimation) के लिए एक पोस्ट-हॉक फ्रेमवर्क है।

मुख्य अवधारणा: ट्रिगरिंग-आधारित विभाजन (Triggering-Based Partitioning)

जनसंख्या को एक एकल ब्लॉक के रूप में मानने के बजाय, MEA उपयोगकर्ताओं को संयुक्त ट्रिगरिंग लॉजिक (joint triggering logic) के आधार पर विभाजित करता है।

• मान लीजिए कि $S_i$ वह संकेतक है कि एक उपयोगकर्ता प्रयोग $i$ को ट्रिगर करता है।
• उपयोगकर्ताओं को $S = (S_1, ..., S_k)$ के वेक्टर के आधार पर परस्पर अनन्य क्षेत्रों (strata) में विभाजित किया जाता है।
  • उदाहरण: दो प्रयोगों के लिए, क्षेत्रों में शामिल हैं: केवल $E_1$ ट्रिगर हुआ ($R_{10}$), केवल $E_2$ ट्रिगर हुआ ($R_{01}$), दोनों ट्रिगर हुए ($R_{11}$), और कोई नहीं ($R_{00}$)।
• मुख्य अंतर्दृष्टि (Key Insight): एक लॉन्च परिदृश्य का प्रभाव सभी ट्रिगर किए गए क्षेत्रों के भारित औसत (weighted average) पर आधारित होता है, न कि केवल प्रतिच्छेदन ($R_{11}$) पर। उदाहरण के लिए, $(t_1, t_2)$ लॉन्च करने का प्रभाव उन उपयोगकर्ताओं को भी शामिल करता है जिन्होंने केवल $t_1$ देखा (in $R_{10}$) और वे जिन्होंने केवल $t_2$ देखा (in $R_{01}$)।

अनुमान एल्गोरिदम (Estimation Algorithm)

1. स्तरीकरण (Stratification): उपयोगकर्ताओं को उनके ट्रिगर राज्यों ($R_{10}, R_{01}, R_{11}$) के आधार पर समूहीकृत करें।
2. स्ट्रटम-के भीतर तुलना (Within-Stratum Comparison): प्रत्येक विशिष्ट क्षेत्र के भीतर लक्षित वेरिएंट संयोजन के परिणाम की तुलना बेसलाइन से करें।
   • $R_{11}$ में: $(t_1, t_2)$ बनाम $(c_1, c_2)$ की तुलना करें।
   • $R_{10}$ में: $(t_1, \text{nan})$ बनाम $(c_1, \text{nan})$ की तुलना करें।
3. भारित एकत्रीकरण (Weighted Aggregation): अंतिम प्रभाव अनुमान को क्षेत्र-विशिष्ट अंतरों के भारित योग के रूप में कंप्यूट करें:
   $$\hat{\tau} = \sum_{r} w_r (\bar{Y}_{t,r} - \bar{Y}_{c,r})$$
   जहाँ $w_r$ भार $r$ क्षेत्र में ट्रिगर की गई जनसंख्या के आकार के आनुपातिक हैं (excluding $R_{00}$)।

महत्वपूर्ण धारणाएँ (Critical Assumptions)

MEA को सुसंगत कारण अनुमान (consistent causal estimates) देने के लिए, यह आर्म-ट्रिगर इनवेरिएंस (Arm-Trigger Invariance) पर निर्भर करता है:

• परिभाषा: एक उपयोगकर्ता द्वारा प्रयोग को ट्रिगर करने की संभावना अन्य प्रयोगों के ट्रीटमेंट असाइनमेंट के आधार पर नहीं बदलनी चाहिए।
• गणितीय रूप: $P(S=s | do(A=a)) = P(S=s)$।
• उल्लंघन (Violation): यदि प्रयोग 1 का ट्रीटमेंट उपयोगकर्ता के व्यवहार को इस तरह बदलता है कि वे प्रयोग 2 को ट्रिगर करने की अधिक संभावना रखते हैं (जैसे, एक लिंक जोड़ना जो ट्रिगर स्थिति की ओर ले जाता है), तो धारणा का उल्लंघन होता है, और अनुमान पक्षपाती हो जाते हैं।
• समाधान: शोध पत्र केवल प्रयोग डेटा का उपयोग करके उल्लंघनों का पता लगाने के लिए स्वचालित डायग्नोस्टिक्स (Chi-squared tests और Cramér's $V$) पेश करता है।

विस्तार (Extensions)

• अनुपात मेट्रिक्स (Ratio Metrics): MEA अनुपात (जैसे, CTR, कन्वर्जन रेट) के लिए भी लागू होता है, जिसमें अंश (numerator) और हर (denominator) पर अलग-अलग भारित अनुमान लागू किया जाता है, और फिर डेल्टा मेथड या बकेटेड जैकनाइफ (bucketed jackknife) के माध्यम से उन्हें जोड़ा जाता है।
• परिदृश्य-आधारित विश्लेषण (Scenario-Based Analysis): दूसरे प्रयोग के विशिष्ट लॉन्च निर्णय के आधार पर एक प्रयोग के सशर्त प्रभाव (conditional effect) का अनुमान लगाने की अनुमति देता है (जैसे, "यदि $E_1$ पहले से ही लाइव है, तो $E_2$ का क्या प्रभाव है?")।

3. प्रमुख योगदान (Key Contributions)

1. पद्धतिगत नवाचार (Methodological Innovation): जटिल, असंबद्ध ट्रिगरिंग पैटर्न वाले ओवरलैपिंग ऑनलाइन प्रयोगों में कारण अनुमान (causal estimation) के लिए पोस्ट-स्ट्रैटिफिकेशन और भारित औसत का पहला व्यवस्थित अनुप्रयोग।
2. तीन प्रकार के अनुमान:
   • सुधारित व्यक्तिगत प्रभाव (Corrected Individual Effects): अन्य प्रयोगों की समवर्ती स्थिति को ध्यान में रखते हुए एक एकल प्रयोग के प्रभाव का अनुमान।
   • संयुक्त प्रभाव (Combined Effects): वेरिएंट के किसी भी वांछित संयोजन को लॉन्च करने का अनुमान।
   • सशर्त प्रभाव (Conditional Effects): अन्य प्रयोगों के विशिष्ट लॉन्च निर्णयों के आधार पर एक प्रयोग के प्रभाव का अनुमान।
3. सांख्यिकीय गारंटी (Statistical Guarantees):
   • आर्म-ट्रिगर इनवेरिएंस के तहत निरंतरता (consistency) को सिद्ध करता है।
   • यह सिद्ध करता है कि MEA का विचरण (variance) एक समन्वित फैक्टोरियल डिज़ाइन के विचरण के अधिकतम बराबर है, जो अक्सर प्रयोगों की संख्या ($k$) बढ़ने के साथ घातीय दक्षता लाभ (exponential efficiency gains) प्रदान करता है (आंशिक ओवरलैप के कारण कम वेरिएंट सेल के कारण)।
4. प्रोडक्शन सिस्टम: एक स्केलेबल, सेल्फ-सर्व सिस्टम जिसे LinkedIn में सैकड़ों मिलियन यूनिट्स को सपोर्ट करने के लिए लागू किया गया है, जो वितरित कंप्यूटिंग (Trino/Spark) और विचरण अनुमान के लिए बकेटेड जैकनाइफ का उपयोग करता है।

4. परिणाम और सत्यापन (Results and Validation)

• सिमुलेशन (Simulations): व्यापक सिमुलेशन ने पुष्टि की कि जैसे-जैसे सैंपल साइज बढ़ता है, MEA अनुमान वास्तविक ग्राउंड-ट्रुथ डेल्टा की ओर अभिसरित (converge) होते हैं। 95% कॉन्फिडेंस इंटरवल का कवरेज सही (~95.2%) था।
• विकल्पों के साथ तुलना:
  • यूनिवेरिएट विश्लेषण (Univariate Analysis): अक्सर गलत निर्णय की ओर ले जाता है। एक मजबूत नकारात्मक इंटरेक्शन वाले सिमुलेशन में, यूनिवेरिएट विश्लेषण ने सबसे खराब संभव संयोजन (दोनों को लॉन्च करना) की सिफारिश की, जबकि MEA ने सही ढंग से इष्टतम सिंगल-फीचर लॉन्च की पहचान की।
  • रिग्रेशन (Regression): प्रतिच्छेदन ($R_{11}$) पर मानक इंटरेक्शन रिग्रेशन, सिंगली-ट्रिगर किए गए उपयोगकर्ताओं को अनदेखा करता है, जिससे लॉन्च प्रभाव का भारी अतिरंजित अनुमान (overestimation) होता है (जैसे, वास्तविक लॉन्च प्रभाव +1.7% होने पर +11% का अनुमान लगाना)।
• वास्तविक मामला अध्ययन (LinkedIn):
  • परिदृश्य: एक कंटेंट टेस्ट (नेस्टेड) और एक पेज रीडिज़ाइन टेस्ट (ब्रॉड) असममित रूप से ओवरलैप हुए।
  • निष्कर्ष: यूनिवेरिएट विश्लेषण ने रीडिज़ाइन के लिए +26.2% लिफ्ट का सुझाव दिया। MEA ने खुलासा किया कि यह समवर्ती कंटेंट टेस्ट का एक आर्टिफैक्ट (artifact) था। परिदृश्य-विशिष्ट प्रभाव कंटेंट वेरिएंट के आधार पर +48.6% से लेकर अन्य मानों तक था।
  • परिणाम: MEA ने एक विशिष्ट संयोजन $(v4, v2)$ की पहचान की जिसमें +96% का लिफ्ट था, जिसे यूनिवेरिएट विश्लेषण मिस कर देता। टीम ने यह संयोजन लॉन्च किया, जिससे मार्केट में पहुँचने का समय (time-to-market) कम हुआ।
• अपनाने की दर (Adoption): 8+ प्रोडक्ट वर्टिकल्स में तैनात। ऑडिट किए गए विश्लेषणों में से 80-85% से निर्णयों में बदलाव या सूचना मिली। 4% विश्लेषणों ने इंडिपेंडेंस फ्लैग्स को सफलतापूर्वक पकड़ा, जिससे डिज़ाइन दोषों (जैसे, ट्रीटमेंट-प्रेरित ट्रिगरिंग) का पता चला।

5. महत्व (Significance)

• वेग बनाम वैधता (Velocity vs. Validity): MEA प्रयोग की गति और सांख्यिकीय वैधता के बीच के समझौते को हल करता है। यह टीमों को ट्रैफ़िक विखंडन या क्रमिक देरी के बिना हजारों समवर्ती प्रयोग चलाने की अनुमति देता है, जबकि सटीक कारण संबंधी अंतर्दृष्टि भी प्राप्त करता है।
• कार्रवाई योग्य अंतर्दृष्टि (Actionable Insights): यह "क्या यह काम कर रहा है?" से आगे बढ़कर "सबसे अच्छा संयोजन क्या है जिसे लॉन्च किया जाए?" और "यदि मैं इसके साथ इसे लॉन्च करूँ तो क्या होगा?" तक जाता है, जो सीधे उत्पाद रणनीति का समर्थन करता है।
• व्यापक प्रयोज्यता (Broad Applicability): हालांकि यह ऑनलाइन टेक पर केंद्रित है, इसकी कार्यप्रणाली क्लिनिकल ट्रायल्स, सार्वजनिक स्वास्थ्य और विनिर्माण (manufacturing) पर भी लागू होती है जहाँ कई हस्तक्षेप (interventions) आबादी पर ओवरलैप होते हैं।
• व्यावहारिक टूलिंग (Practical Tooling): स्वचालित डायग्नोस्टिक्स और एक स्केलेबल सिस्टम डिज़ाइन का समावेश जटिल सांख्यिकीय सिद्धांत को प्रोडक्शन वातावरण में डेटा वैज्ञानिकों और प्रोडक्ट मैनेजर्स के लिए सुलभ बनाता है।

संक्षेप में, मल्टी-एक्सपेरिमेंट एनालिसिस (MEA) ओवरलैपिंग प्रयोगों के प्रभावों को सुलझाने के लिए एक मजबूत, नॉन-पैरामीट्रिक फ्रेमवर्क प्रदान करता है, जिससे संगठन अपनी सांख्यिकीय कठोरता से समझौता किए बिना अपने समवर्ती परीक्षण बुनियादी ढांचे (concurrent testing infrastructure) के मूल्य को अधिकतम कर सकते हैं।