Blending Proxy Metrics with a North Star

तकनीकी सारांश: एक नॉर्थ स्टार के साथ प्रॉक्सी मेट्रिक्स का मिश्रण (Blending Proxy Metrics with a North Star)

समस्या विवरण (Problem Statement)
डिजिटल प्रयोगों (A/B टेस्टिंग) में, प्रयोगकर्ता अक्सर सटीकता (precision) और दीर्घकालिक व्यावसायिक लक्ष्यों के साथ संरेखण (alignment) के बीच एक द्वंद्व का सामना करते हैं। "नॉर्थ स्टार" मेट्रिक्स (जैसे, ग्राहक प्रतिधारण/customer retention, राजस्व/revenue) सीधे व्यावसायिक सफलता को मापते हैं, लेकिन वे उत्पाद हस्तक्षेपों (product interventions) के प्रति सांख्यिकीय रूप से कम संवेदनशील होते हैं, जिससे प्रभावों का पता लगाने के लिए अत्यधिक बड़े नमूना आकार (sample sizes) की आवश्यकता होती है। इसके विपरीत, "प्रॉक्सी" मेट्रिक्स (जैसे, उपयोगकर्ता जुड़ाव/user engagement, क्लिक्स/clicks) हस्तक्षेपों के प्रति अधिक संवेदनशील होते हैं और तेज़, छोटे प्रयोगों की अनुमति देते हैं, लेकिन वे अंतिम व्यावसायिक उद्देश्य के साथ पूरी तरह से संरेखित नहीं हो सकते हैं।

यह एक व्यावहारिक दुविधा पैदा करता है: प्रयोगकर्ताओं को संवेदनशील प्रॉक्सी पर कब भरोसा करना चाहिए, और उन्हें शोर वाले (noisy) नॉर्थ स्टार पर कब भरोसा करना चाहिए? विशेष रूप से, यह शोध पत्र तीन प्रश्नों को संबोधित करता है:

1. क्या उन बड़े, कम बार होने वाले प्रयोगों में भी प्रॉक्सी पर भरोसा किया जाना चाहिए जो वास्तविक नॉर्थ स्टार पर प्रभावों का पता लगाने के लिए पर्याप्त शक्ति (powered) रखते हैं?
2. जब प्रॉक्सी और नॉर्थ स्टार विरोधाभासी संकेत देते हैं, तो निर्णय कैसे लिया जाना चाहिए?
3. एक प्रॉक्सी मेट्रिक की गुणवत्ता प्रयोग प्रोग्राम (जैसे, नमूना आकार और आवृत्ति) के इष्टतम डिज़ाइन को कैसे प्रभावित करती है?

कार्यप्रणाली (Methodology)
लेखक एक इष्टतम "ब्लेंडिंग" (blending) ढांचे का प्रस्ताव करता है जो प्रॉक्सी पर अनुमानित उपचार प्रभावों ($\hat{P}$) और नॉर्थ स्टार पर अनुमानित उपचार प्रभावों ($\hat{Y}$) के भारित रैखिक संयोजन (weighted linear combination) के रूप में एक निर्णय मेट्रिक का निर्माण करता है। ब्लेंडेड सांख्यिकी को इस प्रकार परिभाषित किया गया है:
$$\hat{Z}(A) = A^\top \hat{X} = a \hat{P} + (1-a) \hat{Y}$$
जहाँ $A = (a, 1-a)^\top$ ब्लेंडिंग वेट्स (weights) को दर्शाता है।

इस कार्यप्रणाली का मूल, एक निर्णय नियम के तहत जो एक उपचार को तब "लॉन्च" करता है जब $\hat{Z}(A)$ एक महत्व सीमा (significance threshold) से ऊपर होता है, नॉर्थ स्टार मेट्रिक ($Y$) के अपेक्षित रिटर्न को अधिकतम करने वाले इष्टतम वेट्स $A^*$ का निर्माण करना है।

• सैद्धांतिक ढांचा (Theoretical Framework): शोध पत्र यह मानता है कि वास्तविक उपचार प्रभाव $X = (P, Y)$ शून्य माध्य (zero mean) और सहप्रसरण $\Sigma_X$ के साथ गाऊसी वितरण (Gaussian distribution) का पालन करते हैं। अनुमानित प्रभाव $\hat{X}$, सैंपलिंग शोर (sampling noise) के साथ देखे जाते हैं, जिसे $\hat{X} | X \sim N(X, 2\Omega/n)$ के रूप में मॉडल किया गया है, जहाँ $\Omega$ यूनिट-स्तरीय सैंपलिंग वेरिएंस है और $n$ प्रत्येक आर्म (arm) के लिए नमूना आकार है।
• इष्टतम वेट्स (Optimal Weights): इष्टतम वेट्स $A^*$ को अपेक्षित रिटर्न को अधिकतम करने के लिए एक प्रतिबन्धित अनुकूलन समस्या (constrained optimization problem) को हल करके प्राप्त किया जाता है। प्रस्ताव 1 पर्याप्त बड़े प्रयोगों के लिए एक क्लोज्ड-फॉर्म सन्निकटन (closed-form approximation) प्रदान करता है:
  $$\tilde{A} \propto (\Sigma_X + (1 + z^2)2\Omega/n)^{-1}\Gamma$$
  जहाँ $\Gamma = \text{Cov}(X, Y)$ है और $z$ महत्व स्तर के लिए क्रिटिकल वैल्यू है। यह सूत्र प्रकट करता है कि वेट्स एक दंडित रैखिक प्रतिगमन (penalized linear regression) के रूप में कार्य करते हैं, जहाँ दंड पद (penalty term) प्रयोग के भीतर के सैंपलिंग वेरिएंस और प्रयोग के बीच के संरचनात्मक वेरिएंस के अनुपात पर निर्भर करता है।
• अनुमान (Estimation): शोध पत्र ऐतिहासिक प्रयोग डेटा से इन वेट्स को अनुमानित करने की एक प्रक्रिया की रूपरेखा तैयार करता है, जिसमें $\Sigma_X$ (गैर-पैरामीट्रिक, एम्पेरिकल बेयस, या पदानुक्रमित विधियों का उपयोग करके) और $\Omega$ का अनुमान लगाया जाता है, और फिर प्लग-इन एस्टिमेटर लागू किया जाता है।
• प्रोग्राम डिज़ाइन निहितार्थ (Program Design Implications): विश्लेषण प्रयोग प्रोग्राम के डिज़ाइन तक विस्तृत है। यह प्रदर्शित करता है कि प्रति आवंटन औसत रिटर्न, नमूना आकार $n$ के साथ घटता है। फलस्वरूप, यदि एक प्रॉक्सी उच्च-गुणवत्ता वाली है (बेहतरीन सिग्नल-टू-नॉइज़), तो प्रयोगकर्ताओं को छोटे और अधिक बार प्रयोग चलाने चाहिए। यदि प्रॉक्सी खराब है, तो उन्हें नॉर्थ स्टार पर अधिक भरोसा करने के लिए बड़े और कम बार प्रयोग चलाने चाहिए।

मुख्य परिणाम (Key Results)

• सिमुलेशन प्रदर्शन (Simulation Performance): सिमुलेशन के माध्यम से, ब्लेंडेड दृष्टिकोण लगातार केवल नॉर्थ स्टार ($a=0$) या केवल प्रॉक्सी ($a=1$) पर आधारित रणनीतियों की तुलना में उच्च संचयी रिटर्न (cumulative returns) प्रदान करता है।
  • छोटे नमूना आकार पर, इष्टतम वेट प्रॉक्सी की ओर भारी रूप से झुक जाता है क्योंकि इसमें बेहतर सिग्नल-टू-नॉइज़ अनुपात होता है।
  • जैसे-जैसे नमूना आकार बढ़ता है, इष्टतम वेट धीरे-धीरे नॉर्थ स्टार की ओर बढ़ता है, और अंततः $n \to \infty$ होने पर पूरी तरह से नॉर्थ स्टार पर केंद्रित हो जाता है।
• सांख्यिकीय शक्ति (Statistical Power) और गलत सकारात्मक (False Positives):
  • शक्ति (Power): ब्लेंडेड मेट्रिक विभिन्न सहसंबंधों ($\rho$) के तहत उच्च शक्ति बनाए रखता है। इसके विपरीत, एक प्रॉक्सी-ओनली रणनीति कम शक्ति से ग्रस्त होती है जब संरचनात्मक सहसंबंध कम होता है, भले ही नमूना आकार बड़ा हो।
  • गलत सकारात्मक (False Positives): एक प्रॉक्सी-ओनली रणनीति में गलत सकारात्मक जोखिम (false positive risk) नमूना आकार के साथ बढ़ता है जब प्रॉक्सी नॉर्थ स्टार के साथ गलत संरेखित (misaligned) होती है। ब्लेंडेड मेट्रिक टाइप I एरर रेट को नियंत्रित करता है, जो प्रॉक्सी और नॉर्थ स्टार नियमों के बीच मध्यस्थता करता है और बढ़ते $n$ के साथ नॉर्थ स्टार के एरर कंट्रोल की ओर अभिसरित (converge) होता है।
• मजबूती (Robustness): मुख्य निष्कर्ष भारी-पूंछ वाले वितरणों (heavy-tailed distributions) (जैसे, $\nu=3$ के साथ मल्टीवेरिएट t-डिस्ट्रीब्यूशन) के मामले में भी बने रहते हैं, हालांकि गाऊसीय धारणा क्लोज्ड-फॉर्म व्युत्पत्ति को सुगम बनाती है।

व्यावहारिक अनुप्रयोग (Empirical Application)
इस कार्यप्रणाली को नेटफ्लिक्स (Netflix) में एक वास्तविक दुनिया के प्रयोग कार्यक्रम पर लागू किया गया था, जिसमें "क्लिक्स" को एक प्रॉक्सी ($P$) और "प्लेज़" (plays) को एक नॉर्थ स्टार ($Y$) के रूप में उपयोग किया गया।

• डेटा: 15 A/B टेस्ट और 50 ट्रीटमेंट आर्म्स का विश्लेषण।
• निष्कर्ष: क्लिक्स को प्लेज़ की तुलना में लगभग छह गुना अधिक संवेदनशील पाया गया (उच्चกว่า SE-ratio)। हालांकि, इष्टतम ब्लेंडिंग वेट्स गतिशील हैं:
  • छोटे प्रयोगों ($n \lesssim 2$ मिलियन) के लिए, इष्टतम रणनीति 100% वेट क्लिक्स पर रखती है।
  • मध्यम प्रयोग आकार ($n \approx 5$ मिलियन) के लिए, इष्टतम ब्लेंड लगभग 52% वेट क्लिक्स को और 48% वेट प्लेज़ को देता है।
  • बहुत बड़े प्रयोगों ($n = 25$ मिलियन) के लिए, वेट बदलकर लगभग 90% प्लेज़ पर हो जाता है।
• परिणाम: ब्लेंडेड निर्णय नियम ने पूरे देखे गए रेंज में सिंगल-मेट्रिक नियमों दोनों को पछाड़ दिया, जिससे यह सिद्ध हुआ कि नॉर्थ स्टार की जानकारी को शामिल करने से रिटर्न में सुधार होता है, भले ही प्रॉक्सी अत्यधिक संवेदनशील क्यों न हो।

महत्व और दावे (Significance and Claims)
शोध पत्र का दावा है कि यह एक समकालीन लेकिन असंवेदनशील नॉर्थ स्टार की उपलब्धता में प्रॉक्सी मेट्रिक्स को एकीकृत करने के लिए एक कठोर, निर्णय-सैद्धांतिक (decision-theoretic) ढांचा प्रदान करता है। इसके प्राथमिक योगदान हैं:

1. इष्टतम सम्मिश्रण (Optimal Blending): यह स्थापित करता है कि इष्टतम निर्णय नियम स्थिर नहीं है बल्कि प्रयोग की शक्ति (नमूना आकार) पर निर्भर करता है। जैसे-जैसे प्रयोग बड़ा होता है, नॉर्थ स्टार पर वेट बढ़ना चाहिए।
2. प्रोग्राम डिज़ाइन: यह प्रयोग प्रोग्राम डिज़ाइन के लिए व्यावहारिक मार्गदर्शन प्रदान करता है, यह सुझाव देते हुए कि प्रॉक्सी मेट्रिक की गुणवत्ता प्रयोग के पैमाने और आवृत्ति को निर्धारित करती है।
3. व्यावहारिक कार्यान्वयन: यह ऐतिहासिक डेटा का उपयोग करके इन वेट्स की गणना करने के लिए एक ठोस, अनुमान लगाने योग्य विधि प्रदान करता है, जिसे नेटफ्लिक्स के वास्तविक अनुप्रयोग द्वारा सत्यापित किया गया है।

लेखक नोट करते हैं कि यह कार्य मानता है कि प्रयोग स्वतंत्र और समान रूप से वितरित (i.i.d.) हैं और उपचार प्रभावों के लिए गाऊसीय धारणाओं पर निर्भर करता है, हालांकि सिमुलेशन भारी पूंछ (heavy tails) के प्रति मजबूती का सुझाव देते हैं। भविष्य के कार्यों के लिए गैर-i.i.d. सेटिंग्स और ऐतिहासिक प्रयोग डेटा उपलब्ध न होने पर अवलोकन संबंधी डेटा (observational data) के उपयोग की खोज करने का सुझाव दिया गया है।