Unifying On- and Off-Policy Variance Reduction Methods

यहाँ ओलिवियर जेनेन के शोध पत्र "Unifying On- and Off-Policy Variance Reduction Methods" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वेब अनुप्रयोगों में प्रयोग का क्षेत्र वर्तमान में दो अलग-अलग प्रतिमानों (paradigms) में विभाजित है जो एक ही मौलिक लक्ष्य साझा करते—न्यूनतम विचरण (variance) के साथ एक नीति (treatment) के कारण प्रभाव का अनुमान लगाना—लेकिन वे अलग-थलग होकर कार्य करते हैं:

• ऑनलाइन प्रयोग (A/B Testing): यह यादृच्छिक असाइनमेंट (randomized assignment) पर निर्भर करता है। मानक अनुमानक डिफरेंस-इन-मीन्स (DiM) है, जिसे अक्सर कंट्रोल वेरिएट्स का उपयोग करके विचरण को कम करने के लिए रिग्रेशन एडजस्टमेंट (जैसे CUPED, CUPAC, ML-RATE) के साथ बढ़ाया जाता है।
• ऑफलाइन प्रयोग (Off-Policy Evaluation - OPE): यह एक अलग नीति (लॉगिंग पॉलिसी $\pi_0$) से प्राप्त लॉग डेटा का उपयोग एक लक्षित नीति ($\pi$) के मूल्यांकन के लिए करता है। मानक अनुमानक इन्वर्स प्रोपेंसिटी स्कोरिंग (IPS) है, जिसे अक्सर एडिटिव कंट्रोल वेरिएट्स या डाबली रोबस्ट (DR) एस्टीमेशन के साथ बढ़ाया जाता है।

मुख्य मुद्दा: हालांकि दोनों के गणितीय आधार समान हैं, लेकिन इन समुदायों के पास अलग-अलग शब्दावलियाँ, सांख्यिकीय उपकरण और इंजीनियरिंग स्टैक हैं। यह विभाजन विचरण न्यूनीकरण तकनीकों के क्रॉस-पोलिनेशन (ज्ञान के आदान-प्रदान) को रोकता है और खंडित बुनियादी ढांचे की ओर ले जाता है। यह शोध पत्र तर्क देता है कि यह विभाजन कृत्रिम है और दोनों डोमेन के मानक अनुमानकों के बीच औपचारिक गणितीय समानता स्थापित करने का प्रयास करता है।

2. कार्यप्रणाली और संकेतन (Methodology & Notation)

लेखक व्यक्तिगत उपचार व्यवस्थाओं (personalized treatment regimes) को नीतियों $\pi(a|x)$ के रूप में अवधारणाबद्ध करते हैं जो संदर्भ $x$ को क्रिया $a$ में मैप करती हैं। लक्ष्य औसत उपचार प्रभाव (Average Treatment Effect - ATE) का अनुमान लगाना है, जिसे दो नीतियों के बीच मूल्य के अंतर के रूप में परिभाषित किया गया है: $V_\Delta(\pi, \pi') = V(\pi) - V(\pi')$।

शोध पत्र दो प्राथमिक समानता युग्मों का विश्लेषण करता है:

1. DiM बनाम $\beta$-IPS: मानक ऑनलाइन DiM अनुमानक की तुलना एक अनुकूलित एडिटिव कंट्रोल वेरिएंट ($\beta^\star$) के साथ सुसज्जित ऑफ-पॉलिसी IPS अनुमानक से करना।
2. रिग्रेशन-एडजस्टेड DiM (RADiM) बनाम डाबली रोबस्ट (DR): ऑनलाइन रिग्रेशन-एडजस्टेड अनुमानकों (जैसे CUPED) की तुलना ऑफ-पॉलिसी DR अनुमानकों से करना।

प्रमुख धारणाओं में शामिल हैं:

• एक्शन-अग्नोस्टिक मॉडल (Action-Agnostic Models): ऑनलाइन संदर्भ में, रिग्रेशन मॉडल $f(x)$ आमतौर पर विशिष्ट क्रिया $a$ पर निर्भर नहीं होते हैं (वे केवल संदर्भ के आधार पर परिणामों की भविष्यवाणी करते हैं)।
• अनुकूलतम बेसलाइन (Optimal Baseline): कंट्रोल वेरिएंट $\beta$ को विचरण को न्यूनतम करने के लिए चुना जाता है, जो कि पॉलिसी माध्यों का एक भारित औसत (weighted average) है।

3. मुख्य योगदान और सैद्धांतिक समानताएं (Key Contributions & Theoretical Equivalences)

लेखक दो प्राथमिक गणितीय समानताओं को सिद्ध करते हैं जो दोनों डोमेन को एकीकृत करते हैं:

A. समानता 1: DiM $\equiv$ $\beta^\star$-IPS

लेखक सिद्ध करते हैं कि मानक ऑनलाइन डिफरेंस-इन-मीन्स (DiM) अनुमानक, एक अनुकूलित एडिटिव कंट्रोल वेरिएंट ($\beta^\star$) से सुसज्जित ऑफ-पॉलिसी इन्वर्स प्रोपेंसिटी स्कोरिंग (IPS) अनुमानक के गणितीय रूप से समान है।

• व्युत्पत्ति (Derivation): A/B टेस्ट असाइनमेंट को एक एक्शन सिलेक्शन समस्या के रूप में मानकर जहाँ लॉगिंग पॉलिसी $\pi_0$, उपचार $\pi$ को प्रायिकता $p$ के साथ और $\pi'$ को $1-p$ के साथ असाइन करती है, महत्व भार (importance weights) $w = \frac{I(a=\pi)}{p} - \frac{I(a=\pi')}{1-p}$ हो जाते हैं।
• अनुकूलतम बेसलाइन: IPS अनुमानक के विचरण को न्यूनतम करने से एक अनुकूलतम बेसलाइन $\beta^\star = (1-p)\hat{\mu}_\pi + p\hat{\mu}_{\pi'}$ प्राप्त होता है (जो समूह माध्यों का एक भारित औसत है)।
• परिणाम: जब IPS अनुमानक इस विशिष्ट $\beta^\star$ का उपयोग करता है, तो इसका विचरण गणना पूर्णतः मानक DiM विचरण सूत्र को पुनः प्राप्त कर लेता है:
  $$\widehat{\text{Var}}(\hat{V}_{\Delta\text{-DiM}}) = \frac{\hat{\sigma}^2_\pi}{|D_\pi|} + \frac{\hat{\sigma}^2_{\pi'}}{|D_{\pi'}|}$$
  यह किसी भी उपचार आवंटन अनुपात $p$ के लिए सत्य है।

B. समानता 2: RADiM $\equiv$ डाबली रोबस्ट (DR)

शोध पत्र प्रदर्शित करता है कि व्यापक ऑनलाइन रिग्रेशन एडजस्टमेंट विधियाँ (CUPED, CUPAC, ML-RATE) डाबली रोबस्ट (DR) एस्टीमेशन के संरचनात्मक रूप से समान हैं, बशर्ते कि रिवॉर्ड मॉडल एक्शन-अग्नोस्टिक हो।

• तंत्र (Mechanism): मानक DR अनुमानक IPS को एक रिवॉर्ड मॉडल $f(x, a)$ के साथ जोड़ते हैं। हालाँकि, ऑनलाइन A/B टेस्टिंग में, रिग्रेशन एडजस्टमेंट $f(x)$ केवल संदर्भ पर निर्भर करता है, न कि विशिष्ट उपचार (treatment arm) पर।
• सरलीकरण: जब $f(x, a) \equiv f(x)$ होता है, तो DR अनुमानक में दूसरा पद (क्रियाओं का योग) लुप्त हो जाता है क्योंकि $\sum (\pi(a|x) - \pi'(a|x)) = 0$।
• परिणाम: परिणामी अनुमानक गणितीय रूप से रिग्रेशन-एडजस्टेड डिफरेंस-इन-मीन्स (RADiM) के समान है। इन बाधाओं के तहत, DR अनुमानक का विचरण ठीक RADiM अनुमानक के विचरण के बराबर होता है।

C. महत्वपूर्ण कार्यान्वयन अंतर्दृष्टि: डिग्री ऑफ फ्रीडम (Degrees of Freedom)

एक महत्वपूर्ण व्यावहारिक योगदान डिग्री-ऑफ-फ्रीडम सुधार की पहचान करना है जिसे अक्सर OPE कार्यान्वयन में अनदेखा कर दिया जाता है।

• मुद्दा: मानक DiM विचरण गणनाएँ दो समूहों के लिए स्वतंत्र रूप से बेसेल्स करेक्शन (Bessel's correction) लागू करती हैं (2 डिग्री ऑफ फ्रीडम खोती हैं: $N-2$)। मानक IPS विचरण गणनाएँ अक्सर भारित परिणाम को एक एकल नमूने के रूप में मानती हैं (1 डिग्री ऑफ फ्रीडम खोती हैं: $N-1$)।
• सुधार: एकीकृत दृष्टिकोण में, चूंकि अनुकूलतम बेसलाइन $\beta^\star$ डेटा से अनुमानित है (विशेष रूप से, यह दो सैंपल माध्यों पर निर्भर करता है), यह एक अतिरिक्त डिग्री ऑफ फ्रीडम का उपभोग करता है।
• प्रभाव: ऑन-पॉलिसी और ऑफ-पॉलिसी विचरण अनुमानों के बीच संख्यात्मक समानता प्राप्त करने के लिए, ऑफ-पॉलिसी विचरण अनुमानक को $|D| - 1$ के बजाय $|D| - 2$ से विभाजित किया जाना चाहिए।

4. परिणाम (Results)

• औपचारिक प्रमाण: शोध पत्र प्रमाण प्रदान करता है कि एकीकृत अनुमानकों के अपेक्षित मान (expectations) और परिमित-नमूना विचरण (finite-sample variances) समान हैं।
• शब्दावली का एकीकरण: यह स्थापित करता है कि ऑनलाइन टेस्टिंग में "रिग्रेशन एडजस्टमेंट" और ऑफलाइन टेस्टिंग में "डाबली रोबस्ट एस्टीमेशन" अलग-अलग पैरामीटराइजेशन के तहत एक ही वस्तु हैं।
• विचरण न्यूनीकरण: एकीकरण पुष्टि करता है कि दोनों क्षेत्रों में विचरण न्यूनीकरण तंत्र (कंट्रोल वेरिएट्स) समान सांख्यिकीय सिद्धांतों पर कार्य करते हैं: कोवेरिएट्स द्वारा समझाए गए विचरण को हटाना जबकि निष्पक्षता (unbiasedness) को बनाए रखना।

5. महत्व और प्रभाव (Significance and Impact)

• समुदायों को जोड़ना: यह कार्य ऑनलाइन और ऑफलाइन प्रयोग समुदायों के बीच कृत्रिम बाधा को समाप्त करता है, जिससे शोधकर्ताओं और चिकित्सकों को सीधे अंतर्दृष्टि साझा करने की अनुमति मिलती है।
• व्यावहारिक कार्यान्वयन:
  • OPE अभ्यासकर्ता: अत्यधिक आशावादी कॉन्फिडेंस इंटरवल से बचने के लिए ऑनलाइन टेस्टिंग में मानक डिग्री-ऑफ-फ्रीडम सुधारों को अपना सकते हैं।
  • ऑनलाइन अभ्यासकर्ता: ऑनलाइन विचरण न्यूनीकरण को बेहतर बनाने के लिए उन्नत OPE तकनीकों (जैसे पूर्ण डाबली रोबस्ट एस्टीमेटर) का लाभ उठा सकते हैं।
• भविष्य के अनुसंधान दिशाएँ:
  • एक्शन-अवेयर मॉडल (Action-Aware Models): वर्तमान समानता एक्शन-अग्नोस्टिक मॉडल पर निर्भर है। भविष्य का कार्य ऑनलाइन विचरण न्यूनीकरण को एक्शन-डिपेंडेंट रिवॉर्ड मॉडल का लाभ उठाने के लिए विस्तारित कर सकता है (जो OPE में सामान्य है लेकिन A/B टेस्टिंग में दुर्लभ है), जिससे अनुशंसा (recommendation) और रैंकिंग सिस्टम में और अधिक विचरण न्यूनीकरण संभव हो सकता है।
  • बुनियादी ढांचा (Infrastructure): ऑन- और ऑफ-पॉलिसी मूल्यांकन को निर्बाध रूप से समर्थन देने वाले एकीकृत प्रयोग प्लेटफार्मों के विकास को प्रोत्साहित करता है।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि ऑनलाइन और ऑफलाइन विचरण न्यूनीकरण के बीच का अंतर मुख्य रूप से पैरामीटराइजेशन का मामला है, न कि मौलिक सांख्यिकीय अंतर का, जो अधिक कुशल और सटीक प्रयोग के लिए एक एकीकृत ढांचा प्रदान करता है।