📊 statistics

Anytime-valid Optimal Policy Identification

यह शोध पत्र लॉग किए गए कॉन्टेक्स्टुअल बैंडिट डेटा से इष्टतम नीति (ऑप्टिमल पॉलिसी) की पहचान करने के लिए एक एनीटाइम-वैलिड फ्रेमवर्क पेश करता है, जो विश्लेषकों को साक्ष्य की निरंतर निगरानी करने और निष्कर्षों को अमान्य किए बिना डेटा संग्रह को गतिशील रूप से रोकने में सक्षम बनाता है, जबकि यह फिक्स्ड-सैंपल डिजाइनों के तुलनीय सैंपल कॉम्प्लेक्सिटी प्राप्त करता है।

मूल लेखक: Daniel Molitor

प्रकाशित 2026-06-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniel Molitor

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मैनेजर हैं जो यह पता लगाने की कोशिश कर रहे हैं कि आपके कर्मचारियों में से कौन किसी विशिष्ट कार्य में सबसे बेहतर है। आपके पास उम्मीदवारों (जिन्हें "पॉलिसीज़" कहा जाता है) की एक सूची है, लेकिन आप उन्हें परीक्षण करने के लिए किसी विशिष्ट तरीके से काम करने के लिए मजबूर नहीं कर सकते क्योंकि आपको उन्हें उनके "प्राकृतिक व्यवहार" के आधार पर काम करते हुए देखना होगा, जो एक "लॉगिंग पॉलिसी" (एक बाहरी सिस्टम या नियम जिसे आप नियंत्रित नहीं करते) द्वारा निर्धारित होता है।

आपका लक्ष्य सबसे अच्छे कर्मचारी को खोजना है। हालाँकि, आपके सामने दो बड़ी समस्याएँ हैं:

आप परीक्षण को नियंत्रित नहीं कर सकते: आपको मौजूदा सिस्टम द्वारा उत्पन्न डेटा के साथ काम करना होगा, न कि उस कस्टम प्रयोग के साथ जिसे आपने डिज़ाइन किया हो।
आपको यह नहीं पता कि कब रुकना है: पारंपरिक विज्ञान में, आपको डेटा शुरू करने से पहले ही तय करना होता है कि आपको कितने दिनों के डेटा की आवश्यकता है। यदि आप जल्दी रुक जाते हैं, तो आपके परिणाम गलत हो सकते हैं। यदि आप बहुत अधिक प्रतीक्षा करते हैं, तो आप समय और पैसा बर्बाद करते हैं।

यह पेपर एक नई विधि पेश करता है जिसे "Anytime-Valid Optimal Policy Identification" कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "सुरक्षा जाल" (कॉन्फिडेंस सीक्वेंस)

कल्पना कीजिए कि आप एक दौड़ देख रहे हैं जहाँ धावकों की गति छिपी हुई है, लेकिन जब भी वे एक चेकपॉइंट से गुजरते हैं, तो आपको उनकी "गति का अनुमान" मिलता है। आमतौर पर, यदि आप दौड़ को जल्दी रोक देते हैं, तो आपका अनुमान गलत हो सकता है।

यह पेपर प्रत्येक धावक के चारों ओर एक जादुई सुरक्षा जाल बनाता है। यह जाल एक "कॉन्फिडेंस सीक्वेंस" है। यह प्रत्येक धावक की वास्तविक गति के चारों ओर एक सिकुड़ते हुए बुलबुले की तरह है।

जादू: आप दौड़ को कब भी देखें (10 मिनट बाद, 1 घंटा बाद, या 1 दिन बाद), सुरक्षा जाल गारंटी देता है कि उसमें धावक की वास्तविक गति उच्च संभावना के साथ मौजूद होगी।
लाभ: आपको पहले से कोई फिनिश लाइन चुनने की आवश्यकता नहीं है। आप जब चाहें दौड़ को देख सकते हैं, और गणित गारंटी देता है कि आप खुद को धोखा नहीं दे रहे हैं।

2. "उन्मूलन खेल" (Elimination Game)

अब, कल्पना कीजिए कि आपके पास 10 धावकों (पॉलिसीज़) का एक समूह है। आप सबसे तेज़ धावक को खोजना चाहते हैं।

नियम: जब तक किसी धावक की "सर्वश्रेष्ठ संभव गति" (उनके सुरक्षा जाल का ऊपरी हिस्सा) दूसरे धावक की "सबसे कम संभव गति" (उनके सुरक्षा जाल का निचला हिस्सा) से अधिक है, तब तक आप दोनों को दौड़ में बनाए रखते हैं।
उन्मूलन: लेकिन, यदि धावक A की सबसे कम संभव गति, धावक B की सर्वश्रेष्ठ संभव गति से स्पष्ट रूप से तेज़ है, तो आप आत्मविश्वास से कह सकते हैं, "धावक B विजेता नहीं है।" आप धावक B को उम्मीदवार सूची से बाहर निकाल देते हैं।
परिणाम: आप स्पष्ट रूप से धीमे धावकों को एक-एक करके बाहर निकालते रहते हैं। पेपर यह सिद्ध करता है कि इस विधि के साथ, आप कभी भी वास्तविक विजेता को गलती से बाहर नहीं निकालेंगे, चाहे आप कितनी भी देर तक देखते रहें।

3. "स्टॉप बटन"

अतीत में, आपको कहना पड़ता था, "मैं 1,000 घंटे देखूँगा, फिर विजेता चुनूँगा।"
इस नई विधि के साथ, आपके पास एक स्मार्ट स्टॉप बटन है।

जैसे-जैसे आप देखते हैं, धावकों के चारों ओर के सुरक्षा जाल छोटे और छोटे होते जाते हैं (अधिक सटीक होते जाते हैं)।
अंततः, वास्तविक विजेता के लिए सुरक्षा जाल इतना ऊंचा होगा, और अन्य सभी के लिए इतना नीचा होगा, कि उनमें कोई ओवरलैप नहीं रहेगा।
क्षण: जिस क्षण सूची में "संभावित विजेताओं" की संख्या घटकर केवल एक व्यक्ति रह जाती है, आप स्टॉप बटन दबा सकते हैं। आप जानते हैं कि आपने विजेता को खोज लिया है, और आप तुरंत डेटा एकत्र करना बंद कर सकते हैं।

4. यह पैसा कैसे बचाता है ("सैंपल सेविंग्स")

पेपर ने यह दिखाने के लिए सिमुलेशन चलाए कि यह कितना समय बचाता है।

परिदृश्य: कल्पना कीजिए कि आपने एक अध्ययन की योजना बनाई, यह अनुमान लगाते हुए कि सबसे अच्छे और दूसरे सबसे अच्छे धावक के बीच का अंतर बहुत कम है (पहचानने में कठिन)। आपने 100 घंटे तक देखने की योजना बनाई।
वास्तविकता: क्या होगा यदि वह अंतर वास्तव में बहुत बड़ा था (पहचानने में आसान)?
पुराना तरीका: आप अभी भी पूरे 100 घंटे देखते रहेंगे, जिससे 80 घंटे का डेटा संग्रह बर्बाद होगा।
नया तरीका: क्योंकि अंतर स्पष्ट होने पर "सुरक्षा जाल" तेजी से सिकुड़ते हैं, आपका स्मार्ट स्टॉप बटन केवल 20 घंटों के बाद ही चल जाएगा। आपने अपने संसाधनों का 80% बचा लिया।

5. वास्तविक दुनिया का उदाहरण: फेक न्यूज़ से लड़ना

लेखकों ने सोशल मीडिया पर गलत सूचनाओं के प्रसार को रोकने के बारे में एक वास्तविक प्रयोग पर इसका परीक्षण किया। उनके पास 8 अलग-अलग रणनीतियाँ (जैसे "फैक्ट-चेकिंग नजेस" या "वीडियो ट्रेनिंग") थीं।

प्रक्रिया: जैसे-जैसे हजारों उपयोगकर्ताओं से डेटा आता गया, पद्धति ने खराब रणनीतियों को बाहर करना शुरू कर दिया।
परिणाम: सबसे खराब रणनीतियों को डेटा के एक अंश के बाद ही बहुत जल्दी बाहर कर दिया गया। सबसे अच्छी रणनीतियाँ बनी रहीं।
अंतर्दृष्टि: अध्ययन ने मूल निष्कर्षों की पुष्टि की (कि "एक्यूरेसी नजेस" और "फेसबुक टिप्स" सबसे अच्छे थे), लेकिन इसने यह भी दिखाया कि प्रयोग के बिल्कुल अंत तक प्रतीक्षा करने के बजाय, साक्ष्य कब इतने मजबूत हो गए कि यह जानने के लिए पर्याप्त थे कि कौन सा बेहतर है।

सारांश

यह पेपर विश्लेषकों को एक ऐसा उपकरण देता है जिससे वे एक दौड़ देख सकते हैं, हारने वालों को पीछे छूटते ही बाहर कर सकते हैं, और ठीक उसी क्षण दौड़ को रोक सकते हैं जब विजेता स्पष्ट हो जाता है, और यह सब उस डेटा का उपयोग करके किया जा सकता है जिसे वे नियंत्रित नहीं करते। यह गारंटी देता है कि आप जल्दी रुककर गलती नहीं करेंगे, और यह उन पुराने तरीकों की तुलना में बहुत अधिक समय और संसाधन बचाता है जो आपको एक निश्चित समय सीमा तक प्रतीक्षा करने के लिए मजबूर करते हैं।

तकनीकी सारांश: एनीटाइम-वैलिड ऑप्टिमल पॉलिसी आइडेंटिफिकेशन (Anytime-Valid Optimal Policy Identification)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लॉग किए गए कॉन्टेक्स्टुअल बैंडिट डेटा का उपयोग करके एक सीमित कैंडिडेट क्लास $\Pi = \{\pi_1, \dots, \pi_m\}$ से एक इष्टतम नीति ( $\pi^\star$ ) की पहचान करने की चुनौती को संबोधित करता है। कई व्यावहारिक सेटिंग्स में, डेटा एक बाहरी रूप से निर्धारित लॉगिंग पॉलिसी ( $h_t$ ) द्वारा उत्पन्न किया जाता है, जिसे विश्लेतक नियंत्रित नहीं कर सकता है। यह लॉगिंग पॉलिसी एक निश्चित रैंडमाइजेशन हो सकती है या एक अनुकूलित एल्गोरिदम हो सकती है जो विश्लेतक के विशिष्ट लक्ष्य के बजाय अन्य उद्देश्यों (जैसे, गलत सूचना को कम करने के बजाय उपयोगकर्ता जुड़ाव को अधिकतम करना) के लिए ट्यून की गई हो।

मुख्य कठिनाई दो बाधाओं में निहित है:

ऑफ-पॉलिसी सेटिंग (Off-Policy Setting): विश्लेतक को एक अलग पॉलिसी $h_t$ के तहत एकत्र किए गए डेटा का उपयोग करके लक्षित पॉलिसियों $\nu(\pi)$ के मान का अनुमान लगाना होता है, बिना डेटा संग्रह को पहचान लक्ष्य की ओर मोड़ने की क्षमता के।
अनुक्रमिक निगरानी (Sequential Monitoring): अभ्यासी अक्सर साक्ष्य (evidence) की निरंतर निगरानी करना चाहते हैं, डेटा संचित होने के साथ स्पष्ट रूप से उप-इष्टतम (suboptimal) पॉलिसियों को हटाना चाहते हैं, और डेटा संग्रह को तब रोकना चाहते हैं जब इष्टतम नीति की पहचान हो जाए, न कि पहले से निर्धारित नमूना आकार ( $N$ ) के लिए प्रतिबद्ध होना चाहते हैं।

मौजूदा साहित्य आमतौर पर यह मानता है कि विश्लेतक डेटा संग्रह को नियंत्रित करता है (एडेप्टिव सैंपलिंग) या केवल एक निश्चित, पूर्व-निर्दिष्ट नमूना आकार के लिए इन्फेरेंशियल गारंटी प्रदान करता है। यह शोध पत्र ऑफ-पॉलिसी ऑप्टिमल पॉलिसी पहचान के लिए एनीटाइम-वैलिड (anytime-valid) गारंटी प्रदान करके इस अंतर को पाटने का प्रयास करता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा एक समय-सूचकांक (time-indexed) कैंडिडेट ऑप्टिमल पॉलिसियों का सेट, $S_t$ बनाता है, जो डेटा आने के साथ विकसित होता है। कार्यप्रणाली तीन मुख्य घटकों पर आधारित है:

A. डबली रोबस्ट स्यूडो-आउटकम्स (Doubly Robust Pseudo-Outcomes)
लॉग किए गए डेटा से पॉलिसी वैल्यू $\nu(\pi)$ का अनुमान लगाने के लिए, यह विधि इम्पोर्टेंस वेट्स $w_t(\pi) = \pi(A_t|X_t) / h_t(A_t|X_t)$ का उपयोग करती है। दक्षता और स्थिरता में सुधार के लिए, इन्हें एक रिवॉर्ड मॉडल $b_{rt}(x,a)$ के साथ मिलाकर डबली रोबस्ट (DR) स्यूडो-आउटकम्स का निर्माण किया जाता है। विशेष रूप से, लोअर और अपर स्यूडो-आउटकम्स ( $\phi^{DRL}_t$ और $\phi^{DRU}_t$ ) को इस तरह परिभाषित किया गया है कि उनके कंडीशनल एक्सपेक्टेशन क्रमशः वास्तविक पॉलिसी वैल्यू $\nu(\pi)$ और $1-\nu(\pi)$ के बराबर हों। महत्वपूर्ण बात यह है कि इसकी वैधता के लिए रिवॉर्ड मॉडल का सही ढंग से निर्दिष्ट होना आवश्यक नहीं है, केवल ज्ञात लॉगिंग प्रोबेबिलिटीज ही पर्याप्त हैं।

B. एनीटाइम-वैलिड कॉन्फिडेंस सीक्वेंस (Confidence Sequences - CS)
Waudby-Smith et al. (2024) के कार्य पर आधारित, यह शोध पत्र पॉलिसी वैल्यू के लिए कॉन्फिडेंस सीक्वेंस का निर्माण करता है। यदि एक अनुक्रम $[L_t(\pi), U_t(\pi)]$ एक $(1-\alpha)$ -CS है, तो इसका अर्थ है कि $t \geq 1$ के लिए सभी $t$ के लिए वास्तविक मान $\nu(\pi)$ कम से कम $1-\alpha$ प्रायिकता के साथ इस अंतराल के भीतर रहता है। इन अंतरालों का निर्माण DR स्यूडो-आउटकम्स और एक वेरिएंस प्रोसेस $V_t(\pi)$ का उपयोग करके किया जाता है जो साक्ष्य के संचय को ध्यान में रखता है। इन अंतरालों की चौड़ाई $O(\sqrt{(\log \log t + \log m)/t})$ की दर से कम होती है।

C. अनुक्रमिक उन्मूलन और स्टॉपिंग रूल (Sequential Elimination and Stopping Rule)
पॉलिसी क्लास $\Pi$ पर यूनियन बाउंड का उपयोग करते हुए, यह विधि सभी पॉलिसियों के लिए सिमुल्टेनियस कॉन्फिडेंस सीक्वेंस बनाती है। कैंडिडेट सेट $S_t$ को इस प्रकार परिभाषित किया गया है:
$S_t := \left\{ \pi \in \Pi : U_t\left(\pi; \frac{\alpha}{m}\right) \geq \max_{\pi' \in \Pi} L_t\left(\pi'; \frac{\alpha}{m}\right) \right\}$
यदि किसी पॉलिसी का अपर कॉन्फिडेंस बाउंड किसी भी प्रतिस्पर्धी पॉलिसी के मैक्सिमम लोअर कॉन्फिडेंस बाउंड से नीचे गिर जाता है, तो उसे $S_t$ से हटा दिया जाता है। प्रक्रिया एक डेटा-डिपेंडेंट समय $\tau$ पर रुक जाती है जब $S_\tau$ एक सिंगलेटन (केवल एक पॉलिसी वाला सेट) बन जाता है।

3. प्रमुख योगदान (Key Contributions)

यह शोध पत्र दो प्राथमिक सैद्धांतिक योगदान देता है:

एनीटाइम-वैलिड कवरेज गारंटी (Anytime-Valid Coverage Guarantee): लेखक सिद्ध करते हैं कि निर्मित सेट $S_t$ एक यूनिफॉर्म कवरेज गारंटी को संतुष्ट करता है:
$P(\Pi^\star \subseteq S_t \text{ for all } t \geq 1) \geq 1 - \alpha$
जहाँ $\Pi^\star$ वास्तविक इष्टतम पॉलिसियों का सेट है। यह सुनिश्चित करता है कि उच्च प्रायिकता के साथ, कोई भी इष्टतम पॉलिसी कभी भी बाहर नहीं की जाती है, चाहे विश्लेतक द्वारा डेटा संग्रह को कब भी रोका जाए।
सैंपल कॉम्प्लेक्सिटी बाउंड्स (Sample Complexity Bounds): जब इष्टतम पॉलिसी $\pi^\star$ अद्वितीय होती है, तो यह शोध पत्र इसकी पहचान के लिए एक स्टॉपिंग टाइम $\tau$ को परिभाषित करता है। लीनियर वेरिएंस ग्रोथ की रेगुलरिटी कंडीशन (Assumption 1) के तहत, सैंपल कॉम्प्लेक्सिटी इस प्रकार प्राप्त की जाती है:
$\tau = O\left( \frac{\log m + \log \log(1/\Delta_{\min})}{\Delta_{\min}^2} \right)$
जहाँ $\Delta_{\min}$ सबसे अच्छी और दूसरी सबसे अच्छी पॉलिसी वैल्यू के बीच का अंतर है। यह बाउंड दर्शाता है कि आवश्यक नमूनों की संख्या पॉलिसी क्लास के आकार के साथ लॉगरिदमिक रूप से और सब-ऑप्टिमैलिटी गैप के वर्ग के व्युत्क्रमानुपाती (inversely proportional) रूप से बढ़ती है।

4. अनुभवजन्य परिणाम (Empirical Results)

शोध पत्र तीन अनुभवजन्य प्रदर्शनों के माध्यम से अपने ढांचे को मान्य करता है:

सिंथेटिक इलस्ट्रेशन (Synthetic Illustration): छह पॉलिसियों वाले एक सिम्युलेटेड कॉन्टेक्स्टुअल बैंडिट सेटिंग में, इस ढांचे ने डेटा स्ट्रीम के शुरुआती चरण में ही स्पष्ट रूप से उप-इष्टतम पॉलिसियों को सफलतापूर्वक हटा दिया, जबकि इष्टतम पॉलिसी को तब तक बनाए रखा जब तक कि उसकी अद्वितीय पहचान नहीं हो गई। पॉलिसी वैल्यू के लिए कॉन्फिडेंस सीक्वेंस अपेक्षित रूप से वास्तविक मानों की ओर अभिसरित (converge) हुए।
सैंपल एफिशिएंसी (Sample Efficiency): फिक्स्ड- $N$ डिज़ाइन (जहाँ $N$ एक लक्षित गैप के आधार पर गणना किया गया है) के विरुद्ध एनीटाइम-वैलिड प्रक्रिया की तुलना करते हुए, लेखकों ने पाया कि जब वास्तविक सब-ऑप्टिमैलिटी गैप लक्षित गैप से बड़ा था, तो इसमें पर्याप्त सैंपल बचत हुई। उदाहरण के लिए, यदि वास्तविक गैप लक्षित गैप से दोगुना था, तो एनीटाइम-वैलिड विधि ने औसतन नियोजित सैंपल आकार में 60-80% की बचत की।
वास्तविक दुनिया का अनुप्रयोग (Real-World Application): इस पद्धति को गलत सूचना साझा करने को कम करने के उद्देश्य से केन्या और नाइजीरिया में 15,292 उपयोगकर्ताओं वाले एक बड़े एडेप्टिव प्रयोग (Offer-Westort et al., 2024) पर लागू किया गया। ढांचे ने मूल अध्ययन के निष्कर्षों को दोहराया (पहचानना कि "एक्यूरेसी नज़ (accuracy nudge)" और "फेसबुक टिप्स (Facebook tips)" शीर्ष प्रदर्शन करने वाले हैं), लेकिन साक्ष्य संचय का एक गतिशील दृश्य भी प्रदान किया। इसने दिखाया कि सबसे खराब प्रदर्शन करने वाली पॉलिसियों को अंतिम डेटा के एक अंश के साथ ही हटाया जा सकता था, जबकि शीर्ष उम्मीदवार पूरे समय कैंडिडेट सेट में बने रहे।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:
यह शोध पत्र ऑफ-पॉलिसी सेटिंग्स में अनुक्रमिक निगरानी (sequential monitoring) के लिए एक कठोर इन्फेरेंशियल ढांचा प्रदान करता है। यह विश्लेषकों को सांख्यिकीय गारंटी को अमान्य किए बिना डेटा-डिपेंडेंट स्टॉपिंग निर्णय लेने की अनुमति देता है, जो फिक्स्ड- $N$ दृष्टिकोणों की एक प्रमुख सीमा को संबोधित करता है। यह विशेष रूप से उन वास्तविक अनुप्रयोगों के लिए मूल्यवान है जहाँ डेटा संग्रह बाहरी लॉगिंग पॉलिसियों द्वारा सीमित होता है और संसाधन सीमित होते हैं।

सीमाएं:
लेखक स्पष्ट रूप से दो सीमाओं का उल्लेख करते हैं:

समय-अपरिवर्तनीयता (Time-Invariance): यह ढांचा मानता है कि पॉलिसी वैल्यू समय के साथ स्थिर रहती है। यह वर्तमान में गैर-स्थिर वातावरण (non-stationary environments) को हैंडल नहीं करता है जहाँ उपचार प्रभाव (treatment effects) विकसित होते हैं (जैसे, नवीनता या थकान के कारण)।
ओवरलैप की आवश्यकता (Overlap Requirement): इस पद्धति के लिए यह आवश्यक है कि प्रत्येक लक्षित पॉलिसी लॉगिंग पॉलिसी के सापेक्ष पूर्णतः निरंतर (absolutely continuous) हो (स्ट्रिक्ट ओवरलैप)। यह उन परिदृश्यों को बाहर करता है जहाँ लॉगिंग पॉलिसी उन कार्यों को शून्य प्रायिकता देती है जिन्हें एक लक्षित पॉलिसी ले सकती है, जो अत्यधिक केंद्रित एडेप्टिव एल्गोरिदम (जैसे, UCB-शैली) में हो सकता है।

शोध पत्र निष्कर्ष निकालता है कि हालांकि ये सीमाएं मौजूद हैं, फिर भी यह ढांचा अभ्यास में सामान्य रूप से पाए जाने वाले व्यापक वर्ग के स्टोकेस्टिक लॉगिंग पॉलिसियों के लिए एक मजबूत समाधान प्रदान करता है।