📊 statistics

Nonparametric Estimation of Optimal Stochastic Just-In-Time Adaptive Interventions for Distal Outcomes

यह शोध पत्र एक गैर-पैरामीट्रिक रूप से कुशल अनुमानक (estimator) और एक डेटा-अनुकूलित टिल्टिंग प्रक्रिया प्रस्तुत करता है ताकि दूरस्थ परिणामों (distal outcomes) को लक्षित करने वाले इष्टतम स्टोकेस्टिक जस्ट-इन-टाइम एडेप्टिव इंटरवेंशन (JITAIs) का स्थिर अनुमान, निष्कर्ष और अनुकूलन सक्षम किया जा सके, जो कई निर्णय बिंदुओं वाले परिवेश में पूर्वाग्रह, अस्थिरता और व्याख्यात्मकता से संबंधित चुनौतियों पर विजय प्राप्त करता है।

मूल लेखक: Jack M. Wolf, Nandita Mitra, Ashkan Ertefaie

प्रकाशित 2026-06-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jack M. Wolf, Nandita Mitra, Ashkan Ertefaie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी को स्मार्टफोन ऐप के माध्यम से एक नया कौशल सिखाने की कोशिश कर रहे हैं, जैसे धूम्रपान छोड़ना या तनाव प्रबंधित करना। यह ऐप केवल एक सलाह नहीं देता; यह दिन में दर्जनों बार व्यक्ति की स्थिति की जांच करता है। कभी व्यक्ति तनाव में होता है और उसे एक संकेत की आवश्यकता होती है; कभी वह ठीक होता है और उसे किसी चीज़ की आवश्यकता नहीं होती। ऐप को यह तय करना होता है कि वास्तविक समय में संदेश भेजना है, किस प्रकार का संदेश भेजना है, या चुप रहना है।

इसे शोधकर्ता जस्ट-इन-टाइम एडेप्टिव इंटरवेंशन (JITAI) कहते हैं। लक्ष्य यह पता लगाना है कि हस्तक्षेप करने के लिए नियमों का सर्वश्रेष्ठ सेट कब और कैसे बनाया जाए ताकि व्यक्ति एक दीर्घकालिक लक्ष्य प्राप्त कर सके, जैसे कि छह महीने बाद भी धूम्रपान मुक्त रहना।

वुल्फ, मित्रा और एर्टेफ़ाई का शोध पत्र एक बहुत ही कठिन समस्या का समाधान करता है: आप नियमों का सबसे अच्छा सेट गणितीय रूप से कैसे खोज सकते हैं जब निर्णय लेने की संख्या इतनी अधिक हो कि गणित टूटने लगे?

यहाँ उनके समाधान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "वजन का टॉवर" (The Tower of Weights)

यह पता लगाने के लिए कि कौन से नियम सबसे अच्छा काम करते हैं, शोधकर्ता आमतौर पर पिछले डेटा को देखते हैं। लेकिन क्योंकि ऐप समय के साथ सैकड़ों निर्णय लेता है, गणित में कई "वजन" (weights) को एक साथ गुणा करना शामिल होता है (जैसे एक तराजू को संतुलित करना)।

रूपक (Metaphor): कल्पना कीजिए कि आप 50 जेन्गा (Jenga) ब्लॉक्स का एक टॉवर संतुलित करने की कोशिश कर रहे हैं। यदि टॉवर छोटा है (कम निर्णय), तो यह आसान है। लेकिन यदि टॉवर 50 ब्लॉक ऊँचा है (कई निर्णय बिंदु), तो टॉवर अविश्वसनीय रूप से डगमगाने लगेगा। लेकिन अगर नीचे एक छोटा सा भी झटका लगता है, तो पूरा टॉवर गिर सकता है।
समस्या: इन अध्ययनों में, "डगमगाहट" इस तथ्य से आती है कि जो 'परफेक्ट नियम' होने चाहिए, वे अतीत में वास्तव में जो हुआ उससे बहुत अलग दिख सकते हैं। जब आप इन "परफेक्ट नियमों" के परिणामों की गणना करने का प्रयास करते हैं, तो गणित अनियंत्रित हो जाता है, जिससे अस्थिर और अविश्वसनीय उत्तर मिलते हैं।

2. समाधान: "सुरक्षा जाल" (The Safety Net - Tilting)

लेखक टिल्टिंग (tilting) नामक एक चतुर तकनीक का प्रस्ताव करते हैं।

रूपक: कल्पना कीजिए कि आप एक गहरी खाई के ऊपर एक पतली रस्सी (परफेक्ट नियम) पर चल रहे हैं। हवा चल रही है, और आप गिर सकते हैं। तुरंत उस सटीक रस्सी पर चलने के बजाय, आप एक सुरक्षा जाल लगाते हैं जो आपको धीरे से जमीन (वास्तविक दुनिया के डेटा) की ओर खींचता है यदि आप डगमगाते हैं।
यह कैसे काम करता है: वे एक "हाइब्रिड" नियम बनाते हैं। दिन के शुरुआती निर्णयों के लिए, वे "परफेक्ट नियम" को उस "वास्तविक नियम" के साथ मिलाते हैं जो वास्तव में हुआ था। यह गणित को स्थिर करता है। जैसे-जैसे वे दिन के अंत (या अध्ययन के अंत) के करीब पहुँचते हैं, वे "परफेक्ट नियम" को पूरी तरह हावी होने देते हैं।
परिणाम: यह "जेन्गा टॉवर" को गिरने से रोकता है। यह गणित को इतना स्थिर रखता है कि अंतिम लक्ष्य को बहुत अधिक बदले बिना एक अच्छा उत्तर मिल सके।

3. "जादुई लेंस" (The Magic Lens - Undersmoothing)

सबसे अच्छे नियम खोजने के लिए, आपको आमतौर पर यह अनुमान लगाना होता है कि लोग विभिन्न स्थितियों में कैसे प्रतिक्रिया देंगे। यह जंगल के हर एक पत्ते को देखकर जंगल का नक्शा बनाने जैसा है।

रूपक: आमतौर पर, सांख्यिकीविद जंगल का एक बहुत ही चिकना (smooth), पूर्ण नक्शा बनाने की कोशिश करते हैं। लेकिन यदि जंगल बहुत बड़ा है (कई निर्णय बिंदु), तो एक पूर्ण नक्शा बनाने में बहुत समय लगता है और इससे त्रुटियां हो सकती हैं।
नवाचार: लेखक अंडरस्मूथिंग (undersmoothing) नामक तकनीक का उपयोग करते हैं। एक पूर्ण, चिकना नक्शा बनाने के बजाय, वे एक "खुरदरा" (rougher), अधिक टेढ़ा-मेढ़ा नक्शा बनाते जो आवश्यक विवरणों को पकड़ता है लेकिन छोटे, भ्रमित करने वाले शोर (noise) को अनदेखा कर देता है।
यह क्यों काम करता है: जानबूझकर अपने नक्शे को थोड़ा "खुरदरा" बनाकर, वे उन सूक्ष्म विवरणों में फंसने से बच जाते हैं जो गणित को बिगाड़ देते हैं। यह पाया गया है कि यह "खुरदरा" नक्शा दीर्घकालिक परिणाम की भविष्यवाणी करने का सबसे सटीक तरीका है।

4. लक्ष्य: "लघु खेल" बनाम "दीर्घ खेल" (The Long-Game vs. The Short-Game)

कई वर्तमान विधियाँ प्रॉक्सिमल आउटकम्स (proximal outcomes) (अल्पकालिक जीत) पर ध्यान केंद्रित करती हैं।

उपमा: यदि आप मैराथन के लिए प्रशिक्षण ले रहे हैं, तो एक कोच जो केवल इस बात पर ध्यान देता है कि आप अभी कितनी तेजी से दौड़ रहे हैं, आपको इतना अधिक थका सकता है कि दौड़ से पहले ही आप घायल हो जाएं।
शोध पत्र का फोकस: यह शोध पत्र डिस्टल आउटकम्स (distal outcomes) (फिनिश लाइन) पर केंद्रित है। वे जानना चाहते हैं: "नियमों का वह सेट क्या है जो व्यक्ति को छह महीने बाद फिनिश लाइन तक पहुँचाता है?"
चुनौती: अधिकांश उन्नत AI विधियाँ (Reinforcement Learning) "अगले कदम" को जीतने में माहिर होती हैं लेकिन "फिनिश लाइन" की योजना बनाने में खराब होती हैं क्योंकि वे डिस्काउंट रेट (भविष्य बनाम वर्तमान के महत्व) के कारण भ्रमित हो जाती हैं। यह शोध पत्र उस भ्रम को छोड़कर सीधे दीर्घकालिक लक्ष्य की ओर बढ़ता है।

5. परिणाम: "विश्वास का कंबल" (A Confidence Blanket)

एक बार जब वे अपने स्थिर गणित का उपयोग करके सर्वोत्तम नियम पा लेते हैं, तो उन्हें यह जानने की आवश्यकता होती है: "क्या हमें यकीन है कि यह सबसे अच्छा है?"

रूपक: आमतौर पर, सांख्यिकीविद आपको विश्वास का एक एकल बिंदु देते हैं, जैसे यह कहना कि, "हमें 95% विश्वास है कि उत्तर 10 और 12 के बीच है।"
बड़ी उपलब्धि: यह शोध पत्र एक सिमल्टेनियस कॉन्फिडेंस बैंड (simultaneous confidence band) प्रदान करता है। एक कंबल की कल्पना करें जो एक साथ सभी संभावित नियमों की पूरी सीमा को कवर करता है। यह आपको बताता है, "हमें 95% विश्वास है कि हमारे सर्वोत्तम नियमों का पूरा वक्र (curve) इस कंबल के भीतर आता है।" यह शोधकर्ताओं को न केवल एक अच्छा नियम, बल्कि अच्छे नियमों का पूरा परिदृश्य और उनके बीच के संबंध को देखने की अनुमति देता है।

सारांश

लेखकों ने स्मार्ट हेल्थ ऐप्स को डिजाइन करने में मदद करने के लिए एक नया गणितीय टूलकिट बनाया है।

उन्होंने टिल्ल्टिंग (सुरक्षा जाल) का उपयोग करके "डगमगाते टॉवर" की समस्या को ठीक किया ताकि गणित स्थिर रहे।
उन्होंने विवरणों में खो जाने से बचने के लिए एक खुरदरे नक्शे (अंडरस्मूथिंग) का उपयोग किया।
उन्होंने केवल अगले कदम के बजाय फिनिश लाइन (दीर्घकालिक परिणाम) पर ध्यान केंद्रित किया।
उन्होंने विश्वास का एक कंबल प्रदान किया ताकि शोधकर्ता उन नियमों पर भरोसा कर सकें जो वे खोजते हैं।

यह वैज्ञानिकों को मोबाइल स्वास्थ्य अध्ययनों से प्राप्त अव्यवस्थित, उच्च-आवृत्ति वाले डेटा को विश्वसनीय, दीर्घकालिक रणनीतियों में बदलने की अनुमति देता है ताकि लोगों की आदतें बदलने में मदद की जा सके।

तकनीकी सारांश: डिस्टल आउटकम्स के लिए इष्टतम स्टोकेस्टिक जस्ट-इन-टाइम एडेप्टिव इंटरवेंशन का नॉनपैरामेट्रिक अनुमान

समस्या विवरण
मोबाइल और वियरेबल तकनीकें जस्ट-इन-टाइम एडेप्टिव इंटरवेंशन (JITAIs) को सुगम बनाती हैं, जो उपचार की डिलीवरी को किसी व्यक्ति की वास्तविक समय की स्थिति के अनुसार अनुकूलित करती हैं। जबकि माइक्रो-रैंडमाइज्ड ट्रायल्स (MRTs) गहन अनुदैर्ध्य डेटा (intensive longitudinal data) उत्पन्न करते हैं जो इन इंटरवेंशनों के निर्माण के लिए आवश्यक है, मौजूदा विधियों को डिस्टल आउटकम्स (जैसे, अध्ययन के अंत के परिणाम) को लक्षित करने में महत्वपूर्ण चुनौतियों का सामना करना पड़ता है, न कि प्रॉक्सिमल या तत्काल प्रतिक्रियाओं को।

मानक अनुदैर्ध्य कारण अनुमान विधियाँ (causal inference methods), जैसे कि मार्जिनल स्ट्रक्चरल मॉडल्स (MSMs), उन सेटिंग्स में संघर्ष करती हैं जहाँ निर्णय बिंदुओं की संख्या ( $T$ ) अधिक होती है। विशेष रूप से:

अस्थिरता (Instability): इनवर्स प्रोबेबिलिटी वेटिंग (IPW) एस्टिमेटर्स में $T$ समय बिंदुओं में भार (weights) के गुणनफल शामिल होते हैं, जिससे बड़े $T$ के मामले में संख्यात्मक अस्थिरता, उच्च विचरण (variance), और पर्याप्त मात्रा में परिमित-नमूना पूर्वाग्रह (finite-sample bias) उत्पन्न होता है।
अनियमितता (Irregularity): डबली रोबस्ट एस्टिमेटर्स को कई ऑगमेंटेशन टर्म्स (समय और पॉलिसी द्वारा इंडेक्स किए गए आउटकम रिग्रेशन) का अनुमान लगाने की आवश्यकता होती है, जो अव्यवहारिक हो सकता है और अनियमित एस्टिमेटर्स की ओर ले जा सकता है जिनकी अभिसरण दर (convergence rates) धीमी होती है।
रीइन्फोर्समेंट लर्निंग (RL) की सीमाएँ: हालांकि RL अनुक्रमिक निर्णय लेने के लिए डिज़ाइन किया गया है, यह आमतौर पर संचयी या डिस्काउंटेड प्रॉक्सिमल रिवॉर्ड्स को ऑप्टिमाइज़ करता है। डिस्टल आउटकम्स के लिए उपयुक्त डिस्काउंट रेट चुनना अक्सर अनुभवजन्य रूप से unsupported होता है, और RL विधियों में व्याख्यात्मकता (interpretability) की कमी हो सकती है।
पॉजिटिविटी संबंधी मुद्दे: नियतात्मक (deterministic) या लगभग नियतात्मक नीतियां उच्च-आयामी निर्णय स्थानों (decision spaces) में परिमित-नमूना पॉजिटिविटी उल्लंघन (positivity violations) से ग्रस्त हो सकती हैं, जहाँ विशिष्ट उपचार पथ (treatment paths) देखे गए डेटा में अच्छी तरह से समर्थित नहीं होते हैं।

कार्यप्रणाली (Methodology)
लेखक एक नॉनपैरामेट्रिकली एफिशिएंट एस्टिमेटर का उपयोग करके डिस्टल आउटकम्स के लिए स्टोकेस्टिक JITAIs के अनुमान और अनुकूलन के लिए एक एकीकृत ढांचा प्रस्तावित करते हैं। इसके मुख्य घटक हैं:

स्टोकेस्टिक पॉलिसी क्लास: लेखक एक पैरामेट्रिक स्टोकेस्टिक पॉलिसी क्लास $\{q_\theta\}$ पर ध्यान केंद्रित करते हैं, जहाँ उपचार की संभावनाएँ वर्तमान स्थिति $S_t$ का फलन होती हैं (आधार कार्यों के साथ लॉजिस्टिक रिग्रेशन के माध्यम से मॉडल की गई)। स्टोकेस्टिक नीतियां नियतात्मक नीतियों की तुलना में अधिक पसंद की जाती हैं क्योंकि वे लचीलापन बनाए रखती हैं, अनमॉडल किए गए बाधाओं को शामिल करती हैं, और पॉजिटिविटी के मुद्दों को कम करती हैं।
$\alpha$ -टिल्टिंग डिवाइस: उच्च- $T$ सेटिंग्स में अनुमान को स्थिर करने के लिए, लेखक एक डेटा-एडेप्टिव टिल्टिंग प्रक्रिया पेश करते हैं। यह प्रत्येक निर्णय बिंदु $t$ पर लक्ष्य नीति $q_\theta$ और देखे गए उपचार तंत्र $\pi_{t,0}$ के बीच इंटरपोलेशन करता है:
$q_{\theta, \alpha, t} = (t/T)^\alpha q_\theta + \{1 - (t/T)^\alpha\}\pi_{t,0}$
$\alpha > 0$ के लिए, शुरुआती निर्णय भार (early decision weights) को 1 की ओर सिकोड़ा जाता है, जिससे इनवर्स प्रोबेबिलिटी वेट्स के गुणनफल की अस्थिरता कम हो जाती है। $\alpha$ का चयन एक डेटा-एडेप्टिव नियम के माध्यम से किया जाता है जो वैल्यू फंक्शन के अनुमानित मीन स्क्वेर्ड एरर (MSE) को कम करता है, जिससे बायस (वैज्ञानिक लक्ष्य से विचलन) और वेरिएंस (स्थिरीकरण) के बीच संतुलन बनता है।
अंडरस्मूथड इनवर्स प्रोबेबिलिटी वेटिंग (UIPW) एस्टिमेटर:
- जटिल, पॉलिसी-इंडेक्स्ड आउटकम रिग्रेशन फंक्शन्स का अनुमान लगाने के बजाय, जो कुशल अनुमान के लिए आवश्यक हैं, लेखक हाइली एडेप्टिव लासो (Highly Adaptive Lasso - HAL) का उपयोग करते हैं।
- वे अंडरस्मूथिंग (क्रॉस-वैलिडेशन द्वारा चुने गए दंड पैरामीटर $\lambda$ से बड़ा $\lambda$ चुनना) का उपयोग करते हैं ताकि यह सुनिश्चित किया जा सके कि फिट किए गए प्रोपेंसिटी स्कोर मॉडल एफिशिएंट इन्फ्लुएंस फंक्शन से जुड़े स्कोर समीकरणों को लगभग हल करने के लिए पर्याप्त समृद्ध हैं।
- यह दृष्टिकोण 'कर्स ऑफ डायमेंशनैलिटी' (curse of dimensionality) से बचते हुए, बिना पूर्ण ऑगमेंटेशन टर्म्स के अनुमान के, नॉनपैरामेट्रिक एफिशिएंसी ( $\sqrt{n}$ -consistency) प्राप्त करता है।
पेनलाइज्ड ऑप्टिमाइजेशन: बाउंड्री सॉल्यूशंस (जो संख्यात्मक रूप से अस्थिर हो सकते हैं) से बचने के लिए, इष्टतम पॉलिसी पैरामीटर $\theta$ को एक पेनलाइज्ड वैल्यू फंक्शन $V_n(\theta) = \psi_n(\theta) - P(\theta)$ को मैक्सिमाइज करके पाया जाता है, जहाँ $P(\theta)$ एक इनवर्स-डिस्टेंस बैरियर-वेटेड रिज पेनल्टी है जो ऑप्टिमाइज़र को पैरामीटर स्पेस $\Theta$ की सीमा से दूर धकेलती है।

मुख्य योगदान

नॉनपैरामेट्रिकली एफिशिएंट एस्टिमेटर: रेजिमेन-रिस्पॉन्स कर्व (एक स्टोकेस्टिक पॉलिसी के तहत अपेक्षित डिस्टल आउटकम) के लिए एक UIPW एस्टिमेटर का विकास, जो समय-और-पॉलिसी-इंडेक्स्ड आउटकम रिग्रेशंस के पूर्ण अनुमान के बिना नॉनपैरामेट्रिक एफिशिएंसी बाउंड प्राप्त करता है।
डेटा-एडेप्टिव स्टेबिलाइजेशन: उच्च- $T$ सेटिंग्स में अनुमान को स्थिर करने के लिए एक टिल्टिंग प्रक्रिया का परिचय, जो शुरुआती वेट्स को सिकोड़कर काम करती है, जिसमें यह सैद्धांतिक गारंटी है कि टिल्टिंग से उत्पन्न बायस एसिम्प्टोटिक रूप से नगण्य है यदि $\alpha_n \to 0$ पर्याप्त तेजी से होता है।
अनुमान (Inference) के लिए एसिम्प्टोटिक थ्योरी:
- यह प्रमाण कि अनुमानित रेजिमेन-रिस्पॉन्स कर्व वीकली एक गॉसियन प्रोसेस की ओर अभिसरित (converge) होता है, जिससे पॉलिसी पैरामीटर स्पेस पर सिमल्टेनियस कॉन्फिडेंस बैंड्स के निर्माण को सक्षम बनाया जा सके।
- ऑप्टिमाइज़र $\theta^*_n$ के वितरण का व्युत्पन्न, जो सीखे गए इष्टतम स्टोकेस्टिक पॉलिसी के लिए वैध अनुमान (valid inference) को सक्षम बनाता है।
व्यावहारिक कार्यान्वयन: अंडरस्मूध्यिंग लेवल (DCAR नॉर्म्स या स्कोर रेसिडुअल्स पर आधारित) और टिल्टिंग पैरामीटर $\alpha$ के लिए डेटा-एडेप्टिव सेलेक्टर के प्रस्ताव।

परिणाम
लेखक विभिन्न सैंपल साइज ( $n$ ) और निर्णय बिंदुओं ( $T$ ) वाले मोबाइल हेल्थ ट्रायल्स (जैसे धूम्रपान त्याग) की नकल करने वाले संख्यात्मक सिमुलेशन के माध्यम से अपने तरीके का मूल्यांकन करते हैं।

बायस कंट्रोल: ऑब्जर्वेशनल सेटिंग्स में जहाँ उपचार तंत्र को सीखना आवश्यक था, मानक क्रॉस-वैलिडेटेड HAL एस्टिमेटर्स ने $T$ बढ़ने के साथ महत्वपूर्ण बायस दिखाया। अंडरस्मूथिंग के साथ UIPW एस्टिमेटर्स ने इस बायस को सफलतापूर्वक नियंत्रित किया।
स्थिरता और MSE: एडेप्टिव टिल्टिंग ने लगभग सभी एस्टिमेटर्स के लिए मीन स्क्वेर्ड एरर (MSE) को कम किया, विशेष रूप से उच्च- $T$ सेटिंग्स में जहाँ वेट संचय अस्थिरता का कारण बनता है।
पॉलिसी ऑप्टिमाइजेशन: एडेप्टिव टिल्टिंग दृष्टिकोण ने अनटिल्टेड एस्टिमेटर्स की तुलना में अनुमानित इष्टतम नीति के रूट मीन स्क्वेर्ड एरर (RMSE) में आम तौर पर सुधार किया।
कवरेज: जहाँ मानक एस्टिमेटर्स ने (न्यूमेरिकल पॉजिटिविटी मुद्दों के कारण) ऑब्जर्वेशनल पॉलिसी से काफी भिन्न होने वाले क्षेत्रों में अंडरकवरेज दिखाया, वहीं प्रस्तावित विधियों ने номинаल स्तरों के करीब कवरेज बनाए रखा, हालांकि कुछ सेटिंग्स में ओवरकवरेज भी देखा गया।
सेलेक्टर प्रदर्शन: अंडरस्मूथिंग सेलेक्टरों में से, $L_2$ DCAR-आधारित सेलेक्टर ने स्कोर-आधारित सेलेक्टर की तुलना में अधिक स्थिर प्रदर्शन और कम रिग्रेट प्रदान किया, जो कभी-कभी बहुत अधिक स्मूथ कर देता था।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह विशेष रूप से डिस्टल आउटकम्स के लिए स्टोकेस्टिक JITAIs के अनुमान, अनुमान (inference) और अनुकूलन के लिए एक एकीकृत ढांचा प्रदान करता है।

अंतराल को पाटना: यह कार्य MRT डेटा की संरचना (कई निर्णय बिंदु) और उन लक्ष्यों (डिस्टल आउटकम्स) के बीच के पद्धतिगत अंतर को संबोधित करता है जो दीर्घकालिक व्यवहारिक स्वास्थ्य को परिभाषित करते हैं।
व्यवहार्यता: उच्च-आयामी आउटकम रिग्रेशंस के स्पष्ट अनुमान से बचकर, यह विधि गहन अनुदैर्ध्य सेटिंग्स में नॉनपैरामेट्रिक एफिशिएंट अनुमान को संभव बनाती है जहाँ पिछली विधियाँ सांख्यिकीय रूप से अव्यवहारिक थीं।
मजबूती (Robustness): स्टोकेस्टिक पॉलिसियों, टिल्टिंग और अंडरस्मूथिंग का संयोजन उच्च-आवृत्ति निर्णय लेने वाली डेटा सेटिंग्स में निहित अस्थिरता और पॉजिटिविटी समस्याओं के लिए एक मजबूत समाधान प्रदान करता है।
अनुमान (Inference): कर्व और ऑप्टिमाइज़र दोनों के लिए एसिम्प्टोटिक गुणों का व्युत्पन्न यह सुनिश्चित करता है कि शोधकर्ता न केवल एक इष्टतम नीति पा सकते हैं, बल्कि सिमल्टेनियस कॉन्फिडेंस बैंड्स और पॉलिसी-विशिष्ट अनुमान के माध्यम से अनिश्चितता को भी माप सकते हैं—एक ऐसी क्षमता जो वर्तमान RL या पॉलिसी-लर्निंग दृष्टिकोणों में अक्सर गायब होती है।

लेखक विनम्रता बरतते हुए नोट करते हैं कि हालांकि दक्षता के लिए अंडरस्मूथिंग सैद्धांतिक रूप से आवश्यक है, लेकिन इसकी परिमित-नमूना प्रदर्शन ट्यूनिंग पैरामीटर्स के चयन पर निर्भर करती है। वे यह भी स्वीकार करते हैं कि स्टोकेस्टिक सेटिंग्स में नियतात्मक सेटिंग्स की तुलना में नॉनपैरामेट्रिक विधियों से दक्षता लाभ कम हो सकते हैं।