📊 statistics

Estimation of Treatment Effects Under Nonstationarity via the Truncated Policy Gradient Estimator

यह शोध पत्र ट्रंकेटेड पॉलिसी ग्रेडिएंट (TPG) एस्टिमेटर प्रस्तुत करता है, जो एक नवीन विधि है जो गैर-स्थिर गतिशील प्रणालियों में वैश्विक औसत उपचार प्रभावों का अनुमान लगाने के लिए प्रमाणित रूप से कम बायस और वेरिएंस प्रदान करने हेतु लघु-क्षितिज परिणाम प्रक्षेपवक्रों (short-horizon outcome trajectories) का लाभ उठाती है, जिसे सैद्धांतिक गारंटियों और वास्तविक दुनिया के केस स्टडीज पर सत्यापन द्वारा समर्थित किया गया है।

मूल लेखक: Ramesh Johari, Tianyi Peng, Wenqian Xing

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ramesh Johari, Tianyi Peng, Wenqian Xing

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त शहर की सड़क पर एक विशाल, अराजक प्रयोग चला रहे हैं। आप यह जानना चाहते हैं कि क्या एक नया "गति सीमा" (Speed Limit) साइन बोर्ड लगाना (उपचार/Treatment) वास्तव में यातायात को तेज़ करता है, पुराने साइन बोर्ड (नियंत्रण/Control) की तुलना में।

एक सरल दुनिया में, आप केवल साइन बदलने से पहले और बाद में गुजरने वाली कारों की संख्या गिन सकते हैं। लेकिन वास्तविक दुनिया में, यातायात गतिशील (Dynamic) और अस्थिर (Non-stationary) होता है।

गतिशील (Dynamic): यदि आप एक कार को धीमा करते हैं, तो उसके पीछे वाली कार को भी ब्रेक लगाना पड़ता है, जिससे उसके पीछे वाली कार भी धीमी हो जाती है। आपकी आज की कार्रवाई अगले एक घंटे के लिए सड़क की स्थिति को बदल देती है।
अस्थिर (Non-stationary): यातायात हर दिन एक जैसा नहीं होता। यह रश ऑवर, बारिश या पास में किसी बड़े कॉन्सर्ट के कारण बदलता रहता है। सड़क के "नियम" लगातार बदलते रहते हैं।

यही वह समस्या है जिसे यह शोध पत्र संबोधित करता है: जब सिस्टम लगातार बदल रहा हो और आपकी कार्रवाइयां भविष्य में लहरें (ripples) पैदा कर रही हों, तो आप अपने हस्तक्षेप (intervention) के वास्तविक प्रभाव को कैसे मापते हैं?

पुराने तरीकों के साथ समस्या

लेखक बताते हैं कि इसे मापने के मानक तरीके (जैसे कि केवल "नए साइन" वाले समूह और "पुराने साइन" वाले समूह की औसत गति की तुलना करना) यहाँ बुरी तरह विफल हो जाते हैं।

"नादान" गलती (The "Naive" Mistake): यदि आप केवल तत्काल परिणाम देखते हैं, तो आपको एक बड़ी त्रुटि मिलती है। क्यों? क्योंकि "नए साइन" वाले समूह का परीक्षण शायद एक बरसाती मंगलवार को किया गया था, जबकि "पुराने साइन" वाले समूह का परीक्षण एक धूप वाले शुक्रवार को किया गया था। या, "नए साइन" वाले समूह की कारें पिछले एक घंटे के धीमे ड्राइवर के पीछे फंस गई थीं।
"स्थिरता" की गलती (The "Stationary" Mistake): कुछ उन्नत गणितीय उपकरण यह मान लेते हैं कि यातायात के पैटर्न हर दिन एक जैसे होते हैं (स्थिर/stationary)। लेकिन वास्तव में, वे नहीं होते। एक बदलते हुए सिस्टम पर इन उपकरणों का उपयोग करना एक जमी हुई झील के मानचित्र के साथ खिसटते हुए रेत के टीले पर नेविगेट करने जैसा है।

समाधान: "ट्रंकेटेड पॉलिसी ग्रेडिएंट" (TPG)

लेखक ट्रंकेटेड पॉलिसी ग्रेडिएंट (TPG) एस्टिमेटर नामक एक नया उपकरण प्रस्तावित करते हैं। यह कैसे काम करता है, इसके लिए एक सरल उपमा देखें:

उपमा: "लघु-अवधि स्मृति" परीक्षण (The "Short-Term Memory" Test)
कल्पना कीजिए कि आप एक वीडियो गेम के लिए एक नई रणनीति का परीक्षण कर रहे हैं।

पुराना तरीका (Naive): आप एक बटन दबाते हैं और तुरंत स्कोर देखते हैं। यदि स्कोर कम है, तो आप बटन को दोष देते हैं। लेकिन हो सकता है कि स्कोर इसलिए कम था क्योंकि आप 10 मिनट पहले एक खराब लेवल में फंसे हुए थे।
TPG तरीका: बटन दबाने के तुरंत बाद परिणाम देखने के बजाय, आप बटन दबाते हैं और फिर अगले कुछ मिनटों तक देखते हैं कि क्या होता है (एक छोटा "विंडो" या समय अंतराल)। आप उस छोटे "विंडो" के दौरान प्राप्त अंकों को जोड़ देते हैं।

शोध पत्र इसे "ट्रंकेटेड" (Truncated) कहता है क्योंकि आप परिणाम देखने के लिए अनंत काल तक इंतजार नहीं करते (जो बदलती दुनिया में असंभव होगा); आप केवल एक छोटे, निश्चित क्षितिज (fixed horizon) (जैसे, अगले 5 मिनट) को देखते हैं।

यह क्यों काम करता है (जादुई ट्रिक)

लेखक दावा करते हैं कि यह विधि दो चरम सीमाओं के बीच का "स्वीट स्पॉट" (सही संतुलन) है:

यह "लहर प्रभाव" (Ripple Effect) को ठीक करता है: भविष्य के परिणामों की एक छोटी विंडो को देखकर, एस्टिमेटर स्वाभाविक रूप से इस बात का हिसाब रखता है कि आपकी आज की कार्रवाई अगले कुछ मिनटों को कैसे प्रभावित करती है। यह उन घटनाओं से भ्रमित हुए बिना "कैरियोवर" (carryover) प्रभाव को पकड़ लेता है जो हफ्तों पहले हुई थीं।
यह "बदलती दुनिया" को संभालता है: क्योंकि विंडो छोटी है, सिस्टम के पास उस विंडो के भीतर अपने मौलिक नियमों को बहुत अधिक बदलने का समय नहीं होता (गैर-स्थिरता/non-stationarity)। यह चलती हुई कार के स्नैपशॉट लेने जैसा है; यदि स्नैपशॉट पर्याप्त तेज़ है, तो कार स्थिर दिखाई देती है।

"बायस-वैरिएंस" (Bias-Variance) का संतुलन

लेखक अपने परिणामों को समझाने के लिए एक सी-सॉ (झूले) की उपमा का उपयोग करते हैं:

बायस (त्रुटि/Bias): यदि आप कुछ भी नहीं देखते (केवल तत्काल क्षण), तो आप बायस्ड हैं क्योंकि आप भविष्य के प्रभावों को अनदेखा कर देते हैं। यदि आप सब कुछ देखते (पूरे प्रयोग को), तो गणित जटिल हो जाता है और त्रुटि विस्फोट कर देती है क्योंकि दुनिया बहुत बदल गई है।
वैरिएंस (शोर/Variance): यदि आप एक बहुत लंबी विंडो देखते हैं, तो आपके परिणाम "शोरपूर्ण" (noisy) और अस्थिर हो जाते हैं।
TPG का स्वीट स्पॉट: एक "बिल्कुल सही" छोटी विंडो (ट्रंकेशन आकार $k$ ) चुनकर, TPG एस्टिमेटर एक संतुलन बनाता है। यह भविष्य को अनदेखा करने से होने वाली त्रुटि (बायस) को कम करता है, बिना अनिश्चित भविष्य से बहुत अधिक शोर (वैरिएंस) पैदा किए।

वास्तविक दुनिया के परीक्षण

लेखकों ने केवल गणित नहीं किया; उन्होंने दो वास्तविक दुनिया के सिमुलेशन पर इसका परीक्षण किया:

अस्पताल का आपातकालीन कक्ष (Emergency Room): दिन भर में मरीजों के आगमन का अनुकरण करना जो बदलता रहता है (गैर-स्थिरता)। उन्होंने परीक्षण किया कि क्या एक नया दक्षता प्रोटोकॉल वास्तव में मदद करता है। TPG एस्टिमेटर ने पुराने तरीकों की तुलना में बहुत स्पष्ट उत्तर दिया।
राइड-शेयरिंग ऐप (NYC टैक्सियाँ): एक ऐसा सिस्टम बनाना जहाँ ड्राइवर की उपलब्धता और यात्री की मांग तेजी से बदलती है (रश ऑवर, वीकेंड्स)। उन्होंने एक नई मूल्य निर्धारण रणनीति का परीक्षण किया। फिर से, TPG ने मानक तरीकों से बेहतर प्रदर्शन किया, जो या तो गलत उत्तर दे रहे थे या इतने अस्थिर थे कि उन पर भरोसा नहीं किया जा सकता था।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र एक सरल लेकिन शक्तिशाली ट्रिक पेश करता है: किसी प्रयोग के तत्काल परिणाम को न देखें। भविष्य की एक छोटी, निश्चित विंडो को देखें।

ऐसा करके, आप एक परिवर्तन (जैसे कि एक नया ऐप फीचर या नीति) के वास्तविक प्रभाव को सटीक रूप से माप सकते हैं, भले ही सिस्टम अराजक, परिवर्तनशील और लहरों से भरा हो। यह बिना यह जाने कि सिस्टम कैसे काम करता है, एक शोरभरी और बदलती दुनिया से एक स्पष्ट संकेत प्राप्त करने का एक तरीका है।

तकनीकी सारांश: गैर-स्थिरता के तहत ट्रंकेटेड पॉलिसी ग्रेडिएंट एस्टिमेटर के माध्यम से उपचार प्रभावों का अनुमान

1. समस्या विवरण

रैंडमाइज्ड प्रयोग (A/B टेस्ट) गतिशील प्रणालियों जैसे कि रेकमेंडेशन प्लेटफॉर्म, मार्केटप्लेस और डिजिटल हेल्थ में हस्तक्षेपों (interventions) के मूल्यांकन के लिए मानक उपकरण हैं। हालांकि, इन वातावरणों में, हस्तक्षेप अक्सर कैरीओवर प्रभाव (या टेम्पोरल इंटरफेरेंस) उत्पन्न करते हैं, जहाँ समय $t$ पर की गई एक कार्रवाई भविष्य के समय $t' > t$ के सिस्टम स्टेट और परिणामों को प्रभावित करती है। यह यूनिट-स्तरीय स्वतंत्रता (unit-level independence) की मानक धारणा का उल्लंघन करता है।

यह चुनौती गैर-स्थिरता (nonstationarity) के कारण और भी जटिल हो जाती है: सिस्टम डायनेमिक्स (ट्रांजिशन कर्नेल और रिवॉर्ड डिस्ट्रीब्यूशन) समय के साथ बदलते रहते हैं, जो विकसित होते उपयोगकर्ता वरीयताओं, मौसमी रुझानों या बाहरी झटकों जैसे कारकों के कारण होता है। ऐसे गैर-स्थिर मार्कोवियन सेटिंग्स में, मौजूदा अनुमान दृष्टिकोण महत्वपूर्ण सीमाएं सामना करते हैं:

नाइव एस्टिमेटर्स (जैसे Difference-in-Means) टेम्पोरल डिपेंडेंसी को अनदेखा करते हैं, जिससे पर्याप्त बायस (bias) होता है।
स्टेशनरी ऑफ-पॉलिसी इवैल्यूएशन (OPE) विधियाँ (जैसे Difference-in-Q's या DQ एस्टिमेटर्स) एक स्थिर वातावरण मानती हैं। गैर-स्थिर डेटा पर लागू होने पर, वे उच्च बायस और वेरिएंस का शिकार होती हैं क्योंकि वे उन धारणाओं पर निर्भर करती हैं (जैसे स्टेशनरी ऑब्जर्वेबिलिटी, कई स्वतंत्र ट्रेजेक्टरीज) जो यहाँ लागू नहीं होती हैं।
जटिल प्रायोगिक डिजाइन (जैसे स्विचबैक प्रयोग) इंटरफेरेंस को कम कर सकते हैं लेकिन उन्हें लागू करना कठिन है और उनके लिए अंतराल की लंबाई के सावधानीपूर्वक ट्यूनिंग की आवश्यकता होती है।

मुख्य समस्या एक बर्नौली रैंडमाइज्ड पॉलिसी के तहत एक गैर-स्थिर प्रणाली के एकल ट्रेजेक्टरी (single trajectory) से ग्लोबल एवरेज ट्रीटमेंट इफेक्ट (GATE) का अनुमान लगाना है, जिसमें स्टेट स्पेस के ज्ञान या कई स्वतंत्र रन की आवश्यकता नहीं होती है।

2. कार्यप्रणाली: द ट्रंकेटेड पॉलिसी ग्रेडिएंट (TPG) एस्टिमेटर

लेखक ट्रंकेटेड पॉलिसी ग्रेडिएंट (TPG) एस्टिमेटर प्रस्तावित करते हैं, जो मानक डिफरेंस-इन-मीन्स (DM) दृष्टिकोण को संशोधित करता है। यह तात्कालिक रिवॉर्ड्स के बजाय एक छोटे, निश्चित होराइजन $k$ पर परिणामों को एकत्रित करता है।

2.1 औपचारिक ढांचा (Formal Framework)

सिस्टम को एक परिमित होराइजन $T$ वाले गैर-स्थिर मार्कोव डिसीजन प्रोसेस (MDP) के रूप में मॉडल किया गया है।

स्टेट/एक्शन: $X_t \in \mathcal{X}$ (स्टेट), $Z_t \in \{0, 1\}$ (कंट्रोल/ट्रीटमेंट)।
डायनेमिक्स: ट्रांजिशन समय-निर्भर कर्नेल $P^t_z$ द्वारा नियंत्रित होते हैं। सिस्टम एक मिक्सिंग टाइम धारणा (Assumption 1) का पालन करता है, जहाँ पिछले कार्यों का प्रभाव दर $\gamma \in (0, 1)$ पर तेजी से घटता है।
लक्ष्य (Target): GATE $\tau = \frac{1}{T} \sum_{t=1}^T (\mathbb{E}[Y_t | \pi_1] - \mathbb{E}[Y_t | \pi_0])$ , जहाँ $\pi_1$ और $\pi_0$ क्रमशः 'ऑलवेज-ट्रीटमेंट' और 'ऑलवेज-कंट्रोल' पॉलिसियाँ हैं।
डेटा: एक बर्नौली रैंडमाइजेशन पॉलिसी $\pi_{1/2}$ के तहत जनरेट की गई एकल ट्रेजेक्टरी।

2.2 एस्टिमेटर

TPG एस्टिमेटर $\hat{\tau}_k$ को इस प्रकार परिभाषित किया गया है:
$\hat{\tau}_k := \frac{1}{T} \sum_{u=1}^T \left( \frac{\mathbb{I}\{Z_u = 1\}}{1/2} - \frac{\mathbb{I}\{Z_u = 0\}}{1/2} \right) \sum_{t=u}^{\min(u+k, T)} Y_t$
जब $k=0$ होता है, तो यह नाइव DM एस्टिमेटर बन जाता है। यदि $k \ge 1$ है, तो यह $k$ आकार की विंडो के भीतर रिवॉर्ड्स को जोड़ता है।

2.3 सैद्धांतिक व्याख्या

पेपर स्थापित करता है कि $\hat{\tau}_k$ एक ट्रंकेटेड पॉलिसी ग्रेडिएंट $\nabla J_k(1/2)$ का एक अनबायस्ड एस्टिमेटर है।

पॉलिसी ग्रेडिएंट व्यू: मानक पॉलिसी ग्रेडिएंट $\nabla J(1/2)$ , GATE का एक फर्स्ट-ऑर्डर टेलर एप्रोक्सिमेशन है। गैर-स्थिर सेटिंग्स में, पूर्ण ग्रेडिएंट एस्टिमेटर (जहाँ $k=T$ ) का बायस $T$ के साथ द्विघात रूप से ( $O(T^2)$ ) बढ़ता है।
ट्रंकेशन (Truncation): होराइजन को $k$ तक सीमित करके, एस्टिमेटर एक काल्पनिक पॉलिसी के ग्रेडिएंट का अनुमान लगाता है जो केवल अंतिम $k$ स्टेप्स के लिए ट्रीटमेंट या कंट्रोल में स्विच करती है।
बायस डिकम्पोजिशन (Bias Decomposition): वास्तविक GATE के सापेक्ष $\hat{\tau}_k$ $\overset{τ}{^}_{k}$ का बायस दो भागों में विभाजित होता है:
1. टेलर एरर (Taylor Error): GATE को ग्रेडिएंट के साथ एप्रोक्सिमेट करने से होने वाली त्रुटि। यह $O(k^2)$ के रूप में स्केल करती है (जो $O(T^2)$ से बहुत बेहतर है)।
2. मिक्सिंग बायस (Mixing Bias): ट्रंकेटेड पॉलिसी वैल्यू और वास्तविक GATE के बीच के अंतर से होने वाली त्रुटि। यह मिक्सिंग टाइम धारणा के कारण $k$ के साथ ज्यामितीय रूप से घटती है।

2.4 वेरिएंस एस्टीमेशन और इन्फरेंस

पेपर गैर-स्थिरता के तहत TPG एस्टिमेटर के लिए एक सेंट्रल लिमिट थ्योरम (CLT) व्युत्पन्न करता है। सांख्यिकीय निष्कर्ष (statistical inference) का समर्थन करने के लिए, लेखक एक कंसिस्टेंट नॉन-स्टेशनरी HAC (हेटरोस्केडास्टिसिटी एंड ऑटोकोरिलेशन कंसिस्टेंट) वेरिएंस एस्टिमेटर विकसित करते हैं। यह एस्टिमेटर एकल-ट्रेजेक्टरी डेटा का उपयोग करके कॉन्फिडेंस इंटरवल बनाने की अनुमति देता है, जो उस "क्यूर्स ऑफ होराइजन" (curse of horizon) को दूर करता है जो गैर-स्थिर वातावरण में मानक OPE विधियों को प्रभावित करता है।

3. मुख्य योगदान

नया एस्टिमेटर: TPG एस्टिमेटर का परिचय, जो रिवॉर्ड होराइजन को ट्रंकेट करके बायस और वेरिएंस के बीच संतुलन बनाता है। इसके लिए स्टेट ऑब्जर्वेबिलिटी की आवश्यकता नहीं है और यह एकल ट्रेजेक्टरी के साथ काम करता है।
सैद्धांतिक गारंटी:
- बायस-वेरिएंस ट्रेड-ऑफ: थ्योरम 1 बाउंड्स प्रदान करता है कि $k \ge 1$ के लिए, TPG एस्टिमेटर एक अनुकूल ट्रेड-ऑफ प्राप्त करता है। बायस को मिक्सिंग रेट $\gamma$ और कर्नेल डेविएशन $\delta$ द्वारा नियंत्रित किया जाता है, जबकि वेरिएंस सीमित रहता है और $T$ के साथ विस्फोट नहीं करता (जैसा कि अनट्रंकेटेड एस्टिमेटर में होता है)।
- एसिम्प्टोटिक नॉर्मलिटी (Asymptotic Normality): थ्योरम 2 गैर-स्थिरता के तहत $\hat{\tau}_k$ के लिए CLT स्थापित करता है और हल्के रेगुलेरिटी कंडीशंस (Cesàro- $L^2$ मीन स्टेबिलिटी) के तहत प्रस्तावित HAC वेरिएस एस्टिमेटर की कंसिस्टेंसी को सिद्ध करता है।
प्रैक्टिकल ह्यूरिस्टिक: एक डेटा-ड्रिवन एल्गोरिदम (परिशिष्ट B) प्रस्तावित किया गया है जो प्रयोग के बाद वेरिएंस के सापेक्ष एस्टिमेट की स्थिरता की निगरानी करके ट्रंकेशन साइज $k$ का चयन करता है।
अनुभवजन्य सत्यापन (Empirical Validation): विधि को दो वास्तविक केस स्टडीज पर मान्य किया गया है:
- गैर-स्थिर पेशेंट अराइवल डेटा पर आधारित एक क्यूइंग सिम्युलेटर।
- वास्तविक टैक्सी डेटा का उपयोग करके एक बड़े पैमाने का NYC राइड-शेयरिंग सिम्युलेटर।

4. परिणाम

टू-स्टेट MDP: सिमुलेशन में, नाइव DM एस्टिमेटर ( $k=0$ ) ने ~50% मीन एब्सोल्यूट एरर (MAE) दिखाया। अनट्रंकेटेड पॉलिसी ग्रेडिएंट ( $k=T$ ) में गलत साइन और भारी वेरिएंस था। छोटा $k$ (जैसे, $k=1$ से $5$) रखने वाला TPG एस्टिमेटर कम वेरिएंस बनाए रखते हुए बायस को काफी कम कर देता है।
क्यूइंग केस स्टडी: स्टेशनरी DQ, LSTD-OPE और बायस-करेक्टेड स्विचबैक एस्टिमेटर्स की तुलना में, TPG एस्टिमेटर (जिसमें $k=4$ या $5$ है) ग्राउंड-ट्रुथ GATE के बहुत करीब है। प्रस्तावित HAC वेरिएस एस्टिमेटर ने लगभग नाममात्र (nominal) 95% कवरेज प्राप्त किया।
राइड-शेयरिंग केस स्टडी: वास्तविक NYC डेटा के साथ एक जटिल, गैर-स्थिर वातावरण में, TPG एस्टिमेटर विभिन्न स्विचबैक इंटरवल्स (10 से 60 मिनट) में लगातार बायस को कम करता है। यह उन स्टेट-ऑफ-द-आर्ट स्विचबैक एस्टिमेटर्स से बेहतर प्रदर्शन करता है जो इंटरवल चयन के प्रति संवेदनशील थे, और स्टेशनरी OPE विधियों से भी बेहतर है (जो विश्वसनीय Q-वैल्यूज सीखने में विफल रहे)। $k=2$ या $3$ के साथ TPG एस्टिमेटर ने वास्तविक GATE के बहुत करीब अनुमान दिए।

5. महत्व और दावे

पेपर का दावा है कि TPG एस्टिमेटर जटिल गैर-स्थिर डायनेमिक्स के तहत प्रभावी एस्टिमेटर्स डिजाइन करने के लिए एक सरल, व्यावहारिक और सैद्धांतिक रूप से सुदृढ़ समाधान प्रदान करता है। इसका प्राथमिक महत्व है:

मजबूती (Robustness): यह उन सेटिंग्स में बायस और वेरिएंस के बीच एक अनुकूल संतुलन प्राप्त करता है जहाँ मौजूदा विधियाँ (नाइव DM, स्टेशनरी OPE) विफल रहती हैं।
व्यवहार्यता (Feasibility): यह स्टेट स्पेस के ज्ञान की आवश्यकता के बिना एकल-ट्रेजेक्टरी डेटा पर संचालित होता है, जिससे यह उन वास्तविक दुनिया के प्लेटफार्मों के लिए लागू करने योग्य हो जाता है जहाँ पूर्ण स्टेट ऑब्जर्वेबिलिटी अक्सर असंभव होती है।
इन्फरेंस (Inference): यह एकल-ट्रेजेक्टरी गैर-स्थिर मार्कोवियन सेटिंग्स में ट्रीटमेंट इफेक्ट एस्टीमेशन के लिए पहला कंसिस्टेंट वेरिएस एस्टिमेटर और CLT प्रदान करता है, जिससे वैध सांख्यिकीय निष्कर्ष संभव होता है।
लचीलापन (Flexibility): इसे मानक बर्नौली A/B टेस्ट या स्विचबैक जैसे अधिक जटिल डिजाइनों से प्राप्त अनुमानों को सुधारने के लिए एक पोस्ट-प्रोसेसिंग टूल के रूप में उपयोग किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि पॉलिसी-ग्रेडिएंट परिप्रेक्ष्य, विशेष रूप से ट्रंकेशन के माध्यम से, जटिल गैर-स्थिर डायनेमिक्स के तहत प्रभावी एस्टिमेटर्स डिजाइन करने के लिए एक शक्तिशाली ढांचा प्रदान करता है।