📊 statistics

Model-based Bootstrap of Controlled Markov Chains

यह शोध पत्र सीमित नियंत्रित मार्कोव श्रृंखलाओं (finite controlled Markov chains) के लिए एक मॉडल-आधारित बूटस्ट्रैप विधि का प्रस्ताव और विश्लेषण करता है जो ट्रांज़िशन कर्नेल और डाउनस्ट्रीम पॉलिसी इवैल्यूएशन लक्ष्यों के लिए वितरण संबंधी निरंतरता (distributional consistency) स्थापित करता है, जो ऑफलाइन सुदृढीकरण शिक्षण (offline reinforcement learning) सेटिंग्स में मौजूदा बेसलाइनों की तुलना में बेहतर अंशांकन (calibration) और कवरेज प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Ziwei Su, Imon Banerjee, Diego Klabjan

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziwei Su, Imon Banerjee, Diego Klabjan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप RiverSwim नामक एक जटिल, घुमावदार नदी में रास्ता बनाना सीख रहे हैं। आपके पास एक लॉगबुक (एक डेटासेट) है जो एक पिछले यात्री के नोट्स से भरी हुई है, जिसने इस नदी में कई बार तैराकी की थी। लेकिन, आप ठीक से नहीं जानते कि वह यात्री वास्तव में क्या सोच रहा था या उसने कुछ खास मोड़ क्यों लिए। कभी वह बाईं ओर तैरता था, कभी दाईं ओर, और कभी-कभी वह भंवर में फंस जाता था।

आपका लक्ष्य भविष्य के लिए सबसे अच्छा रास्ता (इष्टतम नीति/optimal policy) पता लगाना है या यह अनुमान लगाना है कि एक विशिष्ट पथ कितना सफल होगा (वैल्यू फंक्शन/value function)। ऐसा करने के लिए, आपको नदी की धाराओं (ट्रांजिशन प्रोबबिलिटीज़/transition probabilities) को समझना होगा—यानी, एक विशिष्ट क्रिया लेने के बाद आपके किसी विशेष स्थान पर पहुँचने की कितनी संभावना है।

समस्या यह है कि आपकी लॉगबुक अपूर्ण है। आपने शायद एक दुर्लभ भंवर को केवल एक बार देखा हो, इसलिए आप निश्चित नहीं हैं कि वह 10% बार होता है या 90% बार। यदि आप केवल उस एकल अवलोकन के आधार पर अनुमान लगाते हैं, तो आपके अनुमान बहुत गलत हो सकते हैं। आपको यह मापने का एक तरीका चाहिए कि आप अपने अनुमान पर कितना भरोसा कर सकते हैं।

पुराना तरीका: "परफेक्ट मैप" का अनुमान

पारंपरिक रूप से, सांख्यिकीविदों ने लॉगबुक के औसत के आधार पर एक "परफेक्ट मैप" बनाने की कोशिश की है। वे एक गणितीय सूत्र (जैसे एक रूलर या पैमाना) का उपयोग करके एक कॉन्फिडेंस इंटरवल (विश्वास अंतराल) खींचते हैं—एक ऐसी सीमा जहाँ उन्हें लगता है कि वास्तविक उत्तर मौजूद है।

दोष: यह विधि मानती है कि नदी बहुत सरल और अनुमानित तरीके से व्यवहार करती है। लेकिन वास्तव में, नदी अव्यवस्थित है। पिछला यात्री अपने निर्णय बदल सकता था, जैसे कि वह पाँच मिनट पहले कहाँ था (हिस्ट्री-डिपेंडेंट/इतिहास-निर्भर) या उसके मूड के आधार पर (नॉन-स्टेशनरी/गैर-स्थिर)। वह पुराना "रूलर" इन अव्यवस्थित स्थितियों में विफल हो जाता है, और अक्सर आपको एक ऐसी सीमा देता है जो बहुत संकीर्ण होती है और झूठा आत्मविश्वास पैदा करती है।

नया तरीका: "मॉडल-बेस्ड बूटस्ट्रैप" (Model-Based Bootstrap)

यह शोध पत्र अनिश्चितता को मापने का एक अधिक मजबूत तरीका प्रस्तावित करता है। इसे ऐसे समझें जैसे कि आप अपने कंप्यूटर के भीतर नदी का बार-बार सिमुलेशन (अनुकरण) कर रहे हैं यह देखने के लिए कि परिणाम कितना हिलते या बदलते हैं।

यहाँ एक रचनात्मक उपमा दी गई है:

मूल लॉगबुक: आपके पास 1,000 तैराकी प्रयासों की एक वास्तविक लॉगबुक है।
"मॉडल" (नदी का ब्लूप्रिंट): केवल कच्चे नंबरों को देखने के बजाय, आप अपनी लॉगबुक के आधार पर नदी का एक डिजिटल जुड़वां (डिजिटल ट्विन) बनाते हैं। आप कहते हैं, "ठीक है, मैंने जो देखा उसके आधार पर, यदि मैं यहाँ दाईं ओर तैरता हूँ, तो 60% संभावना है कि मैं बाईं ओर जाऊँगा और 40% संभावना है कि मैं दाईं ओर जाऊँगा।"
बूटस्ट्रैप (सिमुलेशन): अब, आप केवल वास्तविक लॉगबुक को नहीं देखते। आप अपने कंप्यूटर से पूछते हैं: "यदि मैं मेरे डिजिटल ब्लूप्रिंट का उपयोग करके इस नदी में 1,000 बार तैरता हूँ, तो परिणाम कैसे दिखेंगे?"
- कंप्यूटर एक नई "नकली" लॉगबुक का सिमुलेशन करता है।
- वह उस नकली लॉगबुक के आधार पर नदी की धाराओं की गणना करता है।
- वह इस प्रक्रिया को 1,000 बार दोहराता है।
परिणाम: अब आपके पास नदी की धाराओं के 1,000 अलग-अलग संस्करण हैं। आप देख सकते हैं कि वे कितना भिन्न होते हैं। यदि वे सभी समान दिखते हैं, तो आप बहुत आश्वस्त हैं। यदि वे बहुत अलग दिखते हैं, तो आप जानते हैं कि आपका डेटा अस्थिर है, और आपका "कॉन्फिडेंस इंटरवल" (संभावित उत्तरों की सीमा) व्यापक होना चाहिए।

यह शोध पत्र विशेष क्यों है

अधिकांश पिछले तरीकों में यह सिमुलेशन करने के दो बड़े मुद्दे थे:

उन्होंने माना कि नदी स्थिर थी: उन्होंने माना कि पिछला यात्री हमेशा एक ही तरह से व्यवहार करता था। लेकिन वास्तविक जीवन में (जैसे AI प्रशिक्षण में), यात्री धारा के बीच में अपनी रणनीति बदल सकता है।
वे छोटी यात्राओं के साथ विफल रहे: यदि लॉगबुक में केवल छोटी यात्राएं (एपिसोड) थीं, तो पुराने तरीके पूरी तरह से टूट जाते थे।

यह शोध पत्र एक मॉडल-बेस्ड बूटस्ट्रैप पेश करता है जो तब भी काम करता है जब:

यात्री का व्यवहार समय के साथ बदलता है (नॉन-स्टेशनरी)।
यात्री को याद रहता है कि वह पाँच कदम पहले कहाँ था (हिस्ट्री-डिपेंडेंट)।
डेटा छोटी किस्तों (एपिसोड) में आता है, न कि एक लंबी, निरंतर धारा के रूप में।

पर्दे के पीछे का "जादू"

लेखकों ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने गणितीय रूप से इसे सिद्ध किया है।

उन्होंने दिखाया कि जैसे-जैसे आपको अधिक डेटा मिलता है, उनके सिमुलेशन का "हिलने का दायरा" (wiggle room) वास्तविक दुनिया के "हिलने के दायरे" से पूरी तरह मेल खाता है।
उन्होंने सिद्ध किया कि यह विधि दो मुख्य लक्ष्यों के लिए काम करती है:
- OPE (ऑफलाइन पॉलिसी इवैल्यूएशन): "यदि मैं इस विशिष्ट रणनीति का उपयोग करता हूँ, तो यह कैसा प्रदर्शन करेगी?"
- OPR (ऑप्टिमल पॉलिसी रिकवरी): "मैं सबसे अच्छी रणनीति क्या खोज सकता हूँ?"

RiverSwim प्रयोग

अपने विचार का परीक्षण करने के लिए, लेखकों ने RiverSwim समस्या का उपयोग किया। एक नदी की कल्पना करें जिसमें 6 स्थान हैं।

जाल (The Trap): "अच्छे" पुरस्कार अंतिम छोर (स्थान 6) पर हैं, लेकिन धारा वहाँ पहुँचना बहुत कठिन बना देती है। "बुरे" पुरस्कार शुरुआत (स्थान 1) पर हैं, जहाँ पहुँचना आसान है।
चुनौती: क्योंकि पिछला यात्री स्थान 6 पर बहुत कम गया, इसलिए वहां डेटा बहुत कम (sparse) है। पुराने तरीके आत्मविश्वास से कह देंगे, "हमें पता है कि स्थान 6 पर क्या होता है!" (जो कि एक झूठ है)।
परिणाम: नया मॉडल-बेस्ड बूटस्ट्रैप सही ढंग से पहचान लेता है कि वह स्थान 6 के बारे में अनिश्चित है और वह संभावनाओं की एक व्यापक और ईमानदार सीमा प्रदान करता है। इसने अपने कॉन्फिडेंस इंटरवल में लगभग पूर्ण सटीकता प्राप्त की, जबकि पुराने तरीके अक्सर "अति-आत्मविश्वासी" और गलत थे, खासकर जब डेटा कम था।

सारांश में

यह शोध पत्र AI डेटा को देखने के लिए हमें एक बेहतर "आवर्धक लेंस" (magnifying glass) देता है। एक एकल गणना पर अंधाधुंध भरोसा करने के बजाय, यह हमें हमारे पास मौजूद डेटा के आधार पर हजारों "क्या-होता-अगर" (what-if) परिदृश्यों को चलाने की अनुमति देता है। यह हमें यह जानने में मदद करता है कि हम अपने AI के भविष्यवाणियों पर कितना भरोसा कर सकते हैं, भले ही डेटा अव्यवस्थित हो, छोटा हो, या किसी ऐसे यात्री से आया हो जिसने बीच रास्ते में अपनी रणनीति बदल दी हो।

तकनीकी सारांश: नियंत्रित मार्कोव श्रृंखलाओं का मॉडल-आधारित बूटस्ट्रैप (Model-based Bootstrap of Controlled Markov Chains)

समस्या विवरण (Problem Statement)

यह शोध पत्र उन परिदृश्यों में सीमित नियंत्रित मार्कोव श्रृंखलाओं (Controlled Markov Chains - CMCs) के लिए सांख्यिकीय अनुमान (statistical inference) की चुनौती को संबोधित करता है, जहाँ डेटा उत्पन्न करने वाली व्यवहार नीति (behavior policy) गैर-स्थिर (nonstationary) या इतिहास-निर्भर (history-dependent) हो सकती है। यह परिदृश्य ऑफलाइन सुदृढीकरण शिक्षण (Offline Reinforcement Learning - RL) में प्रचलित है, जहाँ डेटा एक अज्ञात व्यवहार नीति $\pi_b$ द्वारा एकत्र किया जाता है जो स्थिरता या मार्कोवियनता (Markovianity) की धारणाओं को पूरा नहीं करती है।

मार्कोव श्रृंखलाओं के लिए मौजूदा बूटस्ट्रैप तरीके अक्सर स्थिरता या विशिष्ट मिश्रण स्थितियों (mixing conditions) पर निर्भर करते हैं जो सामान्य CMCs के लिए लागू नहीं होती हैं, जिनमें इतिहास-निर्भर नियंत्रण होते हैं। इसके अतिरिक्त, सेंट्रल लिमिट थ्योरम (CLT) पर आधारित मानक प्लग-इन कॉन्फिडेंस इंटरवल्स (CIs) को कोवेरिएंस अनुमान (covariance estimation) की आवश्यकता होती है, जिससे परिमित-नमूना (finite-sample) प्रदर्शन खराब हो सकता है। लेखक दो खुले प्रश्नों की पहचान करते हैं:

क्या बिना स्थिरता या मार्कोवियनता की आवश्यकता के, सीमित CMCs के लिए एक मॉडल-आधारित बूटस्ट्रैप विकसित किया जा सकता है?
क्या ऐसे बूटस्ट्रैप अनुमानक की वितरण संबंधी निरंतरता (distributional consistency) को स्थापित किया जा सकता है और इसे डाउनस्ट्रीम RL कार्यों जैसे ऑफ-पॉलिसी इवैल्यूएशन (OPE) और ऑप्टिमल पॉलिसी रिकवरी (OPR) तक विस्तारित किया जा सकता है?

कार्यप्रणाली (Methodology)

मॉडल और डेटा सेटअप (Model and Data Setup)

लेखक एक सीमित CMC $\{(X_i, A_i)\}_{i \ge 0}$ पर विचार करते हैं जिसमें स्टेट स्पेस $\mathcal{S}$ और एक्शन स्पेस $\mathcal{A}$ है। ट्रांज़िशन कर्नेल $M(a)_{s,t} = P(X_{i+1}=t | X_i=s, A_i=a)$ है। देखा गया ऑफलाइन डेटासेट $\mathcal{D}_n$ निश्चित लंबाई $T$ के $K$ एपिसोड्स का एक संग्रह है (जहाँ $n=KT $), जिसे एक अज्ञात व्यवहार नीति$ \pi_b $द्वारा उत्पन्न किया गया है। नीति$ \pi_b$ को गैर-स्थिर और इतिहास-निर्भर होने की अनुमति है।

$\mathcal{D}_n$ से, लेखक निम्नलिखित की गणना करते हैं:

काउंट-आधारित अनुभवजन्य ट्रांज़िशन अनुमानक (Count-based empirical transition estimator): $\hat{M}(a)_{s,t} = N(a)_{s,t} / N(a)_s$ ।
अनुभवजन्य व्यवहार नीति (Empirical behavior policy): $\hat{\pi}_b(a|s) = N(a)_s / N_s$ ।

मॉडल-आधारित बूटस्ट्रैप प्रक्रिया (Model-Based Bootstrap Procedure)

प्रस्तावित विधि अनुभवजन्य ट्रांज़िशन कर्नेल $\hat{M}$ और अनुभवजन्य व्यवहार नीति $\hat{\pi}_b$ का उपयोग करके एक बूटस्ट्रैप CMC $\{(X^*_i, A^*_i)\}_{i \ge 0}$ का निर्माण करती है।

आरंभीकरण (Initialization): प्रत्येक बूटस्ट्रैप प्रतिकृति (replicate) $j$ के लिए, प्रक्रिया मूल एपिसोड के देखे गए प्रारंभिक अवस्था से शुरू होती है, $X^{*(k,j)}_0 = X^{(k)}_0$ ।
सिमुलेशन (Simulation): ट्रांज़िशन को क्रमवार रूप से $\hat{\pi}_b(\cdot | X^{*(k,j)}_i)$ से एक्शन $A^{*(k,j)}_i$ सैंपल करके और $\hat{M}(A^{*(k,j)}_i)_{X^{*(k,j)}_i, \cdot}$ से अगली अवस्था $X^{*(k,j)}_{i+1}$ सैंपल करके उत्पन्न किया जाता है।
अनुमान (Estimation): सिम्युलेटेड डेटासेट $\mathcal{D}^*_n$ से, एक बूटस्ट्रैप ट्रांज़िशन अनुमानक $\hat{M}^*$ की गणना की जाती है।
प्रतिकृति (Replication): $\hat{M}^{*(1)}, \dots, \hat{M}^{*(B)}$ प्राप्त करने के लिए इस प्रक्रिया को $B$ बार दोहराया जाता है।

डाउनस्ट्रीम अनुप्रयोग (Downstream Applications)

बूटस्ट्रैप को दो डाउनस्ट्रीम लक्ष्यों पर लागू किया जाता है:

ऑफ-पॉलिसी इवैल्यूएशन (OPE): $\hat{M}$ और $\hat{M}^*$ के साथ बेलमैन समीकरणों (Bellman equations) को हल करके एक निश्चित लक्ष्य नीति $\pi$ के लिए वैल्यू फंक्शन $V_\pi$ और Q-फंक्शन $Q_\pi$ का अनुमान लगाना।
ऑप्टिमल पॉलिसी रिकवरी (OPR): $\hat{M}$ और $\hat{M}^*$ के साथ अनुकूलतम बेलमैन समीकरणों को हल करके अनुकूलतम वैल्यू फंक्शन $V_\star$ और $Q_\star$ का अनुमान लगाना।

कॉन्फिडेंस इंटरवल बूटस्ट्रैप प्रतिकृतियों के अनुभवजन्य क्वांटाइल्स (percentile CI) या पाइवट विधियों (pivot methods) का उपयोग करके बनाए जाते हैं।

मुख्य सैद्धांतिक योगदान (Key Theoretical Contributions)

1. बूटस्ट्रैप वितरण संबंधी निरंतरता (Bootstrap Distributional Consistency)

यह शोध पत्र संभावित रूप से गैर-स्थिर या इतिहास-निर्भर नीतियों वाले सीमित CMCs में मॉडल-आधारित बूटस्ट्रैप के लिए पहले वितरण संबंधी निरंतरता परिणामों को स्थापित करता है।

सिंगल-चेन रिजीम ( $K=1, T \to \infty$ ): थ्योरम 1 सिद्ध करता है कि डेटा $\mathcal{D}_n$ पर सशर्त, $\sqrt{n} \text{vec}(\hat{M}^* - \hat{M})$ एक गॉसियन सीमा $N(0, \bar{\Lambda})$ में अभिसरित (converge) होता है, जो मूल अनुमानक $\sqrt{n} \text{vec}(\hat{M} - M)$ के एसिम्प्टोटिक वितरण से मेल खाता है।
एपिसोडिक रिजीम ( $T$ स्थिर, $K \to \infty$ ): प्रपोजिशन 1 एपिसोड्स को छद्म-ट्रांज़िशन (pseudo-transitions) के माध्यम से एक एकल श्रृंखला में एम्बेड करके इस परिणाम को एपिसोडिक सेटिंग में विस्तारित करता है। यह पुष्टि करता है कि बूटस्ट्रैप निरंतर रहता है भले ही एपिसोड्स रीसेट द्वारा अलग किए गए हों।

तकनीकी उपकरण (Technical Tools):

विज़िटेशन काउंट्स ( $N^*_s/n \to p_s$ a.s.) के लिए एक नवीन बूटस्ट्रैप लॉ ऑफ लार्ज नंबर्स (LLN)।
निर्भरता संरचना को संभालने के लिए कमजोर मिश्रण स्थितियों (Assumptions 1–3) का उपयोग करते हुए बूटस्ट्रैप ट्रांज़िशन वृद्धि (increments) के लिए मार्टिंगेल सेंट्रल लिमिट थ्योरम (CLT) का एक नवीन अनुप्रयोग।

2. OPE और OPR के लिए वैधता (Validity for OPE and OPR)

प्रपोजिशन 2 डेल्टा मेथड (Delta Method) का उपयोग करके वैल्यू और Q-फंक्शन अनुमानकों के लिए वितरण संबंधी निरंतरता को विस्तारित करता है।

लेखक ट्रांज़िशन ब्लॉक मैट्रिक्स के सापेक्ष बेलमैन ऑपरेटर्स की हाडामार्ड डिफरेंशिएबिलिटी (Hadamard differentiability) को सत्यापित करते हैं।
OPE के लिए, $V_\pi$ और $Q_\pi$ की बूटस्ट्रैप प्रतिकृतियां मूल अनुमानकों के समान गॉसियन सीमाओं की ओर अभिसरित होती हैं।
OPR के लिए, एक गैर-अपभ्रष्टता स्थिति (अनुकूलतम और उप-अनुकूलतम क्रियाओं के बीच सख्ती से सकारात्मक अंतर) के तहत, $V_\star$ और $Q_\star$ की बूटस्ट्रैप प्रतिकृतियां भी वितरण संबंधी निरंतरता प्राप्त करती हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक RiverSwim समस्या ( $S=6, A=2$ ) पर परिमित-नमूना प्रदर्शन का मूल्यांकन करते हैं, जो असंतुलित विज़िटेशन फ्रीक्वेंसी और लगभग अपभ्रष्ट (near-degenerate) अनुकूलतम नीतियों के कारण कठिन अन्वेषण (exploration) के लिए जाना जाता है।

सेटअप: विभिन्न नमूना आकारों ( $n$ ) और एपिसोड लंबाई ( $T$ ) में एपिसोडिक बूटस्ट्रैप (Hao et al., 2021) और प्लग-इन CLT CIs (Zhu et al., 2024; Su et al., 2026) के विरुद्ध तुलना की गई।
निष्कर्ष:
- प्रस्तावित मॉडल-आधारित बूटस्ट्रैप पर्सेंटाइल CIs बेसलाइनों से काफी बेहतर प्रदर्शन करते हैं, जो अच्छी तरह से-सैंपल किए गए रिजीम ( $n \ge 500$ ) में नाममात्र कवरेज (जैसे, 50% के लिए 0.48–0.54, 90% के लिए 0.87–0.94, 95% केв 0.92–0.97) प्राप्त करते हैं।
- बेसलाइन (एपिसोडिक बूटस्ट्रैप और प्लग-इन CLT) व्यवस्थित अंडर-कवरेज (undercoverage) प्रदर्शित करते हैं, विशेष रूप से छोटे नमूना आकार और छोटी एपिसोड लंबाई पर।
- एपिसोडिक बूटस्ट्रैप $n=50$ पर $T \ge 50$ के लिए पूरी तरह विफल हो जाता है (शून्य कवरेज पर गिर जाता है) क्योंकि एक एकल एपिसोड बूटस्ट्रैप भिन्नता को समाप्त कर देता है।
- प्रदर्शन दुर्लभ रूप से विज़िट किए गए स्टेट-एक्शन पेयर्स (स्टेट 6 के पास) और छोटे हॉरिजन ( $T=10$ ) के लिए सबसे कमजोर है, जो एसिम्प्टोटिक नॉर्मलिटी और नॉन-डेजेनरेसी के सैद्धांतिक बाधाओं के अनुरूप है।

महत्व और सीमाएं (Significance and Limitations)

महत्व:
यह शोध पत्र ऑफलाइन RL में मॉडल-आधारित बूटस्ट्रैप के उपयोग के लिए एक कठोर सैद्धांतिक आधार प्रदान करता है, जो विशेष रूप से उस अंतराल को संबोधित करता है जहाँ व्यवहार नीतियां गैर-स्थिर या इतिहास-निर्भर होती हैं। यह प्रदर्शित करता है कि ऐसे बूटस्ट्रैप स्पष्ट कोवेरिएंस अनुमान की आवश्यकता के बिना ट्रांज़िशन कर्नेल और डाउनस्ट्रीम RL लक्ष्यों दोनों के लिए एसिम्प्टोटिक रूप से वैध कॉन्फिडेंस इंटरवल प्रदान करते हैं।

सीमाएं और भविष्य की दिशाएं (जैसा कि लेखकों द्वारा कहा गया है):

रिवॉर्ड फंक्शन (Reward Function): विश्लेषण एक ज्ञात रिवॉर्ड फंक्शन को मानता है। हालांकि लेखक नोट करते हैं कि वैधता संभवतः तब भी बनी रहेगी जब रिवॉर्ड अनुमान अभिसरित होता है, रिवॉर्ड अनुमान त्रुटि के परिमित-नमूना प्रभावों का विश्लेषण नहीं किया गया है।
स्टेट-एक्शन स्पेस: वर्तमान परिणाम सीमित स्टेट-एक्शन स्पेस तक ही सीमित हैं। फंक्शन एप्रोक्सिमेशन या निरंतर स्थानों (continuous spaces) तक विस्तार भविष्य के कार्य के लिए छोड़ा गया है।
एसिम्प्टोटिक रिजीम: एपिसोडिक विश्लेषण यह मानता है कि $T$ स्थिर है और $K \to \infty$ है। जहाँ $K$ स्थिर ( $K>1$ ) है और $T \to \infty$ है, उस रिजीम में बूटस्ट्रैप की निरंतरता एक खुला प्रश्न बना हुआ है।
गैर-स्थिर नीतियां: जबकि सिद्धांत गैर-स्थिर नीतियों को समायोजित करता है, संख्यात्मक प्रयोगों में मुख्य रूप से स्थिर व्यवहार नीतियों का उपयोग किया गया है; गैर-स्थिर नीतियों के साथ और अधिक प्रयोगों का सुझाव दिया गया है।