📈 economics

A Bayes-Factor-Guided Approach to Post-Double Selection with Bootstrapped Multiple Imputation

यह शोध पत्र एक अनुक्रमिक साक्ष्य एकत्रीकरण प्रक्रिया का प्रस्ताव करता है जो बूटस्ट्रैप्ड और मल्टीप्ली इमप्यूटेड डेटासेट में पोस्ट-डबल सिलेक्शन मॉडल्स के माध्यम से चर समावेशन को निर्धारित करने के लिए बेयस-फैक्टर-गाइडेड स्टॉपिंग नियम का उपयोग करता है, जिससे अत्यधिक सघन मॉडल्स और पुनरावृत्तियों की संख्या पूर्व-निर्धारित करने की आवश्यकता से बचा जा सके।

मूल लेखक: Johannes Bleher (Department of Econometrics and Empirical Economics & Computational Science Hub, University of Hohenheim), Claudia Tarantola (Department of Economics, Management and Quantitative Metho

प्रकाशित 2026-04-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Johannes Bleher (Department of Econometrics and Empirical Economics & Computational Science Hub, University of Hohenheim), Claudia Tarantola (Department of Economics, Management and Quantitative Methods, University of Milan)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: कौन से विशिष्ट सुराग वास्तव में मामले को सुलझाने के काम आते हैं, और कौन से केवल शोर (noise) हैं?

डेटा साइंस की दुनिया में, इसे वेरिएबल सिलेक्शन (variable selection) कहा जाता है। आपके पास संभावित सुरागों (variables) का एक विशाल ढेर है और आप उन कुछ सुरागों को खोजना चाहते हैं जो वास्तव में परिणाम की व्याख्या करते हैं। लेकिन इसमें दो बड़ी समस्याएँ हैं:

लापता सुराग: कुछ सबूत गायब हैं या धुंधले हैं (मिसिंग डेटा)।
अविश्वसनीय गवाह: यदि आप एक ही गवाह (आपका डेटा) से एक ही सवाल कई बार पूछते हैं, तो वे हर बार थोड़े अलग जवाब दे सकते हैं जो संयोगवश (random chance) होता है (सैंपलिंग वेरिएबिलिटी)।

इसे संभालने के लिए, शोधकर्ता आमतौर पर एक "सुरक्षा जाल" विधि का उपयोग करते हैं जिसे बूटस्ट्रैपिंग और मल्टीपल इम्प्यूटेशन (Bootstrapping and Multiple Imputation) कहा जाता है। यह आपके गवाह से वही सवाल 200 बार पूछने जैसा है, जिसमें हर बार कहानी के लापता हिस्सों को समझदारी भरे अनुमानों से भरा जाता है, और फिर देखा जाता है कि वे क्या कहते हैं।

पुराना तरीका: "यूनियन" बनाम "सख्त वोट"

जब आप गवाह से 200 बार पूछते हैं, तो आपको 200 अलग-अलग "महत्वपूर्ण सुरागों" की सूचियाँ मिलती हैं। आप उन्हें कैसे जोड़ते हैं?

यूनियन नियम (द होर्डर - संग्रह करने वाला): "यदि कोई सुराग 200 सूचियों में से कम से कम एक बार भी आया है, तो उसे रखें!"
- परिणाम: आपके पास 50 सुरागों का एक विशाल बैग बन जाता है, जिनमें से अधिकांश बेकार हैं। आपका मॉडल बहुत भीड़भाड़ वाला और भ्रमित करने वाला हो जाता है।
फ्रीक्वेंसी नियम (द स्ट्रिक्ट वोटर - सख्त मतदाता): "एक सुराग को रखे जाने के लिए कम से कम 75% सूचियों में दिखाई देना चाहिए।"
- परिणाम: आपको एक बहुत छोटी सूची प्राप्त होती है। लेकिन आप अनजाने में एक वास्तविक सुराग को भी फेंक सकते हैं जो बस "शर्मीला" था और पर्याप्त बार सामने नहीं आया।

नया दृष्टिकोण: "बेज़-फैक्टर डिटेक्टिव" (The Bayes-Factor Detective)

इस शोध पत्र के लेखक एक स्मार्ट और अधिक गतिशील तरीका प्रस्तावित करते हैं। केवल वोटों को गिनने के बजाय, वे इस प्रक्रिया को साक्ष्य संचय के खेल (game of accumulating evidence) की तरह देखते हैं।

यहाँ उपमा (analogy) दी गई है:

1. डिटेक्टिव की नोटबुक (साक्ष्य लॉग)

कल्पना कीजिए कि आपके पास हर एक सुराग के लिए एक नोटबुक है। शुरुआत में, हर सुराग का स्कोर 0 होता है।

अच्छी खबर: यदि कोई सुराग एक सूची में दिखाई देता है, तो आप उसके स्कोर में अंक जोड़ देते हैं।
बुरी खबर: यदि कोई सुराग दिखाई नहीं देता है, तो आप अंक घटा देते हैं।

लेकिन यहाँ एक मोड़ है: अंक समान नहीं हैं।

यदि कोई सुराग वास्तव में महत्वपूर्ण है, तो उसे अक्सर दिखाई देना चाहिए। इसलिए, जब वह दिखाई देता है, तो आप उसे स्कोर में एक बड़ा उछाल (big boost) देते हैं।
यदि कोई सुराग अप्रासंगिक (irrelevant) है, तो वह कभी-कभी गलती से दिखाई दे सकता है। इसलिए, जब वह दिखाई नहीं देता, तो आप एक मध्यम मात्रा में अंक घटाते हैं।
यदि कोई अप्रासंगिक सुराग गलती से दिखाई देता है, तो आप उसे केवल एक मामूली उछाल (tiny boost) देते हैं।

यह बेज़ फैक्टर (Bayes Factor) वाला हिस्सा है। यह एक गणितीय तरीका है यह कहने का: "इस सुराग के दिखने के बाद, इसकी कितनी संभावना है कि यह असली है?"

2. दो थ्रेशोल्ड (दो फिनिश लाइनें)

इसके बजाय कि आप एक निश्चित 200 राउंड के लिए खेल चलाएं (जिससे समय बर्बाद होता है), डिटेक्टिव के पास नोटबुक में दो फिनिश लाइनें होती हैं:

"दोषी" लाइन (ऊपर): यदि किसी सुराग का स्कोर काफी ऊपर चला जाता है, तो आप उसकी जांच करना बंद कर देते हैं। आप घोषित करते हैं, "यह सुराग निश्चित रूप से महत्वपूर्ण है!"
"निर्दोष" लाइन (नीचे): यदि किसी सुराग का स्कोर काफी नीचे गिर जाता है, तो आप उसकी जांच करना बंद कर देते हैं। आप घोषित करते हैं, "यह सुराग निश्चित रूप से शोर (noise) है।"

3. "जल्दी रुकने" की सुपरपावर

यह सबसे अच्छा हिस्सा है।

यदि कोई सुराग बहुत महत्वपूर्ण है, तो वह 10 राउंड के बाद ही "दोषी" लाइन तक पहुँच जाएगा। आप उसे चेक करने में समय बर्बाद करना बंद कर देते हैं।
यदि कोई सुराग पूरी तरह से फर्जी है, तो वह 10 राउंड में ही "निर्दोष" लाइन तक पहुँच जाएगा। आप उसे भी चेक करना बंद कर देते हैं।
आप केवल उन "शायद" वाले सुरागों को तब तक देखते रहते हैं जब तक कि आप सुनिश्चित न हो जाएं।

यह बेहतर क्यों है?

दक्षता (Efficiency): आपको हर सुराग के लिए 200 राउंड चलाने की आवश्यकता नहीं है। आप 50 राउंड में ही पूरा मामला सुलझा सकते हैं क्योंकि आपने स्पष्ट चीजों के लिए जल्दी रुकना शुरू कर दिया।
सटीकता (Accuracy): आप केवल वोटों को नहीं गिनते; आप साक्ष्य की ताकत को भी तौलते हैं। एक सुराग जो लगातार दिखाई देता है, उसे उस सुराग की तुलना में उच्च स्कोर मिलता है जो रुक-रुक कर आता है।

वास्तविक दुनिया का परीक्षण

लेखकों ने महिलाओं के रोजगार के बारे में एक वास्तविक डेटासेट (यूरोपीय सर्वेक्षण डेटा का उपयोग करके) पर इसका परीक्षण किया।

पुराना तरीका (यूनियन नियम): 55 वेरिएबल्स चुने (बहुत अधिक)।
पुराना तरीका (सख्त वोट): 31 वेरिएबल्स चुने (शायद बहुत कम)।
नया तरीका: 34 वेरिएबल्स चुने। इसने "स्वीट स्पॉट" (सही संतुलन) खोज लिया—सबसे महत्वपूर्ण सुरागों को रखते हुए बेकार के सुरागों को हटा दिया, और यह काम पुराने तरीकों की तुलना में 75% तेजी से किया।

सारांश

इस शोध पत्र को एक मतदान केंद्र (जहाँ आप केवल सिर गिनते हैं) से स्मार्ट डिटेक्टिव (जो साक्ष्य की गुणवत्ता को तौलता है) में अपग्रेड के रूप में देखें।

पुराना तरीका: "आइए 200 बार पूछें और देखें कि कौन सामने आता है।" (धीमा और कठोर)।
नया तरीका: "आइए कुछ बार पूछें। यदि साक्ष्य मजबूत है, तो हम रुक जाते हैं। यदि कमजोर है, तो हम रुक जाते हैं। यदि अस्पष्ट है, तो हम पूछते रहते हैं।" (तेज, लचीला और अधिक स्मार्ट)।

यह शोधकर्ताओं को बेकार के वेरिएबल्स के जंगल में खोए बिना या अंतहीन गणनाओं में समय बर्बाद किए बिना, अव्यवस्थित और अधूरे डेटा में सच्चाई खोजने में सक्षम बनाता है।

यहाँ जोहान्स ब्लेहर और क्लाउडिया टेंटोला के शोध पत्र "A Bayes-Factor-Guided Approach to Post-Double Selection with Bootstrapped Multiple Imputation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

उच्च-आयामी डेटा (high-dimensional data) से जुड़े अनुभवजन्य अनुसंधान (empirical research) में, शोधकर्ता अक्सर दो साथ मिलकर चलने वाली चुनौतियों का सामना करते हैं:

चर चयन (Variable Selection): एक रुचि वाले चर ( $D$ ) का परिणाम ( $Y$ ) पर प्रभाव का अनुमान लगाने के लिए, उम्मीदवारों के एक बड़े समूह में से नियंत्रण चरों (control variables) का एक संक्षिप्त सेट की पहचान करना। पोस्ट-डबल सिलेक्शन (PDS) विधि (बेलोनी एट अल., 2014) एक मानक दृष्टिकोण है जो आउटकम समीकरण और $D$ के लिए एक सहायक समीकरण दोनों में LASSO के माध्यम से नियंत्रणों का चयन करती है।
डेटा अनिश्चितता (Data Uncertainty): वास्तविक दुनिया के डेटा में अक्सर लुप्त मान (missing values) होते हैं (जिसके लिए मल्टीपल इम्प्यूटेशन, MI की आवश्यकता होती है) और सैंपलिंग अनिश्चितता के मूल्यांकन की आवश्यकता होती है (जिसके लिए बूटस्ट्रैप पुनरावृत्ति/Bootstrap resampling की आवश्यकता होती है)।

मुख्य मुद्दा: जब PDS को बूटस्ट्रैप्ड और मल्टी-इम्प्यूटेड डेटासेट्स (BOOT-MI) के माध्यम से बार-बार लागू किया जाता है, तो चयनित चरों का सेट विभिन्न पुनरावृत्तियों (iterations) में बदल जाता है।

यूनियन नियम (Union Rule): सभी चयनित चरों का संघ (union) लेकर परिणामों को एकत्रित करने से अत्यधिक सघन मॉडल बनते हैं जिनमें कई अप्रासंगिक कोवेरिएट्स शामिल होते हैं।
आवृत्ति सीमाएँ (Frequency Thresholds): निश्चित आवृत्ति सीमाओं (जैसे, सभी पुनरावृत्तियों में >50% बार दिखने वाले चरों का चयन करना) के आधार पर एकत्रीकरण मनमाना हो सकता है, जिससे निरंतर लेकिन कमजोर संकेतों वाले चर छूट सकते हैं या शोर (noise) बरकरार रह सकता है।
रोकने के नियमों का अभाव (Lack of Stopping Rules): मौजूदा तरीकों में आमतौर पर ex ante (पूर्व निर्धारित) रूप से बूटस्ट्रैप/इम्प्यूटेशन पुनरावृत्तियों की संख्या को निश्चित करना आवश्यक होता है, जो कम्प्यूटेशनल रूप से अक्षम है और इसमें एक सिद्धांतपूर्ण स्टॉपिंग क्राइटेरियम (stopping criterion) की कमी है।

लेखक एक समाधान प्रस्तावित करते हैं जो हयूरिस्टिक (heuristic) एकत्रीकरण नियमों से आगे बढ़कर एक अनुक्रमिक साक्ष्य-आधारित ढांचे (sequential evidence-based framework) की ओर बढ़ता है जो गतिशील रूप से चर की प्रासंगिकता निर्धारित करता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित विधि PDS स्क्रीनिंग को एक अनुक्रमिक साक्ष्य संचय ढांचे (sequential evidence accumulation framework) के भीतर एकीकृत करती है। यह विचलन पुनरावृत्तियों (perturbation iterations) के माध्यम से चर चयन प्रक्रिया को बर्नुली परीक्षणों (Bernoulli trials) की एक श्रृंखला के रूप में मानती है।

A. पुनरावृत्ति के भीतर की प्रक्रिया (Within-Iteration Procedure - BOOT-MI)

प्रत्येक पुनरावृत्ति $t$ के लिए:

बूटस्ट्रैप (Bootstrap): अधूरे डेटासेट से एक नमूना लें।
इम्प्यूटेशन (Imputation): पूर्ण डेटासेट बनाने के लिए स्टोकेस्टिक इम्प्यूटेशन करें।
PDS स्क्रीनिंग:
- आउटकम समीकरण ( $Y \sim D + X$ ) पर LASSO चलाएं ताकि सेट $S_{Y,t}$ प्राप्त हो सके।
- सहायक समीकरण ( $D \sim X$ ) पर LASSO चलाएं ताकि सेट $S_{D,t}$ प्राप्त हो सके।
- उम्मीदवार सेट $S_t = S_{Y,t} \cup S_{D,t}$ बनाएँ।
असममित पहचान नियम (Asymmetric Detection Rule): चर $j$ $j$ के लिए एक बाइनरी इंडिकेटर $Z_{jt}$ $Z_{j t}$ परिभाषित करें:
- यदि $j \in S_{D,t}$ (सहायक समीकरण में चयनित), तो $Z_{jt} = 1$ (अनिवार्य रूप से रिटेन)।
- यदि $j$ केवल $S_{Y,t}$ में है, तो $Z_{jt} = 1$ केवल तभी यदि पोस्ट-सिलेक्शन आउटकम रिग्रेशन में $X_j$ का गुणांक सांख्यिकीय रूप से महत्वपूर्ण है। अन्यथा, $Z_{jt} = 0$ ।
- यह आउटकम-ओनली चरों के लिए एक सख्त फ़िल्टर बनाता है ताकि ओवरफिटिंग को कम किया जा सके।

B. अनुक्रमिक साक्ष्य एकत्रीकरण (Sequential Evidence Aggregation)

चरों के $Z_{jt}$ को एकीकरण के लिए आवृत्ति या यूनियन के बजाय, लेखक $\{Z_{jt}\}_{t=1}^T$ के अनुक्रम को एक स्टोकेस्टिक डिटेक्शन प्रक्रिया के रूप में मॉडल करते हैं।

परिकल्पनाएँ (Hypotheses):
- $H_0$ : चर $j$ अप्रासंगिक है।
- $H_1$ : चर $j$ प्रासंगिक है।
वर्किंग मॉडल (Working Model): मान लें कि $Z_{jt} \sim \text{Bernoulli}(\pi_h)$ $Z_{j t} \sim Bernoulli (π_{h})$ , जहाँ $\pi_1 > \pi_0$ $π_{1} > π_{0}$ ।
- $\pi_1$ : प्रासंगिकता दिए जाने पर पहचान की संभावना।
- $\pi_0$ : अप्रासंगिकता दिए जाने पर पहचान की संभावना (फॉल्स पॉजिटिव रेट)।
लाइकलीहुड रेशियो (बेज़ फ़ैक्टर - Bayes Factor): $H_1$ $H_{1}$ बनाम $H_0$ $H_{0}$ के लिए साक्ष्य को लॉग-लाइकलीहुड रेशियो के माध्यम से संचित किया जाता है:
$\log E_{jt} = \log E_{j,t-1} + \left[ Z_{jt} \log\left(\frac{\pi_1}{\pi_0}\right) + (1-Z_{jt}) \log\left(\frac{1-\pi_1}{1-\pi_0}\right) \right]$
- एक डिटेक्शन ( $Z_{jt}=1$ ) सकारात्मक साक्ष्य जोड़ता है।
- एक नॉन-ड डिटेक्शन ( $Z_{jt}=0$ ) नकारात्मक साक्ष्य जोड़ता है।

C. अंशांकन और रुकना (Calibration and Stopping)

पायलट अंशांकन (Pilot Calibration): चरों के डिटेक्शन फ्रीक्वेंसी से $\hat{\pi}_0$ और $\hat{\pi}_1$ का अनुमान लगाने के लिए एक लघु पायलट चरण (जैसे, $T_{pilot}=20$ ) का उपयोग किया जाता है। $\hat{\pi}_0$ को अत्यधिक आक्रामक संचय को रोकने के लिए रेगुलराइज किया जाता है।
रुकने का नियम (Stopping Rule): प्रक्रिया तब तक चलती है जब तक कि:
- $\log E_{jt} \geq c$ (इसे प्रासंगिक के रूप में वर्गीकृत किया जाता है)।
- $\log E_{jt} \leq -c$ (इसे अप्रासंगिक के रूप में वर्गीकृत किया जाता है)।
- $t = T_{max}$ (अधिकतम पुनरावृत्तियाँ पूरी हो जाती हैं)।
निर्णय-सिद्धांत लिंक (Decision-Theoretic Link): थ्रेशोल्ड $c$ , फॉल्स इंक्लूजन/एक्सक्लूजन के लिए विशिष्ट लॉस फंक्शन्स के तहत बेज़-ऑप्टिमल निर्णय नियम के अनुरूप है।

3. मुख्य योगदान (Key Contributions)

अनुक्रमिक निर्णय ढांचा (Sequential Decision Framework): BOOT-MI पुनरावृत्तियों में चर चयन एकत्रीकरण को एक अनुक्रमिक परिकल्पना परीक्षण समस्या के रूप में प्रस्तुत करता है, जिससे पुनरावृत्तियों की संख्या को ex ante तय करने की आवश्यकता समाप्त हो जाती है।
बेज़ फ़ैक्टर व्याख्या (Bayes-Factor Interpretation): एक लाइकलीहुड-रेशियो-आधारित साक्ष्य माप प्रदान करता है जो डिटेक्शन बनाम नॉन-डटेक्शन को असममित रूप से तौलने का एक सिद्धांतपूर्ण तरीका प्रदान करता है।
असममित पहचान नियम (Asymmetric Detection Rule): एक दो-चरणीय पहचान नियम पेश करता है जो आउटकम-चयनित चरों को सहायक-चयनित चरों की तुलना में अधिक सख्ती से फ़िल्टर करता है, जिससे स्थिरता में सुधार होता है।
अनुभवजन्य अंशांकन रणनीति (Empirical Calibration Strategy):ness: विशिष्ट डेटासेट विशेषताओं के अनुकूल होने के लिए डेटा से सीधे डिटेक्शन संभावनाओं ( $\pi_0, \pi_1$ ) का अनुमान लगाने के लिए एक पायलट-आधारित विधि प्रस्तावित करता है।

4. परिणाम (Results)

लेखकों ने 126 परिदृश्यों के मोंटे कार्लो अध्ययन और यूरोपीय सोशल सर्वे (ESS) डेटा के एक अनुभवजन्य अनुप्रयोग के माध्यम से अपने तरीके का मूल्यांकन किया।

मोंटे कार्लो सिमुलेशन (Monte Carlo Simulation)

चर चयन सटीकता (Variable Selection Accuracy):
- यूनियन नियम (Union Rule) ने पूर्ण संवेदनशीलता (TPR=1.0) प्राप्त की लेकिन सभी 50 चरों को चुना (FPR=1.0), जिसके परिणामस्वरूप अत्यधिक सघन मॉडल बने।
- आवृत्ति सीमाएँ (Frequency Thresholds 50%/75%) बहुत रूढ़िवादी थीं, जिससे कठिन सेटिंग्स (छोटे सैंपल, MNAR मिसिंगनेस) में प्रासंगिक चर छूट गए (कम TPR)।
- प्रस्तावित विधि: मध्यम स्तर के चयनात्मक तरीकों में उच्चतम TPR (0.774) प्राप्त किया जबकि एक उचित मॉडल आकार (21.1 चर बनाम यूनियन के लिए 50) बनाए रखा। इसने आवृत्ति सीमाओं को पछाड़ दिया, विशेष रूप से छोटे नमूनों और उच्च-मिसिंगनेस वाले परिदृश्यों में।
अनुमान प्रदर्शन (Estimation Performance): प्रस्तावित विधि ने 50% आवृत्ति सीमा के समान बायस (bias) और RMSE दिया, लेकिन बेहतर कवरेज (85.1% बनाम 84.5%) के साथ, जो अधिक विश्वसनीय निष्कर्ष का संकेत देता है।
कम्प्यूटेशनल दक्षता (Computational Efficiency): अनुक्रमिक स्टॉपिंग नियम ने औसत पुनरावृत्तियों को 200 से घटाकर 50.7 कर दिया, जो कम्प्यूटेशनल लागत में 75% की कमी है।

अनुभवजन्य चित्रण (ESS डेटा)

महिलाओं के रोजगार (N=8,543) के अध्ययन पर लागू किया गया।
मॉडल आकार: प्रस्तावित विधि ने 34 चर चुने, जो यूनियन नियम (55 चर) और 75% आवृत्ति नियम (31 चर) के बीच में है।
मजबूती (Robustness): रुचि के चर के लिए अनुमानित गुणांक सभी एकत्रीकरण विधियों में सांख्यिकीय रूप से महत्वहीन और स्थिर था, लेकिन प्रस्तावित विधि ने निश्चित सीमाओं की मनमानी के बिना अधिक व्याख्या योग्य, डेटा-संचालित नियंत्रण उपसमुच्चय प्रदान किया।

5. महत्व और निहितार्थ (Significance and Implications)

व्यावहारिक उपयोगिता: यह विधि मिसिंग डेटा वाले उच्च-आयामी निष्कर्षों में "एग्रीगेशन डिलेमा" (aggregation dilemma) को हल करती है, जो यूनियन नियम की समावेशिता और आवृत्ति सीमाओं की कठोरता के बीच एक मध्य मार्ग प्रदान करती है।
दक्षता: एक प्राकृतिक स्टॉपिंग नियम प्रदान करके, यह महत्वपूर्ण कम्प्यूटेशनल संसाधनों की बचत करता है, जो बूटस्ट्रैप्ड मल्टीपल इम्प्यूटेशन वर्कफ़्लो के लिए अत्यंत महत्वपूर्ण है।
सैद्धांतिक कठोरता: यह फ्रिक्वेंटिस्ट रिसैंपलिंग विधियों को बेज़ियन साक्ष्य संचय के साथ जोड़ता है, जो चर समावेश के लिए एक निर्णय-सिद्धांत आधारित औचित्य प्रदान करता है।
सामान्यीकरण (Generalizability): हालांकि इसे LASSO और PDS के साथ प्रदर्शित किया गया है, यह ढांचा किसी भी चयन पद्धति के लिए लागू किया जा सकता है जो बाइनरी डिटेक्शन इंडिकेटर्स उत्पन्न करती है, जिसमें मशीन लर्निंग एल्गोरिदम भी शामिल हैं।

सीमाएँ (Limitations): यह विधि इस "वर्किंग मॉडल" धारणा पर निर्भर करती है कि डिटेक्शन इंडिकेटर पुनरावृत्तियों में सशर्त स्वतंत्र (conditionally independent) हैं (जो बूटस्ट्रैप निर्भरता को देखते हुए एक अनुमान है)। हालांकि, सिमुलेशन बताते हैं कि यह अनुमान वास्तव में अच्छा प्रदर्शन करता है। भविष्य के कार्य अनुक्रमिक रन के दौरान अनुकूली अंशांकन और गैर-रेखीय मॉडलों के विस्तार की खोज कर सकते हैं।