Constrained Weighted Bayesian Bootstrap

तकनीकी सारांश: संकुचित भारित बेयसियन बूटस्ट्रैप (Constrained Weighted Bayesian Bootstrap)

समस्या विवरण
सांख्यिकीय शिक्षण कार्यों (statistical learning tasks) में अक्सर बाधाओं (जैसे कि विरलता/sparsity, क्रम प्रतिबंध, आकार संबंधी बाधाएं, या भौतिक सीमाएं) के अधीन फिट के एक माप को अधिकतम करना शामिल होता है। जबकि शास्त्रीय अनुकूलन साहित्य (optimization literature) ऐसी बाधाओं के तहत बिंदु अनुमान (point estimates) प्राप्त करने के लिए कुशल एल्गोरिदम प्रदान करता है, वैध अनिश्चितता मात्रा निर्धारण (uncertainty quantification - जैसे कि कॉन्फिडेंस इंटरवल) का निर्माण करना चुनौतीपूर्ण बना हुआ है। मानक स्पर्शोन्मुखी सिद्धांत (asymptotic theory) अक्सर विफल हो जाते हैं या उनके लिए जटिल पोस्ट-सिलेक्शन अनुमान प्रक्रियाओं की आवश्यकता होती है जब बाधाएं सक्रिय होती हैं।

बेयसियन विधियां पोस्टीरियर वितरण (posterior distribution) के माध्यम से अनिश्चितता मात्रा निर्धारण के लिए एक स्वाभाविक ढांचा प्रदान करती हैं। हालांकि, एक सामान्य संकुचित सेट $\tilde{\Theta} \subset \Theta$ के भीतर समर्थित (support restricted) पोस्टीरियर वितरण से नमूना लेना (sampling) गणनात्मक रूप से कठिन है। लोकप्रिय जेनेरिक सैंपलर जैसे कि हैमिल्टोनियन मोंटे कार्लो (HMC), गैर-सुचारू (non-smooth) बाधाओं के साथ संघर्ष करते हैं, और पोस्ट-हॉक रिजेक्शन सैंपलिंग अक्सर अक्षम होती है यदि संकुचित सेट का अनकन्स्ट्रेंड पोस्टीरियर के तहत प्रायिकता द्रव्यमान कम हो। मौजूदा संकुचित सैंपलिंग दृष्टिकोण, जैसे कि बाधा विश्राम (constraint relaxation - दंड पदों को जोड़ना) या प्रोजेक्शन-आधारित विधियां, अक्सर ट्रेड-ऑफ से ग्रस्त होती हैं: विश्राम विधियां ऐसे नमूने दे सकती हैं जो बाधा सेट से बाहर हों या सही स्पर्शोन्मुखी सहप्रसरण (asymptotic covariance) को पकड़ने में विफल रहती हैं, जबकि प्रोजेक्शन विधियां पोस्टीरियर की ज्यामिति (geometry) को अनदेखा कर सकती हैं या महंगे प्रॉक्सिमल मैपिंग की आवश्यकता रख सकती हैं।

लेखक संकुचित भारित बेयसियन बूटस्ट्रैप (CWBB) का प्रस्ताव करते हैं, जो भारित लाइकलीहुड बूटस्ट्रैप (न्यूटन और राफ्टर, 1994) और भारित बेयसियन बूटस्ट्रैप (न्यूटन एट अल., 2021) का एक अनुकूलन है। मुख्य विचार संकुचित पोस्टीरियर से नमूना लेने की समस्या को संकुचित अनुकूलन समस्याओं (constrained optimization problems) के एक अनुक्रम में बदलना है।

डेटा $x$ जो $f_\theta$ से उत्पन्न हुआ है और एक प्रायर $\pi(\theta)$ दिया गया है, CWBB $\theta^{(t)}$ के नमूने इस प्रकार उत्पन्न करता है:

1. यादृच्छिक भार $w_n \sim n \times \text{Dirichlet}(1, \dots, 1)$ खींचना।
2. निम्नलिखित संकुचित अनुकूलन समस्या को हल करना:
   $$\theta^{(t)} = \arg \max_{\theta \in \Theta} \sum_{i=1}^n w_{n,i} \ell(x_i | \theta) + \log \pi(\theta) \quad \text{विषय} \quad h(\theta) = 0$$
   जहाँ $h(\theta) = 0$ संकुचित सेट $\tilde{\Theta}$ को परिभाषित करता है।

यह दृष्टिकोण बाधाओं को संभालने के लिए तेज़, ऑफ-द-शेल्फ कन्वेक्स ऑप्टिमाइज़ेशन सॉल्वर (जैसे OSQP, कोऑर्डिनेट डिसेंट) का लाभ उठाता है। विश्राम विधियों के विपरीत, जो उद्देश्य फलन (objective function) में एक दंड पैरामीटर $\rho$ के साथ संशोधन करती हैं, CWBB अनुकूलन चरण में समानता बाधाओं (equality constraints) के रूप में बाधाओं को सीधे लागू करता है।

सैद्धांतिक योगदान
लेखक मानक नियमितता शर्तों (जिसमें पहचान क्षमता (identifiability), लॉग-लाइकलीहुड और बाधाओं की सुगमता, और बाधाओं के पूर्ण-रैंक जैकोबियन शामिल है) के तहत दो प्राथमिक सैद्धांतिक परिणाम स्थापित करते हैं:

1. संगति (Consistency - Theorem 1): CWBB नमूने वास्तविक पैरामीटर $\theta_0$ के लिए सशर्त रूप से सुसंगत हैं। जैसे-जैसे नमूना आकार $n \to \infty$ होता है, इस बात की प्रायिकता कि CWBB समाधान $\theta_0$ के $\delta$-पड़ोस के भीतर है, लगभग निश्चित रूप से (almost surely) 1 की ओर अभिसरित होती है।
2. स्पर्शोन्मुखी वितरण (Asymptotic Distribution - Theorem 2): स्केल्ड CWBB नमूनों का स्पर्शोन्मुखी वितरण $\sqrt{n}(\check{\theta}_n - \hat{\theta}_n)$, प्रतिबंधित अधिकतम लाइकलीहुड एस्टिमेटर (RMLE) $\hat{\theta}_n$ पर केंद्रित एक बहुभिन्नरूपी सामान्य वितरण (multivariate normal distribution) की ओर अभिसरित होता है। स्पर्शोन्मुखी सहप्रसरण मैट्रिक्स है:
   $$\Sigma_{CWBB} = J(\theta_0)^{-1} \{ I - U(\theta_0) \}$$
   जहाँ $J(\theta_0)$ फिशर सूचना है और $U(\theta_0)$ बाधाओं के जैकोबियन से प्राप्त एक प्रोजेक्शन मैट्रिक्स है। यह सहप्रसरण कुशल RMLE के समान है, जिसका अर्थ है कि CWBB वैध फ्रीक्वेंटिस्ट कॉन्फिडेंस इंटरवल प्रदान करता है और बाधाओं के कारण होने वाली वेरिएंस की कमी को सही ढंग से कैप्चर करता है।

लेखक बाधा विश्राम विधियों (जैसे $\pi_\rho(\theta) \propto \exp(\sum \log f - \rho q(\theta))$) के साथ तुलना करते हैं। वे दिखाते हैं (प्रपोजिशन 1) कि एक निश्चित दंड $\rho$ के लिए, विश्राम विधियां $n \to \infty$ होने पर भी सही संकुचित स्पर्शोन्मुखी सहप्रसरण प्राप्त करने में विफल हो सकती हैं, क्योंकि वे जब तक दंड $n$ के साथ स्केल नहीं होता, तब तक प्रभावी रूप से बाधाओं को अनदेखा करती हैं।

अनुभवजन्य परिणाम (Empirical Results)
विधि का मूल्यांकन तीन अलग-अलग संकुचित बेयसियन समस्याओं पर किया गया है:

1. गैर-ऋणात्मक क्रम-बद्ध प्रतिगमन (Nonnegative Order-Constrained Regression): एक सेटिंग जहाँ गुणांक गैर-ऋणात्मक और गैर-घटते होने चाहिए, CWBB एक अनकन्स्ट्रेंड गिब्स सैंपलर (जो बाधाओं को अनदेखा करता है) की तुलना में तुलनीय कवरेज प्रोबेबिलिटी दिखाता है, लेकिन काफी अधिक सटीक अंतराल (tighter intervals) के साथ जो बाधाओं का सम्मान करते हैं। महत्वपूर्ण रूप से, CWBB प्रतिस्पर्धी विधियों जैसे कि ProxMCMC या बाधा विश्राम की तुलना में आदेशों की कोटि (orders of magnitude) तेजी से रनटाइम के साथ यह हासिल करता है, जो मिक्सिंग में संघर्ष करती हैं या व्यापक ट्यूनिंग की आवश्यकता रखती हैं।
2. स्पार्स प्रिसिजन मैट्रिक्स अनुमान (Sparse Precision Matrix Estimation): बेयशियन ग्राफिकल लासो (और SCAD/MCP दंडों के साथ वेरिएंट) पर CWBB लागू करते हुए, लेखक दिखाते हैं कि गैर-शून्य प्रविष्टियों को वर्गीकृत करने के लिए (F1-स्कोर, प्रिसिजन, रिकॉल के माध्यम से) पूर्ण पोस्टीरियर वितरण का उपयोग करने से सिंगल पॉइंट एस्टिमेट की तुलना में बेहतर वर्गीकरण प्रदर्शन प्राप्त होता है। विधि विशिष्ट बेयसियन सैंपलर (जैसे BDGraph, ssgraph) के प्रतिस्पर्धी है लेकिन इसमें कम हाइपरपैरामीटर की आवश्यकता होती है और यह जटिल बर्न-इन ट्यूनिंग से बचती है।
3. ऑप्शन प्राइसिंग सर्फेस (Option Pricing Surfaces): यूरोपीय शैली के कॉल ऑप्शंस के लिए एक केस स्टडी में उत्तलता (convexity), एकदिशता (monotonicity), और बिड-आस्क स्प्रेड बाधाओं को संतुष्ट करने की आवश्यकता होती है। मानक सैंपलिंग विधियां जटिल ज्यामिति के कारण या तो व्यवहार्य (feasible) नमूने बनाने में विफल रहती हैं या खराब मिक्सिंग करती हैं। CWBB 10 मिनट के भीतर 1,000 स्वतंत्र व्यवहार्य नमूने सफलतापूर्वक उत्पन्न करता है, जो मार्केट बाधाओं का सम्मान करते हुए ऑप्शन प्राइसिंग सर्फेस के लिए वैध अनिश्चितता अनुमान प्रदान करता है।

महत्व और दावे
लेखक दावा करते हैं कि CWBB संकुचित अनुकूलन की गणनात्मक सुगमता और बेयसियन अनुमान की अनिश्चितता मात्रा निर्धारण के बीच एक "सरल लेकिन प्रभावी" सेतु (bridge) प्रदान करता है। इसका महत्व निम्नलिखित है:

• सामान्यता (Generality): यह प्रॉक्सिमल मैपिंग या मैनिफोल्ड HMC जैसी विशिष्ट सैंपलिंग मशीनरी की आवश्यकता के बिना बाधाओं के एक विस्तृत वर्ग (समानता और असमानता दोनों) पर लागू होता है।
• दक्षता (Efficiency): यह तेज़ कन्वेक्स ऑप्टिमाइज़ेशन टूल्स का लाभ उठाता है, जिसके परिणामस्वरूप मौजूदा संकुचित सैंपलिंग विधियों की तुलना में काफी तेज़ रनटाइम मिलता है।
• सैद्धांतिक वैधता (Theoretical Validity): यह ऐसे नमूनों को प्रदान करता है जिनका स्पर्शोन्मुखी वितरण कुशल RMLE के समान है, जिससे वैध अनिश्चितता मात्रा निर्धारण सुनिश्चित होता है जो बाधाओं से प्राप्त जानकारी को सही ढंग से दर्शाता है।
• व्यावहारिक उपयोगिता (Practical Utility): यह उन कठिन वास्तविक दुनिया की समस्याओं (जैसे ऑप्शन प्राइसिंग) को हल करता है जहाँ अन्य विधियाँ विफल हो जाती हैं या अत्यधिक रनटाइम लेती हैं।

लेखक नोट करते हैं कि हालांकि वर्तमान सिद्धांत समानता बाधाओं और प्रथम-क्रम स्पर्शोन्मुखी (first-order asymptotics) पर केंद्रित है, विधि की कार्यान्वयन में आसानी इसे किसी भी सांख्यिकीय कार्य के लिए एक व्यावहारिक प्लग-इन समाधान बनाती है जिसे संकुचित अनुकूलन समस्या के रूप में बनाया जा सकता है। वे सुझाव देते हैं कि भविष्य का कार्य व्यापक सेटिंग्स और उच्च-क्रम सन्निकटन (higher-order approximations) तक विस्तार कर सकता है।