तकनीकी सारांश: विविक्त दोहरी रूप से दुर्बोध समस्याओं के लिए संयुग्मी सामान्यीकृत बायेसियन अनुमान (Conjugate Generalized Bayesian Inference for Discrete Doubly Intractable Problems)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बायेसियन अनुमान में दोहरी रूप से दुर्बोध समस्याओं (doubly intractable problems) को संबोधित करता है, जो एक ऐसी स्थिति है जो विविक्त सांख्यिकीय मॉडलों (discrete statistical models) में आम है जहाँ संभावना (likelihood) और पश्च वितरण (posterior distribution) दोनों ही केवल अविसामान्यीकृत (unnormalized) रूप में उपलब्ध होते हैं। विशेष रूप से, अनौपचारिक संभावना $p_\theta(x) = \tilde{p}_\theta(x)/Z(\theta)$ का सामान्यीकरण स्थिरांक (normalization constant) या पार्टिशन फंक्शन $Z(\theta)$ बड़े या अनंत अवस्था स्थानों (state spaces) पर योग के कारण गणना योग्य या कुशलता से अनुमानित नहीं किया जा सकता है।

मानक बायेसियन अनुमान में, पश्च वितरण (posterior) संभावना और पूर्व (prior) के गुणनफल के समानुपाती होता है। हालाँकि, जब $Z(\theta)$ दुर्बोध होता है, तो पश्च सामान्यीकरण स्थिरांक भी डेटा और मापदंडों का एक ऐसा फलन बन जाता है जो स्वयं दुर्बोध होता है। मौजूदा समाधान आमतौर पर निम्नलिखित पर निर्भर करते हैं:

• सहायक चरों के साथ MCMC (जैसे, एक्सचेंज एल्गोरिदम): जो गणनात्मक रूप से महंगे हैं और जिन्हें ट्यूनिंग की आवश्यकता होती है।
• अनुमान (जैसे, स्यूडो-लाइक्लिहुड, वेरिएशनल बेयस): जो पक्षपात (bias) या गलत विनिर्देश (misspecification) उत्पन्न कर सकते हैं।
• डिस्क्रीट फिशर डायवर्जेंस (DFD) (मत्सुबारा एट अल., 2023) जैसे डायवर्जेंस का उपयोग करके सामान्यीकृत बायेसियन अनुमान (GBI): जबकि DFD-बायेस $Z(\theta)$ की गणना करने से बचता है, यह संयुग्मी पश्च (conjugate posteriors) प्रदान करने में विफल रहता है। फलस्वरूप, इसे अभी भी MCMC सैंपलिंग की आवश्यकता होती है, जिससे उच्च आयामों में धीमी मिक्सिंग, बहु-मोडालिटी (multi-modality) और अभिसरण (convergence) जाँचों की आवश्यकता जैसी समस्याएँ उत्पन्न होती हैं।

मुख्य चुनौती एक ऐसे विधि का विकास करना है जो विविक्त दुर्बोध मॉडलों के लिए MCMC की आवश्यकता को समाप्त कर सके, जबकि GBI की गणनात्मक दक्षता को बनाए रखते हुए संयुग्मन (conjugacy) (बंद-रूप या गिब्स-आधारित अपडेट) प्राप्त कर सके।

2. कार्यप्रणाली (Methodology)

2.1 लॉग-रेशियो मैचिंग (LRM) डायवर्जेंस

लेखक एक सामान्यीकृत पश्च बनाने के लिए लॉग-रेशियो मैचिंग (LRM) नामक एक नवीन सांख्यिकीय डायवर्जेंस प्रस्तावित करते हैं।

• मैचिंग सेट (Matching Sets): डेटा बिंदु $x$ के लिए, एक मैचिंग सेट $M(x)$ को पड़ोसी अवस्थाओं के एक परिमित सेट $\{M_j(x)\}_{j \in J}$ के रूप में परिभाषित किया गया है। इस सेट का निर्माण डेटा संरचना के आधार पर किया जाता है (जैसे, जाली (lattice) में बिट्स को बदलना या काउंट्स को बढ़ाना)।
• परिभाषा: एक डेटा-जनरेटिंग प्रक्रिया $q_0$ और मॉडल $p_\theta$ के बीच LRM डायवर्जेंस, मॉडल और डेटा के लॉग-अनुपातों के वर्ग अंतर का अपेक्षित मान है:
  $$D_{LRM}(q_0 \| p_\theta) = \mathbb{E}_{x \sim q_0} \left[ \frac{1}{|M(x)|} \sum_{x' \in M(x)} \left( \log \frac{p_\theta(x')}{p_\theta(x)} - \log \frac{q_0(x')}{q_0(x)} \right)^2 \right]$$
• मुख्य गुण: मानक डायवर्जेंस के विपरीत, $D_{LRM}$ दुर्बोध सामान्यीकरण स्थिरांक $Z(\theta)$ पर निर्भर नहीं करता है क्योंकि अनुपात $p_\theta(x')/p_\theta(x)$ में $Z(\theta)$ निरस्त (cancel) हो जाता है।
• सैद्धांतिक वैधता: इस धारणा के तहत कि मैचिंग सेट अवस्था स्थान पर एक जुड़ा हुआ ग्राफ (connected graph) बनाता है, $D_{LRM}(q_0 \| p_\theta) = 0$ यदि और केवल यदि $q_0 = p_\theta$ हो।

2.2 LRM-बायेस पश्च (The LRM-Bayes Posterior)

LRM डायवर्जेंस का उपयोग करते हुए, लेखक एक लॉस फंक्शन $L_{LRM}(\theta)$ और डेटा $\{x_i\}_{i=1}^n$ तथा एक अनुमानित संभाव्यता द्रव्यमान फलन (PMF) $\hat{q}$ (आमतौर पर लैप्लेस स्मूथिंग के माध्यम से) पर आधारित एक एस्टिमेटर $\hat{L}_{LRM}^n(\theta)$ प्रस्तावित करते हैं। LRM-बायेस पश्च को निम्नानुसार परिभाषित किया गया है:
$$\hat{\pi}_M^\beta(\theta; \{x_i\}) \propto \exp\left( -\beta n \hat{L}_{LRM}^n(\theta) \right) \pi(\theta)$$
जहाँ $\beta > 0$ एक स्केलिंग पैरामीटर है।

2.3 घातांकीय परिवारों के लिए संयुग्मन (Conjugacy for Exponential Families)

प्राथमिक सैद्धांतिक सफलता यह है कि विविक्त घातांकीय परिवार मॉडलों (discrete exponential family models) के लिए, जिनका रूप $p_\theta(x) \propto \exp(\eta(\theta)^\top T(x) + B(x))$ है, LRM लॉस प्राकृतिक मापदंडों $\eta(\theta)$ में द्विघाती (quadratic) होता है।

• लॉस संरचना: $\hat{L}_{LRM}^n(\theta) = \eta(\theta)^\top \Lambda_n \eta(\theta) - 2\eta(\theta)^\top \nu_n + C$।
• संयुग्मी अपडेट: यदि पूर्व $\pi(\eta)$ घातांकीय द्विघाती (जैसे, मल्टीवेरिएट गौसियन) है, तो पश्च भी एक मल्टीवेरिएट गौसियन (या यदि मापदंड स्थान बाधित है तो ट्रंकेटेड गौसियन) होगा।
• गणना संबंधी निहितार्थ: यह MCMC के बिना बंद-रूप अनुमान (मीन और कोवेरिएंस मैट्रिक्स की गणना) की अनुमति देता है।
• आंशिक संयुग्मन (Partial Conjugacy): उन मॉडलों के लिए जहाँ लॉस केवल मापदंडों के एक उपसमुच्चय में द्विघाती है (जैसे, ऑटोरेग्रेसिव टाइम सीरीज़ या हॉर्सशू प्रायर वाले मॉडल), यह विधि उन ब्लॉक्स के लिए सटीक गिब्स अपडेट को सक्षम करती है, जो मानक दृष्टिकोणों की तुलना में MCMC मिक्सिंग को महत्वपूर्ण रूप से तेज करती है।

3. मुख्य योगदान (Key Contributions)

1. नवीन डायवर्जेंस: एक लॉग-रेशियो मैचिंग (LRM) डायवर्जेंस का परिचय, जो सामान्यीकरण स्थिरांक को दरकिनार करता है और घातांकीय परिवारों के लिए द्विघाती लॉस प्रेरित करता है।
2. संयुग्मी सामान्यीकृत पश्च: यह प्रदर्शित करना कि LRM-बायेस संयुग्मी पश्च (conjugate posteriors) प्रदान करता है, जो विविक्त डायवर्जेंस जैसे DFD के साथ पहले प्राप्त करना असंभव था।
3. गणनात्मक दक्षता: यह विधि महंगे MCMC सैंपलिंग को बंद-रूप मैट्रिक्स ऑपरेशन्स या तेज़ गिब्स अपडेट से बदल देती है, जिससे गणना का समय कई गुना कम हो जाता है।
4. सैद्धांतिक गारंटी: पश्च अभिसरण (posterior consistency) और एक बर्नस्टीन-वॉन मिसेस प्रमेय का प्रमाण, जो यह दर्शाता है कि LRM-बायेस पश्च आसतत रूप से गौसियन है और हल्के नियमितता शर्तों के तहत वास्तविक लॉस के मिनिमाइज़र के आसपास केंद्रित होता है।
5. लचीलापन: यह ढांचा जटिल प्रायर (जैसे, हॉर्सशू, स्पाइक-एंड-स्लैब) और टाइम-सीरीज़ मॉडलों के लिए आंशिक संयुग्मन का समर्थन करता है, जिससे विशिष्ट मापदंड ब्लॉक्स के लिए सटीक अपडेट संभव होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन कई चुनौतीपूर्ण विविक्त दुर्बोध मॉडलों पर किया गया:

• एकचरवर्ती कॉनवे-मैक्सवेल-पॉइसन (CMP):
  • LRM-बायेस ने मानक MCMC और DFD-बायेस के लगभग समान पश्च विश्वसनीय क्षेत्र (credible regions) उत्पन्न किए।
  • गति: LRM, DFD-बायेस की तुलना में >100x तेज़ और मध्यम नमूना आकार के लिए मानक MCMC की तुलना में >20x तेज़ था।
• बहुचरवर्ती CMP ग्राफिकल मॉडल (ब्रेस्ट कैंसर डेटा, $d=10, p=65$):
  • मानक बायेसियन अनुमान गणनात्मक रूप से असंभव था।
  • LRM-बायेस ने विश्वसनीय पश्च भविष्य कहनेवाला वितरण (posterior predictive distributions) प्रदान किया।
  • गति: LRM, DFD-बायेस की तुलना में >35x तेज़ था (लगभग 2 सेकंड बनाम 31 मिनट)।
  • विरलता (Sparsity): विधि ने हॉर्सशू और स्पाइक-एंड-स्लैब प्रायर को सफलतापूर्वक शामिल किया, जिससे सटीक गिब्स अपडेट बनाए रखते हुए विरलता उत्पन्न हुई।
• ऑटोरेग्रेसिव काउंट टाइम सीरीज़ (क्राइम डेटा):
  • इसने आंशिक संयुग्मन का प्रदर्शन किया जहाँ ऑटोरेग्रेसिव पैरामीटर $\phi$ को मेटापोलिस-हेस्टिंग्स के माध्यम से अपडेट किया गया, जबकि अन्य मापदंडों को सटीक गिब्स स्टेप्स के माध्यम से अपडेट किया गया।
  • गति: LRM-बायेस ~1 मिनट में मिक्स हुआ, जबकि मानक अनुमानित MCMC को ~20 मिनट लगे (20x की गति वृद्धि)।
• मार्कोव रैंडम फील्ड्स (Ising और Potts मॉडल):
  • Ising मॉडल: LRM ने DFD और स्यूडो-लाइक्लिहुड विधियों जितनी सटीकता से मापदंडों को रिकवर किया लेकिन यह ~10x तेज़ था।
  • Potts मॉडल (अंटार्कटिक आइस डेटा): LRM, सहायक चर MCMC की तुलना में >35x तेज़ था और DFD/PL से काफी तेज़ था। पश्च अन्य विधियों के समान था, हालांकि लेखक नोट करते हैं कि विषम डेटा के लिए मॉडल स्वयं मिसस्पेसिफाइड था।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि LRM-बायेस विविक्त दोहरी रूप से दुर्बोध समस्याओं के लिए मौजूदा विधियों का एक गणनात्मक रूप से कुशल विकल्प प्रदान करता है। इसका महत्व इस प्रकार है:

• अंतराल को पाटना: यह निरंतर डोमेन के KSD-बायेस (मत्सुबारा एट अल., 2022) के गणनात्मक लाभों को विविक्त डोमेन के लिए दोहराता है, जो पहले अप्राप्य था।
• स्केलेबिलिटी: संयुग्मन प्राप्त करके, यह MCMC पुनरावृत्तियों ($T$) की निर्भरता को समाप्त करता है, जिससे जटिलता $O(ndpT)$से घटकर$O(ndp^2 + p^3)$ हो जाती है।
• व्यावहारिक उपयोगिता: यह जटिल, लचीले मॉडलों (जैसे, उच्च-आयामी ग्राफिकल मॉडल, भारी-पूंछ वाले प्रायर के साथ टाइम सीरीज़) के अनुप्रयोग को सक्षम बनाता है जो पहले बायेसियन विश्लेषण के लिए बहुत अधिक गणनात्मक रूप से महंगे थे।
• सैद्धांतिक सुदृढ़ता: यह विधि केवल एक ह्यूरिस्टिक नहीं है; यह कठोर आसतत सिद्धांत द्वारा समर्थित है जो स्थिरता और सामान्यता सुनिश्चित करता है।

लेखक इसके दायरे के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि विधि एक संदर्भ PMF ($\hat{q}$) के अनुमान पर निर्भर करती है और मैचिंग सेट $M$ का चयन पश्च एकाग्रता (posterior concentration) को प्रभावित करता है, हालांकि स्केलिंग पैरामीटर $\beta$ का अनुमान लगाने से इस संवेदनशीलता को कम करने में मदद मिलती है। यह कार्य सिमुलेशन-आधारित अनुमान और लेटेंट वेरिएबल मॉडल के व्यापक अनुप्रयोगों की ओर एक कदम है।